导航菜单
路很长,又很短
博主信息
昵   称:Cocodroid ->关于我
Q     Q:2531075716
博文数:354
阅读量:1593620
访问量:194059
至今:
×
云标签 标签球>>
云标签 - Su的技术博客
Tags : 开源,大数据,GemFire,HAWQ,Greenplum发表时间: 2015-09-16 20:24:00

近日,Pivotal宣布将其大数据套件的三个核心组件开源,即基于内存的分布式NoSQL数据库GemFire、基于Hadoop架构的大规模并行SQL 分析处理引擎HAWQ、大规模并行处理分析数据库Greenplum。同时,商业版本仍将继续提供更高级功能和商业支持服务。Pivotal开源这三个核心组件最主要原因是受其成功的Cloud Foundry开源案例所启发。Cloud Foundry是VMware于2011年4月12日推出的业界第一个开源PaaS云平台,它支持多种框架、语言、运行时环境、云平台以及应用服务。同时,Pivotal还宣布其将加入开放数据平台(Open Data Platform),这是一个目前已有14个公司组成的组织,包括Hortonworks通用电器GE、IBM、威瑞森(Verizon)等,该组织主要提供Hadoop的企业版。

Pivotal的大数据套件主要包括Pivotal的企业级Hadoop发行版Pivotal HD、Greenplum、HAWQ、GemFire、开源分布式框架Spring XD、K/V数据库Redis、消息队列RabbitMQCloud Foundry上的大数据套件。其中Greenplum和GemFire主要用来处理结构化数据,其他产品都是用来处理非结构化数据。通过HAWQ能够将Greenplum与Hadoop分布式架构进行紧密地融合。整个套件将从大规模并行处理、内存计算以及Hadoop批处理三方面满足企业对大数据的需求。Pivotal的大数据套件的客户包括国内的中信银行中国铁路总公司以及国外的美国金融服务公司Zions Bancorporation印度尼西亚电信运营商巴克莱电信(Bakrie Telecom)印度国有铁路公司(Indian Railways


美国西南航空公司(Southwest Airlines)


Pivotal大数据套件架构如下图所示:

0227000

从Pivotal的官网得知,GemFire的重要特征包括支持基于内存的数据网格、支持ACID事务、高性能、低延迟、高可用性、高扩展性、能够使用多种语言实现数据管理、强大的数据应用功能、易于管理的分布式数据网格管理等。GemFire可用于企业级的数据缓存、弹性的内存计算、大规模的实时交易应用、弹性流数据处理等。作为世界规模最大的实时交易系统之一的中国铁路客户服务中心网站(12306.cn),于2012年6月选择GemFire分布式内存计算平台进行了改造,以解决尖峰高流量并发问题。

HAWQ支持事务处理,它能够将复杂的查询分割成简单的任何大小的处理单元,并分发到并行处理系统中。HAWQ具有高性能的架构、完全支持SQL标准、具有深度分析和机器学习能力、支持本地Hadoop文件格式等重要特征。

开源中国上发布的一篇题为《Greenplum高性能数据引擎探秘》的文章对Greenplum进行了详细介绍。文章指出Greenplum数据库是为新一代数据仓库和大规模分析处理而建立的软件解决方案,其最大的特点是不需要高端的硬件支持仍然可以支撑大规模的高性能数据仓库和商业智能查询。在数据仓库、商业智能的应用上,尤其海量数据的处理方面,Greenplum的性能极其优异。Greenplum的重要特征包括大规模并行处理的架构、超强的并行计算能力、高效的数据载入、具有灵活地存储和分析能力、高效的分析平台、能够无缝集成已有的分析功能栈、最佳的数据管理框架等。

Pivotal是由GE、EMC和VMware 联合组成的专注开源PaaS和大数据应用Cloud Foundry、Greenplum等业务的合资公司。Pivotal原来一直资助着Groovy/Grails项目和主导这些项目的开发,不过今年1月份,Pivotal官方宣布将不再资助Groovy/Grails项目,并重新把精力集中在Cloud Foundry上。

 

转自:INfoQ 作者 李小兵

 

...阅读原文
文章来源:itd4j 类别:开源| 阅读(3340)
推荐文章
1. 成为开源编程高手的11个技巧 (R:1028)[2014-11-03]
2. 免费开源的 jQuery 图片裁剪插件 (R:1026)[2014-11-04]
3. 阿里开源服务框架Dubbo (R:1380)[2015-04-11]
4. 【干货】Zookeeper -- 管理分布式环境中的数据 (R:849)[2015-05-02]
5. Apache Tika——内容抽取工具集合 (R:2724)[2015-06-06]
6. Apache Gora——大数据开源ORM框架 (R:1309)[2015-06-07]
7. Apache Nutch——全文搜索和Web爬虫 (R:1478)[2015-06-10]
8. 如何熟悉一个开源项目? (R:1035)[2015-07-29]
9. Pivotal开源其大数据处理的核心组件:GemFire、HAWQ、Greenplum (R:3340)[2015-09-16]
10. 十个值得一试的开源深度学习框架 (R:1952)[2015-11-26]
11. 为什么开源可以提高程序员的编程技能? (R:1016)[2016-07-20]
12. 开源框架之ZooKeeper (R:1155)[2015-03-29]
13. 使用开源库的代价 (R:806)[2015-04-09]
14. Java开源BI商业智能工具 (R:1400)[2016-07-22]
15. 阿里面试经历及总结(数据研发、Java研发方向) (R:821)[2015-04-30]
16. 【干货】Zookeeper -- 管理分布式环境中的数据 (R:849)[2015-05-02]
17. Apache Gora——大数据开源ORM框架 (R:1309)[2015-06-07]
18. Pivotal开源其大数据处理的核心组件:GemFire、HAWQ、Greenplum (R:3340)[2015-09-16]
19. 你真的很熟分布式和事务吗? (R:788)[2015-07-23]
20. 2015第七届中国云计算大会 (6.3~6.5) (R:992)[2015-05-04]
21. Pivotal开源其大数据处理的核心组件:GemFire、HAWQ、Greenplum (R:3340)[2015-09-16]
22. Pivotal开源其大数据处理的核心组件:GemFire、HAWQ、Greenplum (R:3340)[2015-09-16]
23. Pivotal开源其大数据处理的核心组件:GemFire、HAWQ、Greenplum (R:3340)[2015-09-16]