区别:Apache Hadoop属于开源的分布式计算基础架构。IBM Platform Symphony的一个核心优势是,它能屏蔽底层基础设施的复杂性。ODPS底层的基础架构和Hadoop类似,基本理论基础是Gooogle开放的那几篇论文。Tencent TDW是腾讯基于Hadoop生态圈的开源产品搞出来的一套腾讯内部自己的数据仓库解决方案。
Apache Hadoop
Apache Hadoop属于开源的分布式计算基础架构,理论基础是Google开放的几篇论文,主要组件包括分布式存储HDFS, 编程模型MapReduce,分布式锁Zookeeper。开源社区和各大公司基于Hadoop平台为应对不同场景开发了很多其他系统,像数据仓库领域的Hive、Pig等,NoSQL领域的HBase,机器学习领域的Mahout等等。从生态繁荣的角度说,Hadoop生态圈是这几个东西里最繁荣的,繁荣到难以想象,甚至最近比较火的Spark基本在以一个新的思路在重新定义各种实现。在Hadoop生态圈找不到解决方案,用其他产品也很难找到。业界各公司在Hadoop都有很大的投入或依赖,像Facebook,国内的BAT都有很大规模的Hadoop集群。
IBM Symphony Platform
IBM Platform Symphony的一个核心优势是,它能屏蔽底层基础设施的复杂性,在共享底层基础设施环境的基础上,为上层各个不同的大数据应用提供一个多租户的环境。同时,它还能支基于Hadoop开发的大数据应在同一个分布式基础设施环境上运行。
Aliyun ODPS
ODPS底层的基础架构和Hadoop类似,基本理论基础是Gooogle开放的那几篇论文。ODPS的产品形态是开放的公共服务,这是产品形态上最大的区别,同类可参考的是Google的BigQuery。
Tencent TDW
Tencent TDW可以大概理解成是腾讯基于Hadoop生态圈的开源产品搞出来的一套腾讯内部自己的数据仓库解决方案。对Hadoop,Hive做了一些改进、修改,开发了一些方便系统、数据管理的工具、服务。
延伸阅读:
什么是ODPS?
开放数据处理服务(Open Data Processing Service,简称ODPS)是基于飞天分布式平台,由阿里云自主研发的海量数据离线处理服务。ODPS以RESTful API的形式提供针对PB级别数据的、实时性要求不高的批量结构化数据存储和计算能力,主要应用于数据分析与统计、数据挖掘、商业智能等领域。阿里金融、淘宝指数、数据魔方等阿里巴巴关键数据业务的离线处理作业都运行在ODPS上。
ODPS提供了数据上传下载通道和SQL处理操作,并且提供了海量数据仓库的解决方案以及针对大数据的分析建模服务。
2014年7月8日,阿里巴巴集团旗下阿里云计算发布大数据产品——开放数据处理服务ODPS。据悉,ODPS可在6小时内处理100PB数据,相当于1亿部高清电影。通过ODPS在线服务,花几百元即可分析海量数据。全球只有Google、亚马逊等少数公司掌握这种能力。
文章标题:Apache Hadoop, IBM Symphony Platform, Aliyun ODPS, Tencent TDW 的区别与联系,发布者:小编,转载请注明出处:https://worktile.com/kb/p/39004