Apache Hadoop, IBM Symphony Platform, Aliyun ODPS, Tencent TDW 的区别与联系

区别:Apache Hadoop属于开源的分布式计算基础架构。IBM Platform Symphony的一个核心优势是,它能屏蔽底层基础设施的复杂性。ODPS底层的基础架构和Hadoop类似,基本理论基础是Gooogle开放的那几篇论文。Tencent TDW是腾讯基于Hadoop生态圈的开源产品搞出来的一套腾讯内部自己的数据仓库解决方案。

Apache Hadoop

Apache Hadoop属于开源的分布式计算基础架构,理论基础是Google开放的几篇论文,主要组件包括分布式存储HDFS, 编程模型MapReduce,分布式锁Zookeeper。开源社区和各大公司基于Hadoop平台为应对不同场景开发了很多其他系统,像数据仓库领域的Hive、Pig等,NoSQL领域的HBase,机器学习领域的Mahout等等。从生态繁荣的角度说,Hadoop生态圈是这几个东西里最繁荣的,繁荣到难以想象,甚至最近比较火的Spark基本在以一个新的思路在重新定义各种实现。在Hadoop生态圈找不到解决方案,用其他产品也很难找到。业界各公司在Hadoop都有很大的投入或依赖,像Facebook,国内的BAT都有很大规模的Hadoop集群。

IBM Symphony Platform

IBM Platform Symphony的一个核心优势是,它能屏蔽底层基础设施的复杂性,在共享底层基础设施环境的基础上,为上层各个不同的大数据应用提供一个多租户的环境。同时,它还能支基于Hadoop开发的大数据应在同一个分布式基础设施环境上运行。

Aliyun ODPS

 ODPS底层的基础架构和Hadoop类似,基本理论基础是Gooogle开放的那几篇论文。ODPS的产品形态是开放的公共服务,这是产品形态上最大的区别,同类可参考的是Google的BigQuery。

Tencent TDW

Tencent TDW可以大概理解成是腾讯基于Hadoop生态圈的开源产品搞出来的一套腾讯内部自己的数据仓库解决方案。对Hadoop,Hive做了一些改进、修改,开发了一些方便系统、数据管理的工具、服务。

延伸阅读:

什么是ODPS?

开放数据处理服务(Open Data Processing Service,简称ODPS)是基于飞天分布式平台,由阿里云自主研发的海量数据离线处理服务。ODPS以RESTful API的形式提供针对PB级别数据的、实时性要求不高的批量结构化数据存储和计算能力,主要应用于数据分析与统计、数据挖掘、商业智能等领域。阿里金融、淘宝指数、数据魔方等阿里巴巴关键数据业务的离线处理作业都运行在ODPS上。

ODPS提供了数据上传下载通道和SQL处理操作,并且提供了海量数据仓库的解决方案以及针对大数据的分析建模服务。

2014年7月8日,阿里巴巴集团旗下阿里云计算发布大数据产品——开放数据处理服务ODPS。据悉,ODPS可在6小时内处理100PB数据,相当于1亿部高清电影。通过ODPS在线服务,花几百元即可分析海量数据。全球只有Google、亚马逊等少数公司掌握这种能力。

文章标题:Apache Hadoop, IBM Symphony Platform, Aliyun ODPS, Tencent TDW 的区别与联系,发布者:小编,转载请注明出处:https://worktile.com/kb/p/39004

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
小编的头像小编
上一篇 2023年2月21日 上午1:58
下一篇 2023年2月21日 上午2:00

相关推荐

  • 洁牙项目管理工作内容有哪些

    洁牙项目管理工作内容包括:项目规划、资源分配、时间管理、质量控制、风险管理。在洁牙项目管理中,质量控制尤为重要。一个成功的洁牙项目必须确保每个步骤都符合高质量标准,从初步检查到最终的牙齿清洁和抛光。质量控制包括定期检查设备是否运转正常、确保使用的清洁产品符合医疗标准、以及培训工作人员以保证他们掌握最…

    2024年8月3日
    000
  • 海外项目技术管理问题有哪些

    海外项目技术管理面临的主要问题包括:1、技术标准的不统一;2、技术人员的沟通难题;3、技术设备和资源的配备问题;4、技术风险的管理问题;5、技术更新和知识传递的难题。其中,技术标准的不统一是最常见的问题。由于不同国家和地区的技术标准和规定可能存在较大差异,因此,在海外项目中进行技术管理时,需要充分考…

    2024年8月3日
    000
  • 项目管理的常用工具有哪些

    项目管理的常用工具有:PingCode、Worktile、JIRA、Trello、Asana、Microsoft Project、Monday.com、ClickUp、Smartsheet、Basecamp、Zoho Projects、Wrike、Airtable、Notion。这些工具在项目管理中…

    2024年8月3日
    000
  • 公司管理培训课程有哪些项目呢

    公司管理培训课程通常包含多个项目,这些项目旨在提升员工的管理技能、团队合作能力和领导力。关键项目包括:领导力培训、时间管理、沟通技巧、项目管理、问题解决与决策、团队建设、绩效管理。其中,领导力培训尤为重要,因为它不仅帮助新任经理迅速适应角色,还能提高他们在激励和指导团队方面的能力。领导力培训课程通常…

    2024年8月3日
    000
  • 行政物业管理包括哪些项目内容

    行政物业管理是一项涵盖广泛的服务项目内容,主要包括:设施设备管理、环境卫生管理、安全防范管理、服务接待管理、人力资源管理、财务管理、公共事务管理、投诉处理管理、应急预案管理和法律法规管理等十大方面。其中,设施设备管理是行政物业管理的关键内容,它包括设施设备的维护、保养、维修、更换和升级等工作,确保设…

    2024年8月3日
    000

发表回复

登录后才能评论
注册PingCode 在线客服
站长微信
站长微信
电话联系

400-800-1024

工作日9:30-21:00在线

分享本页
返回顶部