Apache Hadoop, IBM Symphony Platform, Aliyun ODPS, Tencent TDW 的区别与联系

区别:Apache Hadoop属于开源的分布式计算基础架构。IBM Platform Symphony的一个核心优势是,它能屏蔽底层基础设施的复杂性。ODPS底层的基础架构和Hadoop类似,基本理论基础是Gooogle开放的那几篇论文。Tencent TDW是腾讯基于Hadoop生态圈的开源产品搞出来的一套腾讯内部自己的数据仓库解决方案。

Apache Hadoop

Apache Hadoop属于开源的分布式计算基础架构,理论基础是Google开放的几篇论文,主要组件包括分布式存储HDFS, 编程模型MapReduce,分布式锁Zookeeper。开源社区和各大公司基于Hadoop平台为应对不同场景开发了很多其他系统,像数据仓库领域的Hive、Pig等,NoSQL领域的HBase,机器学习领域的Mahout等等。从生态繁荣的角度说,Hadoop生态圈是这几个东西里最繁荣的,繁荣到难以想象,甚至最近比较火的Spark基本在以一个新的思路在重新定义各种实现。在Hadoop生态圈找不到解决方案,用其他产品也很难找到。业界各公司在Hadoop都有很大的投入或依赖,像Facebook,国内的BAT都有很大规模的Hadoop集群。

IBM Symphony Platform

IBM Platform Symphony的一个核心优势是,它能屏蔽底层基础设施的复杂性,在共享底层基础设施环境的基础上,为上层各个不同的大数据应用提供一个多租户的环境。同时,它还能支基于Hadoop开发的大数据应在同一个分布式基础设施环境上运行。

Aliyun ODPS

 ODPS底层的基础架构和Hadoop类似,基本理论基础是Gooogle开放的那几篇论文。ODPS的产品形态是开放的公共服务,这是产品形态上最大的区别,同类可参考的是Google的BigQuery。

Tencent TDW

Tencent TDW可以大概理解成是腾讯基于Hadoop生态圈的开源产品搞出来的一套腾讯内部自己的数据仓库解决方案。对Hadoop,Hive做了一些改进、修改,开发了一些方便系统、数据管理的工具、服务。

延伸阅读:

什么是ODPS?

开放数据处理服务(Open Data Processing Service,简称ODPS)是基于飞天分布式平台,由阿里云自主研发的海量数据离线处理服务。ODPS以RESTful API的形式提供针对PB级别数据的、实时性要求不高的批量结构化数据存储和计算能力,主要应用于数据分析与统计、数据挖掘、商业智能等领域。阿里金融、淘宝指数、数据魔方等阿里巴巴关键数据业务的离线处理作业都运行在ODPS上。

ODPS提供了数据上传下载通道和SQL处理操作,并且提供了海量数据仓库的解决方案以及针对大数据的分析建模服务。

2014年7月8日,阿里巴巴集团旗下阿里云计算发布大数据产品——开放数据处理服务ODPS。据悉,ODPS可在6小时内处理100PB数据,相当于1亿部高清电影。通过ODPS在线服务,花几百元即可分析海量数据。全球只有Google、亚马逊等少数公司掌握这种能力。

文章标题:Apache Hadoop, IBM Symphony Platform, Aliyun ODPS, Tencent TDW 的区别与联系,发布者:小编,转载请注明出处:https://worktile.com/kb/p/39004

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
小编小编站长
上一篇 2023年2月21日 上午1:58
下一篇 2023年2月21日 上午2:00

相关推荐

  • devops是什么

    devops是:DevOps(Development和Operations的组合词)是一组过程、方法与系统的统称,用于促进开发(应用程序/软件工程)、技术运营和质量保障(QA)部门之间的沟通、协作与整合。它是一种重视“软件开发人员(Dev)”和“IT运维技术人员(Ops)”之间沟通合作的文化、运动或…

    2023年4月20日
    12600
  • 搜索网站有哪些

    搜索网站有:1、Google(谷歌);2、百度Baidu;3、Bing必应;4、Yahoo!(雅虎);5、Ask;6、Aol;7、WolframAlpha;8、webcrawler;9、搜狗sogou;10、360搜索。其中,谷歌是全球网络搜索引擎巨头。 1、Google(谷歌) 创立于1998年,…

    2022年12月27日
    1.9K00
  • 企业直播软件有哪些

    企业直播软件有:目睹直播app、微吼直播、斗鱼、yy、新浪、腾讯、飞虎、知人、算云、六间房、酷我秀场、我秀娱乐等软件。企业直播基于企业业务应用场景、数据资源对接以及视频互动创新等集成诉求,提供相关的软件服务以及多种增值服务。 目前主流的企业直播软件有目睹直播app、微吼直播、斗鱼、yy、新浪、腾讯、…

    2022年10月25日
    41900
  • 为什么要学习操作系统

    原因有:一、帮助理解计算机系统的工作原理;二、提高计算机技术能力;三、为日后从事计算机相关行业打下基础;四、提高自我竞争力;五、满足个人兴趣爱好。通过学习操作系统,我们可以了解计算机系统的工作原理,理解计算机系统中各个组成部分之间的关系。 一、帮助理解计算机系统的工作原理 在学习操作系统之前,我们需…

    2023年5月29日
    24800
  • 什么是CPU Die

    cpu die是指cpu的核心,是CPU最重要的组成部分。CPU中心那块隆起的芯片就是核心,是由单晶硅以一定的生产工艺制造出来的,CPU所有的计算、接受/存储命令、处理数据都由核心执行。各种CPU核心都具有固定的逻辑结构,一级缓存、二级缓存、执行单元等逻辑单元都会有科学的布局。 一、什么是CPU D…

    2023年7月27日
    28200
  • citespace是什么软件

    citespace是一款优秀的文献计量学软件,全称为Citation Space(引文空间),是一款着眼于分析科学文献中蕴含的潜在知识,在科学计量学、数据可视化背景下逐渐发展起来的一款引文可视化分析软件,该软件是由陈美超教授支持开发的。 一、citespace简介 citespace是一款应用于科学…

    2023年3月18日
    1.0K00
  • bi商业智能是做什么的

    bi商业智能(Business Intelligence),又称商业智慧或商务智能,指用现代数据仓库技术、线上分析处理技术、数据挖掘和数据展现技术进行数据分析以实现商业价值。bi商业智能的核心功能:1、数据采集;2、ETL和数据建模;3、数据可视化;4、报告分析。 一、bi商业智能概念 商业智能(B…

    2023年3月17日
    17100
  • 智能相机,视觉传感器,嵌入式视觉的区别是什么

    智能相机,视觉传感器,嵌入式视觉的区别是:1、功能和应用不同;2、处理能力不同;3、应用领域不同。智能相机具有较强的自主处理和决策能力,广泛应用于需要实时图像分析和处理的场景。视觉传感器主要用于图像和视频的采集,输出给其他设备进行后续处理。 一、视觉传感器 视觉传感器是一种用于捕捉图像或视频的装置,…

    2023年7月30日
    12300
  • Android 为什么设计只有主线程更新UI

    Android 为什么设计只有主线程更新UI:1、单线程更新UI方案简单成熟;2、从执行效率看;3、综合考虑。单线程更新UI方案,优势就很明显,整体设计可能是最简单的,每个控件的设计只需要考虑单线程运行就可以,完全不必关系其他线程更新UI。 一、单线程更新UI方案简单成熟 单线程更新UI方案,优势就…

    2023年5月8日
    9200
  • 激励 理论有哪些

    激励理论包括:1、期望理论;2、公平理论;3、双因素理论;4、马斯洛层次需要理论;5、德鲁克的目标激励理论;6、成就动机理论;7、XY理论;8、强化激励理论。期望理论又称作“效价-手段-期望理论”,是管理心理学与行为科学的一种理论。 1、期望理论 期望理论又称作“效价-手段-期望理论”,是管理心理学…

    2022年12月31日
    1.2K00

发表回复

登录后才能评论
站长微信
站长微信
电话联系

400-800-1024

工作日9:30-21:00在线

分享本页
返回顶部