Apache Hadoop, IBM Symphony Platform, Aliyun ODPS, Tencent TDW 的区别与联系

区别:Apache Hadoop属于开源的分布式计算基础架构。IBM Platform Symphony的一个核心优势是,它能屏蔽底层基础设施的复杂性。ODPS底层的基础架构和Hadoop类似,基本理论基础是Gooogle开放的那几篇论文。Tencent TDW是腾讯基于Hadoop生态圈的开源产品搞出来的一套腾讯内部自己的数据仓库解决方案。

Apache Hadoop

Apache Hadoop属于开源的分布式计算基础架构,理论基础是Google开放的几篇论文,主要组件包括分布式存储HDFS, 编程模型MapReduce,分布式锁Zookeeper。开源社区和各大公司基于Hadoop平台为应对不同场景开发了很多其他系统,像数据仓库领域的Hive、Pig等,NoSQL领域的HBase,机器学习领域的Mahout等等。从生态繁荣的角度说,Hadoop生态圈是这几个东西里最繁荣的,繁荣到难以想象,甚至最近比较火的Spark基本在以一个新的思路在重新定义各种实现。在Hadoop生态圈找不到解决方案,用其他产品也很难找到。业界各公司在Hadoop都有很大的投入或依赖,像Facebook,国内的BAT都有很大规模的Hadoop集群。

IBM Symphony Platform

IBM Platform Symphony的一个核心优势是,它能屏蔽底层基础设施的复杂性,在共享底层基础设施环境的基础上,为上层各个不同的大数据应用提供一个多租户的环境。同时,它还能支基于Hadoop开发的大数据应在同一个分布式基础设施环境上运行。

Aliyun ODPS

 ODPS底层的基础架构和Hadoop类似,基本理论基础是Gooogle开放的那几篇论文。ODPS的产品形态是开放的公共服务,这是产品形态上最大的区别,同类可参考的是Google的BigQuery。

Tencent TDW

Tencent TDW可以大概理解成是腾讯基于Hadoop生态圈的开源产品搞出来的一套腾讯内部自己的数据仓库解决方案。对Hadoop,Hive做了一些改进、修改,开发了一些方便系统、数据管理的工具、服务。

延伸阅读:

什么是ODPS?

开放数据处理服务(Open Data Processing Service,简称ODPS)是基于飞天分布式平台,由阿里云自主研发的海量数据离线处理服务。ODPS以RESTful API的形式提供针对PB级别数据的、实时性要求不高的批量结构化数据存储和计算能力,主要应用于数据分析与统计、数据挖掘、商业智能等领域。阿里金融、淘宝指数、数据魔方等阿里巴巴关键数据业务的离线处理作业都运行在ODPS上。

ODPS提供了数据上传下载通道和SQL处理操作,并且提供了海量数据仓库的解决方案以及针对大数据的分析建模服务。

2014年7月8日,阿里巴巴集团旗下阿里云计算发布大数据产品——开放数据处理服务ODPS。据悉,ODPS可在6小时内处理100PB数据,相当于1亿部高清电影。通过ODPS在线服务,花几百元即可分析海量数据。全球只有Google、亚马逊等少数公司掌握这种能力。

文章标题:Apache Hadoop, IBM Symphony Platform, Aliyun ODPS, Tencent TDW 的区别与联系,发布者:小编,转载请注明出处:https://worktile.com/kb/p/39004

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
小编小编认证作者
上一篇 2023年2月21日 上午1:58
下一篇 2023年2月21日 上午2:00

相关推荐

  • 如何确保AI的决策是公正的

    在人工智能(AI)逐渐渗入日常决策过程的今天,确保其公正性成为了当下亟待解决的难题。为保证AI决策的公正,需要遵循一系列核心原则:透明度1、多样性2、可解释性3、稳健性4。首先,透明度涉及决策过程的可审查性及算法逻辑的公开。多样性则要求在训练AI时的数据集要能反映现实社会的多元面貌。而可解释性则指A…

    2023年11月24日
    41400
  • oa是个什么意思

    OA两个字母的含义因领域和上下文不同而有所变化,通常可能指的是办公自动化(Office Automation)、开放获取(Open Access)、骨关节炎(Osteoarthritis)等。在科技产业中,办公自动化(Office Automation) 指代使用计算机及网络技术优化办公流程,增进组…

    2024年1月11日
    26200
  • c++ 实时消息系统用什么in-process数据库

    可以用以下数据库:一、SQLite;二、RocksDB;三、LMDB;四、Redis。SQLite 是一个轻量级的 in-process 数据库,完全由 C 语言编写。它非常适合嵌入式系统和移动设备。SQLite 的特点是占用资源少,速度快,可靠性高,易于集成和部署。 一、SQLite SQLite…

    2023年5月30日
    43400
  • linux清屏命令

    linux清屏命令:1、clear命令;2、ctrl+l命令;3、reset命令;4、printf “\033c”命令;5、printf “\033[2J\033[3J\033[1;1H”命令;6、alias cls=’clear’命令。clear命令将会刷新屏幕,本质上只是让终端显示页向后翻了一页…

    2023年3月17日
    1.9K00
  • 黑客攻击有哪些手段

    黑客攻击手段有很多,其中最常见的手段包括:1、社交工程;2、破解密码;3、用恶意软件感染设备;4、利用不安全的无线网络;5、获得后门访问权限;6、监视电子邮件;7、记录键盘操作;8、创建僵尸计算机。

    2022年10月18日
    1.9K00
  • pc端有什么好用的工作计划软件

    pc端好用的工作计划软件有:1、微软To Do;2、Todoist;3、Microsoft Outlook;4、Trello;5、Notion。微软To Do是微软公司推出的一款免费的工作计划软件,它可以让我们创建清单、添加任务、设置截止日期和提醒、分配优先级和标签等。 一、微软To Do 这是微软…

    2023年4月20日
    2.1K00
  • 监控项目具体包括什么工作

    监控项目具体包括以下工作:1、开展基层局部监控;2、分析和预测的结果;3、开展高层全局监控;4、审批变更请求;5、处理其他问题。开展基层局部监控指监督风险、沟通和相关方参与过程,得到工作绩效信息,分析绩效偏差的程度和原因,并预测未来绩效。

    2023年1月17日
    76900
  • 机器学习中如何融合多种特征或分类方法

    机器学习中如何融合多种特征或分类方法有:1、特征工程;2、模型堆叠;3、投票策略;4、加权平均;5、融合学习;6、多视图学习。其中,特征工程是将不同来源的特征进行整合和转化,以提高模型的预测能力,而模型堆叠则是将不同的分类器的预测结果作为新的特征输入到另一个分类器中。 1、特征工程 将来自不同数据源…

    2023年7月30日
    1.1K00
  • C语言char数组字符串时,为什么在用输出printf时,数组前不加间接寻址符号*

    在C语言中,char数组常常用来存储字符串。字符串在C语言中是一个字符数组,以’\0’结尾,即空字符。在使用printf输出字符串时,我们通常不需要在char数组前加上间接寻址符号’*’,这是因为在C语言中,数组名本身就是一个指向数组首元素的指针,即数…

    2023年3月1日
    1.1K00
  • 业主如何控制项目成本管理

    业主如何控制项目成本管理是一个关键议题,影响项目的整体成功。业主可以通过细化预算编制、实施成本控制、优化设计、增强供应商管理和使用项目管理软件五个策略来控制项目成本。其中,细化预算编制是基础性工作,它涉及到将项目成本分解到具体的工作包和活动,以便更准确地跟踪和管理成本。这项策略要求业主在项目启动初期…

    2024年4月10日
    6600

发表回复

登录后才能评论
注册PingCode 在线客服
站长微信
站长微信
电话联系

400-800-1024

工作日9:30-21:00在线

分享本页
返回顶部