Zookeeper和YARN的区别是什么

Zookeeper和YARN的主要有两点区别:一、定位不同;二、作用不同;yarn 是为了提高资源利用率,也就是多类程序的资源分配。而zookeeper是分布式程序的协调服务,可以说是某一类程序。

Zookeeper和YARN的区别是什么

一、定位不同

Yarn是分布式资源管理器,Zookeeper是分布式协作服务。

YARN是实现“一个集群多个框架”,即在一个集群上部署一个统一的资源调度管理框架YARN,在YARN之上可以部署其他各种计算框架。由YARN为这些计算框架提供统一的资源调度管理服务,并且能够根据各种计算框架的负载需求,调整各自占用的资源,实现集群资源共享和资源弹性收缩。

Zookeeper是一个分布式协调服务(Coordination),一个leader,多个follower组成的集群,就是为用户的分布式应用程序提供协调服务。

二、作用不同

Yarn主要作用是在每次接收到请求后,会查看当下的各个子节点的状况,统筹出运算资源的调度方案来保证任务可以顺利执行。通常来说,Yarn所调度的资源常常包括磁盘空间的资源,内存的资源和通讯带宽的资源等。可以实现一个集群上的不同应用负载混搭,有效提高了集群的利用率。不同计算框架可以共享底层存储,避免了数据集跨集群移动。

ZooKeeper的价值就在于实现了基于分布式的统一化配置管理,命名服务,状态同步等。在ZooKeeper的体系下,会使用一种树状的文件存储系统,这一套系统强调在各个子节点下的文件目录结构,文件名称以及文件内容都是相同的,而ZooKeeper会通过其内部机制,保证在发送增删改等操作时,各个子节点会同步操作。

延伸阅读

一、ZooKeeper的基本运转流程:

1、选举Leader。

2、同步数据。

3、选举Leader过程中算法有很多,但要达到的选举标准是一致的。

4、Leader要具有较高的执行ID,类似root权限。

5、集群中大多数的机器得到响应并接受选出的Leader。

二、YARN的工作流程:

1、用户向YARN中提交应用程序

2、ResourceManager为该应用程序找到一个可用的NodeManager 并分配一个Container,然后在这个Container中启动应用程序的ApplicationMaster。

3、ApplicationMaster向ResourceManager进行注册,这样用户就可以通过ResourceManager查看应用程序的运行状态并对任务进行监控。

4、ApplicationMaster采用轮询的方式通过RPC协议向ResourceManager 申请和领取资源。

5、ApplicationMaster申请到资源后与对应的NodeManager通信,要求他启动Container并为任务设置好运行环境。

6、应用程序的任务开始在启动的Container中运行,各个任务向ApplicationMaster汇报自己的状态和进度,以便ApplicationMaster随时掌握各个任务的运行状态,从而可以在任务失败时重新启动任务。

7、应用在运行的过程中,客户端通过轮询的方式主动与ApplicationMaster通信以获得应用的运行状态、执行进度等信息

8、应用程序运行完成后,ApplicationMaster向ResourceManager注销并关闭自己。

文章标题:Zookeeper和YARN的区别是什么,发布者:Yang,转载请注明出处:https://worktile.com/kb/p/47300

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
YangYang认证作者
上一篇 2023年3月19日
下一篇 2023年3月19日

相关推荐

  • 为什么合并排序和快速排序的平均时间复杂度都是O(nlogn)

    合并排序和快速排序的平均时间复杂度都是O(nlogn)的原因:它们都采用了分治策略,将问题分解成子问题并递归地求解。合并排序算法将待排序序列不断划分成两个子序列,直到每个子序列只有一个元素;快速排序算法每次分割操作将数组分成两个长度较为相等的部分。 一、合并排序和快速排序的平均时间复杂度都是O(nl…

    2023年4月15日
    84800
  • 项目管理软件都有什么

    项目管理软件有:1、Microsoft Project;2、Trello;3、Asana;4、Basecamp;5、JIRA。项目管理软件是一类用于帮助项目团队完成项目管理任务的工具。 一、项目管理软件是什么 项目管理软件是一类用于帮助项目团队完成项目管理任务的工具。它能够帮助团队计划、组织、协调和…

    2023年3月3日
    19300
  • 企业oa系统

    企业OA系统的5个核心优势包括:1、流程自动化,提高办公效率;2、集中管理,确保信息安全;3、协同工作,强化团队合作;4、便捷化沟通,畅通无阻的信息流转;5、数据分析,助力管理决策。在众多优势中,流程自动化的重要性不容忽视。它通过将日常办公流程数字化和标准化,显著缩短了事务处理时间,切实提升了工作效…

    2024年1月12日
    12400
  • 流程管理的核心是什么内容

    流程管理的核心是流程,具体涉及的内容包括:1.企业战略;2.流程体系;3.流程管理人员;4.流程管理工具;5.子流程;6.流程嵌套。流程是企业正常运作的基础,流程会带动关键信息数据在各个部分和工作人员之间流转,驱动业务正常运转。 1.企业战略 战略起着决定性作用,实现支持战略是流程所需要,而对应的流…

    2022年11月13日
    1.0K00
  • oa系统企业

    标题:探讨OA系统在企业中的应用与发展 摘要: OA系统在企业中的作用多元且战略性,在提升效率、优化流程、促进信息共享等方面展现出不凡的价值。 1、降低运营成本;2、促进沟通协同;3、强化信息管理;4、促进决策支持;5、提升员工满意度;6、增强数据安全性。在诸多价值中,促进沟通协同被视为OA系统的一…

    2024年1月12日
    11300
  • python逆序输出三位数

    使用Python逆序输出三位数可以通过多种方式实现,包括:1、通过字符串转换和切片操作;2、利用算法进行数字操作;3、使用递归实现。下面将详细介绍这三种主要的方法,以便用户选择合适的方式进行三位数的逆序输出。 逆序输出三位数是一个常见的编程练习。在Python中,可以通过多种方式来实现这一目标。下面…

    2023年8月8日
    93600
  • 深度学习加速策略BN、WN和LN的区别是什么

    深度学习加速策略BN、WN和LN的区别是:1、实现原理;2、应用场景。批归一化是一种通过规范化输入数据的方法。重标准化是一种对模型权重进行归一化的方法。层归一化是一种对每一层的输出进行归一化的方法,它与BN类似。 一、实现原理 BN:批归一化是一种通过规范化输入数据的方法,将每个特征通道的输入在一个…

    2023年7月30日
    41600
  • 日程任务管理系统是什么

    任务管理系统是一套适用于任何协作型组织(如政府机关、企事业单位),全面实施任务过程化、规范化、信息化的管理软件产品。以A(金字塔)&T(扁平化)管理思想为理论基础,以任务(项目、活动、事宜)过程化管理为核心。 一、日程任务管理系统是什么 任务管理系统以整合企事业单位内、外部资源实现知识协同管…

    2023年4月22日
    34700
  • 协同文件怎么弄

    协同文件可以用以下工具弄:一、石墨文档;二、简道云;三、Coggle;四、金山文档;五、飞书。石墨文档是一款文档编辑软件,分享的文档支持多人实时协作。页面设计我清清爽爽,没有太多花里胡哨的设计。 一、石墨文档 石墨文档是一款文档编辑软件,分享的文档支持多人实时协作。页面设计我也比较喜欢,清清爽爽,没…

    2023年4月29日
    26500
  • oa系统什么样

    OA系统,即办公自动化系统,是指通过计算机硬件和软件资源,实现办公室信息化,提高工作效率和质量的综合系统工具。OA系统通过整合信息资源、优化流程管理、支持远程协作、提供决策支持等功能,改善和简化了传统办公方式。该系统允许用户在一个平台上处理文档、执行工作流任务、进行沟通协作,以及管理个人和团队日程。…

    2024年1月17日
    9600

发表回复

登录后才能评论
站长微信
站长微信
电话联系

400-800-1024

工作日9:30-21:00在线

分享本页
返回顶部