Zookeeper和YARN的区别是什么

Zookeeper和YARN的主要有两点区别:一、定位不同;二、作用不同;yarn 是为了提高资源利用率,也就是多类程序的资源分配。而zookeeper是分布式程序的协调服务,可以说是某一类程序。

Zookeeper和YARN的区别是什么

一、定位不同

Yarn是分布式资源管理器,Zookeeper是分布式协作服务。

YARN是实现“一个集群多个框架”,即在一个集群上部署一个统一的资源调度管理框架YARN,在YARN之上可以部署其他各种计算框架。由YARN为这些计算框架提供统一的资源调度管理服务,并且能够根据各种计算框架的负载需求,调整各自占用的资源,实现集群资源共享和资源弹性收缩。

Zookeeper是一个分布式协调服务(Coordination),一个leader,多个follower组成的集群,就是为用户的分布式应用程序提供协调服务。

二、作用不同

Yarn主要作用是在每次接收到请求后,会查看当下的各个子节点的状况,统筹出运算资源的调度方案来保证任务可以顺利执行。通常来说,Yarn所调度的资源常常包括磁盘空间的资源,内存的资源和通讯带宽的资源等。可以实现一个集群上的不同应用负载混搭,有效提高了集群的利用率。不同计算框架可以共享底层存储,避免了数据集跨集群移动。

ZooKeeper的价值就在于实现了基于分布式的统一化配置管理,命名服务,状态同步等。在ZooKeeper的体系下,会使用一种树状的文件存储系统,这一套系统强调在各个子节点下的文件目录结构,文件名称以及文件内容都是相同的,而ZooKeeper会通过其内部机制,保证在发送增删改等操作时,各个子节点会同步操作。

延伸阅读

一、ZooKeeper的基本运转流程:

1、选举Leader。

2、同步数据。

3、选举Leader过程中算法有很多,但要达到的选举标准是一致的。

4、Leader要具有较高的执行ID,类似root权限。

5、集群中大多数的机器得到响应并接受选出的Leader。

二、YARN的工作流程:

1、用户向YARN中提交应用程序

2、ResourceManager为该应用程序找到一个可用的NodeManager 并分配一个Container,然后在这个Container中启动应用程序的ApplicationMaster。

3、ApplicationMaster向ResourceManager进行注册,这样用户就可以通过ResourceManager查看应用程序的运行状态并对任务进行监控。

4、ApplicationMaster采用轮询的方式通过RPC协议向ResourceManager 申请和领取资源。

5、ApplicationMaster申请到资源后与对应的NodeManager通信,要求他启动Container并为任务设置好运行环境。

6、应用程序的任务开始在启动的Container中运行,各个任务向ApplicationMaster汇报自己的状态和进度,以便ApplicationMaster随时掌握各个任务的运行状态,从而可以在任务失败时重新启动任务。

7、应用在运行的过程中,客户端通过轮询的方式主动与ApplicationMaster通信以获得应用的运行状态、执行进度等信息

8、应用程序运行完成后,ApplicationMaster向ResourceManager注销并关闭自己。

文章标题:Zookeeper和YARN的区别是什么,发布者:Yang,转载请注明出处:https://worktile.com/kb/p/47300

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
YangYang认证作者
上一篇 2023年3月19日
下一篇 2023年3月19日

相关推荐

  • DevOps与云计算的关系

    DevOps与云计算结合可提升软件开发和部署的效率、弹性和速度。两者相辅相成:1. DevOps促进持续集成和持续部署,优化产品的时间上市;2. 云计算提供按需资源,降低开发及运营成本;3. DevOps在云环境中可以更灵活地进行自动化和监控;4. 两者共同致力于实现更可靠和可扩展的应用部署。在这些…

    2024年1月4日
    30600
  • 数据挖掘与数据分析的主要区别是什么

    数据挖掘与数据分析的主要区别有:1、定义与定位;2、目的与重点;3、方法与技术;4、应用场景;5、输出与反馈;6、所需技能。其中,定义与定位方面,数据挖掘更侧重于从大量数据中发现潜在的规律和关系,而数据分析则更注重对现有数据进行清晰、系统的解读和解释。 1、定义与定位 数据挖掘: 数据挖掘是数据科学…

    2023年7月30日
    98600
  • 如何导出Jira中的数据

    如何导出Jira中的数据?在Jira中导出数据,用户可遵循内置的导出功能,包括导出为CSV、XML、Excel等格式。1、选择所需的Jira报告或问题进行导出;2、利用“导出”选项进行数据导出。在详细描述中,以CSV格式作为例子,CSV导出是较为通用的方式,用户可以通过问题搜索功能进行筛选,然后在页…

    2024年1月3日
    96100
  • okr如何运用|OKR

    OKR(Objectives and Key Results)是一个旨在提升公司、团队和个人绩效的管理工具。通过确定目标(Objectives)和关键成果(Key Results),组织能够聚焦重要事务并追踪进展。OKR的有效运用涵盖了1、目标的设定与定期更新、2、关键成果的量化和监控、3、团队协作…

    2024年1月17日
    21100
  • 项目管理的需求管理和范围管理有什么区别

    项目管理的需求管理和范围管理的区别有:1、焦点不同;2、时间跨度不同;3、角色职责不同。需求管理侧重于明确项目干系人的需求和期望,确保项目的目标和成果与干系人的需求保持一致。而范围管理侧重于定义和控制项目的工作范围,确保项目的工作内容不偏离预期目标。 一、需求管理 需求管理是指在项目启动和规划阶段,…

    2023年7月30日
    1.0K00
  • 数据库做搜索的优点和缺点有哪些

    优点有:一、数据组织结构清晰;二、高效的数据查询;三、支持复杂的查询;四、数据一致性;五、数据安全性。缺点有:一、复杂的设计和维护;二、数据库的成本较高;三、数据库的单点故障;四、数据库的性能瓶颈;五、数据库的安全性问题。 优点 一、数据组织结构清晰 数据库将数据以表格的形式进行组织,每个表格包含多…

    2023年5月30日
    1.0K00
  • PureScript有什么特性

    PureScript的特性:主要为严格求值、持久性数据结构和类型推论。PureScript的类型系统同类似的函数式语言如Haskell共享了很特征:代数数据类型及模式匹配、高种类类型(英语:Kind (type theory))、类型类及函数依赖和高秩多态。 一、PureScript的特性 Pure…

    2023年4月17日
    50200
  • 农业项目投资如何管理公司

    农业项目投资管理是一个复杂但至关重要的过程,它牵涉到了财务规划、项目选择、风险管理、以及市场调研等多个方面。核心在于如何平衡投资与收益、减少风险,在确保农业项目可持续发展的同时,实现公司经济效益的最大化。特别是在风险管理方面,农业项目往往因为自然条件和市场变化的不确定性比其他类型的项目面临更多挑战,…

    2024年4月10日
    5000
  • 工作项目管理内容包括哪些

    工作项目管理内容包括:一、项目规划;二、项目实施;三、项目监控;四、项目收尾;五、项目沟通。项目规划是项目管理的关键环节之一。在这个环节中,需要对项目的目标、范围、进度、成本、质量、风险等进行详细的规划,以确保项目能够顺利实施。 一、项目规划 项目规划是项目管理的关键环节之一。在这个环节中,需要对项…

    2023年4月30日
    44300
  • 环评公司项目如何管理工作

    环评公司项目的管理工作关键在于确保环境影响评估的准确性、效率和合规性。为了达到这一目标,公司需要采取一系列行动,包括但不限于建立健全的项目管理体系、强化团队协作、严格遵守法律法规、优化项目流程和加强客户沟通。其中,建立健全的项目管理体系尤为重要,它不仅是确保项目顺利进行的基础,也是提升公司竞争力的关…

    2024年4月11日
    7500

发表回复

登录后才能评论
注册PingCode 在线客服
站长微信
站长微信
电话联系

400-800-1024

工作日9:30-21:00在线

分享本页
返回顶部