hdfs有哪些缺点

hdfs有以下缺点:1、不能做到低延迟数据访问;2、不适合大量的小文件存储;3、不能并发写入、文件随机修改。不能做到低延迟数据访问是指HDFS 针对一次性读取大量数据做了优化,但它在低延时的情况下是不行的,比如毫秒级以内读取数据,这样它是很难做到的。

hdfs有哪些缺点-Worktile社区

1、不能做到低延迟数据访问

HDFS 针对一次性读取大量数据继续了优化,牺牲了延迟性。例如,订单是否适合存储在HDFS中,要求数据毫秒级就要查出来。它适合高吞吐率的场景,就是在某一时间内写入大量的数据。但是它在低延时的情况下是不行的,比如毫秒级以内读取数据,这样它是很难做到的。如果要处理一些用户要求时间比较短的低延迟应用请求,则HDFS不适合。HDFS是为了处理大型数据集分析任务的,主要是为达到高的数据吞吐量而设计的,这就可能要求以高延迟作为代价。

2、不适合大量的小文件存储

不适合大量的小文件存储,如果真有这种需求的话,要对小文件进行压缩。由于namenode将文件系统的元数据存储在内存中,因此该文件系统所能存储的文件总数受限于namenode的内存容量。根据经验,每个文件、目录和数据块的存储信息大约占150字节。因此,如果有一百万个小文件,每个小文件都会占一个数据块,那至少需要300MB内存。如果是上亿级别的,就会超出当前硬件的能力。

3、不能并发写入、文件随机修改

不适合修改,实际中网盘、云盘内容是不允许修改的,只能删了重新上传,它们都是Hadoop实现的。HDFS适合一次写入,多次读取的场景。对于上传到HDFS上的文件,不支持修改文件。Hadoop2.0虽然支持了文件的追加功能,但不建议对HDFS上的文件进行修改。因为效率低下。不支持用户的并行写:同一时间内,只能有一个用户执行写操作

延伸阅读:

什么是hdfs?

Hadoop分布式文件系统(HDFS)是指被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统(Distributed File System)。它和现有的分布式文件系统有很多共同点。但同时,它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统,适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束,来实现流式读取文件系统数据的目的。HDFS在最开始是作为Apache Nutch搜索引擎项目的基础架构而开发的。HDFS是Apache Hadoop Core项目的一部分。

HDFS有着高容错性(fault-tolerant)的特点,并且设计用来部署在低廉的(low-cost)硬件上。而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求(requirements)这样可以实现流的形式访问(streaming access)文件系统中的数据。

HDFS采用了主从(Master/Slave)结构模型,一个HDFS集群是由一个NameNode和若干个DataNode组成的。其中NameNode作为主服务器,管理文件系统的命名空间和客户端对文件的访问操作;集群中的DataNode管理存储的数据。

文章标题:hdfs有哪些缺点,发布者:小编,转载请注明出处:https://worktile.com/kb/p/35277

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
小编小编认证作者
上一篇 2023年1月11日 下午10:00
下一篇 2023年1月11日 下午10:02

相关推荐

  • 千兆路由和百兆路由的区别

    千兆路由和百兆路由的区别有:1、网络端口不同;2、无线速率不同;3、芯片区别。路由器的端口分WAN口和LAN口,百兆端口和千兆端口指的是路由器的传输速率,千兆路由器的网络端口速率为1000Mbps,百兆路由器的端口是100Mbps。

    2023年1月31日
    86700
  • 人力资源管理与项目管理的关系是什么

    人力资源管理是项目管理的核心内容。项目团队成员属于内部人力资源,而其他则为外部人力资源。项目管理中的人力源管理具有很明显的周期性,项目结束该人力资源管理也随之结束,因此项目管理中的人力资源管理是非系统化的。

    2023年1月2日
    77100
  • 软件企业哪个管理系统好用

    软件企业管理系统有:一、PingCode;二、JIRA;三、tracup;四、coding。PingCode是国内软件研发项目管理软件。功能以及解决的问题有:能够支持看板、敏捷等多种项目的管理;管理团队目标,监控单或多项目的进度、管理计划分配资源、管理团队或个人的工作效率。 一、PingCode P…

    2023年4月16日
    22700
  • oa办公破解版

    标题:OA办公破解版 OA办公破解版涉及版权侵犯和法律风险。1、使用破解版软件可能导致安全风险,如病毒感染和数据泄露。2、破解软件使用通常违反版权法和合同法。3、正版软件提供商会提供更新和技术支持,破解版则无法享有。4、企业使用破解版可能面临法律诉讼和声誉损失。在众多问题中,数据安全尤为重要,使用未…

    2024年1月11日
    21700
  • 服务器可以存图片吗

    服务器图片通常作为文件或作为服务器存储设备上的分区存储在服务器上。服务器图片是服务器配置和状态的快照,包括操作系统、应用程序、数据和设置。服务器图片通常用于创建新服务器或将服务器恢复到以前的状态。 一、服务器图片存储在服务器上的方法 作为文件:服务器图片可以作为文件存储在服务器的存储设备上。这些文件…

    2023年7月22日
    44000
  • 项目工时统计有什么好的软件吗

    项目工时统计的软件有:一、RescueTime;二、Toggl;三、Clockify;四、Everhour。RescueTime 是一款自动记录电脑工作路径的软件,能自动记录电脑用户使用了哪些软件及时长,并从日、周、月等不同时间范围自动分析用户的高效工作、普通工作、聊天活动等时长。 一、Rescue…

    2023年3月19日
    58800
  • 资产管理APP开发有什么作用

    资产管理APP开发有什么作用:1、资金记录;2、每日额度;3、超支提醒;4、管理计划;5、未来计划。资金记录是指,app会自动帮助用户记录下每笔资金的进入与支出,对于每一笔资金的动向都能够心知肚明。 一、资产管理app开发有什么作用 1、资金记录 app会自动帮助用户记录下每笔资金的进入与支出,对于…

    2023年6月3日
    27000
  • DevOps中的自动化容器编排

    自动化容器编排在DevOps实践中提供了弹性、高效和可伸缩的部署方案。它的核心优势在于提高了部署速度、促进了资源的优化利用、强化了服务的可靠性。在众多容器编排工具中,Kubernetes 出类拔萃,成为行业标杆。Kubernetes 不单能高效管理容器生命周期,还能够根据实时负载动态调整资源分配、保…

    2024年1月4日
    15500
  • 如何理解项目管理

    项目管理是系统地规划、组织和控制分配给项目的资源以实现特定目标的过程。项目管理的核心在于确认目标、分配任务、监督进度、平衡资源与优化风险管理。在项目管理中,特定目标的确立涉及明确项目的范围、时间、成本、质量及参与者期望。 一、项目管理的起源与发展 项目管理作为一门学科始于20世纪,起初用于大型工程和…

    2024年1月8日
    18700
  • 电脑分辨率与手机分辨率区别在哪

    电脑分辨率与手机分辨率的区别有:1、屏幕尺寸;2、显示密度;3、应用场景;4、技术发展;5、视觉体验;6、兼容性问题。随着科技的不断进步,显示技术也在不断发展。无论是电脑还是手机,分辨率都成为衡量显示效果的关键指标。但电脑与手机在分辨率上存在许多区别。 1、屏幕尺寸 电脑:一般拥有较大的屏幕尺寸,常…

    2023年7月31日
    1.6K00

发表回复

登录后才能评论
站长微信
站长微信
电话联系

400-800-1024

工作日9:30-21:00在线

分享本页
返回顶部