Java为什么使用UTF-16而不是更节省内存的UTF-8

Java使用UTF-16而不是更节省内存的UTF-8是因为UTF-16可以做到大部分常见的文字按2个字节存储,少量不常见的字符按4个字节存储,统计和定位字符的效率比UTF-8高。而UTF-8划分的变长空间多,这方面是个不能忽视的短板。

Java为什么使用UTF-16而不是更节省内存的UTF-8-Worktile社区

所谓UTF-8更节省内存的说法,对广大东亚文字来说根本就是伪命题。UTF-8更省内存只有在文本内绝大部分是ASCII的字符下才成立,也就是只需要一个字节即可表示一个字符,比如英文字母、数字、半角标点符号等。而东亚文字,比如常见的汉字,用UTF-8传输和存储则需要3个字节。相比之下,UTF-16对大部分常见文字只需要2个字节,不常见的文字才需要4个字节。谁更节省内存取决于内容,而不是编码本身。

 Java 当时选择了 UCS-2 与 Windows 一致,而 UCS-2 是定长编码。后来,BMP 已经不够表示 Unicode 了,UCS-2 无法表示,于是就有了 UCS-4,虽然 UCS-4 暂时可以保证定长,但 UCS-4 会显得过于浪费内存。于是,就回到了变长编码。

变长编码是用 UTF-8 还是 UTF-16?显然 UTF-8 有很多优势,因为 UTF-8 在7bit区域跟 ASCII 兼容,而 UTF-16 仅仅只在 BMP 区域与 UCS-2 兼容。

当初用 UCS-2 是因为它定长,而随着 Unicode 字符数量的暴增,UCS-2 无法定长,就变成了一个相对鸡肋的编码,为了保持兼容性只能继续存在。

UTF-16除了兼容UCS-2以外并无明显优势,毕竟UTF-16是变长编码。

来源:https://www.zhihu.com/question/308677093/answer/2748610506

https://www.zhihu.com/question/308677093/answer/2745757552

延伸阅读

UTF-8和UTF-16的区别

1、主要的UTF-8优点:

  • 基本的ASCII字符如数字,没有重音的拉丁字符等占用一个与US-ASCII表示相同的字节。 通过这种方式,所有US-ASCIIstring都变成了有效的UTF-8,在很多情况下它提供了不错的向后兼容性。
  • 没有空字节,它允许使用以空字符结尾的string,这也引入了大量的向后兼容性。
  • UTF-8与字节顺序无关,因此您不必担心Big Endian / Little Endian问题。

2、主要的UTF-8缺点:

  • 许多常见的字符长度不同,这会减慢编码点的索引,并可能会严重计算编码点数。
  • 即使字节顺序并不重要,但有时UTF-8仍然具有BOM(字节顺序标记),用于通知文本以UTF-8编码,并且即使文本只包含ASCII字符也不兼容ASCII软件。 微软软件(如记事本)特别喜欢把BOM添加到UTF-8。

3、主要的UTF-16优点:

  • BMP(基础多语言平面)字符,包括拉丁文,西里尔文,大多数中文(中华人民共和国支持强制性BMP以外的一些代码点),大多数日文可以用2个字节表示。 如果文本不包含补充字符,这将加快索引和计算代码点数。
  • 即使文本具有补充字符,它们仍由16位值对表示,这意味着总长度仍可被2整除,并允许使用16位char作为string的基本组成部分。

4、主UTF-16缺点:

  • 在US-ASCIIstring中有很多空字节,这意味着没有以空字符结尾的string和大量浪费的内存。
  • 在许多常见情况下(特别是在美国/欧盟/西里尔字母/以色列/阿拉伯国家/伊朗等国家),使用它作为固定长度编码“通常会起作用”,如果不这样做,通常会导致断开的支持。 这意味着程序员必须注意代理对,并在重要的情况下正确处理它们!
  • 它的长度是可变的,所以对码点进行计数或索引是很昂贵的,尽pipe比UTF-8less。

一般来说,UTF-16通常比内存表示更好,因为BE / LE在那里是不相关的(只是使用本地顺序),索引更快(只是不要忘记正确处理代理对)。 另一方面,UTF-8对于文本文件和networking协议是非常好的,因为不存在BE / LE问题,空终止常常派上用场,而且兼容ASCII。

文章标题:Java为什么使用UTF-16而不是更节省内存的UTF-8,发布者:小编,转载请注明出处:https://worktile.com/kb/p/37293

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
小编小编
上一篇 2023年2月7日 下午5:12
下一篇 2023年2月7日 下午5:58

相关推荐

  • 学编程PLC要买什么电脑

    学习PLC编程不必购置高性能电脑,主要关注三个方面: 1、处理器性能、2、稳定的内存容量、以及3、足够的硬盘存储。在处理器性能方面,多数PLC编程软件对CPU的要求不高,但考虑未来学习的可能性扩展和软件的更新,选择具有较好性能的处理器能保证软件运行的流畅度和未来的兼容性,例如,中高端的i5或i7处理…

    2024年5月16日
    11000
  • 用什么编程公式炒股好

    实现股市自动化交易的成功率较高的几种编程公式分别是移动平均线交叉、相对强弱指数(RSI)、MACD交叉和量价分析。在这些方法中,移动平均线交叉是一种常用的技术分析工具,它基于两条不同周期的移动平均线之间的关系来决定买卖时机。当短期平均线从下方穿越长期平均线时,通常被解释为买入信号,反之则为卖出信号。…

    2024年5月16日
    5300
  • 新手编程序用什么软件

    新手编程推荐使用的软件有1、Visual Studio Code、 2、Sublime Text、 3、Atom。 对于初学者来说,Visual Studio Code(VS Code)是一个十分理想的选择。它是由微软开发的一款免费、开源的编辑器,支持多种编程语言,并且具有强大的社区支持。VS Co…

    2024年5月16日
    7700
  • 编码编程是什么意思

    编码编程是1、使用编程语言将指令转换成机器可以执行的代码、2、软件开发过程中的一个重要环节。在这个过程中,最显著的特点是将解决问题的策略和逻辑用具体的编程语言形式表达出来。这就需要开发者不仅要掌握一门或多门编程语言,还需要具备逻辑思维和解决问题的能力。通过编码,开发者能够让计算机执行特定任务,从而达…

    2024年5月16日
    2600
  • 网上教编程的是什么

    网上教授编程主要是通过数字平台向用户提供编程知识与技能的学习资源和指导。在这种方式中,互动式教学特别受到重视,因为它能够模拟真实的编程环境,让学习者在实践中掌握知识。这种教学方法不仅包括视频课程、在线讲座和实时代码编写实践,还可能涵盖编程挑战和项目构建等元素,用以增强学习者的实战能力。 I、互动平台…

    2024年5月16日
    3100

发表回复

登录后才能评论
注册PingCode 在线客服
站长微信
站长微信
电话联系

400-800-1024

工作日9:30-21:00在线

分享本页
返回顶部