平时开发的时候，相信很多人都碰到过乱码的问题，尤其是中文乱码。多年以前，我学 Python 的时候碰到的第一个难题就是乱码问题，差点《从入门到放弃了》。
当时就是写一段 Python 的 Hello World 程序，只不过是把 Hello World 换成了中文输出，结果你猜怎么着？乱码了。
后来发现是因为 ASCII 编码和 UTF-8 的问题，Python 默认使用了 ASCII ，而我写的中文并不包含在 ASCII 码范围内，要改成 UTF-8。就是在 Python 文件的开头加入下面这一行。
# -*- coding:utf-8 -*-由于当时这个乱码问题印象深刻，以至于多年之后，虽然很长时间不怎么写 Python了，但这一行代码我仍然能够快速的敲出来，并且一个空格都不差。
相信很多同学也有类似的经历，并且在查找解决办法的过程中会碰到 UTF-8、Unicode、GBK、GB2312 等等一堆的代号。之后呢，通过复制粘贴顺利的解决问题。
今天，我们就来理一理 Unicode 和 UTF-8 ，以及其他各种各样的代号之间的关系。
始皇嬴政“车同轨，书同文，统一度量衡”的目的是什么，就是为了统一标准，就是现在的ISO国际标准啊。
Unicode 真正做到了“书同文”的计算机语言标准，所以 Unicode 也叫统一码、万国码。Unicode 也是在不断更新的，过一段时间就要把新形成的文字加进去，比如 emoj 字符（[爱心][庆祝]）。就算有一天外星人来了，也得把外星人的文字加进去。到时候可能就得改名字叫太阳系码、宇宙码了。
Unicode 是一种计算机字符集标准，它就像是一部世界通用的字典，里面包含了几乎所有的文字集合，包括中文、英文、拉丁文、希腊文等等，以及每一种语言中的符号。
阿拉伯数字 「0」的 Unicode 码就是 U+0030，汉字「中」的 Unicode 码就是 U+4E2D，这是固定不变的，符号U+是为了表示这是 Unicode 字符。
你翻开这个字典，找到第0030页，里面就写这阿拉伯数字「0」，翻开第4E2D页，上面就写着汉字「中」。Unicode 码是用十六进制表示的，0030是十六进制的0x0030，4E2D是十六进制的 0x4E2D。
下面这幅图，假设右上角有一盏灯，照着上层深颜色的 Unicode 码，透过Unicode码，投影出来的就是对应的具体字符。（比如做一个旁白，没有美术功底，效果做的不太行）。
图片
Unicode 其实就是用十六进制的 0x0000到0x10FFFF 这个范围内的数字表示的。实际上，是根本用不到这么多的。看下面这个表格，Unicode 被分为17个 Plane（平面），每个平面都有自己的功能，并且大多数平面都是不使用或者很少使用的。
图片
通常我们用到的字符都是在第0号平面的，也叫基本多文种平面，也就是0x0000到0xFFFF这个区间内的。这个区间能表示2的16次方个字符，也就是65536个。拉丁文、常用的东亚文字都在这个区间内。
为什么是65536个呢。一位16进制表示4位2进制，所以4位16进制，正好是二进制的16位，刚好可以表示2的16次方个数字，也就是65536个。
图片
16个平面怎么来的呢，就是在4位16进制前面又加了两位，但是只用到了 0x00到0x10这个区间表示平面，16进制的10，刚好是16，从0到16，一共17个平面。
最常用的就是0号平面，但是1、2、3号平面也用到了一些，比如第2号平面就是放的一些罕见的汉字或地区方言用字，比如粤语的字喃。
至于那些未使用的平面，等将来有了类似于emoj这种字符种类越来越多，或者外星人来的时候用吧。
UTF-8 应该是开发过程中接触最多的代号了，读写文件、数据库等等都会提到它。
UTF-8 全称是 8-bit Unicode Transformation Format，这就清楚了吧，是用来转编Unicode码的。除了UTF-8外，还有UTF-16、UTF-32 ，以及中国的 GB 18030 等。
图片
既然 Unicode 已经包含了所有字符，为什么还要用 UTF-8进行转编呢，直接用 Unicode 码不就好了吗？原因就是如果用 Unicode 会浪费过多的空间，比如 ASCII 码用256位就能全部覆盖了，但是如果用 Unicode 呢，会多出好多空间来。不便于存储以及传输。
所以，Unicode 只制定标准，不做具体实现，具体的实现方式就要依靠 UTF-8、GB18030 这些了。
拿 UTF-8 来说，它是一种可变长字符编码，用ASCII码能表示的就直接用ASCII码，不行的再想办法，主打一个能省则省。
可以用文本编辑器测试一下，写一个英文字母，用 UTF-8 编码保存，大小是1个字节。而如果写一个汉字呢，就是3个字节。
同样的，UTF-16、UTF-32都有自己的一套编码方式，宗旨就是为了减小体积，提高效率。
你可以在记事本中写入一个汉字，然后将编码格式保存为 ANSI 。
图片
然后用其他的工具打开（不要用windows的记事本或写字板，它俩会自动识别），我用 Sublime Text 打开，显示的就是乱码。
图片
这是因为将中文用 ASCII 编码了，而ASCII字符集中根本不存在中文字符，存的什么东西也不知道。当其他工具用 UTF-8 编码准备展示的时候，发现这存的什么东西，它根本不认识啊。最终显示出来的只能是乱码。
如下图所示，分别用 GB18030 和 UTF-8 对Unicode进行编码，无论你最后是在浏览器还是其他的应用程序内，只要支持对应的编码，都可以正确的解析出对应的字符。
图片
而如果你将 UTF-8 编码的字符，用其他的编码方式进行解码，那大概就没那么顺利了，出来的很可能是乱码。例如下面这个，将UTF-8编码后的E4B8AD 用 TMD-8(瞎说的)进行解码，那出来就是????。
图片
此外，我们肯定还听说过 GB2312、GB18030，那它们又是什么呢？
GB18030是GB2312的扩展版本（升级版），现在的标准就是GB18030，GB2312 可以不再使用了。
GB2312和GB18030即是字符集，又同时是编码方式。
以前GB2312是专门为了中文以及少数民族字符设计的，随着不断的扩充，GB18030已经支持 Unicode 字符集了。
本文链接：http://www.28at.com/showinfo-26-39504-0.html你 UTF-8 乱码，关我 Unicode 什么事
声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com
Copyright © 2016-2023 天津谷骐科技有限公司 版权所有 sitemap.xml
违法及侵权请联系：2376512515@qq.com 津ICP备18001702号
津公网安备 12010102000574号