当前位置：首页 > 科技 > 软件

两位巨佬吃了一顿晚饭，整个互联网彻底被改变了！

来源：责编：时间：2024-07-17 16:54:26 713观看

导读1992年9月，一个周三的下午，贝尔实验室。 Rob Pike (Go语言发明人之一) 正在操作系统Plan 9 上忙碌，这是继Unix之后的一个大工程，马上就要完工了，这个时候他突然接到了一个电话。电话是IBM的人打来的，他们正在奥斯汀参

1992年9月，一个周三的下午，贝尔实验室。

Rob Pike (Go语言发明人之一) 正在操作系统Plan 9 上忙碌，这是继Unix之后的一个大工程，马上就要完工了，这个时候他突然接到了一个电话。

（年轻帅气的Rob Pike）

电话是IBM的人打来的，他们正在奥斯汀参加X/Open 委员会会议，想请Rob Pike 和 Ken Thomson （Unix发明人）对他们设计的一个Unicode编码进行评审。

Rob Pike知道X/Open委员会主要负责制定Unix上的标准规范，以便提高应用程序的在不同Unix变体上的移植性。

很明显，这一次会议的主题是：编码！

Rob Pike想到了自己正在忙活的操作系统Plan 9 ，为了支持全世界的语言如英文、中文、韩文、日文、阿拉伯文...... Plan 9 当然要用Unicode 。

(这货怎么和Go的吉祥物长得如此之像？）

大家都知道Unicode只是规定了每个字符用什么编码，但是没有规定如何去存储，当时Plan 9 采用了一个叫做ISO 10646 UTF编码，但是这个编码实在不怎么样，按照Rob Pike的话说：我们恨这个编码。

Rob 和 Ken 立刻意识到：机会来了！

Rob ：我们有丰富的经验，为什么不设计一个真正好用的Unicode存储标准呢？

Ken ：同意，我们设计出来，把标准推广的事情交给X/Open委员会。

俩人向IBM的人表达了这个想法，得到了支持，条件是：一定要快，快速设计、快速实现。

因为下周一就要投票表决了！

对于天才程序员来说，快速、高质量把活儿搞定就是小菜一碟。

Ken ：还记得《老婆离家三周，我开发了一个操作系统吗？》

他们俩慢悠悠地去餐厅吃饭，在吃饭期间，Ken 和 Rob就把基本的方案给设计出来了，这就是大名鼎鼎的UTF-8。

回到贝尔实验室，他们就把想法写成了提纲，发给了X/Open 委员会的人，委员会的回复是：

这比我们设计的版本好多了，你们什么时候能实现它？

Rob 和Ken 拍着胸脯说：放心吧，下周一肯定能有一个完整的、可以运行的实现。

当天晚上（周三），他们俩就卷起袖子干活， Ken 把packing和unpacking的代码搞定， Rob则去折腾C和图形库相关的东西。

周四，所有的代码都已完成，开始将Plan 9操作系统上的文本文件转成UTF-8

周五，Plan 9 操作系统就已经运行在UTF-8上面了。

实际花费不到三天！

这三天的工作成果最终统治了整个互联网的编码标准，统计显示，现在96.8%的Web网站在使用UTF-8。

图片

故事讲完了，我们来看看为什么UTF-8能流行起来。

前面说过Unicode只是一个字符集，它规定了每个字符的二进制代码，例如“码” ，对应的Unicode 是7801 ，二进制是

111 1000 0000 0001

需要两个字节来保存，如果表示其他更大范围的字符，可能需要3个字节或者4个字节，甚至更多。

当计算机面对这两个字节的字节流的时候，就会出现严重的问题：计算机怎么知道这两个字节表示的是一个字符？还是两个字符？

大家知道英文字母用一个字节保存就够了，如果Unicode规定每个英文字符也用两个字节或三个字节来保存，那每个英文字母前面势必要补上0，文本文件要大两到三倍。

这是巨大的浪费，肯定不行。

Rob和Ken的设计的UTF-8就比较聪明，看看这个表：

图片

把Unicode 转换成UTF-8，非常简单，比如汉字“码” ， Unicode 是7801 ，二进制是 111 1000 0000 0001

7801对应上图的第三行，只要把二进制从右向左填到对应的“模板”中就行，不够的补零

图片

更多的细节就不展开了，关键要看看UTF-8有什么好处。

1. 兼容ASCII，表格中的第一行就是为ASCII所设。

多字节编码的每个字节的最高位永远是 1，而 ASCII 字符编码的最高位是 0，所以从根本上杜绝了编码冲突。

2. 第一个字节就指明了后续的长度

当程序面对一个字节流的时候，只需要读出第一个字节最前面有几个1 ，就知道这个字符的长度，解码很方便。

图片

3. 前缀码

大家仔细观察下， UTF-8中没有任何合法字符是其他字符的前缀，这样就带来了一个好处：支持程序快速地跳过有问题的字节，然后正常解码。

假设有两个中文 “码” 和 “农”，对应的UTF-8编码为E7A081(码) and E5869C(农)。

但是网络传输丢失了一些数据，变成了 E781 E5869C （即“码”的A0丢失了）

现在程序先读到了E7, 二进制是 1110 0111，它就知道这个字符应该是3字节的，并且后面的两个字节都应该以10 开头。

于是它就要再读两个字节，因为A0这个字节丢失了，程序读到了81 和 E5。

程序就发现：

81 （二进制10000001）是符合规范的

E5(二进制11100101)的开始两个bit不是10啊，这应该是另外一个字符的开始。

所以程序就判断出有字符丢失了，可以丢弃刚读到的E7 81 , 然后从E5开始读取， E5 86 9C ，最终显示“农”字。

是不是很巧妙？

本文链接：http://www.28at.com/showinfo-26-101379-0.html两位巨佬吃了一顿晚饭，整个互联网彻底被改变了！

声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com

上一篇： Trip.com QUIC 高可用及性能提升

下一篇：基于Netty的自研流系统缓存实现挑战: 内存碎片与OOM困境

标签：

热门焦点

一加Ace2 Pro真机揭晓钛空灰配色质感拉满

终于，在经过了几波预热之后，一加Ace2 Pro的外观真机图在网上出现了。还是博主数码闲聊站曝光的，这次的外观设计还是延续了一加11的方案，只是细节上有了调整，例如新加入了钛空灰
K60至尊版狂暴引擎2.0加持：超177万跑分斩获性能第一

Redmi的后性能时代战略发布会今天下午如期举办，在本次发布会上，Redmi公布了多项关于和联发科的深度合作，以及新机K60 Ultra在软件和硬件方面的特性，例如：“K60 至尊版，双芯旗舰
摸鱼心法第一章——和配置文件说拜拜

为了能摸鱼我们团队做了容器化，但是带来的问题是服务配置文件很麻烦，然后大家在群里进行了“亲切友好”的沟通图片图片图片图片对比就对比，简单对比下独立配置中心和k8s作为配
JVM优化：实战OutOfMemoryError异常

一、Java堆溢出堆内存中主要存放对象、数组等，只要不断地创建这些对象，并且保证 GC Roots 到对象之间有可达路径来避免垃圾收集回收机制清除这些对象，当这些对象所占空间超过
猿辅导与新东方的两种“归途”

作者｜卓心月出品｜零态LT（ID：LingTai_LT）如何成为一家伟大企业？答案一定是对“势”的把握，这其中最关键的当属对企业战略的制定，且能够站在未来看现在，即使这其中的
消费结构调整丨巨头低价博弈，拼多多还卷得动吗？

来源：征探财经作者：陈香羽随着流量红利的退潮，电商的存量博弈越来越明显。曾经主攻中高端与品质的淘宝天猫、京东重拾“低价”口号。而过去与他们错位竞争的拼多多，靠
携众多高端产品亮相ChinaJoy，小米带来一场科技与人文的视听盛宴

7月28日，全球数字娱乐领域最具知名度与影响力的年度盛会中国国际数码互动娱乐展览会（简称ChinaJoy）在上海新国际博览中心盛大开幕。作为全球领先的科
超级标准版旗舰！iQOO 11S全球首发iQOO超算独显芯片

上半年已接近尾声，截至目前各大品牌旗下的顶级旗舰都已悉数亮相，而下半年即将推出的顶级旗舰已经成为了数码圈爆料的主流，其中就包括全新的iQOO 11S系
“买真退假” 这种“羊毛”不能薅

□ 法治日报记者王春　　□ 本报通讯员胡佳丽　　2020年初，还在上大学的小东加入了一个大学生兼职QQ群。群主“七王”在群里介绍一些刷单赚

两位巨佬吃了一顿晚饭，整个互联网彻底被改变了！

1. 兼容ASCII，表格中的第一行就是为ASCII所设。

2. 第一个字节就指明了后续的长度

3. 前缀码

一加Ace2 Pro真机揭晓钛空灰配色质感拉满

K60至尊版狂暴引擎2.0加持：超177万跑分斩获性能第一

摸鱼心法第一章——和配置文件说拜拜

JVM优化：实战OutOfMemoryError异常

猿辅导与新东方的两种“归途”

消费结构调整丨巨头低价博弈，拼多多还卷得动吗？

携众多高端产品亮相ChinaJoy，小米带来一场科技与人文的视听盛宴

超级标准版旗舰！iQOO 11S全球首发iQOO超算独显芯片

“买真退假” 这种“羊毛”不能薅

最新推荐

猜你喜欢

热门推荐

相关资讯

两位巨佬吃了一顿晚饭，整个互联网彻底被改变了！

1. 兼容ASCII， 表格中的第一行就是为ASCII所设。

2. 第一个字节就指明了后续的长度

3. 前缀码

最新推荐

猜你喜欢

热门推荐

相关资讯

1. 兼容ASCII，表格中的第一行就是为ASCII所设。