Unicode与编码方式

如题所述

Unicode可以表示世界上的每一个字符,每一个字符都有相应并且 唯一 的二进制编码。Unicode是一种字符集,让几乎所有语言中的每个字符都和一个 唯一数字 对应起来。

https://unicode-table.com/cn/4F60/

Unicode 是为了解决传统的字符编码方案的局限而产生的, 它为每种语言中的每个字符设定了统一并且唯一的二进制编码 ,以满足跨语言、跨平台进行文本转换、处理的要求。也就是说世界上的任意一个字符,无论何种语言,都能在Unicode字符集中找到其对应的二进制编码。

Unicode的表现方式是U+XXXXXX,X代表一位十六进制数,可以有4-6位,不足 4 位前补 0 补足 4 位,超过则按是几位就是几位。

字符A的ASCII码是65,将65转换成16进制就是41(16×4+(16^0)×1 = 65),按照规则前面补0,那么字符A的Unicode表示就是U+0041,依次类推B的Unicode表示就是U+0042...等等,汉字"爱"的字符表示是“U+7231”

常见的编码方式有 UTF-8 , UTF-16 , GB2312 , GBK,它们都只是一种编码方式,每种编码有自己的规则。

UTF-8是一种非常通用的 可变长 字符编码方式,范围由1-4个字节不等。

UTF-16通常由2字节或者4字节表示一个字符,U+000~U+FFFF的范围内用2个字节表示。
U+10000~U+10FFFF的范围内用4个字节表示。

GB2312,每个汉字及符号以两个字节来表示,兼容ASCII码,GB 2312标准共收录6763个汉字,其中一级汉字3755个,二级汉字3008个;同时,GB 2312也收录了许多其他语音的文字及符号。它所收录的汉字已经覆盖中国大陆99.75%的使用频率,对于人名、古汉语等方面出现的罕用字,GB 2312不能处理,这导致了后来 GBK 及GB 18030汉字字符集的出现。

GBK 向下与 GB 2312 编码兼容,向上支持 ISO 10646.1 国际标准 ,是前者向后者过渡过程中的一个承上启下的产物。GBK编码,是在 GB2312-80 标准基础上的 内码 扩展规范,使用了双 字节 编码方案,其编码范围从8140至FEFE(剔除xx7F),共23940个码位,共收录了21003个汉字,完全兼容 GB2312-80 标准

在JavaScript中,所有的string类型都是使用UTF-16编码的,形如 '\u00A9' 或者 '\uD87E\uDC04' ,详情参考MDN文档 Lexical_grammar 。

所以JS中,将字符转换成Unicode如下:

用通信理论的思路可以理解为:
unicode是信源编码,对字符集数字化。
utf-8是信道编码,为更好的存储和传输。

一个很简单的例子:
一个用GBK编码的文件,我如果以UTF-8来解码的话,打开就会是一片乱码
再比如:

当然mata也可能会失效,如图

参考
Unicode中UTF-8与UTF-16编码详解
UTF-8与Unicode的区别
GB2312编码表
gb2312中的英文字母占几个字节?
漫画:什么是字符集和编码?ASCII、UTF-8、UTF-16、UTF-32 又是什么?
解决GB2312、GBK、UTF-8转换问题
Unicode和UTF编码转换

温馨提示:答案为网友推荐,仅供参考
相似回答