字符串、unicode和UTF8编码之间的互相转换
想知道某个字符串的UTF8编码,图方便打算使用在线工具。坑爹的是,号称“UTF8汉字互转”的网页几乎全是字符串和unicode码点互转,并不提供与UTF8编码互转功能。没搞懂unicode码点(code point)和UTF8编码的关系,还大言不惭的说UTF8编码,真让人无语。
字符、字节和字节序,unicode和UTF8编码,是理解字符编码重要的概念,详情可查看本人之前博文文件和字符编码。本文讨论unicode和UTF8之间的转换,先简要介绍两个概念:unicode是将字符与码点(code point,一个整数)一一对应的编码方案;码点通常用\uXXXX或者U+XXXX的方式表示,XXXX是码点的十六进制;UTF8是unicode的一个具体编码方案,规定字符存储的方式;UTF8编码字节数可变,不存在大小端问题,互联网通信中常采用此种编码方式。
回顾一下那成片的“汉字UTF8编码互转”网页所做的事情。以“中国”为例,两个汉字码点分别为20013和22269,十六进制表示4E2D 56FD,UTF8编码E4 B8 AD E5 9B BD。随手打开搜索结果中的http://www.ip138.com/utf8/,输入“中国”,点击“转换UTF-8”按钮,下方出现码点的十六进制编码4E2D 56FD(&#x可以理解为十六进制的前缀0x),并非UTF8编码。
JavaScript的String对象有charCodeAt
和codePointAt
(兼容性不如charCodeAt)方法。根据这个函数,网页的转换工作可用如下代码实现:
function encode(str) { var result = ''; var len = str.length; for (var i = 0; i < len; ++ i) { result += '&#x' + (str.charCodeAt(i)).toString(16) + ';'; // 转换成16进制,并增加分隔符 } return result; } function decode(str) { return String.fromCharCode.apply(null, str.split(';').map(function(un) { return parseInt(un.replace('&#x', ''), 16); // 移除分隔符,转换成码点 }).filter(function (num) { return !isNaN(num); })); }
调用encode(“中国”)
或者其他字符串,将得到每个字符对应码点的十六进制。但这不是字符串的UTF8编码!
要拿到UTF8编码,需要在码点的基础上多走一步。先回顾unicode码点与UTF8的转换关系:
unicode码点(十六进制) | UTF-8(二进制) |
---|---|
0000 0000-0000 007F | 0xxxxxxx |
0000 0080-0000 07FF | 110xxxxx 10xxxxxx |
0000 0800-0000 FFFF | 1110xxxx 10xxxxxx 10xxxxxx |
0001 0000-0010 FFFF | 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx |
根据这个表,结合charCodeAt
函数,可以写出字符串到UTF8编码的函数:
// 获取字符串的utf8字节流 function getUTF8Bytes(str) { var bytes = []; var len = str.length; for (var i = 0; i < len; ++ i) { var code = str.charCodeAt(i); if (code >= 0x10000 && code < = 0x10ffff) { bytes.push((code >> 18) | 0xf0); // 第一个字节 bytes.push(((code >> 12) & 0x3f) | 0x80); bytes.push(((code >> 6) & 0x3f) | 0x80); bytes.push((code & 0x3f) | 0x80); } else if (code >= 0x800 && code < = 0xffff) { bytes.push((code >> 12) | 0xe0); bytes.push(((code >> 6) & 0x3f) | 0x80); bytes.push((code & 0x3f) | 0x80); } else if (code >= 0x80 && code < = 0x7ff) { bytes.push((code >> 6) | 0xc0); bytes.push((code & 0x3f) | 0x80); } else { bytes.push(code) } } return bytes; } // 将字节流转换成16进制字符串 function hexString(bytes) { var arr = bytes.map(function (code) { return (code).toString(16).toUpperCase(); }); return arr.join(' '); } function utf8(str) { return hexString(getUTF8Bytes(str)); }
调用函数utf8
,这才是JavaScript得到字符串的UTF8编码的正确姿势!从UTF8编码转换到字符串,做相反工作即可。
本站声明:网站内容来源于网络,如有侵权,请联系我们https://www.qiquanji.com,我们将及时处理。
微信扫码关注
更新实时通知