苏州网站建设招标,公司网站策划方案,创新驱动发展战略意义,义乌外贸网站建设来啦一直以来#xff0c;字符串的编码问题对于新手程序员来说#xff0c;或者平常不太涉猎这方面的程序员来说#xff0c;是犹如灵异学一样的存在。经常会遇到莫名其妙的编码问题#xff0c;导致的各种的无法理解的错误。
今天#xff0c;本问就来介绍一下作者所知晓的一切… 一直以来字符串的编码问题对于新手程序员来说或者平常不太涉猎这方面的程序员来说是犹如灵异学一样的存在。经常会遇到莫名其妙的编码问题导致的各种的无法理解的错误。
今天本问就来介绍一下作者所知晓的一切的字符编码知识。
0x1.初识ASCII
说起字符串编码不得不说到现代计算机的起源在二十世纪早期美国的科学家和工程师开始研究并开发原始的计算机设备。一些早期的计算机设备和概念都是在美国发展的为后来的计算机技术的发展奠定了基础。
因此最早的计算机主要编码都是为了适应英文来设计的英文由字母、数字、标点符号等组成。总计26个英文字母不区分大小写、10个数字0-9、大约32个常见标点符号包括空格 0x2.随着更多国家加入互联网兼容语言日益重要
随着国际化的发展和不同国家语言的日益重要需要一种能够表示更多字符的编码方式。因此针对不同的需求出现了一些扩展字符集和编码标准其中两个最常见的是GBK和UTF-8。 GBK 是汉字内码扩展规范的简称是在ASCII基础上的汉字编码扩展。它对中文进行了编码并能够表示超过 20000 个中文字符。它兼容ASCII编码并使用1个或2个字节来表示一个字符使得它能够包含更多的字符。 基本原理 GBK编码使用单字节编码和双字节编码混合的方式来表示字符。对于ASCII字符使用单字节表示编码和ASCII兼容。对于非ASCII字符包括汉字等使用双字节表示。 编码范围 单字节编码范围0x00-0x7F与ASCII相同。双字节编码范围0x81-0xFE两个字节的第一个字节在0x81-0xFE之间第二个字节在0x40-0xFE之间但不包括0x7F。 占位个数 对于单字节编码的ASCII字符占用一个字节8位。对于双字节编码的非ASCII字符占用两个字节16位。 编码规则 对于双字节编码第一个字节的范围确定了该字符的编码区第二个字节的范围则确定了具体的字符。GBK编码的中文字符通常使用两个字节表示第一个字节的范围是0x81-0xFE第二个字节的范围是0x40-0xFE不包括0x7F。例如汉字“中”在GBK编码中的值是0xD6D0。 兼容性 GBK编码是对GB2312编码的扩展因此GB2312编码的中文字符在GBK中仍然能够正确解码。同时GBK编码也与ASCII编码兼容保证了在同一个文本文件中可以混合使用ASCII字符和汉字字符。 UTF-8 是一种针对Unicode的可变长度字符编码它被设计用来在互联网上处理多种语言的文本。UTF-8 使用1至4个字节为每个字符编码能够表示地球上几乎所有的文字。它是一种广泛使用的编码标准可以表示包括拉丁字母、希腊字母、西里尔字母、亚美尼亚字母、希伯来字母、阿拉伯字母、叙利亚字母、泰米尔字母等在内的几乎所有的语言的字符。 基本原理 UTF-8 使用 8 位字节序列来表示一个 Unicode 字符。UTF-8 根据所表示的字符的不同范围使用不同长度的字节序列表示字符。 编码范围 单字节编码范围0x00-0x7F与 ASCII 编码完全兼容。双字节编码范围0xC2-0xDF0x80-0xBF。三字节编码范围0xE0-0xEF0x80-0xBF0x80-0xBF。四字节编码范围0xF0-0xF40x80-0xBF0x80-0xBF0x80-0xBF。 占位个数 对于单字节编码的 ASCII 字符占用一个字节8 位。对于多字节编码的 Unicode 字符根据其在 Unicode 编码中的范围使用 2 到 4 个字节16 到 32 位。 编码规则 对于单字节编码的 ASCII 字符其最高位是 0。对于多字节编码的 Unicode 字符每个字节的最高位都是 1紧跟着的一个 0 位表示该字节不是编码的最后一个字节。 关于了解这些字符编码特性的好处 常见的可用于JS的加密/解密不同字符编码之间的转换等特性都可以用于JS加密同样可以用于JS逆向的逻辑中。
