解决中文乱码
- 什么是字符编码
- python 的字符编码
-
- encode和decode
-
- unicode还可以decode吗？
- UTF-8还可以encode吗？
- 解决中文编码问题
-
- 问题1：使用requests获取网站内容后，出现中文乱码
- 问题2：非法字符抛出异常
- 问题3：网页可能使用了gzip压缩
- 问题4：读取文件的中文乱码
什么是字符编码
总的来说，字符串的编码都只有两大类：
- 通用的
Unicode
- 将
Unicode
UTF-8
GBH
Unicode 被称为统一码、万国码或单一码。它为每种语言中的每个字符设定了统一的并且唯一的二进制编码。
为了节省空间，开发了一些中间格式的字符集。被称为通用转换格式UnicodeTransformation Format(UTF)，常见的有 UTF−8 和 UTF−16。
随着互联网的普及，强烈要求出现一种统一的编码方式， UTF−8 就是在互联
网上使用最广的一种Unicode的实现方式。 UTF−8 最大的一个特点是长度可变，它可以使用1一4个字节表示一个符号，英文字母通常被编为1个字节，汉字通常。被编为3个字节，如表 所示。
| 字符 | ASCII | Unicode | UTF-8 |
|---|---|---|---|
| A | 01000001 | 00000000 01000001 | 01000001 |
| 中 | 01001110 00101101 | 11100100 10111000 10101101 |
对于 UTF−8 编码，怎么知道什么时候是1个字节，什么时候是3个字节呢?
其实， UTF−8 的编码规则很简单，只有两条：
-
(1)对于单字节的符号，字节的第1位设为0，后面7位为这个符号的
Unicode码。因此对于英语字母。 UTF−8 编码和ASCII码是相同的。
- 对于n字节的符号 (n>1),第1个字节的前n位都设为1，第 n+1 位设为0，后面字节的前两位一律设为10，剩下的没有提及的二进制位全部为这个符号的Unicode码。例如，上述字符A为单字节符号，其 UTF−8 编码字节的第1位是0。而汉字“中”为3个字节符号，第1个字节的前3位都设为1，第1个字节的第4位为。
python 的字符编码
再python中字符的编码使用
str
和
bytes
编码两种类型。
- str字符串：使用
Unicode
- bytes字符串：使用将
Unicode
UTF-8
encode和decode
-
encode
Unicode
-
decode
Unicode
python中解决中文乱码什么是字符编码python 的字符编码解决中文编码问题
unicode还可以decode吗？
脑洞大开呀，答案是不可以的，unicode不可以再被解码。
UTF-8还可以encode吗？
答案是不可以直接解码，可以节间。就是要先将UTF-8转成Unicode，再进行encode
解决中文编码问题
问题1：使用requests获取网站内容后，出现中文乱码
如
r = requests.get(url)
可以先用
r.encoding
查看其对应的编码格式，如果是
gb2312
就加上
r.encode ='gb2312'
问题2：非法字符抛出异常
当我们将某个字符串从GBK解码为Unicode时，可以用
如果报错可以是一个页面中有多中编码，于是出现了非法字符。
可以使用
ignore
忽略掉
问题3：网页可能使用了gzip压缩
解决方法是：使用
r.content
会自动解码
gzip
和
deflate
。
r = requests.get(url)
after_gzip = r.content
print(after_gzip.decode('UTF-8')
问题4：读取文件的中文乱码
我们必须在读取文件的时候声明编码格式。如
result_utf8 = open('test_utf8.txt','r',encoding='UTF-8').read()
print(result_utf8)
同理保存的时候也一样
title = '我么'
with open('title.txt','a+',encoding ='UTF-8') as f:
f.write(title)
f.close()
