Python字符串编码教程_UTF8Unicode原理解析

Python字符串编码核心是区分Unicode字符串（str）与字节序列（bytes），UTF-8仅为一种编码规则；Unicode为字符分配唯*点，UTF-8按规则将其转为1–4字节，encode/decode需匹配编码格式，文件操作须显式指定encoding。

Python中字符串编码问题的核心在于区分Unicode字符串和字节序列（bytes），UTF-8只是其中一种将Unicode字符映射为字节的规则。理解这一点，就抓住了乱码、解码错误、文件读写异常等问题的根源。

Unicode是字符的“身份证”，不是存储格式

Unicode为世界上每种语言的每个字符分配一个唯一的编号（称为码点，如汉字“中”的码点是U+4E2D）。它不规定这个编号怎么存成文件或网络传输的字节——那是编码方案（如UTF-8、UTF-16）的事。

Python 3中，str类型默认就是Unicode字符串，你写的 "你好" 在内存里是以Unicode码点形式存在的，不是UTF-8字节。

• 执行 type("你好") → （Unicode文本）
• 执行 type("你好".encode("utf-8")) → （UTF-8字节流）

UTF-8是可变长的字节编码规则

UTF-8用1–4个字节表示一个Unicode码点，原则是：ASCII字符（U+0000–U+007F）用1个字节原样保存；其余字符按规则扩展。这使得UTF-8兼容ASCII，也节省空间。

例如：

• 'A' → 码点 U+0041 → UTF-8字节 b'A'（0x41）
• '中' → 码点 U+4E2D → UTF-8字节 b'\xe4\xb8\xad'（3字节）
• '€' → 码点 U+20AC → UTF-8字节 b'\xe2\x82\xac'（3字节）

编码（encode）和解码（decode）不能颠倒

从str转bytes叫编码（指定目标编码格式），从bytes转str叫解码（必须用当初编码时相同的格式，否则报错或乱码）。

• "café".encode("utf-8") → b'caf\xc3\xa9'
• b'caf\xc3\xa9'.decode("utf-8") → 'café' ✅
• b'caf\xc3\xa9'.decode("gbk") → UnicodeDecodeError ❌ 或乱码

常见错误场景：读取UTF-8保存的中文文件却用open(..., encoding="gbk")，或把网络收到的UTF-8响应字节直接当str用而忘记.decode("utf-8")。

文件操作和终端显示要显式指定编码

Python不会自动猜编码。打开文件时务必用encoding参数；终端输出依赖系统环境，但代码中应确保传给print()的是str（Unicode），而非未解码的bytes。

• 正确读UTF-8文件：with open("data.txt", encoding="utf-8") as f: text = f.read()
• 正确写UTF-8文件：with open("out.txt", "w", encoding="utf-8") as f: f.write("中文")
• 若用open(..., "rb")读取，则得到bytes，需手动.decode("utf-8")才能变成str

Windows命令行默认GBK，可能无法正常显示UTF-8输出，可在脚本开头加：import sys; sys.stdout.reconfigure(encoding="utf-8")（Python 3.7+）。