Python 编码问题 utf-8 和 unicode
zhjd2010
9年前
来自: http://blog.csdn.net//never_cxb/article/details/49967143
前言:utf-8 和 unicode
UTF-8,1个汉字占3个字节,扩展B区以后的汉字占4个字节。
GBK,1个汉字占2个字节。
UTF-16,通常汉字占两个字节。
Unicode,一个英文等于两个字节,一个中文(含繁体)等于两个字节,范围是 \u4e00-\u9fa5。
UTF-8是Unicode的一个实现?
记得java虚拟机存储代码都是用unicode的,不涉及具体编码格式,只有在读入读出边界处会用具体编码格式来处理。
命令行模式下
>>> u'\u597d\u73a9' u'\u597d\u73a9' >>> print u'\u597d\u73a9' 好玩
好玩的 unicode 是 \u597d\u73a9
IDE模式下
# -*- coding: UTF-8 -*- s = "好玩" print s print s.decode("utf-8").encode("utf-8") print unicode(s,"utf-8") print len(s) print len(s.decode("utf-8").encode("utf-8")) print len(unicode(s,"utf-8"))
输出
好玩 好玩 好玩 6 6 2
utf-8每个汉字占3个字节,所以“好玩”输出了6
一个汉字表示为一个unicode,所以这儿的len表示的是有几个unicode,所以输出了2
“好玩”的unicode为\u597d\u73a9
us = u'\u597d\u73a9' print us print us.encode("utf-8") print len(us) print len(us.encode("utf-8"))
输出
好玩 好玩 2 6
疑惑
us = u'\u597d\u73a9'
print us
这儿会输出汉字好玩
我不知道在IDE里面如何输出u'\u597d\u73a9'
,在命令行里面倒是可以。
输出的时候会转化为IDE控制台使用的编码格式,所以会输出汉字?
后来找到了解决方法,利用python自带的repr
函数
us = u'\u597d\u73a9' print repr(us) print repr(us.encode("utf-8"))
输出
u'\u597d\u73a9' '\xe5\xa5\xbd\xe7\x8e\xa9'
可以看出utf-8表示汉字确实用了3个字节。