Python字符串编码——UnicodeASCII, Unicode, UTF-8

ASCII码

咱们懂得,在处理器中,所有的音讯最终还意味为一个二进制的字符串。每一个二进制位(bit)有0和1星星种状态,因此八个二进制位就得结合产生256种植状态,这叫喻为一个字节(byte)。也就是说,一个字节一共可以为此来表示256种植不同之状态,每一个状态对应一个标志,就是256只标志,从0000000到11111111。
上个世纪60年间,美国制订了平学字符编码,对英语字符与二进制位之间的涉,做了联规定。这给誉为ASCII码,一直沿用至今。
ASCII码一共规定了128个字符的编码,比如空格”SPACE”是32(二向前制00100000),大写的字母A是65(二迈入制01000001)。这128独记(包括32个未克打印出来的主宰符号),只占了一个字节的后面7个,最前的1位统一规定为0。

正文参考:http://www.ruanyifeng.com/blog/2007/10/ascii\_unicode\_and\_utf-8.html)

非ASCII编码

英语用128个号编码就足够了,但是之所以来代表其余语言,128只标志是不够的。比如,在法语中,字母上方有注音符号,它便无法用ASCII码表示。于是,一些欧洲国即控制,利用字节中按的最高位编入新的号。比如,法语中之é的编码为130(二进制10000010)。这样一来,这些欧洲国家利用的编码体系,可以代表无比多256个号。

唯独,这里而起了初的题材。不同的国有例外之假名,因此,哪怕它都使用256单记号的编码方式,代表的假名却无同等。比如,130以法语编码中代表了é,在希伯来语编码中却代表了配母Gimel
(ג),在俄语编码中同时见面表示任何一个记。但是无论如何,所有这些编码方式中,0–127意味的符是一模一样的,不均等的只是是128–255的立刻同样段。

有关亚洲国度之亲笔,使用的符就再多了,汉字就是差不多上10万左右。一个字节只能表示256栽标志,肯定是不够的,就必须动多独字节表达一个记。比如,简体中文常见的编码方式是GB2312,使用有限单字节表示一个汉字,所以理论及极度多好代表256×256=65536独记。

中文编码的问题需专文讨论,这首笔记不涉。这里就指出,虽然都是因此多单字节表示一个号,但是GB类的汉字编码与后文的Unicode和UTF-8是毫无关系的。

1. ASCII码

Unicode

凑巧而达到同一节所说,世界上是正在多编码方式,同一个二进制数字可以给分解成不同之符。因此,要惦记打开一个文书文件,就得懂得它的编码方式,否则用错误的编码方式解读,就会见冒出乱码。为什么电子邮件时出现乱码?就是坐发信人和收信人使用的编码方式不等同。

好想象,如果发生同等种编码,将世界上享有的符号都纳入其中。每一个符号都赋予一个举世无双之编码,那么乱码问题即使会收敛。这即是Unicode,就比如它的名还代表的,这是同一栽具有符号的编码。

Unicode当然是一个要命死之会师,现在之局面得以容纳100差不多万只标志。每个符号的编码还无平等,比如,U+0639代表阿拉伯字母Ain,U+0041代表英语的可怜写字母A,U+4E25表示汉字”严”。具体的符号对应表,可以查询unicode.org,或者特别的方块字对应表。

我们理解,在处理器中,所有的信最终还意味为一个二进制的字符串。每一个二进制位(bit)有0和1鲜种植状态,因此八个二进制位就可以构成出256栽状态,这让号称一个字节(byte)。也就是说,一个字节一共可以为此来表示256种不同之状态,每一个态对应一个符号,就是256单标志,从0000000到11111111。

Unicode的问题

消专注的是,Unicode只是一个号集,它只有规定了标记的次前行制代码,却从未规定是二进制代码应该怎么样存储。

遵循,汉字”严”的unicode是十六向前制数4E25,转换成二迈入制数足足有15各类(100111000100101),也就是说这个符号的表示至少用2只字节。表示其余更老的记,可能得3个字节或者4个字节,甚至更多。

此间就是出星星点点独重的题目,第一独问题是,如何才会分Unicode和ASCII?计算机怎么掌握老三单字节表示一个符号,而不是各自表示三独记为?第二个问题是,我们早就了解,英文字母只所以一个字节表示即够了,如果Unicode统一确定,每个符号用三独或四个字节表示,那么每个英文字母前还定有第二顶三单字节是0,这对仓储来说是宏大的浪费,文本文件之轻重会就此大出二三倍,这是力不从心接受的。

其造成的结果是:1)出现了Unicode的又储存方,也就是说有许多种不同的次上前制格式,可以为此来表示Unicode。2)Unicode在十分丰富一段时间内无法推广,直到互联网的出现。

上个世纪60年间,美国制订了扳平套字符编码,对英语字符与二进制位之间的涉及,做了合确定。这叫称ASCII码,一直沿用至今。

UTF-8

互联网的推广,强烈要求出现同等种植统一的编码方式。UTF-8就是以互联网及用最广大的相同栽Unicode的兑现方式。其他实现方式还包UTF-16(字符用单薄独字节或四个字节表示)和UTF-32(字符用四单字节表示),不过当互联网及着力不用。重复同一整个,这里的关系是,UTF-8凡是Unicode的落实方式有。

UTF-8最要命之一个表征,就是其是一模一样种变长的编码方式。它好用1~4单字节表示一个号,根据不同之记而变化字节长度。
UTF-8的编码规则不行粗略,只来第二修:

1)对于单字节的号子,字节的首先各类而为0,后面7各项吗者符号的unicode码。因此对英语字母,UTF-8编码和ASCII码是平等的。

2)对于n字节底记号(n>1),第一只字节的眼前n位都设为1,第n+1位设为0,后面字节的面前片各一律要为10。剩下的没有提及的二进制位,全部吧是符号的unicode码。
下表总结了编码规则,字母x表示可用编码的各项。

Unicode符号范围 | UTF-8编码方式

(十六进制) | (二进制)

——————–+———————————————

0000 0000-0000 007F | 0xxxxxxx

0000 0080-0000 07FF | 110xxxxx 10xxxxxx

0000 0800-0000 FFFF | 1110xxxx 10xxxxxx 10xxxxxx

0001 0000-0010 FFFF | 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx

跟据上表,解读UTF-8编码非常简单。如果一个字节的率先位是0,则这字节单独就是一个字符;如果第一号是1,则连续发生微个1,就象征即字符占用小只字节。

下,还是坐汉字”严”为条例,演示如何实现UTF-8编码。

都了解”严”的unicode是4E25(100111000100101),根据上表,可以窥见4E25处在第三执的范围外(0000
0800-0000 FFFF),因此”严”的UTF-8编码需要三独字节,即格式是”1110xxxx
10xxxxxx
10xxxxxx”。然后,从”严”的末段一个二进制位开始,依次从后上填入格式中之x,多发生的各项补0。这样就算取了,”严”的UTF-8编码是”11100100
10111000 10100101″,转换成为十六进制就是E4B8A5。

ASCII码一共规定了128只字符的编码,比如空格”SPACE”是32(二向前制00100000),大写的字母A是65(二迈入制01000001)。这128单记号(包括32单非可知打印出来的支配符号),只占了一个字节的后面7个,最前边的1位统一规定为0。

python 中之字符串编码

在使用

#!/usr/bin/env python
# -*- coding:utf-8 -*-

默认的国语编码为utf8

>>> kel = '中' 
>>> kel
'\xe4\xb8\xad'

加入u以后,变成unicode

>>> kel = u'中'
>>> kel
u'\u4e2d'

2、非ASCII编码

python 文件字符串编码

保存Unicode字符到文本文档

#coding=utf-8
import os

def write_use_open(filepath):
    try:
        file = open(filepath, 'wb')
        try:
            content = '中华人民共和国abcd \r\nee ?!>??@@@!!!!!???¥@#%@%#xx学校ada\r\n'
            print file.encoding
            print file.newlines
            print file.mode
            print file.closed
            print content
            file.write(content)
        finally:
            file.close()
            print file.closed
    except IOError, e:
        print e


if __name__ == '__main__':
    filepath = os.path.join(os.getcwd(), 'file.txt')
    write_use_open(filepath)

发端我是IDLE编写的,并直接按F5周转,没察觉题目,文件也于科学地保留,文件的编码类型为是utf-8.

然我于是命令执行运行,却发现显示出现乱码了,然后以打开文件发现文件被正确保存了,编码还是utf-8:

图片 1

问题是令执行未能够自动识别字符编码吧,因为IDLE显示是不错的,它支持utf-8。

遂自己修改了代码,在字符串前加了’u’,表明content是unicode:
content = u’中华人民共和国abcd \r\nee
?!>??@@@!!!!!???¥@#%@%#xx学校ada\r\n’

唯独运行发现,命令行是正确显示了,但是却出现异常:

图片 2

死鲜明,content里含有了非ASCII码字符,肯定不能够采用ASCII来进行编码的,write方法是默认使用ascii来编码保存之。

十分轻就好想到,在保存之前,先对unicode字符进行编码,我选utf-8

#coding=utf-8
import os

def write_use_open(filepath):
    try:
        file = open(filepath, 'wb')
        try:
            content = u'中华人民共和国abcd \r\nee ?!>??@@@!!!!!???¥@#%@%#xx学校ada\r\n'
            print file.encoding
            print file.newlines
            print file.mode
            print file.closed
            print content
            print unicode.encode(content, 'utf-8')
            file.write(unicode.encode(content, 'utf-8'))
        finally:
            file.close()
            print file.closed
    except IOError, e:
        print e

if __name__ == '__main__':
    filepath = os.path.join(os.getcwd(), 'file.txt')
    write_use_open(filepath)

省运行结果:

图片 3

OK了打开文档也是正确的。
读取文件又怎么样?同样道理,只是这次不是编码了,而解码:

def read_use_open(filepath):
    try:
        file = open(filepath, 'rb')
        try:
            content = file.read()
            content_decode = unicode(content, 'utf-8')
            print 'original text'
            print content
            print 'decode using utf-8'
            print content_decode
        finally:
            file.close()
    except IOError, e:
        print e

if __name__ == '__main__':
    filepath = os.path.join(os.getcwd(), 'file.txt')
    write_use_open(filepath)
    print 'read file ---------------------------'
    read_use_open(filepath)

图片 4

怎未直以open的早晚就解码呢?呵呵,可以什么,可以用codecs的open方法

import codecs
def read_use_codecs_open(filepath):
    try:
        file = codecs.open(filepath, 'rb', 'utf-8')
        try:
            print 'using codecs.open'
            content = file.read()
            print content
        finally:
            file.close()
    except IOError, e:
        print e

图片 5

英语用128单记号编码就足够了,但是之所以来代表其余语言,128独记是不够的。比如,在法语中,字母上方有注音符号,它便无法用ASCII码表示。于是,一些欧洲国就决定,利用字节中按的万丈位编入新的标志。比如,法语中之é的编码为130(二进制10000010)。这样一来,这些欧洲国采用的编码体系,可以表示最多256只标志。

网络被乱码的缓解

华语网页中,有些网页抓取下来后,由于网页编码的题材,需要进行解码。首先我们得看清网页中到底使用的凡呀编码,在依据这编码把字符串变成utf8编码。

当探测编码时,chardet第三方库非常的福利。

网页编码判断:

import urllib
rawdata = urllib.urlopen('http://tech.163.com/special/00097UHL/tech_datalist.js').read()
import chardet
print chardet.detect(rawdata)

{'confidence': 0.99, 'language': 'Chinese', 'encoding': 'GB2312'}

经过 chardet
探测有,网页的字符编码为GB2312编码,通过unicode转化为utf8编码:

str_body = unicode(rawdata, "gb2312").encode("utf8")

还多入门教程可以参考:[http://www.bugingcode.com/python_start/]
(http://www.bugingcode.com/python_start/)

不过,这里以出新了初的问题。不同的国家来两样的字母,因此,哪怕它都应用256独记的编码方式,代表的假名却休一致。比如,130在法语编码中意味了é,在希伯来语编码中可意味着了许母Gimel
(ג),在俄语编码中还要会代表任何一个号。但是无论如何,所有这些编码方式中,0–127意味的符号是同样的,不一样的不过是128–255底这无异于截。所以,在128–255就段遭遇,同一个亚前行制数在不同国家的文被表示不同之字符。

有关亚洲国家之文字,使用的标志就再度多矣,汉字就是多上10万横。一个字节只能表示256种标志,肯定是不够的,就得使用多单字节表达一个标记。比如,简体中文常见的编码方式是GB2312,使用有限个字节表示一个汉字,所以理论及最多得象征256×256=65536只标志。

华语编码的问题用专文讨论,这首笔记不关乎。这里才指出,虽然还是用多个字节表示一个标记,但是GB类的汉字编码与后文的Unicode和UTF-8是毫无关系的。

3.Unicode

无独有偶而齐同样节约所说,世界上存在正在多编码方式,同一个二进制数字可以被解释成不同的标志。因此,要想打开一个文件文件,就必知道其的编码方式,否则用错误的编码方式解读,就会见现出乱码。为什么电子邮件时出现乱码?就是以发信人和收信人使用的编码方式不等同。

得设想,如果发同一种编码,将世界上有所的符号都纳入其间。每一个号都给一个举世无双之编码,那么乱码问题不怕见面消失。这就算是Unicode,就如她的名还代表的,这是如出一辙种植具有符号的编码。

Unicode当然是一个杀挺之集,现在底局面得以容纳100大抵万只标志。每个符号的编码还无平等,比如,U+0639象征阿拉伯字母Ain,U+0041象征英语的百般写字母A,U+4E25表示汉字”严”。具体的符号对应表,可以查询unicode.org,或者特别的字对应表。

4. Unicode的问题

用留意的是,Unicode只是一个号集,它就确定了号的老二上制代码,却并未规定者二进制代码应该怎么样存储。

仍,汉字”严”的unicode是十六前进制数4E25,转换成为二进制数足足有15员(100111000100101),也就是说这个标记的意味至少得2单字节。表示其余还充分之符号,可能用3独字节或者4独字节,甚至更多。

这里就是产生零星只重的题目,第一独问题是,如何才会分Unicode和ASCII?计算机怎么懂得老三单字节表示一个标志,而无是个别代表三独记为?第二独问题是,我们既亮,英文字母只所以一个字节表示即足够了,如果Unicode统一确定,每个符号用三独或四独字节表示,那么每个英文字母前都必将发生第二及三单字节是0,这对仓储来说是极大的浪费,文本文件之大大小小会就此大出二三倍增,这是心有余而力不足承受的。

它们造成的结果是:1)出现了Unicode的余仓储方,也就是说有许多种不同的次前行制格式,可以为此来表示Unicode。2)Unicode在那个丰富一段时间内无法放开,直到互联网的起。

5.UTF-8

互联网的普及,强烈要求出现一样栽统一之编码方式。UTF-8就是当互联网上运最广的等同种Unicode的实现方式。其他实现方式尚连UTF-16(字符用有限只字节或四独字节表示)和UTF-32(字符用四个字节表示),不过在互联网上基本不用。重同一遍,这里的涉是,UTF-8凡是Unicode的落实方式有。

UTF-8最可怜之一个特征,就是其是一律种变长的编码方式。它可以1~4只字节表示一个标志,根据不同的记而变化字节长度。

UTF-8的编码规则不行简单,只发生次条:

1)对于单字节的标记,字节的最高位设为0,后面7各吗夫标记的unicode码。因此于英语字母,UTF-8编码和ASCII码是同一之。

2)对于n字节之号子(n>1),第一个字节的前n位都使为1,第n+1位设为0,后面字节的前头片员一律要为10。剩下的莫提及的二进制位,全部啊之标记的unicode码。

下表总结了编码规则,字母x表示可用编码的各类。

Unicode符号范围 | UTF-8编码方式
(十六进制) | (二进制)
——————–+———————————————
0000 0000-0000 007F | 0xxxxxxx
0000 0080-0000 07FF | 110xxxxx 10xxxxxx
0000 0800-0000 FFFF | 1110xxxx 10xxxxxx 10xxxxxx
0001 0000-0010 FFFF | 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx

 

跟据上表,解读UTF-8编码非常简单。如果一个字节的第一各类是0,则这字节单独就是一个字符;如果第一各是1,则连续有微微只1,就意味着目前字符占用小个字节。

下面,还是坐汉字”严”为条例,演示如何实现UTF-8编码。

现已清楚”严”的unicode是4E25(100111000100101),根据上表,可以窥见4E25介乎第三执的界定外(0000
0800-0000 FFFF),因此”严”的UTF-8编码需要三单字节,即格式是”1110xxxx
10xxxxxx
10xxxxxx”。然后,从”严”的末梢一个二进制位开始,依次从后迈入填入格式中之x,多起底各项补0。这样尽管抱了,”严”的UTF-8编码是”11100100
10111000 10100101″,转换成为十六进制就是E4B8A5。

相关文章

Leave a Comment.