Python 研究(Dive Into Python)

例 9.13. unicode介绍

>>> s = u'Dive in'            
>>> s
u'Dive in'
>>> print s                   
Dive in

	为了创建一个unicode字符串而不是通常的 ASCII 字符串，要在字符串前面加上字母“u”。注意这个特殊的字符串没有任何非 ASCII 的字符。这样很好；unicode是 ASCII 的一个超集（一个非常大的超集），所以任何正常的 ASCII 都可以以unicode形式保存起来。
	在打印字符串时，Python 试图将字符串转换为你的默认编码，通常是 ASCII 。（过会儿有更详细的说明。）因为组成这个unicode字符串的字符都是 ASCII 字符，打印结果与打印正常的 ASCII 字符串是一样的；转换是无缝的，而且如果你没有注意到s是一个unicode字符串的话，你永远也不会注意到两者之间的差别。

例 9.14. 存储非 ASCII 字符

>>> s = u'La Pe\xf1a'         
>>> print s                   
Traceback (innermost last):
  File "<interactive input>", line 1, in ?
UnicodeError: ASCII encoding error: ordinal not in range(128)
>>> print s.encode('latin-1') 
La Peña

	unicode真正的优势，理所当然的是它保存非 ASCII 字符的能力，例如西班牙语的“ñ”(n上带有一个波浪线）。用来表示波浪线n的unicode字符编码是十六进制的0xf1 (十进制的241），你可以象这样输入：\xf1
	还记得我说过 print 函数会尝试将unicode字符串转换为 ASCII，这样就可以打印它了吗？嗯，在这里将不会起作用，因为你的unicode字符串包含非 ASCII 字符，所以 Python 会引发UnicodeError异常。
	这儿就是将unicode转换为其它编码模式起作用的地方。s是一个unicode字符串，但 print 只能打印正常的字符串。为了解决这个问题，我们调用 encode 方法（它可以用于每个unicode字符串）将unicode字符串转换为指定编码模式的正常字符串。我们向此函数传入一个参数。在本例中，我们使用 latin-1 （也就是大家知道的 iso-8859-1），它包括带波浪线的n（然而缺省的 ASCII 编码模式不包括，因为它只包含数值从 0 到 127 的字符）。

例 9.15. sitecustomize.py

# sitecustomize.py                   
# this file can be anywhere in your Python path,
# but it usually goes in ${pythondir}/lib/site-packages/
import sys
sys.setdefaultencoding('iso-8859-1') 

	sitecustomize.py是一个特殊的脚本；Python 会在启动的时候导入它，所以在其中的任何代码都将自动运行。就像注解中提到的那样，它可以放在任何地方（只要 import 能够找到它），但是通常它位于 Python 的lib目录的site-packages目录中。
	恩，setdefaultencoding 函数设置默认编码。Python 会在任何需要自动将unicode字符串强制转换为正规字符串的地方，使用这个编码模式。

例 9.16. 设置默认编码的效果

>>> import sys
>>> sys.getdefaultencoding() 
'iso-8859-1'
>>> s = u'La Pe\xf1a'
>>> print s                  
La Peña

	这个例子假设你已经按前一个例子中的改动对sitecustomize.py文件做了修改，并且已经重启了 Python。如果你的默认编码还是'ascii'，可能你就没有正确设置sitecustomize.py 文件，或者是没有重新启动 Python。默认的编码只会在 Python 启动的时候改变；之后就不能改变了。（由于一些古怪的编程技巧，我没有马上深入，你甚至不能在 Python 启动之后调用sys.setdefaultencoding函数。仔细研究site.py，并搜索“setdefaultencoding”去发现为什么吧。）
	现在默认的编码模式已经包含了你在字符串中使用的所有字符，Python 对字符串的自动强制转换和打印就不存在问题了。

例 9.17. 指定.py文件的编码

如果你打算在你的 Python 代码中保存非 ASCII 字符串，你需要在每个文件的顶端加入编码声明来指定每个.py文件的编码。这个声明定义了.py文件的编码为UTF-8：

#!/usr/bin/env python
# -*- coding: UTF-8 -*-

例 9.18. russiansample.xml

<?xml version="1.0" encoding="koi8-r"?>       
<preface>
<title>Предисловие</title>                    
</preface>

	这是从一个真实的俄语 XML 文档中提取出来的示例；它就是这本书俄语翻译版的一部分。注意，编码koi8-r是在首部指定的。
	这些是古代斯拉夫语的字符，就我所知，它们用来拼写俄语单词“Preface”。如果你在一个正常文本编辑器中打开这个文件，这些字符非常象乱码，因为它们使用了koi8-r编码模式进行编码，但是却以iso-8859-1编码模式进行显示。

例 9.19. 解析russiansample.xml

>>> from xml.dom import minidom
>>> xmldoc = minidom.parse('russiansample.xml') 
>>> title = xmldoc.getElementsByTagName('title')[0].firstChild.data
>>> title                                       
u'\u041f\u0440\u0435\u0434\u0438\u0441\u043b\u043e\u0432\u0438\u0435'
>>> print title                                 
Traceback (innermost last):
  File "<interactive input>", line 1, in ?
UnicodeError: ASCII encoding error: ordinal not in range(128)
>>> convertedtitle = title.encode('koi8-r')     
>>> convertedtitle
'\xf0\xd2\xc5\xc4\xc9\xd3\xcc\xcf\xd7\xc9\xc5'
>>> print convertedtitle                        
Предисловие

	我假设在这里你将前一个例子以russiansample.xml为名保存在当前目录中。也出于完整性的考虑，我假设你已经删除了sitecustomize.py文件，将缺省编码改回到'ascii'，或至少将setdefaultencoding一行注释起来了。
	注意title标记的文本数据（现在在title变量中，幸亏有 Python 函数的常串联，我快速地将它跳过去，并且在下一节之前不会进行解释）－－在 XML 文档的title元素中的文本数据是以unicode保存的。
	打印title是不可能的，因为这个unicode字符串包哈了非 ASCII 字符，所以 Python 不能把它转换为 ASCII 因为它无法理解。
	你能够，但是，显式的将它转换为koi8-r，在本例中，我们得到一个（正常，非unicode）单字节字符的字符串（f0, d2, c5，等等），它是初始unicode字符串中字符koi8-r-编码的版本。
	打印koi8-r编码的字符串有可能会在你的屏幕上显示为乱码，因为你的 Python IDE 将这些字符作为 iso-8859-1的编码进行解析，而不是koi8-r编码。但是，至少它们能打印。（并且，如果你仔细看，当在一个不支持unicode的文本编辑器中打开最初的 XML 文档时，会看到相同的乱码。 Python 在解析 XML 文档时，将它从koi8-r转换到了unicode，你只不过是将它转换回来。）