python爬虫抓下来的网页，中间的中文乱码怎么解决

Question

如题所述

Answer 1

对于python的中文编码问题可以参考下面的帖子
http://python.jobbole.com/85482/

同时，对于网页的中文乱码，建立使用requests模块代替urllib\urllib2
requests的content方法，对中文编码，支持比较好，基本不会出现乱码。
req=requests.get(url,cookies=mecookies)
print req.content

具体用法，参见下面两个帖子，较详细：
http://blog.csdn.net/iloveyin/article/details/21444613
http://blog.csdn.net/alpha5/article/details/24964009

Answer 2

Python代码里的中文
代码第一行（如果有脚本标记则是第二行）可以按照PEP8形式指定本代码文件的编码类型。若不指定则按照ascii（py2.x）或utf-8（py3）

你需要了解的内容
清楚知道包含中文的文件是用的什么编码
清楚知道自己输出端（命令行？html？GUI？）用什么编码
清楚知道编码的基本知识

你需要的python相关内容
以python2.7.x为例：
print/file.write等实质上只输出str对象，如果输出内容不是str对象，则使用str函数进行转换
str函数是个壳，实质是调用对象方法__str__
encode函数是将一个unicode类按照指定的编码（如果不指定则使用defaultencoding）转换为不带编码标记的str类
decode函数是将一个str类按照指定编码（如果不指定则使用defaultencoding）转换为使用utf-8编码的unicode类
直接print一个容器（dict/list/tuple）的时候不会对其中的字符串进行编码，因此看到的非ascii字符集内容将会以\xAA或者\uAAAA之类的形式输出

Python3中，str行为与py2的unicode行为一致；bytes行为与py2的str行为一致。本回答被网友采纳