python中用pandas.read_csv读取含有中文的文件

Question

如题所述

Answer 1

在Python2中，读取含有中文的CSV文件时，需要确保文件的编码是utf-8，并且在代码中使用u前缀指定字符串为Unicode类型。例如：

# -*- coding: utf-8 -*-

import pandas as pd

mydata = pd.read_csv(u"例子.csv")

然而，很多人误以为Python3在处理中文文件时与Python2相同。实际上，Python3在处理中文文件时表现出了不同的特性。

在Python3中，虽然仍然需要指定文件的编码，但无需使用u前缀。以下是几种等价的读取方法：

# -*- coding: utf-8 -*-

import pandas as pd

mydata = pd.read_csv(u"例子.csv", encoding="gbk")

mydata = pd.read_csv(u"例子.csv", encoding="gb2312")

mydata = pd.read_csv(u"例子.csv", encoding="gb18030")

值得注意的是，gbk、gb2312和gb18030都是GB2312的扩展，它们在处理不同类型的中文字符时具有不同的兼容性。选择合适的编码可以避免读取错误或乱码。

总而言之，在Python2和Python3中处理含有中文的CSV文件时，需要特别注意文件的编码和指定方法。Python3简化了这部分操作，但仍需正确配置编码以确保数据的正确读取。