第1个回答 2022-07-19
干净整洁的数据是后续进行研究和分析的基础。数据科学家们会花费大量的时间来清理数据集，毫不夸张地说，数据清洗会占据他们80%的工作时间，而真正用来分析数据的时间只占到20%左右。
所以，数据清洗到底是在清洗些什么？
通常来说，你所获取到的原始数据不能直接用来分析，因为它们会有各种各样的问题，如包含无效信息，列名不规范、格式不一致，存在重复值，缺失值，异常值等.....
本文会给大家介绍一些Python中自带的Pandas和NumPy库进行数据清洗的实用技巧。
这是读取数据的入门级命令，在分析一个数据集的时候，很多信息其实是用不到的，因此，需要去除不必要的行或列。这里以csv文件为例，在导入的时候就可以通过设置pd.read_csv()里面的参数来实现这个目的。
先来感受一下官方文档中给出的详细解释，里面的参数是相当的多，本文只介绍比较常用的几个，感兴趣的话，可以好好研究一下文档，这些参数还是非常好用的，能省去很多导入后整理的工作。
当原始数据的列名不好理解，或者不够简洁时，可以用.rename()方法进行修改。这里我们把英文的列名改成中文，先创建一个字典，把要修改的列名定义好，然后调用rename()方法。
数据默认的索引是从0开始的有序整数，但如果想把某一列设置为新的索引，除了可以用read_csv()里的参数index_col，还可以用.set_index()方法实现。
另外补充，如果数据经过删除或结构调整后，我们可以重置索引，让索引从0开始，依次排序。
字符串str操作是非常实用的，因为列中总是会包含不必要的字符，常用的方法如下：
str.lower() 是把大写转换成小写，同理，str.upper()是把小写转换成大写，将示例中用大写字母表示的索引转换成小写。
设置首字母大写
str.replace("a", "") 替换特定字符。这里把列中的a去掉，替换成空字符。
去除字符串中的头尾空格、以及\n \t。
str.split('x') 使用字符串中的'x'字符作为分隔符，将字符串分隔成列表。这里将列中的值以'.'进行分割。
str.get() 选取列表中某个位置的值。接着上面分割后的结果，我们用str.get(0)取出列表中前一个位置的数值，生成新的一列。
str.contains() 判断是否存在某个字符，返回的是布尔值。
str.find("-")检测字符串中是否包含"-"，如果包含，则返回该子字符串开始位置的索引值;如果不包含，则返回-1。
学完基本的字符串操作方法，我们来看一下如何结合NumPy来提高字符串操作的效率。
我们可以将Pandas中的.str()方法与NumPy的np.where函数相结合，np.where函数是Excel的IF()宏的矢量化形式，它的语法如下:
如果condition条件为真，则执行then，否则执行else。这里的condition条件可以是一个类数组的对象，也可以是一个布尔表达式，我们也可以利用np.where函数嵌套多个条件进行矢量化计算和判断。
接下来就要对列中的字符串进行整理，除了利用循环和.str()方法相结合的方式进行操作，我们还可以选择用applymap()方法，它会将传入的函数作用于整个DataFrame所有行列中的每个元素。
先定义函数get_citystate(item)，功能是只提取元素中的有效信息。然后，我们将这个函数传入applymap()，并应用于df3，看起来是不是干净多了，结果如下：
如果你没听说过它的话，我不得强调它的重要性。输入下面的命令：
你会发现df1已经发生了改变。这是因为df2 = df1并不是生成一个df1的复制品并把它赋值给df2，而是设定一个指向df1的指针。所以只要是针对df2的改变，也会相应地作用在df1上。为了解决这个问题，你既可以这样做：
也可以这样做：
这个命令用于检查值的分布。你想要检查下“c”列中出现的值以及每个值所出现的频率，可以使用：
下面是一些有用的小技巧/参数：
lsin () 用于过滤数据帧。Isin () 有助于选择特定列中具有特定（或多个）值的行。
在SQL中我们可以使用 SELECT * FROM … WHERE ID in (‘A001’,‘C022’, …)来获取含有指定ID的记录。如果你也想在Pandas中做类似的事情，你可以使用：
select_dtypes() 的作用是，基于 dtypes 的列返回数据帧列的一个子集。这个函数的参数可设置为包含所有拥有特定数据类型的列，亦或者设置为排除具有特定数据类型的列。
pivot_table( ) 也是 Pandas 中一个非常有用的函数。如果对 pivot_table( ) 在 excel 中的使用有所了解，那么就非常容易上手了。
如果需要计算样本的缺失率分布，只要加上参数axis=1
分为分组中有重复值和无重复值两种。无重复值的情况。
先按Mt列进行分组，然后对分组之后的数据框使用idxmax函数取出Count最大值所在的列，再用iloc位置索引将行取出。有重复值的情况
对ID进行分组之后再对分数应用rank函数，分数相同的情况会赋予相同的排名，然后取出排名为1的数据。
介绍两种高效地组内排序的方法。
用这种方式转换第三列会出错，因为这列里包含一个代表 0 的下划线，pandas 无法自动判断这个下划线。为了解决这个问题，可以使用 to_numeric() 函数来处理第三列，让 pandas 把任意无效输入转为 NaN。
df = df.apply(pd.to_numeric, errors='coerce').fillna(0)
方法一：只读取切实所需的列，使用usecols参数
方法二：把包含类别型数据的 object 列转换为 Category 数据类型，通过指定 dtype 参数实现。
希望本文的内容对大家的学习或者工作能带来一定的帮助，每天进步一点点，加油~