pandas apply 带参函数操作多列或者多行数据

Question

如题所述

Answer 1

pandas 中的 apply 函数是用于对 DataFrame 或 Series 的元素进行逐元素遍历操作的强大工具，它能显著提升效率，通常达到 for 循环的 800 多倍速度。在使用 apply 时，我们可以通过传递 lambda 函数或自定义函数来操作多列或多行数据，操作的过程更为灵活高效。

一、基础知识

apply 函数的基本使用方式是将一个 lambda 函数表达式或函数作为操作运算。它的参数包括 func、args 和 kwargs。func 是要应用的函数，args 是一个包含将要提供给函数的按位置传递的参数的元组，而 kwargs 是一个包含关键字参数的字典。

DataFrame 的 apply 工作原理是，先依据 axis 参数将 DataFrame 按行或列切片成一行或一列的 Series，然后将这些切片放入元组中。底层使用 C 语言实现高效的元组遍历。

轴参数 axis 控制着切片的方向，而不是应用的方向。当 axis 为 0 时，表示按列切片，即对每一列执行操作；当 axis 为 1 时，表示按行切片，即对每一行执行操作。

在参数传递方面，我们通常通过函数闭包实现参数的传递，使用 lambda x: func(x) 的方式。理论上，将要传递的函数改造成闭包的形式后直接传递也是可行的，但使用匿名函数更加简洁。

二、应用方法

实现使用 apply 对多列或多行数据进行操作的步骤如下：

1. 首先编写需要 apply 的函数，确保该函数设计为以 DataFrame 的一行形成的 Series 来执行特定操作。在设计函数参数时，建议使用 Series 的相对索引，以提高代码的灵活性。

2. 在 apply 函数中，将 DataFrame 切分为多行 Series，每次将一个 Series 作为参数传入 lambda 匿名函数中的 arg。然后在所有的 Series 上重复该操作。

3. 最后，将每个 Series 传入到 lambda 函数中，完成对数据的操作。

示例：假设我们有一个 DataFrame，希望在 C 列中计算 A 和 B 列的和。通过使用 lambda 函数，我们可以轻松实现这一目标。

1、lambda 函数的参数 x 实际代表的是 Series，而不是整个 DataFrame。例如，在处理 A、B、C 列的 DataFrame 时，x 的迭代值依次为 A、B、C 的每一行。

2、函数设计时应以 Series 的方式考虑参数。由于 x 实际代表的是 Series，因此切片方式应为 Series，例如使用 iloc[-1] 而非 iloc[:,-1]。

通过 args 参数，可以传递任意数量和类型的附加参数给每个函数，例如参数 a、参数 b 等。例如：

这将输出一个结果，其中 C 列为 A 和 B 列的和，同时传递了附加参数 a 和 b。请注意，在使用 args 参数时，确保按照正确的顺序传递所有参数。

使用 lambda 函数简化代码，特别是在需要使用命名参数时，可以更加明确地指定参数名称。

参考链接：

原文链接： Pandas 数据处理 | apply() 函数用法指南！

原文链接： pandas DataFrame 的 apply 函数 result_type 参数说明