中心极限定理的应用之一：生成正态分布的随机数

Question

如题所述

Answer 1

在神经网络训练中，参数初始化经常使用正态分布的随机数。那么，正态分布随机数是如何生成的呢？在统计软件如R语言中，有专门的函数实现这一功能。例如，R语言的`rnorm`函数，其源代码位于`R-3.5.1/src/nmath/rnorm.c`。尽管我们可以从函数调用和相关讨论中了解到一些实现逻辑，但具体的源码通常不公开。通过查阅相关资源，我们得知正态分布的生成算法是Inversion算法，其核心思想是生成均匀分布的随机数，然后通过映射到正态分布的累积分布函数（CDF）的反函数，得到服从正态分布的随机数。

Inversion算法的具体实现中，生成一个非常长的浮点数，这个浮点数服从均匀分布。然后，将这个浮点数作为输入传递给`qnorm5`函数，即正态分布的累积分布函数，通过求解反函数得到服从正态分布的随机数。这一过程可以通过查阅`R-3.5.1/src/nmath/qnorm.c`中的`qnorm`源码来详细了解。

为了直观地解释这一过程，我们可以通过均匀分布的特性来生成服从正态分布的随机数。均匀分布是连续型随机变量的常见分布，其概率密度函数为：

\[ f(x) = \frac{1}{b-a} \]

对于区间 \([a, b]\) 上的均匀分布，期望和方差分别为：

\[ E(X) = \frac{a+b}{2}, \quad Var(X) = \frac{(b-a)^2}{12} \]

例如，一个半径为\(r\)的汽车轮胎，轮胎圆周上的任一点接触地面的可能性是相同的，因此轮胎周围接触地面位置的\(X\)是服从区间\([0, 2\pi r]\)的均匀分布。这就是每个样本点等可能发生的思想。

为了生成服从标准正态分布的随机数，我们可以按照以下步骤进行操作：

1. 在区间\([-1, 1]\)随机取一个数，例如\(U = 0.6744898\)，这个随机数服从区间\([-1, 1]\)的均匀分布。
2. 将\(U\)映射到标准正态分布的累积分布函数CDF上。
3. 对应CDF上\(U\)轴上的点，这个点就是服从标准正态分布的点，其取值范围在\((-∞, +∞)\)。

为了生成服从非标准正态分布的随机数，我们可以利用中心极限定理。中心极限定理表明，当大量相互独立的随机变量相加时，其和的分布将趋近于正态分布。具体地，我们可以通过以下步骤生成服从正态分布的随机数：

1. 生成12个服从区间\([-1, 1]\)上的均匀分布的随机数。
2. 计算这12个随机数的和，然后减去6。
3. 通过上述步骤得到的随机数即服从标准正态分布。

这种方法虽然快，但精确度略低，适用于大量数据的快速生成。通过这些方法，我们能够直观地理解正态分布随机数的生成原理，为神经网络训练等应用提供坚实的数学基础。