概率论4

阅读数: 次 2022-02-27

最后的一篇的概率论blog要用于记录具有重要指导意义的大数定律及中心极限定理，虽然很多时候考试考不到或者考的十分简单，但我个人还是不想单纯把对他们的理解停留在：“万物皆可正态”上。

首先要引入切比雪夫不等式，即$X$为一随机变量，如果$EX,DX$存在，则对于所有的$\varepsilon $，都有：

$P\left( |X-EX|\geqslant \varepsilon \right) \leqslant \frac{DX}{\varepsilon ^2}$

这个式子可以帮助我们在不知道分布函数的情况下对概率进行估计，以及帮助理论证明。

下面我们引入大数定律，大数定律其实就是随机变量序列的前若干项的算术平均值在某种情况下收敛到这些项的均值的算数平均值。我们重点介绍三个大数定律：

切比雪夫大数定律：

随机变量序列$\left\{ X_i \right\} $相互独立，且具有相同的期望和方差，则：

$\underset{n\rightarrow \infty}{\lim}P\left( |\frac{1}{n}\sum_{i=1}^n{X_i}-\mu |\geqslant \varepsilon \right) =0 \\ \frac{1}{n}\sum_{i=1}^n{X_i}\overset{P}{\longrightarrow}\mu ,n\rightarrow \infty$

直接应用切比雪夫不等式即可证明。实际上当期望相同，方差有上确界时，上式也成立。

马尔可夫大数定律：

此时对互相独立的随机变量的期望没有要求（但是得存在），但要求$\underset{n\rightarrow \infty}{\lim}\frac{1}{n^2}D\left[ \sum_{i=1}^n{X_i} \right] =0$。此时满足：

$\underset{n\rightarrow \infty}{\lim}P\left( |\frac{1}{n}\sum_{i=1}^n{X_i}-\frac{1}{n}\sum_{i=1}^n{EX_i}|\geqslant \varepsilon \right) =0 \\ \frac{1}{n}\sum_{i=1}^n{X_i}\overset{P}{\longrightarrow}\frac{1}{n}\sum_{i=1}^n{EX_i},n\rightarrow \infty$

这个看起来有些不直接，我们这里写下它的证明：

$P\left( |\frac{1}{n}\sum_{i=1}^n{X_i}-\frac{1}{n}\sum_{i=1}^n{EX_i}|\geqslant \varepsilon \right) =P\left( |\frac{1}{n}\sum_{i=1}^n{X_i}-\sum_{i=1}^n{\frac{1}{n}EX_i}|\geqslant \varepsilon \right) \\ =\frac{D\left[ \frac{1}{n}\sum_{i=1}^n{X_i} \right]}{\varepsilon ^2}=\frac{\frac{1}{n^2}D\left[ \sum_{i=1}^n{X_i} \right]}{\varepsilon ^2}\rightarrow 0$

辛钦大数定律：

辛钦大数定律回答了当方差不存在时的情况，此时要求$\left\{ X_i \right\} $独立同分布，具有有限的数学期望。

$\underset{n\rightarrow \infty}{\lim}P\left( |\frac{1}{n}\sum_{i=1}^n{X_i}-\mu |\geqslant \varepsilon \right) =0 \\ \frac{1}{n}\sum_{i=1}^n{X_i}\overset{P}{\longrightarrow}\mu ,n\rightarrow \infty$

虽然性质和切比雪夫大数定律是一样的，但是此时的条件并不相同，我们要注意。

实际上这三个大数定律就是在告诉我们，在满足各自条件下，随机变量序列前$n$项的算数平均很可能接近于$\frac{1}{n}\sum_{i=1}^n{EX_i}$。上面的$\overset{P}{\longrightarrow}$实际上叫依概率收敛，测度论中有更深入的讲解，这里我们只需一个浅显的认识：依概率收敛并不是随便一个随机变量序列都能满足的，在这里我们只用考虑$\frac{1}{n}\sum_{i=1}^n{X_i}$。比如最简单的抛硬币，它就不满足依概率收敛，哪怕一万次后，正面反面的概率还是那么多，不会有什么变化。

以及伯努利大数定律告诉了我们频率和概率的关系，实际上这个关系我们早就知道了。即当试验次数很大时，可以用频率来替代概率。

下面我们要介绍中心极限定理，这个定理十分的重要，从信息论上看，正态分布熵最大。正态分布为什么长这个样子，为什么里面带$e$，这些疑问将可以在中心极限定理看到。书上一共给出了三个中心极限定理，我们重点放在第一个，独立同分布情况下的，因为这个简单，并且更有一些应用意味。

设$X_1,X_2,…,X_n$是相互独立且同分布的随机变量序列，期望为$\mu$，方差为$\sigma^2$。则随机变量$Y_n$的分布函数$F_n(x)$满足：

$Y_n=\frac{\sum_{i=1}^n{X_i}-E\left[ \sum_{i=1}^n{X_i} \right]}{\sqrt{D\left[ \sum_{i=1}^n{X_i} \right]}}=\frac{\sum_{i=1}^n{X_i}-n\mu}{\sqrt{n}\sigma} \\ \underset{n\rightarrow \infty}{\lim}F_n\left( x \right) =\underset{n\rightarrow \infty}{\lim}\left( \frac{\sum_{i=1}^n{X_i}-n\mu}{\sqrt{n}\sigma}\leqslant x \right) =\int_{-\infty}^x{\frac{1}{\sqrt{2\pi}}e^{-\frac{t^2}{2}}\mathrm{d}t}=\varPhi \left( x \right)$

本质上就是说许多独立的随机变量相加，我们利用之前学到的卷积公式，可知，对于$Z=\sum_{i=1}^n{X_i}$，概率密度函数可以写作：

$f_Z=f_{X_1}\ast f_{X_2}\ast ...\ast f_{X_n}$

卷积并不好处理，我们用傅里叶变换，我们先对随机变量$Y_n$进行标准化，写成$R_n$。这样我们计算的结果最后就可以用标准正态分布唯一表示：

$T_k=X_k-\mu ,R_k=\frac{T_k}{\sqrt{n}\sigma} \\ Y_n=\sum{R_k} \\ f_R\left( x \right) =\sqrt{n}\sigma f_T\left( \sqrt{n}\sigma x \right)$

至于$f_R(x)$的傅里叶变换：

$\mathcal{F} _R\left( k \right) =\int_{-\infty}^{+\infty}{\sqrt{n}\sigma f_T\left( \sqrt{n}\sigma x \right) e^{ikx}\mathrm{d}x}=\int_{-\infty}^{+\infty}{f_T\left( \sqrt{n}\sigma x \right) e^{\frac{ik\sqrt{n}\sigma x}{\sqrt{n}\sigma}}\mathrm{d}\left( \sqrt{n}\sigma x \right)} \\ =\mathcal{F} _T\left( \frac{k}{\sqrt{n}\sigma} \right)$

对傅里叶变换后的表达式作泰勒展开，结合傅里叶变换的时域微分性质

$\mathcal{F} \left[ \left( ix \right) ^nf\left( x \right) \right] =\mathcal{F} ^n\left( k \right) \\ \mathcal{F} _T\left( 0 \right) =\int_{-\infty}^{+\infty}{f_T\left( x \right) \mathrm{d}x}=1 \\ \mathcal{F} '_T\left( 0 \right) =\int_{-\infty}^{+\infty}{ixf_T\left( x \right) \mathrm{d}x}=iE\left( X \right) =0 \\ \mathcal{F} ''_T\left( 0 \right) =\int_{-\infty}^{+\infty}{\left( ix \right) ^2f_T\left( x \right) \mathrm{d}x}=-D\left( X \right) =-\sigma ^2$

所以对于我们想求的：

$\mathcal{F} _Y\left( k \right) =\left[ \mathcal{F} _R\left( k \right) \right] ^n=\left[ \mathcal{F} _T\left( \frac{k}{\sqrt{n}\sigma} \right) \right] ^n \\ =\underset{n\rightarrow \infty}{\lim}\left[ 1-\frac{k^2}{2n}+o\left( \left( \frac{k}{\sqrt{n}\sigma} \right) ^2 \right) \right] ^n \\ =\underset{n\rightarrow \infty}{\lim}\left\{ \left[ 1-\frac{k^2}{2n}+o\left( \left( \frac{k}{\sqrt{n}\sigma} \right) ^2 \right) \right] ^{-\frac{2n}{k^2}} \right\} ^{-\frac{k^2}{2}}=e^{-\frac{k^2}{2}}$

结论此时已经得到了，因为高斯函数的傅里叶变换还是高斯函数，特别地，在标准正态分布下傅里叶变换前后不变。

$\mathcal{F} \left( k \right) =\int_{-\infty}^{+\infty}{e^{-ax^2}e^{-ikx}\mathrm{d}x}=e^{-\frac{k^2}{4a}}\int_{-\infty}^{+\infty}{e^{-\left( \sqrt{a}x+\frac{ik}{2\sqrt{a}} \right) ^2}\mathrm{d}x} \\ =\frac{1}{\sqrt{a}}e^{-\frac{k^2}{4a}}\int_{-\infty}^{+\infty}{e^{-u^2}\mathrm{d}u}=\sqrt{\frac{\pi}{a}}e^{-\frac{k^2}{4a}} \\ a=\frac{1}{2},\mathcal{F} \left( k \right) =\sqrt{2\pi}e^{-\frac{k^2}{2}} \\ \mathcal{F} \left( \frac{1}{\sqrt{2\pi}}e^{-\frac{x^2}{2}} \right) =e^{-\frac{k^2}{2}}$

这里我们就给出了独立同分布情况下的简单证明，这个证明并不容易。这个证明并不能帮助做对考试题，但是我们仍然有必要知道。这个形式下的定理全称为林德伯格-维勒中心极限定理。简单来说，就是当$n$充分大时，可以近似认为服从正态分布$N(n\mu,n\sigma^2)$，估值为：

$P\left( \sum_{i=1}^n{X_i}\leqslant x \right) \approx \varPhi \left( \frac{x-n\mu}{\sqrt{n}\sigma} \right) \\ P\left( a<\sum_{i=1}^n{X_i}\leqslant b \right) \approx \varPhi \left( \frac{b-n\mu}{\sqrt{n}\sigma} \right) -\varPhi \left( \frac{a-n\mu}{\sqrt{n}\sigma} \right)$

进一步，李普亚诺夫中心极限定理给出了不是同分布时的情况，它指出的情况是当随机变量间相互独立时，当李普亚诺夫条件得以满足时，我们可以将上文的$n\mu$替换成$\sum_{i=1}^n{\mu _i}$，$\sqrt n \sigma$替换成$\sqrt{\sum_{i=1}^n{\sigma _{i}^{2}}}$。

棣莫弗-拉普拉斯中心极限定理对二项分布的近似计算有重要作用，实际上就是将最开始的中心极限定理里的$n\mu$换成$np$，$\sqrt n \sigma$换成$\sqrt {np(1-p)}$。

中心极限定理的近似计算有着很好的功用，例如一批灯泡约有5%为残次品，从中抽取1000只灯泡进行检查，试求次品数不少于40的概率，以及次品数在40到60之间的概率。这个问题的精确解需要大量的计算，但用中心极限定理只需查标准正态分布表即可。

由于$EX=1000 \times 0.05=50 DX = 1000 \times 0.05 \times 0.95 = 47.5$。

$P\left( X\geqslant 40 \right) =P\left( 40\leqslant X\leqslant 1000 \right) \approx \varPhi \left( \frac{1000-50}{\sqrt{47.5}} \right) -\varPhi \left( \frac{40-50}{\sqrt{47.5}} \right) \\ =1-\varPhi \left( -1.45 \right) =0.9265 \\ P\left( 40\leqslant X\leqslant 60 \right) \approx \varPhi \left( \frac{60-50}{\sqrt{47.5}} \right) -\varPhi \left( \frac{40-50}{\sqrt{47.5}} \right) \\ =\varPhi \left( 1.45 \right) -\varPhi \left( -1.45 \right) =2\varPhi \left( -1.45 \right) -1=0.853$

一些难以准确计算的问题也可以由中心极限定理估计出，例如：

货车最大载重量为5吨，每箱货物的平均重量为50千克，标准差为5千克。则估计最大能装多少箱，才能保证不超载的概率大于0.977。$\varPhi \left( 2 \right) =0.977$。

这个问题可以直接用中心极限定理作很好的估计：

$Y=\sum_{i=1}^n{X_i},EX_i=50,DX_i=5^2 \\ P\left( Y\leqslant 5000 \right) =\varPhi \left( \frac{5000-50n}{5\sqrt{n}} \right) >\varPhi \left( 2 \right) \\ \frac{1000-10n}{\sqrt{n}}>2\rightarrow n<98.0199$

所以最多可装98箱。