极限定理
- 依分布收敛
- 中心极限定理
- 依概率收敛
- 弱大数定律
- 平均收敛
- 强大数定律
- 判别准则
- 习题
依分布收敛
定义 若有一列分布函数 \(\{F_n\}\) 和分布函数 \(F\) ，在 \(F\) 的每一个连续点，都有 \(F_n\to F\) ，则称 \(F_n\) 弱收敛于 \(F\) ，记为 \(F_n\stackrel{\omega}\longrightarrow F\) .
定义 若一列随机变量 \(\xi_n\) 的分布函数弱收敛于 \(\xi\) 的分布函数，则称 \(\xi_n\) 依分布收敛于 \(\xi\) ，记为 \(\xi_n\stackrel{d}\longrightarrow\xi\) .
海莱第一定理 若有一列分布函数 \(\{F_n\}\) ，则存在单调不减右连续的函数 \(F,\ 0\le F(x)\le 1,\ x\in\mathbb{R}\) 和子列 \(\{F_{n_k}\}\) ，使得对 \(F\) 的每一个连续点，都有 \(F_{n_k}\to F\) .
海莱第二定理 设有分布函数 \(F\) ，一列分布函数 \(\{F_n\}\) ， \(F_n\stackrel{\omega}\longrightarrow F\) ，若 \(g(x)\) 在 \(\mathbb{R}\) 上有界连续，则
\[\int_{-\infty}^{+\infty}g(x)dF_n(x) \to \int_{-\infty}^{+\infty}g(x)dF(x) \]勒维连续型定理 设有分布函数 \(F\) ，一列分布函数 \(\{F_n\}\) ，若 \(F_n\stackrel{\omega}\longrightarrow F\) ，则相应的特征函数列 \(\{f_n(t)\}\) 关于 \(t\) 在任何有限区间一致收敛于 \(F\) 的特征函数 \(f(t)\) .
逆极限定理 设 \(f_n(t)\) 是分布函数 \(F_n(x)\) 的特征函数，如果对每个 \(t,\ f_n(t)\to f(t)\) ，且 \(f(t)\) 在 \(t=0\) 连续，则 \(f(t)\) 一定是某个分布函数 \(F\) 的特征函数，且 \(F_n\stackrel{\omega}\longrightarrow F\) .
例 4.1 用特征函数法证明二项分布的泊松逼近定理.
\(Proof.\) 设 \(\xi_n\) 服从二项分布 \(B(n,p)\) ，且 \(\lim_{n\to\infty}np_n = \lambda\) ，它的特征函数为 \(f_n(t) = (p_ne^{it}+q_n),\ q_n = 1-p_n\) ，则有
\[\lim_{n\to\infty}f_n(t) = \lim_{n\to\infty}\left(1+\dfrac{np_n(e^{it}-1)}{n}\right)^n = e^{\lambda(e^{it}-1)} \]恰为泊松分布的特征函数，由逆极限定理即证.
推论 若有一列随机变量 \(\xi_n\) 和 \(\xi\) ，则下述等价
- \(\xi_n\stackrel{d}\longrightarrow\xi\)
- 对任意有界连续函数，有 \(Eg(\xi_n)\to Eg(\xi)\)
- 对任意实数 \(t\) 有 \(f_n(t)\to f(t)\)
推论 关于密度函数或分布列判断依分布收敛
- 若对任意 \(x,\ p_n(x)\to p(x)\) ，则 \(\xi_n\stackrel{d}\longrightarrow\xi\)
- 若对任意 \(j,\ p_n(x_j)\to p(x_j)\) ， \(\xi_n\stackrel{d}\longrightarrow\xi\)
性质
- 若 \(g(x)\) 在 \(\mathbb{R}\) 上连续，则若 \(\xi_n\stackrel{d}\longrightarrow\xi\) ，有 \(g(\xi_n)\stackrel{d}\longrightarrow g(\xi)\)
- 若有常数列 \(\{a_n\},\ \{b_n\}\) ，有分布函数 \(F\) ，一列分布函数 \(\{F_n\}\) ，若 \(a_n\to a,\ b_n\to b,\ F_n\to F\) ，则
- 若 \(\xi_n\stackrel{d}\longrightarrow\xi\) ，则 \(a_n\xi_n + b_n\stackrel{d}\longrightarrow a\xi +b\)
中心极限定理
德莫佛-拉普拉斯 用 \(S_n\) 表示 \(n\) 重伯努利实验中成功的次数，设 \(\Phi(x)\) 为标准正态分布的分布函数，则
\[\lim_{n\to\infty}P\left(\dfrac{S_n-np}{\sqrt{npq}}\le x\right) = \Phi(x) \]可以看出二项分布逼近正态分布，其中
\[P(S_n=k) = b(k;n,p) \]也就是说， \(n\) 次独立实验中成功 \(\alpha
需要注意这里是 \(n\) 个二项分布的累积，每个分布只有 \(1\) 次实验，类似于对分布的拆分： \(S_n\) 本身是二项分布，但是这里将 \(n\) 次实验拆成了 \(n\) 个随机变量的累计.
定义 设有一列随机变量 \(\xi_n\) ，若有常数 \(B_n>0,\ A_n\) 使得
\[\dfrac{1}{B_n}\sum_{k=1}^n\xi_k - A_n\stackrel{d}\longrightarrow N(0,1) \]则称 \(\xi_n\) 服从中心极限定理.
林德贝格-勒维 设 \(\{\xi_n\}\) 独立同分布，记 \(S_n = \sum_{k=1}^n\xi_k,\ E\xi_1 = a,\ Var\xi_1 = \sigma^2\) ，则中心极限定理成立，即
\[\dfrac{S_n-na}{\sqrt{n}\sigma} \stackrel{d}\longrightarrow N(0,1) \]从而我们可以类似于上进行估计；特别的，当 \(S_n\) 是二项分布，有 \(E\xi_1 = a,\ Var\xi_1 = pq\) .
李雅普诺夫定理 若 \(\{\xi_n\}\) 独立，存在常数 \(\delta>0\) ，使得
\[\dfrac{1}{(\sum_{k=1}^nVar\xi_k)^{1+\delta/2}}\sum_{k=1}^nE|\xi_k-E\xi_k|^{2+\delta} \to 0 \]则中心极限定理成立.
依概率收敛
由于两个不同的随机变量可以有相同的分布函数，故分布函数的收敛性不能反映随机变量序列取值之间的接近程度，因此需要引入另外的收敛性.
定义 设 \(\xi,\ \xi_n,\ n\ge 0\) 是定义在同一概率空间 \((\Omega,\mathcal{F},P)\) 上的随机变量，若有
\[\forall \epsilon > 0,\quad \lim_{n\to\infty}P(|\xi_n-\xi|\ge\epsilon) = 0 \]则称 \(\xi_n\) 依概率收敛于 \(\xi\) ，记作 \(\xi_n\stackrel{P}\longrightarrow \xi\) .
设 \(\xi,\ \xi_n,\ n\ge 0\) 是定义在同一概率空间 \((\Omega,\mathcal{F},P)\) 上的随机变量
- 若 \(\xi_n\stackrel{P}\longrightarrow \xi\) ，则 \(\xi_n\stackrel{d}\longrightarrow\xi\)
- 若 \(\xi_n\stackrel{d}\longrightarrow c\) ，其中 \(c\) 为常数，则 \(\xi_n\stackrel{P}\longrightarrow c\)
注意随机变量为 \(c\) ，则有分布列 \(P(\xi=c) = 1\) ，从而有分布函数
\[F(x) = \left\{ \begin{aligned} &0,\quad x马尔科夫不等式 设 \(\xi\) 是定义在概率空间 \((\Omega,\mathcal{F},P)\) 上的随机变量， \(f(x)\) 是 \([0,\infty)\) 上的非负单调不减函数，则有
\[\forall x>0,\quad P(|\xi|>x)f(x) \le Ef(|\xi|) \]这里改写了不等式，注意到左边是一个类似于期望的格式，这样比较直观，事实上
\[P(|\xi|>x)f(x) = \int_{|y|>x}f(x)dF(y) \le \int_{|y|>x}f(y)dF(y) \le \int_{\Omega}f(y)dF(y) = Ef(|\xi|) \]\(\xi_n\stackrel{P}\longrightarrow \xi\) 当且仅当
\[E\dfrac{|\xi_n-\xi|^2}{1+|\xi_n-\xi|^2} \to 0 \]\(Proof.\) 注意到 \(f(x) = x^2/(1+x^2)\) 非负单调不减，由上即证.
弱大数定律
伯努利大数定律 设 \(\{\xi_n\}\) 独立同分布， \(P(\xi_n=1) = p,\ P(\xi_n=0) = 1-p,\ 0
设 \(\{\xi_n\}\) 是定义在概率空间 \((\Omega,\mathcal{F},P)\) 上的随机变量序列，若有常数列 \(\{a_n\},\ \{b_n\}\) 使得
\[\dfrac{1}{a_n}\sum_{k=1}^n\xi_k - b_n \stackrel{P}\longrightarrow 0 \]则称 \(\{\xi_n\}\) 服从弱大数定律.
使用伯努利大数定律估计
\[\xi_i\sim B(1,p),\quad S_n = \sum_{i=1}^n\xi_i \]则有估计
\[P(S_n\le x) = P\left(\dfrac{S_n-np}{\sqrt{npq}}\le \dfrac{x-np}{\sqrt{npq}}\right) \approx \Phi\left(\dfrac{x-np}{\sqrt{npq}}\right) \]其中 \(q=1-p\) .
切比雪夫大数定律 设 \(\{\xi_n\}\) 是定义在概率空间 \((\Omega,\mathcal{F},P)\) 上的独立随机变量序列， \(E\xi_n = \mu_n,\ Var\xi_n = \sigma_n^2\) ，若有 \(\sum_{k=1}^n\sigma_k^2/n^2\to 0\) ，则称 \(\{\xi_n\}\) 服从弱大数定律，即
\[\dfrac{1}{n}\sum_{k=1}^n\xi_k - \dfrac{1}{n}\sum_{k=1}^n\mu_k \stackrel{P}\longrightarrow 0 \]\(Proof.\) 考虑 \(\sum_{k=1}^n\xi_k/n\) ，则
\[E\left(\dfrac{1}{n}\sum_{k=1}^n\xi_k\right) = \dfrac{1}{n}\sum_{k=1}^n\mu_k,\quad Var\left(\dfrac{1}{n}\sum_{k=1}^n\xi_k\right) = \dfrac{1}{n^2}\sum_{k=1}^n\sigma_k^2 \]由切比雪夫不等式
\[P\left(\left|\dfrac{1}{n}\sum_{k=1}^n(\xi_k -\mu_k)\right|\ge\epsilon\right) \le \dfrac{1}{\epsilon^2}Var\left(\dfrac{1}{n}\sum_{k=1}^n\xi_k\right) = \dfrac{1}{\epsilon^2n^2}\sum_{k=1}^n\sigma_k^2 \to 0 \]即证.
马尔科夫大数定律 设 \(\{\xi_n\}\) 是定义在概率空间 \((\Omega,\mathcal{F},P)\) 上的独立随机变量序列， \(E\xi_n = \mu_n\) ，若有 \(Var(\sum_{k=1}^n\xi_k^2)/n^2\to 0\) ，则称 \(\{\xi_n\}\) 服从弱大数定律，即
\[\dfrac{1}{n}\sum_{k=1}^n\xi_k - \dfrac{1}{n}\sum_{k=1}^n\mu_k \stackrel{P}\longrightarrow 0 \]证明是类似的，可以省去最后一步.
辛钦大数定律 设 \(\{\xi_n\}\) 是定义在概率空间 \((\Omega,\mathcal{F},P)\) 上的独立同分布随机变量序列， \(E|\xi_1|<\infty\) ，记 \(\mu=E\xi_1,\ S_n=\sum_{k=1}^n\xi_k\) ，则 \(\{\xi_n\}\) 服从弱大数定律，即
\[\dfrac{S_n}{n} \stackrel{P}\longrightarrow \mu \]平均收敛
设 \(\xi,\ \xi_n,\ n\ge 1\) 是定义在同一概率空间 \((\Omega,\mathcal{F},P)\) 上的随机变量， \(E|\xi|^r<\infty,\ E|\xi_n|^r<\infty,\ n\ge1,\ 0
则称 \(\{\xi_n\}\) \(r\) 阶平均收敛于 \(\xi\) ，记作 $\xi_n\stackrel{L_r}\longrightarrow\xi $.
强大数定律
定义 设 \(\xi,\ \xi_n,\ n\ge 1\) 是定义在同一概率空间 \((\Omega,\mathcal{F},P)\) 上的随机变量，若存在 \(\Omega_0\in\mathcal{F}\) 使得 \(P(\Omega_0) = 1\) ，且对任意 \(\omega\in\Omega_0\) 有 \(\xi_n(\omega)\to\xi(\omega)\) ，则称 \(\xi_n\) 以概率 \(1\) 收敛或几乎必然收敛于 \(\xi\) ，记作 \(\xi_n\to\xi\ \mathrm{a.s.}\)
定义 若有 \(\Omega_0\in\mathcal{F}\) 使得 \(P(\Omega_0) = 1\) ，且对任意 \(\omega\in\Omega_0\) ， \(\{\xi_n(\omega)\}\) 是柯西基本列，即 \(\xi_n(\omega)-\xi_m(\omega)\to 0\) ，则称 \(\xi_n\) 以概率 \(1\) 是柯西基本列。这意味着至多除去一个零概率事件外， \(\xi_n\) 逐点收敛于 \(\xi\) .
判别准则
设 \(\xi,\ \xi_n,\ n\ge 1\) 是定义在同一概率空间 \((\Omega,\mathcal{F},P)\) 上的随机变量
- \(\xi_n\to\xi\ \mathrm{a.s.}\) 当且仅当对任意 \(\epsilon > 0\)
- \(\{\xi_n\}\) 以概率 \(1\) 是柯西基本列当且仅当对任意 \(\epsilon > 0\)
设 \(\{\xi_n\}\) 是定义在概率空间 \((\Omega,\mathcal{F},P)\) 上的随机变量序列，若有常数列 \(\{a_n\},\ \{b_n\}\) 使得
\[\dfrac{1}{a_n}\sum_{k=1}^n\xi_k - b_n \to 0\quad \mathrm{a.s.} \]则称 \(\{\xi_n\}\) 服从强大数定律.
波雷尔强大数定律 设 \(\{\xi_n\}\) 是定义在概率空间 \((\Omega,\mathcal{F},P)\) 上的独立同分布随机变量序列， \(P(\xi_n=1) = p,\ P(\xi_n=0) = 1-p,\ 0
柯尔莫哥洛夫强大数定律 设 \(\{\xi_n\}\) 是定义在概率空间 \((\Omega,\mathcal{F},P)\) 上的独立同分布随机变量序列， \(E|\xi_1|<\infty\) ，记 \(\mu=E\xi_1,\ S_n=\sum_{k=1}^n\xi_k\) ，则 \(\{\xi_n\}\) 服从强大数定律，即
\[\dfrac{S_n}{n} \stackrel{P}\longrightarrow \mu\quad \mathrm{a.s.} \]习题
- 设 \(\{\xi_n\}\) 独立同分布，有分布列
令 \(\eta_n = \sum_{k=1}^n\xi_k/2^k\) ，则 \(\eta_n\) 分布依收敛于 \(U[-1,1]\) .
只需证明分布的特征函数收敛于均匀分布的特征函数即可；若 \(\xi_n\) 有特征函数 \(f_{\xi_n}(t)\) ，则
\[f_{\eta_n}(t) = \prod_{k=1}^nf_{\xi_k}(t) \]然后证明 \(f_{\eta_n}(t)\) 的收敛.
- 在伯努利实验中，若 \(0
由于德莫佛-拉普拉斯定理，有
\[P(|\mu_n-np|即证.
- 证明泊松分布的标准化变量在参数 \(\lambda\to\infty\) 时趋近标准正态分布.
标准化变量为 \((\xi-E\xi)/\sqrt{Var\xi}\) ，因此
\[\eta = \dfrac{\xi-\lambda}{\sqrt{\lambda}},\quad f(t) = e^{-it\sqrt{\lambda}+\lambda(i\frac{t}{\sqrt{\lambda}}-1)} \to e^{-\frac{t^2}{2}+O(1)} \to e^{-\frac{t^2}{2}} \]得到标准正态分布的特征函数，由逆极限定理即证.
- 证明当 \(n\to\infty\) 有
注意到类似于泊松分布，可以考虑 \(\xi_i\sim P(1)\) ，则有 \(S_n = \sum_{i=1}^n\xi_i \sim P(n),\ E\xi_1 = 1,\ Var\xi_1 = 1\) ，从而
\[e^{-n}\sum_{k=0}^n\dfrac{n^k}{k!} = \sum_{k=0}^nP(S_n=k) = P(S_n\le n) = P\left(\dfrac{S_n-n}{\sqrt{n}}\le \dfrac{n-n}{\sqrt{n}}\right) \to \Phi(0) = \dfrac{1}{2} \]应用了中心极限定理.
- 设 \(\{\xi_n\},\{\eta_n\}\) 独立同分布，且 \(E\xi_n = 0,\ Var\xi_n = 1,\ P(\eta_n=\pm1)=1/2\) ，证明 \(S_n = \sum_{k=1}^n\xi_k\eta_k/\sqrt{n}\) 分布函数趋近标准正态分布.
只需求出 \(E\xi_n\eta_n,\ Var\xi_n\eta_n\) ，然后运用中心极限定理.
- 设 \(\{\xi_n\}\) 独立同分布，密度为
令 \(\eta_n = \min(\xi_1,\cdots,\xi_n)\) ，证明 \(\eta_n\stackrel{P}\longrightarrow a\) .
利用定义进行证明
\[P(|\eta_n-a|\ge\epsilon) = P(\eta_n\ge a+\epsilon) + P(\eta_n\le a-\epsilon) \]由密度函数有 \(P(\eta_n\le a-\epsilon) = 0\) ，从而有 \(n\to\infty\) 时
\[P(|\eta_n-a|\ge\epsilon) = P(\eta_n\ge a+\epsilon) = P(\min(\xi_1,\cdots,\xi_n)\ge a+\epsilon) = \prod_{k=1}^nP(\xi_k\ge a+\epsilon) = \prod_{k=1}^n\int_{a+\epsilon}^{+\infty}e^{-(x-a)}dx \to 0 \]即证.
- 几个重要的结论
- 若 \(\xi_n\stackrel{P}\longrightarrow \xi,\ \eta_n\stackrel{P}\longrightarrow c\) ，且 \(\eta_n,c\neq 0\) ，则 \(\xi_n/\eta_n\stackrel{P}\longrightarrow \xi/c\) .
- 若 \(\xi_n\stackrel{d}\longrightarrow \xi,\ \eta_n\stackrel{P}\longrightarrow c\) ，则 \(\xi_n+\eta_n\stackrel{d}\longrightarrow \xi+c,\ \xi_n/\eta_n\stackrel{d}\longrightarrow \xi/c\) .
证明服从大数定律
- 若 \(\{\xi_n\}\) 独立同分布，考虑辛钦大数定律
- 若 \(\{\xi_n\}\) 独立，考虑切比雪夫大数定律，计算 \(\sum_{k=1}^n\sigma_k^2/n^2\to 0\)
- 若 \(\{\xi_n\}\) 只是随机变量，考虑马尔科夫大数定律：计算 \(Var(\sum_{k=1}^n\xi_k^2)/n^2\to 0\)
- 伯恩斯坦定理：设 \(\{\xi_k\}\) 方差有界，且 \(|i-j|\to\infty\) 时 \(Cov(\xi_i,\xi_j)\to 0\) ，则 \(\{\xi_k\}\) 服从大数定律.
不妨设 \(Var\xi_k\le c\) ，则有
\[\dfrac{1}{n^2}Var\left(\sum_{k=1}^{+\infty}\xi_k\right) = \dfrac{1}{n^2}\left(\sum_{|i-j|>N}Cov(\xi_i,\xi_j)+\sum_{|i-j|\le N}Cov(\xi_i,\xi_j)\right) \]其中有 \(|i-j|>N\) 时， \(Cov(\xi_i,\xi_j)<\epsilon\) ，分成两部分后证明趋于 \(0\) 即可.
- 使用连续函数变换。若 \(\{\xi_n\}\) 独立同分布，服从 \([0,1]\) 上的均匀分布，令 \(\eta_n=(\prod_{k=1}^n\xi_k)^{1/n}\) ，则 \(\eta_n\stackrel{P}\longrightarrow c\) .
使用变换 \(f(x) = \ln x\) ，则考虑 \(\ln\xi_n\) 满足辛钦大数定律即可.
- 证明依概率收敛。若 \(\{\xi_n\}\) 独立同分布， \(E\xi_k=a,\ Var\xi<\infty\) ，则
考虑切比雪夫不等式
\[P\left(\left|\dfrac{2}{n(n+1)}\sum_{k=1}^nk\xi_k-a\right|\ge \epsilon\right) = P\left(\left|\sum_{k=1}^nk\xi_k-E\left(\sum_{k=1}^nk\xi_k\right)\right|\ge \dfrac{\epsilon n(n+1)}{2}\right) \le \dfrac{4Var\left(\sum_{k=1}^nk\xi_k\right)}{(\epsilon n(n+1))^2} \]拆开即证.
- 若 \(\{\xi_n\}\) 独立同分布，都服从 \(N(0,1)\) 分布， \(\eta_n=n\xi_{n+1}/\sum_{k=1}^n\xi_k^2\) ，证明 \(\eta_n\stackrel{d}\longrightarrow N(0,1)\) .
观察到除法，考虑
\[\xi_{n+1} \stackrel{d}\longrightarrow N(0,1),\quad \dfrac{\sum_{k=1}^n\xi_k^2}{n} \stackrel{P}\longrightarrow 1 \]其中第二个收敛性是辛钦大数定律得到的，因此，运用之前的结论即证.
- 设 \(\{\xi_k \},\{\eta_k\}\) 相互独立同分布，服从 \(N(0,1)\) 分布，且 \(\{a_n\}\) 为常数列，则
当且仅当
\[\dfrac{1}{n^2}\sum_{k=1}^na_k^2 \rightarrow 0 \]如果下式成立，则利用马尔科夫大数定律，我们计算
\[\dfrac{1}{n}Var\left(\sum_{k=1}^na_k\xi_k+\sum_{k=1}^n\eta_k \right) = \dfrac{1}{n^2}\sum_{k=1}^na_k^2+\dfrac{1}{n}\to 0 \]从而有
\[\dfrac{1}{n}\left(\sum_{k=1}^na_k\xi_k+\sum_{k=1}^n\eta_k \right) \stackrel{P}\longrightarrow 0 \]反之，由于
\[\sum_{k=1}^na_k\xi_k+\sum_{k=1}^n\eta_k \sim N\left(0, \sum_{k=1}^na_k^2+n \right) \]可以使用切比雪夫不等式
\[P\left(\left|\dfrac{1}{n}\left(\sum_{k=1}^na_k\xi_k+\sum_{k=1}^n\eta_k \right)\right| \ge \epsilon \right) = 2P\left(N\left(0, \sum_{k=1}^na_k^2+n \right) \ge \epsilon n\right) = 2P\left(N(0,1)\ge \dfrac{\epsilon n}{\sqrt{\sum_{k=1}^na_k^2+n}} \right) \to 0 \]因此有
\[\dfrac{\epsilon n}{\sqrt{\sum_{k=1}^na_k^2+n}} \to\infty,\quad \dfrac{1}{n^2}\sum_{k=1}^na_k^2 \rightarrow 0 \]即证.