概率与期望

书写约定

样本空间：\(\Omega\)

随机事件：\(A,B,C\dots\) （一般用大写字母）

\(A\) 事件发生的概率：\(P(A)\)

随机试验：\(E\)

\(G\) 的幂集：\(^G2\)

\(A\) 关于 \(B\) 的补集：\(B\setminus A\)

随机变量：通常用 \(X\)

随机变量 \(X\) 的取值范围：\(I(X)\)

随机变量 \(X\) 的期望：\(E(X)\)

定义

数学基础

幂集：

把一个集合 \(G\) 的所有子集（包括全集和空集）放入一个集合 \(C\)，则称 \(C\) 为 \(G\) 的幂集，\(|C|\) 为 \(G\) 的势

由二项式定理，不难发现有限集 \(G\) 的势为 \(2^{|G|}\)

对于两个集合 \(G_1,G_2\)，如果它们的幂集存在一一对应关系，则称这两个集合同势（或者等势）

比如自然数集 \(N\) 就和偶数集等势，和实数集 \(R\) 不等势

随机事件与样本空间

一次随机试验是一个可能导致不同输出的行为，也叫样本

一次随机试验的输出叫做样本输出，所有可能的输出叫做样本空间，记为 \(\Omega\)

随机事件是仅包含 \(\Omega\) 中元素的一个集合，通常用大写字母 \(A,B,C\dots\) 表示

把投一次骰子看做一次随机试验，骰子的值作为样本输出，那么有

\[\Omega=\{1,2,3,4,5,6\} \]

记 \(A\) 表示两次骰子的值之和大于 \(10\) 的一次随机事件，形式化地，有

\[A=\{(5,6),(6,5),(6,6)\} \]

事实上，对于随机事件 \(A\)，应当用新的样本空间 \(\large\omega\) 来描述

\[\large\omega\small=\{(x,y)|x,y\in\Omega\} \]

定义事件的和与积，和表示发生任意一个即发生和事件，积表示全部发生才发生积事件，可以类比并和交（实际上也将采用相同的符号）

比如，就上文的例子，令 \(B\) 表示两次骰子值之和小于12的一个随机事件

\[B=\{(x,y)|x+y<12\} \]

那么，\(A\) 和 \(B\) 的和事件和积事件分别为（其中积事件可以省略中间的 \(\cap\)）

\[A\ \cup\ B=\{(x,y)|x,y\in\Omega\}=\large\omega\\ A\ \cap\ B=\{(5,6),(6,5)\} \]

定义事件空间 \(F\) 为 \(^\Omega2\) 的子集，事件 \(A\) 关于 \(F\) 的补定义为

\[\bar{A}=F\setminus A \]

概率与期望

概率的古典定义为

\[P(X)=\frac{m}{n} \]

其中，\(n\) 表示总方案数，\(m\) 表示含 \(X\) 的事件数，同样采用上文的例子

\[P(A)=\frac{|A|}{|\large\omega\small|} \]

显然，存在如下性质

\[\begin{align*} &P(\Omega)=1\\ &\forall A\cap B=\varnothing,P(A\cup B)=P(A)+P(B)\\ &\forall A,P(A)\in[0,1]\\ &\forall A\in F,\bar{A}\in F \end{align*} \]

注意第二条，结合集合的知识容斥得到

\[P(A\cup B)=P(A)+P(B)-P(A\cap B) \]

定义条件概率为 \(A\) 发生前提下，\(B\)发生的概率，形式化的，我们有

\[P(B|A)=\frac{P(AB)}{P(A)} \]

对于一组事件 \(A_1,A_2,A_3\dots A_n\) 如果有

\[\forall i,j\in[1,n],A_i\cap A_j=\varnothing\\ \bigcup_{i=1}^n P(A_i)=1 \]

那么称这组事件是完备的

对于一组完备的事件，有全概率公式

\[P(B)=\sum_{i=1}^nP(A_i)P(B|A_i) \]

定义随机变量，感性上理解，随机变量就是基于随机事件的变量，形式化描述则为一个从样本空间 \(\Omega\) 到实数集 \(R\) 的一个映射 \(X\)，当样本输出为 \(A\) 时，该随机变量的值为 \(X(A)\)

\[P(A\cap B)=P(A)P(B) \]

称事件 \(A,B\) 相互独立

对于一组事件 \(A_1,A_2,A_3\dots A_n\)，如果

\[\forall i,j\in[1,n],P(A_i\cap A_j)=P(A_i)P(A_j) \]

那么它们两两独立

如果

\[\forall T\subset \{A_1,A_2,A_3\dots A_n\},P(\bigcap_{E\in T}E)=\prod_{E\in T}P(E) \]

那么它们互相独立

\[\forall \alpha\in I(X),\beta\in I(Y)\ ,P((X=\alpha)\cap(Y=\beta))=P(X=\alpha)P(Y=\beta) \]

称随机变量 \(X,Y\) 相互独立

只有概率是不足的，假设进行一场按骰子点数得分的游戏，我想知道的将是期望得到的分数，而不是每种情况的概率

这就引出了期望的概念，对于一个随机变量 \(X\)，它的期望为

\[E(X)=\sum_{\alpha\in I(X)}\alpha P(X=\alpha)=\sum_{\omega\in\Omega}P(\omega)X(\omega) \]

上式成立的条件是 \(I(X)\) 有限或可列（即可按某种方式表示其中所有元素，比如正整数集 \(N\)），这时的 \(X\) 被称为离散随机变量，反之则为连续随机变量

对于连续随机变量，通常其取值范围为一段区间上的实数，不妨记其为 \((a,b)\)，容易推出

\[E(X)=\int_{a}^b\xi P(X=\xi)d\xi \]

由定义显然可以推出

\[E(X+Y)=E(X)+E(Y) \]

同样容易有

\[E(Y)=\sum_{\alpha\in I(X)}P(X=\alpha)E(Y|(X=\alpha)) \]

概率密度函数

考虑有连续随机变量 \(X\)

定义

\[F([a,b])=\int_a^bf(x)dx=P(X\in[a,b]) \]

这样的 \(f(x)\) 就是 \(X\) 的概率密度函数

考虑概率和期望的关联，有

\[E(X)=\int_{x\in I(X)}xf(x)dx \]

可以记忆一下的小结论

\[\int_0^1x^ndx=\frac{1}{n+1} \]