发布日期: 2025-05-12

更新日期: 2025-05-16

文章字数: 3.9k

本系列概率论博文基于Bilibili宋浩老师发布的概率论教学视频整理而来, 仅用作复习参考. 在此感谢宋浩老师的开源工作.

概率论与数理统计 Chap.1 随机事件及其概率

1.0 预备知识

1.0.1 加法原理 / 乘法原理

个人理解就是不同情况下计算可能性的方式. 加法原理 通常用于在多种情况下选择一种的情况计算. 乘法原理 则是 多步加法原理的组合 , 比如一个事情需要分为多个步骤, 其总可能情况应当是每个步骤的可能情况的乘积.

1.0.2 排列与组合

概念: 不可重复排列
从 n 个不同的元素中任取 m 个不同的元素, 按顺序排成一列.
这意味着排列是要分顺序的, 这一点还请务必与之后的组合区分开.

对于不可重复排列, 通常用 $ P_n^m $ , 或 $ A_n^m $ 来表示, 其计算方式为:

$$ P_n^m = n(n-1)…(n-m+1) $$

概念: 可重复排列
从 n 个不同的元素中 有放回的 取出 m 个不同的元素, 按顺序排成一列.
与上面的区别很明显了, 上面取出的m个玩意不能重复, 这个可以.

对于可重复排列, 就没什么特别的记法了, 因为它的可能性直接是 $ n^m $ , 应该比较好理解.

概念: 组合
从 n 个不同的元素中取出 m 个不同元素, 不在意顺序 地拍成一列.
这就是组合跟排列的本质区别, 组合不需要考虑顺序的问题.

对于组合, 我们通常用 $ C_n^m $ 进行表示, 其计算方式为:

$$ C_n^m = \frac{P_n^m}{m!} = \frac{n(n-1)…(n-m+1)}{m!} $$

除了定义, 还有几个需要提前明确的事情:

$ 0! = 1 $ , 相当于从0个元素中选0个, 可不就是一种可能吗.
$ C_n^m = C_n^{n-m} $ , 这俩其实是一个事情.
$ C_n^m = C_{n-1}^{m-1} + C_{n-1}^{m} $ , 这个式子也是计算机中某些背包问题的本质思想, 对于一种组合而言, 针对某一个元素, 只有 选它 $ C_{n-1}^{m-1} $ 和 不选它 $ C_{n-1}^m $ 两种可能, 将这两种加起来就可以了.

1.1 随机试验与随机事件

1.1.1 基础概念

概念: 随机试验
即一次可能产生多种结果的行为, 投硬币, 扔色子, 均在其列.
通常具有三个特性: 1) 可重复性; 2) 多结果性; 3) 不确定性;
通常用大写字母 $ E $ 表示.

概念: 样本空间
一次随机试验 $ E $ 所有可能的结果组成的集合, 称为这个随机试验的样本空间. 记作 $ \Omega $
其中每一种可能被叫做 样本点 , 记作 $ \omega $ .

根据上述两个定义, 把不同的事件进行了分类:

必然事件: 就是必然发生的事件. 比如 一个随机试验的结果落在样本空间内 .
基本事件: 不可再继续细分的事件, 即只包含一个样本点的事件.
随机事件: 有可能发生的事件, 即 $ \Omega $ 的 一个子集 .
不可能事件: 不可能发生的事件, 即 不含任何样本点 , 也记作 $ \phi $ .

1.1.2 集合表示

可以发现我们经常把概率论中的内容当作集合来进行运算. 因此这里还要给一些集合关系在概率论中的含义:

$ A \subset B $ : A发生必然导致B发生
$ A \cup B $ : A, B中至少有一个发生, 也写成 $ A + B $
- $ A \cup B \supset A $
- $ A \cup A = A $
- $ A + \Omega = \Omega $
$ A \cap B $ : A, B必须同时发生, 也写成 $ AB $
- $ AB \subset A $
- $ AA = A $
- $ A \cap \phi = \phi $
- $ A \Omega = A $
$ A - B $ : A发生, 而B不发生
- $ A - B = A - AB = A \overline{B} $ , 这个式子读者结合韦恩图来理解更简单.

还有几个特殊的关系需要给出来:

互斥 : $ AB = \phi $
两两互不相容 : 对于 $ A_1, A_2, … A_n $ 有 $ A_i A_j = \phi, 1 \leq i < j \leq n $
对立 : $ A+B = \Omega, AB = \phi $ , 这里把对立事件也这么写: $ B = \overline{A} $

这里也有一个老生常谈的结论了, 对立一定互斥, 互斥不一定对立 .

最后是一种特殊情况:

概念: 完备事件组
对于 $ A_1, A_2, …, A_n $ , 满足 $ \Sigma_{A_i} = \Omega , A_i A_j = \phi $ , 称这一组事件是一个完备事件组.
其实学过离散或者学过集合论就知道, 一个完备事件组就是 样本空间的一个划分 .

1.1.3 事件运算律

这里笔者在离散数学中写过了, 并且写的应该比宋老师写的要全一些(无贬义, 离散集合论专门干这个的), 读者请移步离散数学 Chap.2 查看.

1.2 频率与概率

1.2.1 概念

概念: 频率
对于一个随机事件, 进行多次实验, 该随机事件发生的次数与总试验次数的比值, 被称作频率.

通常频率具有稳定性, 即 试验次数越多, 其值越接近某个值(其实就是这个事件发生的概率) .

概念: 概率
对于实验E, 样本空间 $ \Omega $ , 事件A, 引申出一个实数, 记作 $ P(A) $ , 代表其发生概率.

这个 $ P( \space ) $ 被称为 集合函数 :

非负性: $ P(A) \geq 0 $
规范性: $ P(\Omega) = 1 $
互斥可加: 对于 两两互斥的 $ A_1, A_2, …, A_n $ , $ P(\Sigma A_i) = \Sigma P(A_i) $

1.2.2 性质

概率有一些比较重要的性质, 还是写一下:

$ P( \phi ) = 0 $
- 这条性质反过来是不成立的: 即如果 $ P(A) = 0 $ , 推不出 $ A = \phi $ . 这意味着 概率为0的事件也有可能发生!
如果A, B互斥, 能推出 $ P(A + B) = P(A) + P(B) $
- 同样, 反之不成立 . 这要用到底下的加法公式, 我们最后再说这个事.
$ P(\overline{A}) = 1 - P(A) $
$ P(A-B) = P(A) - P(AB) $
$ P(A+B) = P(A) + P(B) - P(AB) $
- 推广: $$ \cup_{i = 1}^{n} A_i = \sum_{i = 1}^{n} |A_i| - \sum_{1 \leq i \neq j \leq n} |A_i \cap A_j| + \sum_{1 \leq i \neq j \neq k \leq n} |A_i \cap A_j \cap A_k| - … + (-1)^{n+1} | \cap_{i=1}^{n} A_i | $$
- 同样在离散数学那里写过了, 读者请移步.

现在我们写一下为什么性质2反过来不成立:

$$
\begin{align*}
\because \space & P(A+B) = P(A) + P(B) \\
\because \space & 加法律(5) \\
\therefore \space & P(AB) = 0
\end{align*}
$$

我们貌似能推出 $ P(AB) = 0 $ 对吧, 但是由于性质1反过来就不成立( 概率为0的事件不一定是不可能事件 ) , 因此我们不能推出 AB 是不可能事件, 也就无法证明 AB 互斥.

1.3 古典概型与几何概型

1.3.1 古典概型

我们此前高中接触到的概率大部分均为古典概型, 因此我们要先把这一部分捯饬明白.
古典概型有以下两个特点:

有限个样本点
等可能性

这意味着, 我们只需要知道一个随机事件 A 中的样本点总数 m 以及样本空间中的总样本点 n, 就能直接得到这个随机事件发生的概率:

$$ P(A) = \frac{n}{m} $$

关于古典概型, 有一种很经典的抽签问题: 有n个有奖签, m个无奖签, 现在有q个人来进行抽签, 问 (1) 有放回的条件下, 这q个人中奖的概率分别是多少? (2) 无放回的条件下, 这q个人中奖的概率分别是多少?

读者感兴趣可以自己算一下, 最终的结果是一样的, 都是 $ \frac{n}{m+n} $ .

除此之外, 还有个很出名的生日悖论, 也可以搜一下, 这里就不展开了.

1.3.2 几何概型

几何概型相比于古典概型就多了一个 数学建模 的过程. 相当于将概率问题几何化后, 根据几何图形的特征进行求解. 因此, 在此就不过多的展开这一部分的知识了, 有兴趣的读者可以去了解一下等车问题与会面问题.

1.4 条件概率 / 乘法公式

1.4.1 条件概率的定义

概念: 条件概率
对于事件A, B, 且 $ P(A) > 0 $ , 在A已经发生的条件下, B发生的概率, 即 B对A的条件概率, 记作 $ P(B | A) $

读者需要理解, 条件概率最重要的特点是 样本空间 发生了变化, A已经发生 这句话本身意味着人工对样本空间做出了限定.

条件概率有一个比较常用的计算方法, 它同时也是乘法公式的来源:

$$ P(B | A) = \frac{P(AB)}{P(A)} $$

随后有几个条件概率的性质可以提一嘴:

$ 0 \leq P(B | A) \leq 1 $
- 概率的基本性质, 不提了.
在 $ B_1, B_2, … $ 两两互不相容的前提下, $ P(\Sigma_{i = 1}^{\infty} B_i | A) = P(B_1 | A) + P(B_2 | A) + … $
- 这一条解释一下, 读者要理解上面提到的条件概率的特点, 即 改变了样本空间 . 因此在新的样本空间中, 一堆互不相容(互斥)事件的概率还是可以直接相加的.
$ P(\phi | A) = 0 $
- 空事件永远不可能发生, 不提了.
$ P(B_1 \cup B_2 | A) = P(B_1 | A) + P(B_2 | A) - P(B_1 B_2 | A) $
- 注意, 这条跟性质2差在了互斥上, 因此还需要减掉一个重复的部分. 把它理解成样本空间在A上的事件并集就行.
$ P(B | A) + P(\overline{B} | A) = 1 $
- 样本空间虽然改变了, 但是B发生和不发生加一块的概率肯定还是1.

1.4.2 乘法公式

乘法公式就是根据条件概率的计算方法推过来的:

$$ P(AB) = P(A) * P(B | A) $$

值得说一下的是一个推广:

$$ P(ABC) = P(A) * P(B | A) * P(C | AB) $$

1.5 全概率 / 贝叶斯

1.5.1 全概率公式

全概率公式跟我们之前说过的一个概念 完备事件组 有关, 读者忘记了可以再去看看, 其实就是个集合的划分.

给出定义:
假设 $ A_1, A_2, …, A_n $ 是一个完备事件组, 且 $ P(A_i) > 0 $ . 同时有一事件B.
则 $ P(B) = P(A_1) * P(B | A_1) + P(A_2) * P(B | A_2) + … P(A_n) * P(B | A_n) $

相当于将样本空间分为了多个子事件, 考虑事件B在每个子事件中发生的概率, 加和即可.

明确了全概公式的含义, 我们其实就能明白下面的推广是啥意思:
推广是这样的:

只要有 $ \Sigma_{i = 1}^n A_i \supset B $ , 即使 $ A_i $ 不是完备事件组, 上式同样成立.

意思就是B没有涉及的子事件我不用管它了, 我只看B涉及到了哪些子事件即可.

1.5.2 贝叶斯公式

全概率公式是通过分割样本空间, 来求某个事件在整个样本空间中发生的总概率.
贝叶斯公式是要求某件事情发生的前提下, 其来源于样本空间中某一子事件的概率.

还请读者读明白上面这两句话, 再看贝叶斯的定义.

假设 $ A_1, A_2, …, A_n $ 是一个完备事件组, 且有一个事件B. $ P(A_i) > 0 $ 且 $ P(B) > 0 $
则 $ P(A_k | B) = \frac{P(A_k B)}{P(B)} = \frac{P(A_k) * P(B | A_k)}{P(A_1) * P(B | A_1) + P(A_2) * P(B | A_2) + … + P(A_n) * P(B | A_n)} $

这个玩意还有个名字, 叫 后验概率 , 指的就是 当某件事情发生后, 其来源于不同子事件的概率大小 .

我们用通俗一些的语言解释一下上面这个公式:
B发生的前提下, 是 $ A_k $ 导致B发生的概率 = $ A_k $ 发生, 且 B 发生的概率 / $ \Sigma $ ( $ A_i $ 发生, 且 B 发生的概率)

1.6 事件的独立性 / 伯努利概型

1.6.1 事件的独立性

我们先给出定义:

对于事件A, B.
如果 $ P(B | A) = P(B) $ , 称事件B对事件A独立.
反之, $ P(A | B) = P(A) $ , 称事件A对事件B独立.
若上述两条都满足, 称事件A, B相互独立.

这定义的想法就是事件A是否发生对于事件B的概率没有影响的时候, 就称B对A独立, 其实还是挺好理解的.
但问题是, 这定义有点太不好用了, 要算俩条件概率, 费劲.

所以给改造了一下, 给出A, B相互独立的等价条件:

$$ P(AB) = P(A) * P(B) $$

有兴趣的读者可以根据定义证明一下这个式子是不是相互独立的充要条件, 应该不算难, 笔者这里就不费笔墨了.

通过上面这个定义, 能够非常轻松地推出几个结论:

$ \phi $ 与任意事件A均相互独立, $ \Omega $ 与任意事件A均相互独立.
- 这挺好理解的, 不管A怎么滴, $ \phi $ 总不发生, $ \Omega $ 总发生.
A, B相互独立, 则 $ A, \overline{B} $ ; $ \overline{A}, B $ ; $ \overline{A}, \overline{B} $ 均相互独立.
- 也简单, A B都相互独立了, 那你发生还是不发生跟我有什么关系.
如果 $ P(A) = 0 $ 或 $ P(A) = 1 $ , 则事件A与其它任意事件均独立.
- 对于 $ P(A) = 0 $ 的情况: $ P(AB) \leq P(A) = 0 = P(A) * P(B) $
- 对于 $ P(A) = 1 $ 的情况: $ P(\overline{A}) = 0 $ , B一定与 $ \overline{A} $ 独立, 那么根据性质2, B也一定与A独立.

有一个非常常用的 相互独立 的例子, 即 有放回的抽签 , 这玩意经常在题目中考, 还请读者记牢它.