ads106

Created: 2026年10月4日 19:55

ADS106TC Mathematics for AI and Data Science

📖 Week 2 课程笔记|Conditional Probability and Independence(条件概率与独立性)


📌 一、学习目标 Learning Objectives


📌 二、2.1 Conditional Probability 条件概率

🔸 2.1.1 引入:信息会改变概率判断

以四人桥牌为例:一副 52 张牌洗匀后每人分得 13 张。在看到自己的牌之前,你的对家持有红桃 A 的概率为 $\frac{1}{4}$。但当你翻开自己的牌后,概率立即被新信息”修正”:

同一个事件,概率判断前后不同,正是因为判断以额外信息为条件(conditioned on extra information)。现实中类似的问题非常多,例如”已知第一个孩子没有患某种遗传病,我是该疾病携带者的概率有多大?““如果父母都吸烟,子女吸烟的概率有多大?”——这就引出了条件概率的概念。

🔸 2.1.2 条件概率的定义

设 $A$、$B$ 是样本空间 $\Omega$ 中的两个事件,且 $P(B)\neq 0$,则称

$$ P(A\mid B):=\frac{P(A\cap B)}{P(B)} $$

为事件 $A$ 在给定事件 $B$(条件 $B$)下的条件概率。

对称地,当 $P(A)\neq 0$ 时:

$$ P(B\mid A)=\frac{P(B\cap A)}{P(A)} $$

💡 理解要点: 条件概率本质上是把样本空间”压缩”到事件 $B$ 内部后重新做归一化——分子 $P(A\cap B)$ 是 $A$、$B$ 共同发生的部分,分母 $P(B)$ 保证压缩后的样本空间总概率仍为 1。

🔸 Example 1:在限定范围内随机抽人

国内某大学数学系的学生人数分布如下表所示:

1_数学系学生人数统计表.png

1_数学系学生人数统计表.png

1_数学系学生人数统计表.png

若从二年级学生中随机抽取一人,问该学生来自中国的概率是多少?

解: 样本空间被限定为全体二年级学生(共 $38$ 人),其中中国学生有 $20$ 人,故

$$ P(\text{中国}\mid\text{二年级})=\frac{\text{二年级中国学生数}}{\text{二年级学生总数}}=\frac{20}{38}=\frac{10}{19}. $$

🔸 Example 2:掷两枚骰子的条件概率

掷两枚骰子,记事件 $A$ 为第一枚骰子的点数,事件 $B$ 为第二枚骰子的点数,求 $P(A=2\mid A+B\leq 5)$。

2_两枚骰子点数和条件区域表格.png

2_两枚骰子点数和条件区域表格.png

2_两枚骰子点数和条件区域表格.png

解: 按条件概率定义,

$$ P(A=2\mid A+B\leq 5)=\frac{P(A=2\ \text{且}\ A+B\leq 5)}{P(A+B\leq 5)} =\frac{P(A=2\ \text{且}\ B\leq 3)}{P(A+B\leq 5)}. $$

在全部 $36$ 个等可能结果中,满足 $A+B\leq 5$ 的结果有 $10$ 个;其中同时满足 $A=2$(即 $(2,1),(2,2),(2,3)$)的有 $3$ 个。因此

$$ P(A=2\mid A+B\leq 5)=\frac{3/36}{10/36}=\frac{3}{10}. $$


📌 三、2.2 The Multiplication Principle 乘法原理

🔸 2.2.1 乘法原理(定理)

若 $A$、$B$ 是样本空间中的事件,且 $P(A)\neq 0$,$P(B)\neq 0$,则

$$ P(A\cap B)=P(A)\,P(B\mid A)=P(B)\,P(A\mid B). $$

它直接由条件概率定义交叉相乘得到,意义是:两件事同时发生的概率 = 第一件事发生的概率 × 已知第一件事后第二件事发生的条件概率。

🔸 Example 3:螺丝同时存在两种缺陷

生产螺丝时,记 $A=\{\text{螺丝太细}\}$,$B=\{\text{螺丝太短}\}$。已知 $P(A)=0.1$,且”细螺丝同时也太短”的条件概率 $P(B\mid A)=0.2$。求任取一颗螺丝既太细又太短的概率。

解:

$$ P(A\cap B)=P(A)\,P(B\mid A)=0.1\times 0.2=0.02. $$

🔸 2.2.2 链式法则(Chain Rule)

乘法原理可以不断嵌套,形成链式形式。对样本空间中的任意事件 $A_1,A_2,\cdots,A_n$:

$$ P(A_1\cap A_2\cap\cdots\cap A_n) =P(A_1)\,P(A_2\mid A_1)\,P(A_3\mid A_1\cap A_2)\cdots P(A_n\mid A_1\cap A_2\cap\cdots\cap A_{n-1}). $$

🔸 Example 4:不放回抽球与概率树

容器中有 $4$ 个红球、$2$ 个绿球,不放回地依次随机摸出两个球。记

  1. $A=\{\text{第一个球是红的}\}$;
  2. $B=\{\text{第二个球是红的}\}$;
  3. $A\cap B=\{\text{两个球都是红的}\}$。

解: 借助**树状图(Tree Diagram)**求解:树的每一条分支代表一个以前面事件为条件的事件,沿某条路径各分支概率的乘积就是对应交集事件的概率(乘法原理)。

3_不放回抽球概率树与韦恩图.png

3_不放回抽球概率树与韦恩图.png

3_不放回抽球概率树与韦恩图.png

各路径概率如下:

$$ P(A\cap B)=\frac{4}{6}\times\frac{3}{5}=\frac{12}{30},\qquad P(A\cap B^c)=\frac{4}{6}\times\frac{2}{5}=\frac{8}{30}, $$

$$ P(A^c\cap B)=\frac{2}{6}\times\frac{4}{5}=\frac{8}{30},\qquad P(A^c\cap B^c)=\frac{2}{6}\times\frac{1}{5}=\frac{2}{30}. $$

求 $P(B)$ 时,把”第二个球为红”的两条路径(图中两个方框值)相加即可,这正是全概率思想:

$$ P(B)=P(A\cap B)+P(\bar A\cap B)=\frac{12}{30}+\frac{8}{30}=\frac{2}{3}. $$

💡 易错提示: 不放回抽样中,第二次的概率受第一次结果影响,必须用条件概率;“放回”与”不放回”的根本区别就在于各次抽取是否独立。


📌 四、2.3 The Law of Total Probability 全概率公式

🔸 2.3.1 样本空间的划分(Partition)

若事件组 $\{C_1,C_2,\cdots,C_n\}$ 满足:每个样本点 $\omega\in\Omega$ 恰好属于其中一个事件(各 $C_i$ 两两互斥且并集为 $\Omega$),则称该事件组为样本空间的一个划分(Partition)。

4_样本空间划分Partition示意图.png

4_样本空间划分Partition示意图.png

4_样本空间划分Partition示意图.png

对任意事件 $A\subseteq\Omega$,都可以被这组划分”切碎”为若干互斥部分:

$$ A=(A\cap C_1)\cup(A\cap C_2)\cup\cdots\cup(A\cap C_n). $$

🔸 2.3.2 全概率公式(定理)

设 $\{C_1,C_2,\cdots,C_n\}$ 是样本空间 $\Omega$ 的一个划分,且 $P(C_i)\neq 0$($i=1,2,\cdots,n$),则对任意事件 $A\subseteq\Omega$:

$$ P(A)=P(A\mid C_1)P(C_1)+P(A\mid C_2)P(C_2)+\cdots+P(A\mid C_n)P(C_n) =\sum_{i=1}^{n}P(A\mid C_i)P(C_i). $$

最常用的情形是把样本空间二分为 $\{B,\bar B\}$,此时公式化为:

$$ P(A)=P(A\mid B)P(B)+P(A\mid \bar B)P(\bar B). $$

5_全概率公式两事件韦恩图.png

5_全概率公式两事件韦恩图.png

5_全概率公式两事件韦恩图.png

💡 使用思路: 当直接计算 $P(A)$ 困难时,寻找一个能把实验”分情况讨论”的事件 $B$(如第一阶段的不同结果),分别计算每种情况下 $A$ 的条件概率再加权求和。

🔸 Example 5:两瓮转移小球


📌 五、2.4 Bayes’ Theorem 贝叶斯公式