一、事件与概率

1.1 随机试验和随机事件

  1. 随机现象：自然界中的客观现象，当人们观测它时，所得结果不能预先确定，而仅仅是多种可能结果之一。

  2. 随机试验：随机现象的实现和对它某个特征的观测。

  3. 基本事件：随机试验中的每个单一结果，犹如分子中的原子，在化学反应中不可再分。

    e.g. 硬币抛3次，有8种结果：正正正、正正反、正反正……这8种可能结果的每一个都是基本事件。

  4. 随机事件：简称事件，在随机试验中我们所关心的可能出现的各种结果，它由一个或若干个基本事件组成。通常用英文大写字母表示或{一种叙述}来表示。

  5. 样本空间：随机试验中所有基本事件所构成的集合，通常用$\Omega$ $S$ 示。

    e.g. 掷一枚骰子，观察出现的点数，则$\Omega={1,2,3,4,5,6}$.

  6. 必然事件（$\Omega$）：在试验中一定会发生的事件。

  7. 不可能事件（$\phi$）：在试验中不可能发生的事件。

1.2 事件的运算

  1. 子事件$A\subset B$：事件$A$ 生蕴含时间$B$ 定发生，则时间$A$ 为事件$B$ 子事件。若$A\subset B$，且$B\subset A$，则称时间$A$ 事件$B$ 等，记为$A=B$.
  1. 事件的和（$A\cup B$）：事件$A$ 事件$B$ 至少有一个发生称为事件$A$ 事件$B$ 和。

  1. 事件的积（$A\cap B$）：事件$A$ 事件$B$ 时发生称为$A$ 事件$B$ 积。如果$A\cap B=\phi$，则称$A$ $B$ 相容，即事件$A$ $B$ 能同时发生。

  2. 对立事件$A^c$（或$\overline{A}$）：$A$ 发生这一事件称为事件$A$ 对立事件（或余事件）。

  1. 事件$A$ 事件$B$ 差（$A-B$）：事件$A$ 生而事件$B$ 发生这一事件称为事件$A$ 事件$B$ 差，或等价于$AB^c$.
  1. De Morgan対偶法则及其推广

$$
\overline{A\cup B}=\overline{A}\cap \overline{B},
$$

$$
\overline{A\cap B}=\overline{A}\cup \overline{B}
$$

上式可推广到n个事件：
$$
\overline{\bigcup_{i=1}^{n}A_i}=\bigcap_{i=1}^{n}\overline{A_i},
$$

$$
\overline{\bigcap_{i=1}^{n}A_i}=\bigcup_{i=1}^{n}\overline{A_i},
$$

1.3 概率的定义

  概率是随机事件发生可能性大小的数字表征，其值在0和1之间，即概率是事件的函数。【概率是已知模型和参数，推数据。统计是已知数据，推模型和参数。】概率有以下定义：

1.3.1 古典概率

  设一个试验有N个等可能的结果，而事件$E$ 包含其中的$M$ 结果，则事件$E$ 概率，记为$P(E)$，定义为
$$
P(E)=M/N
$$
或
$$
P(E)=#(M) / #(N),
$$
其中，$#(M)$ 事件$M$ 基本事件的个数。

  古典概型有两个条件：

  • 有限性，试验结果只有有限个（记为n），
  • 等可能性，每个基本时间发生的可能性相同。

注：古典概率可引申出“几何概率”。

1.3.2 概率的统计定义

  古典概率的两个条件往往不能满足，但可以将事件的随机试验独立反复做n次（Bernouli试验），设事件$A$ 生了$n_A$ ，称比值$\frac{n_A}{n}$ 事件$A$ 生的频率，当n越来越大时，频率会在某个值p附近波动，且波动越来越小，这个值p就定义为事件$A$ 概率。该学派为频率派。

注：不能写为$lim_{n\rightarrow{\infty}}\frac{n_A}{n}=p$，因为$\frac{n_A}{n}$ 是n的函数。

1.3.3 主观概率

  主观概率可以理解为一种心态或倾向性。究其根由，大抵有二：一是根据其经验和知识，二是根据其利害关系。该学派在金融和管理有大量的应用，这一学派成为Bayes学派。

1.3.4 概率的公理化定义

  对概率运算规定一些简单的基本法则：

  1. 设$A$ 随机事件，则$0 \leq P(A) \leq 1$,

  2. 设$\Omega$ 必然事件，则$P(\Omega)=1$,

  3. 若事件$A$ $B$ 相容，则$P(A\cup B)=P(A)+P(B)$,

    可推广至无穷：$P(\bigcup_{i=1}^{n}A_i)=\sum_{i=1}^{\infty}P(A_i)$.

注：

  1. 一般情况下，$P(A\cup B)=P(A)+P(B)-P(AB)$，$P(A\cup B \cup C)=P(A)+P(B)+P(C)-P(AB)-P(AC)-P(BC)+P(ABC)$

  2. $P(\overline{A})=1-P(A)$

  3. $P(A-B)=P(A)-P(AB)$

1.4 古典概率计算

1.4.1 排列组合

  • 选排列：从n个不同元素中取r个不同取法（$1\leq r\leq n$），$P^{n}_{r}=n(n-1)…(n-r+1)$.
  • 重复排列：从n个不同元素中可重复地取r个不同取法（$1\leq r\leq n$），$P^{n}_{r}=n^r$.
  • 组合：同选排列，但不考虑次序，$\binom{n}{r}=\frac{P^{n}_{r}}{r!}$.

注：

  1. 排列英文为Permutation，组合英文为Combination.
  2. $0!$ 1。当r不是非负整数时，记号$r!$ 有意义.
  3. 一些书中将组合写成$C_{n}^{r}$ $C_{r}^{n}$，更通用的是$\binom{n}{r}$.

1.4.2 其他公式

  • 组合系数$\binom{n}{r}$ 常称为二项式系数

$$
(a+b)^n=\sum_{i=0}^{n}\binom{n}{r}a^i b^{n-1}
$$

  • n个相异物件分成k堆，各堆物件数分为$r_1, …, r_k$ 方法是

$$
n!/(r_1!…r_k!).
$$

1.5 条件概率

  条件概率就是知道了一定信息下得到的随机事件的概率。设事件$A$ $B$ 随机试验$\Omega$ 的两个事件，$P(B)>0$，称
$$
P(A|B)=\frac{P(AB)}{P(B)}
$$
为事件$B$ 生条件下事件$A$ 生的条件概率，可用图形表示：

注：事实上，我们所考虑的概率都是在一定条件下计算的，因为随机试验就是在一定条件下进行的。

1.5.1 条件概率性质

  给定$A$ 生，$P(A)>0$：

  • $0 \leq P(B|A) \leq 1$
  • $0 \leq P(\Omega|A) = 1$
  • 若$B_1 \cap B_2 = \phi _1$，则$P(B_1 \cup B_2 | A) = P(B_1|A) + P(B_2|A)$，可推广至无穷。

1.5.2 乘法定理

  由$P(A|B)=\frac{P(AB)}{P(B)} \Rightarrow P(AB)=P(A|B)P(B)$，可推广至
$$
P(A_1 A_2 …A_n)=P(A_1)P(A_2|A_1)…P(A_n|A_1…A_{n-1})
$$

注： 右边看似麻烦，其实容易算，左边看似简单，但是难算。

1.6 全概率

  设$B_1,B_2,…B_n$ 样本空间$\Omega$ 的两两不相容的一组事件，即$B_i B_j=\phi$，$i\neq j$，且满足$\bigcup_{i=1}^{n}B_i=\Omega$，则称$B_1,B_2,…B_n$ 样本空间$\Omega$ 一个分割（又称为完备事件群，英文为partition）。

  设${B_1,B_2,…B_n}$ 样本空间$\Omega$ 一个分割，$A$ $\Omega$ 一个事件，则
$$
P(A)=\sum_{i=1}^{n}P(A|B_i)P(B_i)
$$

推导：
$$
\begin{align}
P(A)&=P(A \cap \Omega)\
&=P(A \cap \sum_{i=1}^{n}B_i)\
&=P(\sum_{i=1}^{n}AB_i)\
&=\sum_{i=1}^{n}P(AB_i)\
&=\sum_{i=1}^{n}P(A|B_i)P(B_i)\
&=\sum_{i=1}^{n}P(A|B_i)P(B_i)
\end{align}
$$

注：有时不易直接计算事件$A$ 概率，但是在每个$B_i$ $A$ 条件概率容易求出

1.7 Bayes公式

  设${B_1, B_2, …B_n}$ 样本空间的一个分割，$A$ $\Omega$ 的一个事件，$P(B_i)>0$，$i=1,2,…,n$，$P(A)>0$，则
$$
P(B_i|A)=\frac{P(A|B_i)P(B_i)}{\sum_{j=1}^{n}P(A|B_j)P(B_j)}
$$

注：贝叶斯公式就是在描述，你有多大把握能相信一件证据？当有因果关系互换时必须用Bayes公式。

1.8 事件的独立性

  设$A$，$B$ 随机试验中的两个事件，若满足$P(AB)=P(A)P(B)$，则称事件$A$ $B$ 互独立。判断事件的独立，应该是从实际出发，如果能够判断事件$B$ 发生与否对事件$A$ 发生与否不产生影响，则事件$A$，$B$ 为独立。

  设$\widetilde{A}$ 示事件$A$ 生和不发生之一，$\widetilde{B}$ 示事件$B$ 生和不发生之一。有独立性的定义可推至$P(\widetilde{A}\widetilde{B})=P(\widetilde{A})P(\widetilde{B})$（一共有四个等式）。可推广至：
$$
P(\widetilde{A}_1\widetilde{A}_2…\widetilde{A}_n)=P(\widetilde{A}_1)…P(\widetilde{A}_n)
$$
上面有$2^n$ 等式。

注：独立（independent）和不相容（exclusive）是不同的两个概念，前者有公共部分，后者没有公共部分，独立一定相容。

1.9 重要公式与结论

$$
\begin{align}
&(1)\ P(\overline{A})=1-P(A)\
\
&(2)\ P(A \cup B)=P(A)+P(B)-P(AB)\
\
&(3)\ P(A\cup B \cup C)=P(A)+P(B)+P(C)-P(AB)-P(AC)-P(BC)+P(ABC)\
\
&(4)\ P(A-B)=P(A)-P(AB)\
\
&(5)\ P(A\overline{B})=P(A)-P(AB),P(A)=P(AB)+P(A\overline{B}),\
&\ \ \ \ \ \ P(A\cup B)=P(A)+P(\overline{A}B)=P(AB)+P(A\overline{B})+P(\overline{A}B)\
\
&(6)\ P(\overline{A}1|B)=1-P(A_1|B),P(A_1\cup A_2|B)=P(A_1|B)+P(A_2|B)-P(A_1A_2|B)\
&\ \ \ \ \ P(A_1A_2|B)=P(A_1|B)P(A_2|A_1B)\
\
&(7)\ 若A_1,A_2,…A_n相独立，则P(\bigcap{i=1}^{n}A_i)=\prod_{i=1}^{n}P(A_i),P(\bigcup_{i=1}^{n}A_i)=\prod_{i=1}^{n}(1-P(A_i))
\end{align}
$$