Untitled

一、事件与概率¶

1.1 随机试验和随机事件¶

随机现象：自然界中的客观现象，当人们观测它时，所得结果不能预先确定，而仅仅是多种可能结果之一。
随机试验：随机现象的实现和对它某个特征的观测。
基本事件：随机试验中的每个单一结果，犹如分子中的原子，在化学反应中不可再分。

e.g. 硬币抛3次，有8种结果：正正正、正正反、正反正……这8种可能结果的每一个都是基本事件。

随机事件：简称事件，在随机试验中我们所关心的可能出现的各种结果，它由一个或若干个基本事件组成。通常用英文大写字母表示或{一种叙述}来表示。
样本空间：随机试验中所有基本事件所构成的集合，通常用 $\Omega$ $S$ 示。

e.g. 掷一枚骰子，观察出现的点数，则 $\Omega={1,2,3,4,5,6}$ .

必然事件（ $\Omega$ ）：在试验中一定会发生的事件。
不可能事件（ $\phi$ ）：在试验中不可能发生的事件。

1.2 事件的运算¶

子事件 $A\subset B$ ：事件 $A$ 生蕴含时间 $B$ 定发生，则时间 $A$ 为事件 $B$ 子事件。若 $A\subset B$ ，且 $B\subset A$ ，则称时间 $A$ 事件 $B$ 等，记为 $A=B$ .

事件的和（ $A\cup B$ ）：事件 $A$ 事件 $B$ 至少有一个发生称为事件 $A$ 事件 $B$ 和。

事件的积（ $A\cap B$ ）：事件 $A$ 事件 $B$ 时发生称为 $A$ 事件 $B$ 积。如果 $A\cap B=\phi$ ，则称 $A$ $B$ 相容，即事件 $A$ $B$ 能同时发生。

对立事件 $A^c$ （或 $\overline{A}$ ）： $A$ 发生这一事件称为事件 $A$ 对立事件（或余事件）。

事件 $A$ 事件 $B$ 差（ $A-B$ ）：事件 $A$ 生而事件 $B$ 发生这一事件称为事件 $A$ 事件 $B$ 差，或等价于 $AB^c$ .

De Morgan対偶法则及其推广

\overline{A\cup B}=\overline{A}\cap \overline{B},

\overline{A\cap B}=\overline{A}\cup \overline{B}

上式可推广到n个事件：

\overline{\bigcup_{i=1}^{n}A_i}=\bigcap_{i=1}^{n}\overline{A_i},

\overline{\bigcap_{i=1}^{n}A_i}=\bigcup_{i=1}^{n}\overline{A_i},

1.3 概率的定义¶

概率是随机事件发生可能性大小的数字表征，其值在0和1之间，即概率是事件的函数。【概率是已知模型和参数，推数据。统计是已知数据，推模型和参数。】概率有以下定义：

1.3.1 古典概率¶

设一个试验有N个等可能的结果，而事件 $E$ 包含其中的 $M$ 结果，则事件 $E$ 概率，记为 $P(E)$ ，定义为

P(E)=M/N

或

P(E)=#(M) / #(N),

其中，

#(M)

事件

M

基本事件的个数。

古典概型有两个条件：

有限性，试验结果只有有限个（记为n），
等可能性，每个基本时间发生的可能性相同。

注：古典概率可引申出“几何概率”。

1.3.2 概率的统计定义¶

古典概率的两个条件往往不能满足，但可以将事件的随机试验独立反复做n次（Bernouli试验），设事件 $A$ 生了 $n_A$ ，称比值 $\frac{n_A}{n}$ 事件 $A$ 生的频率，当n越来越大时，频率会在某个值p附近波动，且波动越来越小，这个值p就定义为事件 $A$ 概率。该学派为频率派。

注：不能写为 $lim_{n\rightarrow{\infty}}\frac{n_A}{n}=p$ ，因为 $\frac{n_A}{n}$ 是n的函数。

1.3.3 主观概率¶

主观概率可以理解为一种心态或倾向性。究其根由，大抵有二：一是根据其经验和知识，二是根据其利害关系。该学派在金融和管理有大量的应用，这一学派成为Bayes学派。

1.3.4 概率的公理化定义¶

对概率运算规定一些简单的基本法则：

设 $A$ 随机事件，则 $0 \leq P(A) \leq 1$ ,
设 $\Omega$ 必然事件，则 $P(\Omega)=1$ ,
若事件 $A$ $B$ 相容，则 $P(A\cup B)=P(A)+P(B)$ ,

可推广至无穷： $P(\bigcup_{i=1}^{n}A_i)=\sum_{i=1}^{\infty}P(A_i)$ .

注：

一般情况下， $P(A\cup B)=P(A)+P(B)-P(AB)$ ， $P(A\cup B \cup C)=P(A)+P(B)+P(C)-P(AB)-P(AC)-P(BC)+P(ABC)$

$P(\overline{A})=1-P(A)$

$P(A-B)=P(A)-P(AB)$

1.4 古典概率计算¶

1.4.1 排列组合¶

选排列：从n个不同元素中取r个不同取法（ $1\leq r\leq n$ ）， $P^{n}_{r}=n(n-1)...(n-r+1)$ .
重复排列：从n个不同元素中可重复地取r个不同取法（ $1\leq r\leq n$ ）， $P^{n}_{r}=n^r$ .
组合：同选排列，但不考虑次序， $\binom{n}{r}=\frac{P^{n}_{r}}{r!}$ .

注：

排列英文为Permutation，组合英文为Combination.

$0!$ 1。当r不是非负整数时，记号 $r!$ 有意义.

一些书中将组合写成 $C_{n}^{r}$ $C_{r}^{n}$ ，更通用的是 $\binom{n}{r}$ .

1.4.2 其他公式¶

组合系数 $\binom{n}{r}$ 常称为二项式系数

(a+b)^n=\sum_{i=0}^{n}\binom{n}{r}a^i b^{n-1}

n个相异物件分成k堆，各堆物件数分为 $r_1, ..., r_k$ 方法是

n!/(r_1!...r_k!).

1.5 条件概率¶

条件概率就是知道了一定信息下得到的随机事件的概率。设事件 $A$ $B$ 随机试验 $\Omega$ 的两个事件， $P(B)>0$ ，称

P(A|B)=\frac{P(AB)}{P(B)}

为事件

B

生条件下事件

A

生的条件概率，可用图形表示：

注：事实上，我们所考虑的概率都是在一定条件下计算的，因为随机试验就是在一定条件下进行的。

1.5.1 条件概率性质¶

给定 $A$ 生， $P(A)>0$ ：

$0 \leq P(B|A) \leq 1$
$0 \leq P(\Omega|A) = 1$
若 $B_1 \cap B_2 = \phi _1$ ，则 $P(B_1 \cup B_2 | A) = P(B_1|A) + P(B_2|A)$ ，可推广至无穷。

1.5.2 乘法定理¶

由 $P(A|B)=\frac{P(AB)}{P(B)} \Rightarrow P(AB)=P(A|B)P(B)$ ，可推广至

P(A_1 A_2 ...A_n)=P(A_1)P(A_2|A_1)...P(A_n|A_1...A_{n-1})

注：右边看似麻烦，其实容易算，左边看似简单，但是难算。

1.6 全概率¶

设 $B_1,B_2,...B_n$ 样本空间 $\Omega$ 的两两不相容的一组事件，即 $B_i B_j=\phi$ ， $i\neq j$ ，且满足 $\bigcup_{i=1}^{n}B_i=\Omega$ ，则称 $B_1,B_2,...B_n$ 样本空间 $\Omega$ 一个分割（又称为完备事件群，英文为partition）。

设 ${B_1,B_2,...B_n}$ 样本空间 $\Omega$ 一个分割， $A$ $\Omega$ 一个事件，则

P(A)=\sum_{i=1}^{n}P(A|B_i)P(B_i)

推导：

\begin{align} P(A)&=P(A \cap \Omega)\ &=P(A \cap \sum_{i=1}^{n}B_i)\ &=P(\sum_{i=1}^{n}AB_i)\ &=\sum_{i=1}^{n}P(AB_i)\ &=\sum_{i=1}^{n}P(A|B_i)P(B_i)\ &=\sum_{i=1}^{n}P(A|B_i)P(B_i) \end{align}

注：有时不易直接计算事件 $A$ 概率，但是在每个 $B_i$ $A$ 条件概率容易求出

1.7 Bayes公式¶

设 ${B_1, B_2, ...B_n}$ 样本空间的一个分割， $A$ $\Omega$ 的一个事件， $P(B_i)>0$ ， $i=1,2,...,n$ ， $P(A)>0$ ，则

P(B_i|A)=\frac{P(A|B_i)P(B_i)}{\sum_{j=1}^{n}P(A|B_j)P(B_j)}

注：贝叶斯公式就是在描述，你有多大把握能相信一件证据？当有因果关系互换时必须用Bayes公式。

1.8 事件的独立性¶

设 $A$ ， $B$ 随机试验中的两个事件，若满足 $P(AB)=P(A)P(B)$ ，则称事件 $A$ $B$ 互独立。判断事件的独立，应该是从实际出发，如果能够判断事件 $B$ 发生与否对事件 $A$ 发生与否不产生影响，则事件 $A$ ， $B$ 为独立。

设 $\widetilde{A}$ 示事件 $A$ 生和不发生之一， $\widetilde{B}$ 示事件 $B$ 生和不发生之一。有独立性的定义可推至 $P(\widetilde{A}\widetilde{B})=P(\widetilde{A})P(\widetilde{B})$ （一共有四个等式）。可推广至：

P(\widetilde{A}_1\widetilde{A}_2...\widetilde{A}_n)=P(\widetilde{A}_1)...P(\widetilde{A}_n)

上面有

2^n

等式。

注：独立（independent）和不相容（exclusive）是不同的两个概念，前者有公共部分，后者没有公共部分，独立一定相容。

1.9 重要公式与结论¶

\begin{align} &(1)\ P(\overline{A})=1-P(A)\ \ &(2)\ P(A \cup B)=P(A)+P(B)-P(AB)\ \ &(3)\ P(A\cup B \cup C)=P(A)+P(B)+P(C)-P(AB)-P(AC)-P(BC)+P(ABC)\ \ &(4)\ P(A-B)=P(A)-P(AB)\ \ &(5)\ P(A\overline{B})=P(A)-P(AB),P(A)=P(AB)+P(A\overline{B}),\ &\ \ \ \ \ \ P(A\cup B)=P(A)+P(\overline{A}B)=P(AB)+P(A\overline{B})+P(\overline{A}B)\ \ &(6)\ P(\overline{A}1|B)=1-P(A_1|B),P(A_1\cup A_2|B)=P(A_1|B)+P(A_2|B)-P(A_1A_2|B)\ &\ \ \ \ \ P(A_1A_2|B)=P(A_1|B)P(A_2|A_1B)\ \ &(7)\ 若A_1,A_2,...A_n相独立，则P(\bigcap{i=1}^{n}A_i)=\prod_{i=1}^{n}P(A_i),P(\bigcup_{i=1}^{n}A_i)=\prod_{i=1}^{n}(1-P(A_i)) \end{align}