概率论与统计笔记

对于任意给定的集合 $\Omega$ , 可以为其构造 $\sigma-$ 代数 $\Sigma$ .

$\Sigma$ 本质是一个集合 , 满足以下三个条件 :

1. $\empty \in \Sigma$
2. $X_1, X_2, ...,X_n,...\in \Sigma$ 是有穷或可数无穷个集合, 则 $\displaystyle \bigcup_{i}X_i \in \Sigma$
3. $Y \in \Sigma \implies Y^C \in \Sigma$

最小的 $\sigma-$ 代数是$\left\{ \empty, \Omega \right\}$ , 最大的 $\sigma-$ 代数是 $2^{\Omega}$ ,

还有生成 $\sigma-$ 代数, 即给定 $\Omega$ 中的一个子集族 $\mathcal{A}$ , 可以生成包含 $\mathcal{A}$ 并封闭于补集和可数并操作的最小 $\sigma-$ 代数

对于可数并 , 也就是 $\Sigma$ 的第二个性质 , 结合性质三 , 可以推出可数交 : $\displaystyle \bigcap_{i}X_i=(\displaystyle \bigcup_{i}X_i^C)^C$

$(\Omega,\Sigma)$ 这样的二元组被称作可测空间 , 定义一个映射 $\nu: \Sigma \rightarrow {\mathbb R^{+}\cup \left\{0 \right\} }$ 满足以下两个条件 :

1. $\nu(\empty)=0$
2. $\displaystyle{\nu(\bigsqcup_{i}X_i)=\sum_{i}\nu(X_i)}$

$(\Omega,\Sigma,\nu)$ 这样的三元组被称作测度空间 , 当$\nu(\Omega)=1$ 时 , 这个测度空间是概率空间 .

概率空间中可以定义随机变量 $X$ 是一个函数 $(\Omega,\Sigma)\rightarrow(\mathbb{R},\mathcal{B}(\mathbb{R}))$ , 随机变量 $X$ 的分布 $\mathcal P$ 被定义为 $\nu \circ X^{-1}:\mathcal{B}(\mathbb{R}) \rightarrow [0,1]$

设 $A$ 和 $B$ 是两个事件 , 若 $\nu(A \cap B)=0$ , 则称这两个事件互斥 , 若 $\nu(A\cap B)=\nu(A)\nu(B)$ , 则称两个事件独立

概率分布的期望/总体均值被定义为 $\mu=\displaystyle{E(X):=\int_{\Omega}X\cdot d\nu}$

对于任何非负的随机变量 $X$ 和任何 $a > 0$ ，马尔可夫不等式 : $\displaystyle P(X \geq a) \leq \frac{E[X]}{a}$

对于任何具有实数期望值 $\mu$ 和正方差 $\sigma^2$ 的随机变量 $X$，以及任何 $k > 0$，切比雪夫不等式 : $\displaystyle P(|X - \mu| \geq k) \leq \frac{\sigma^2}{k^2}$

$n$ 阶原点矩 : $E(X^n)$ , $n$ 阶中心矩 : $E((X-\mu)^n)$ , 所谓的方差就是二阶中心矩 .

矩母函数定义 : $\displaystyle M_X(t) := E(e^{tX}) = 1 + tE(X) + \frac{t^2E(X^2)}{2!} + \frac{t^3E(X^3)}{3!} + \cdots= \sum_{n=0}^\infty \frac{t^n E(X^n)}{n!}$

且 $\displaystyle E(X^n) = \left. \frac{d^n}{dt^n} M_X(t) \right|_{t=0}$

特征函数定义 : $\displaystyle \phi_X(t) :=E(e^{itX})= 1 + itE(X) - \frac{t^2E(X^2)}{2!} - i\frac{t^3E(X^3)}{3!} + \cdots = \sum_{n=0}^\infty \frac{(it)^n E(X^n)}{n!}$

且 $\displaystyle E(X^n) = i^{-n}\left. \frac{d^n}{dt^n} \phi_X(t) \right|_{t=0}$

常见分布汇总表 :

	密度/质量函数	期望	方差	矩母函数
伯努利$Bern(p)$	$p^x(1-p)^{1-x}$	$p$	$p(1-p)$	$1-p+pe^t$
二项$Bin(n , p)$	$\binom{n}{k} p^k (1-p)^{n-k}$	$np$	$np(1-p)$	$(p e^t+1-p)^n$
几何$Geo(p)$	$(1-p)^{k-1} p$	$\frac{1}{p}$	$\frac{1-p}{p^2}$	$\frac{pe^t}{1-(1-p)e^t}$
泊松$\mathcal P(\lambda)$	$e^{-\lambda} \frac{\lambda^k}{k!}$	$\lambda$	$\lambda$	$\text{exp}(\lambda(e^t-1))$
一致$\mathcal U(\alpha$ , $\beta)$	$\frac{1}{\beta-\alpha}$	$\frac{\alpha+\beta}{2}$	$\frac{(\beta-\alpha)^2}{12}$	$\frac{e^{t\beta}-e^{t\alpha}}{t(\beta-\alpha)}$
指数$Exp(\lambda)$	$\lambda e^{-\lambda x}$	$\frac{1}{\lambda}$	$\frac{1}{\lambda^2}$	$\frac{\lambda}{\lambda-t}$
正态$\mathcal N(\mu,\sigma^2)$	$\frac{1}{\sqrt{2\pi \sigma^2}} \text{exp}(-\frac{(x-\mu)^2}{2\sigma^2})$	$\mu$	$\sigma^2$	$\text{exp}(\mu t+\frac{\sigma^2t^2}{2})$
伽马$\Gamma(\alpha,\lambda)$	$\frac{\lambda^\alpha}{\Gamma(\alpha)} x^{\alpha-1} e^{-\lambda x}$	$\frac{\alpha}{\lambda}$	$\frac{\alpha}{\lambda^2}$	$(\frac{\lambda}{\lambda-t})^\alpha$

伽马函数定义 : $\displaystyle \Gamma(\alpha):= \int_0^{+\infty} e^{-t} t^{\alpha-1}dt$

指数分布的累积分布函数是 $F(x; \lambda) = 1 - e^{-\lambda x} \quad \text{for } x \geq 0$ , 指在时间 $x$ 内至少发生一次的概率

推论 : $x$ 时间内某事件一次都不发生的概率 (也就是时间间隔大于 $x$ 的概率) 是 $e^{-\lambda x}$

其中 , 若伽马分的参数 $\alpha$ 等于一 , 该分布就是指数分布 , 伽马分布可以理解成 $\alpha$ 个 (不需要是整数) $Exp(\lambda)$ 叠加形成 .

概率分布的叠加 , 利用到卷积 :

随机变量 $X$ 和 $Y$ 是定义在同一个概率空间的独立随机变量 , 它们的概率密度函数分别是 $f_X$ 和 $f_Y$ ,

$X$ 和 $Y$ 的卷积定义为 $f_X * f_Y$ ,

若随机变量连续 : $\displaystyle (f_X * f_Y)(z) := \int_{-\infty}^\infty f_X(t)f_Y(z - t)dt$

若随机变量离散 : $\displaystyle (f_X * f_Y)(z) := \sum_{n} f_X(x_n) f_Y(z - x_n)$

随机变量的和 $S = X_1 + X_2 + \ldots + X_n$ 的概率密度函数是这些随机变量密度函数的多重卷积 : $f_S(s) = (f_{X_1} * f_{X_2} * \ldots * f_{X_n})(s)$

卷积满足 $f * g = g * f$ 与 $(f *g ) * h = f * ( g * h )$

以上内容均围绕随机变量 , 以下 $X$ 表示随机向量 .

随机向量 $X=(X_1, X_2,...,X_n)$ , 其中每一个 $X_i$ 都是定义在 $(\Omega,\Sigma,\nu)$ 上的随机变量

随机向量的分布从单变量情形类推 ,

单变量情形是 $\nu \circ X^{-1}:\mathcal{B}(\mathbb{R}) \rightarrow [0,1]$ , 多变量就是 $\mathcal{B}(\mathbb{R}^n) \rightarrow \Sigma^{\otimes n} \rightarrow [0,1]$

$\displaystyle P(\mathbf{X} \in A) = \int_A f_{\mathbf{X}}(x_1, x_2, ..., x_n) \, dx_1 \, dx_2 \, ... \, dx_n$

$\displaystyle F_{\mathbf{X}}(x_1, x_2, ..., x_n) = P(X_1 \leq x_1, X_2 \leq x_2, ..., X_n \leq x_n)$

所有累积分布函数都对所有坐标方向右连续 .

概率密度函数 : $\displaystyle f_{X_1,X_2,...,X_n} (x_1, x_2, ..., x_n) = \frac{\partial^n }{\partial x_1 \partial x_2 ... \partial x_n}F_{X_1,X_2,...,X_n}(x_1, x_2, ..., x_n)$

全概率公式 : $\displaystyle P(A) = \sum_{i=1}^n P(A \mid B_i) P(B_i)$

贝叶斯公式: $\displaystyle P(A \mid B) = \frac{P(B \mid A) P(A)}{P(B)}$ , 再套全概率公式 : $\displaystyle P(A \mid B) = \frac{P(B \mid A) P(A)}{\sum_{i=1}^n P(B \mid A_i) P(A_i)}$

容斥原理 : $\displaystyle |\bigcup_{i=1}^{n}A_i| = \sum_{i=1}^{n} (-1)^{i-1} \left(\sum_{1 \leq j_1 < j_2 < ... < j_i \leq n} |A_{j_1} \cap A_{j_2} \cap ... \cap A_{j_i}|\right)$

对于联合分布而言 , 条件概率是固定住其中几个随机变量的取值 , 计算余下的随机变量组成的联合分布 ; 边缘概率是选取其中几个随机变量 , 对余下的随机变量取遍能取的值做压缩 , 整合进选取的随机变量的分布 , 比如如果把单值随机变量视为在实直线上对每个点分配权重 , 每个区间也因此分配了权重 , 那么两个随机变量组成的二维随机向量就是在平面上分配了权重 , 每个面积都被分配了权重 , 那么这个平面关于 $y$ 的边缘分布就是将每一个平行于 $x$ 轴的直线的权重全压缩进 $y$ 轴上的那个点 , 此时这些点形成的新 $y$ 轴就是边缘分布 , 更一般的情形类推 , 压缩就是关于其余变量做取遍值的积分 .

随机向量的期望 : $E[X] := [E(X_1), E(X_2),&#183; &#183; &#183; , E(X_n)]^T$

如果 $a \in \mathbb{R}^m$ 并且 $B$ 是一个 $m \times n$ 矩阵，且 $X$ 是一个 $n$ 维随机向量，那么对于 $m$ 维随机向量 $Y := a + BX$，则：

随机向量 $Y$ 的期望值为 $E[Y] = a + BE[X]$ , $Y$ 的协方差矩阵为 $\Sigma_{YY} = B\Sigma_{XX}B^T$

随机变量 $X$ , $Y$ 协方差 : $Cov(X,Y):=E[(X-\mu_X)(Y-\mu_Y)]=E(XY)-\mu_X \mu_Y$

相关系数 : $\displaystyle \text{corr}(X, Y) := \frac{\text{Cov}(X, Y)}{\sqrt{\text{Var}(X) \text{Var}(Y)}} \in [-1,1]$

随机向量 $X$ , $Y$ 协方差矩阵 : $\Sigma_{XY} = \begin{bmatrix} \text{Cov}(X_1, Y_1) & \text{Cov}(X_1, Y_2) & \cdots & \text{Cov}(X_1, Y_n) \\ \text{Cov}(X_2, Y_1) & \text{Cov}(X_2, Y_2) & \cdots & \text{Cov}(X_2, Y_n) \\ \vdots & \vdots & \ddots & \vdots \\ \text{Cov}(X_m, Y_1) & \text{Cov}(X_m, Y_2) & \cdots & \text{Cov}(X_m, Y_n) \end{bmatrix}$

矩阵元素 : $\text{Cov}(X_i, Y_j) = E[(X_i - E[X_i])(Y_j - E[Y_j])]$

特别地 , 方差矩阵 : $\Sigma_X = \begin{bmatrix} \text{Var}(X_1) & \text{Cov}(X_1, X_2) & \cdots & \text{Cov}(X_1, X_n) \\ \text{Cov}(X_2, X_1) & \text{Var}(X_2) & \cdots & \text{Cov}(X_2, X_n) \\ \vdots & \vdots & \ddots & \vdots \\ \text{Cov}(X_n, X_1) & \text{Cov}(X_n, X_2) & \cdots & \text{Var}(X_n) \end{bmatrix}$

矩阵元素 : $\Sigma_X(i, j) = \text{Cov}(X_i, X_j) = E[(X_i - E[X_i])(X_j - E[X_j])]$

对于 $\Sigma_X$ , 有结论对于任意向量 $v$ , $v^T \Sigma_X v \geq 0$ , 且有下三角矩阵 $L$ 使得 $\Sigma_X = L^2$

随机向量的正规化 :

定义 $X^* := L^{-1}(X - \mu)$ , 那么 $E(X^*) = E(L^{-1} (X - \mu)) = L^{-1} (E(X) - \mu) = L^{-1} (\mathbf0) = \mathbf0$

且 $\text{Var}(X^*) = \text{Var}(L^{-1} (X - \mu)) = L^{-1} \text{Var}(X - \mu) (L^{-1})^T = L^{-1} \Sigma (L^{-1})^T = L^{-1} \Sigma L^{-1} = I$

$I$ 是单位矩阵 .

高维正态分布概率密度函数 : $\displaystyle f(\mathbf{x}) = \frac{1}{(2\pi)^{n/2} \text{det}|\Sigma|^{1/2}} \exp\left(-\frac{1}{2} (\mathbf{x} - \boldsymbol{\mu})^T \Sigma^{-1} (\mathbf{x} - \boldsymbol{\mu})\right)$

标准正态分布 $\mathcal{N}(0,I)$ 就是 $f(x)=\frac{1}{(2\pi)^{n/2}}e^{-\|x\|^2/2}\\$

概率变换(transfomer)：如果我们知道随机向量 $X = (X_1, \ldots, X_n)^T$ 和 $Y = (Y_1, \ldots, Y_n)^T$，且变换关系为 $X = h(Y)$，那么如果我们知道 $X$ 的联合密度函数 $f_X$，即 $f_X(x_1, x_2, \ldots, x_n)$，则 $Y$ 的联合密度函数 $f_Y$ 可以表示为：

其中 $x = h(y)$ .

中心极限定理(central limit theorem) :

单值随机变量版本:

设随机变量 $X_1, X_2, ...,X_n$ 独立同分布 , 期望 $\mu$ , 方差 $\sigma^2$ , $\overline{X_n}=\displaystyle{\frac{\sum_{i=1}^{n}X_i}{n}}$

那么当 $n$ 足够大时 , $\displaystyle{\frac{\sqrt{n}(\overline{X_n}-\mu)}{\sigma^2}}$ 服从 $\mathcal{N}(0,1)$

高维随机向量版本 :

设 $n$ 个 $k$ 维随机向量 $X_1, X_2, ...,X_n$ , 其期望也是 $k$ 维向量 $\mu$ , 方差 $\Sigma$ 为 $k \times k$ 的方阵 , $\overline{X_n}=\displaystyle{\frac{\sum_{i=1}^{n}X_i}{n}}$

那么当 $n$ 足够大时 , $\sqrt{n}\Sigma^{-1}(\overline{X_n}-\mu)$ 服从 $\mathcal{N}(0,I)$

估计器(estimator)

由上面的常见分布汇总表可以观察到 , 一个概率分布由一个或多个参数确定 , 这些参数的所有可能值组成参数空间 $\Theta$ .

估计器 $T$ 是一个从样本空间 $\Omega$ 到 $\Theta$ 的映射 , 若给定观测值集合 $X=(X_1,X_2,...,X_n)$ 作为样本

那么 $T$ 可以表示为 $f(x_1,x_2,...x_n)$ , 这个表达式将预测一个参数 $\theta$ , 记 $T(X)=\tilde{\Theta_n}$

如果 $E(\tilde{\Theta_n})=\theta$ , 则称该估计器是unbias的 , 否则就是 bias的

$\displaystyle S_n^2=\frac{1}{n-1}\sum_{i=1}^{n}(x_i-\bar{x})^2$ , $\displaystyle{E(S_n^2)=\sigma^2}$ , unbias

$\displaystyle{V_n^2=\frac{1}{n}\sum_{i=1}^{n}(x_i-\bar{x})^2}$ , $\displaystyle E(V_n^2)=\frac{n-1}{n}\sigma^2$ , bias

置信区间(confidence interval)

$u(x_1,x_2,...x_n)$ 和 $v(x_1,x_2,...x_n)$ 都是关于样本集 $X$ 的函数 , 以下简写为 $u$ , $v$

若 $\mathbb{P} (\theta \in [u, v]) = 1 - \alpha$ , 则称 $u$ , $v$ 为一个估计 $\Theta$ 的置信区间的两个端点

$1 - \alpha$ 是置信水平 , $\alpha$ 是显著性水平(significant level)

特殊地 , 关于正态分布 :

双尾 : $\displaystyle \left( \bar{x} - z_{\alpha/2} \frac{\sigma}{\sqrt{n}}, \bar{x} + z_{\alpha/2} \frac{\sigma}{\sqrt{n}} \right)$

单尾 : $\displaystyle (-\infty, \bar{x} + z_{\alpha} \frac{\sigma}{\sqrt{n}})$ , $\displaystyle (\bar{x} - z_{\alpha} \frac{\sigma}{\sqrt{n}}, +\infty)$

假设检验(hypothesis testing)

定义假设

原假设 ($H_0$) : 通常表达为无效果或状态的假设 , 例如，$H_0: \theta = \theta_0$ .

对立假设 ($H_a$) : 表达为存在效果或状态的假设 , 例如，$H_a: \theta \neq \theta_0$ .

计算检验统计量

检验统计量是基于样本数据计算的值 , 用于决定是否拒绝 $H_0$ , 表示为 $T(X_1, \ldots, X_n)$ .

确定决策规则

设定显著性水平 ($\alpha$) , 通常为 $0.05$ , 用于定义拒绝 $H_0$ 的条件

可以计算 $p$ 值

$p$ 值是在 $H_0$ 为真的条件下 , 观察到的统计量值或更极端值出现的概率

如果 $p$ 值小于$\alpha$ , 则拒绝$H_0$ ; 否则，不拒绝$H_0$ .

还可以计算 $t$ 值

单样本 $t$ 检验（One-sample t-test）

用于比较单个样本的均值与已知的总体均值 .

公式：$\displaystyle t = \frac{\bar{x} - \mu_0}{s / \sqrt{n}}$ - 其中 $\bar{x}$ 是样本均值 , $\mu_0$ 是总体均值 , $s$ 是样本标准差 , $n$ 是样本大小 .

独立样本 $t$ 检验（Independent two-sample t-test）

用于比较两个独立样本的均值差异 .

公式：$\displaystyle t = \frac{\bar{x}_1 - \bar{x}_2}{\sqrt{\frac{s_1^2}{n_1} + \frac{s_2^2}{n_2}}}$ - 其中 $\bar{x}_1$ 和 $\bar{x}_2$ 分别是两个样本的均值 , $s_1^2$ 和 $s_2^2$ 是样本方差 , $n_1$ 和 $n_2$ 是样本大小 .

配对样本 $t$ 检验（Paired sample t-test）

用于比较两个相关样本的均值差异.

公式：$\displaystyle t = \frac{\bar{d}}{s_d / \sqrt{n}}$ - 其中 $\bar{d}$ 是差值的样本均值 , $s_d$ 是差值的样本标准差 , $n$ 是样本大小（差值的对数）.

最小二乘法

理论概述

当有多组数据 $(t_1, t_2, \dots, t_q)$ 和对应的因变量 $y$ 时，模型可以用线性组合形式表达如下：

其中，$b_0, b_1, \dots, b_q$ 是模型参数。

矩阵表示法

这个模型可以用矩阵形式表示为：

这可以表示为线性方程组 $A$, 其中 $A$ 是设计矩阵，$b$ 是参数向量，$y$ 是响应向量：

称为 $Ab = Y$.

最小二乘解

要找到最佳的 $b$ 使得 $||Ab - Y||_2$ 最小，即解决最小二乘问题。

投影算法

解决方法包括将 $Y$ 分解为两部分：

• $Y_1 = A A^T Y \in R(A)$
• $Y_2 = (I - A A^T) Y \in R(A)^\perp$

因此，最小化 $||Ab - Y||_2$ 可以分解为：

当 $Ab = Y_1$ 时，$b$ 可以表示为：

这是因为 $Ab = Y_1$ 是 $A^T Y$ 的投影，且 $b$ 是该投影的解析解。