测度论
可测空间
空间 ：X
任意非空集合，例如\{0,1,2,\ldots\}
其元素 记为x
集合 ：A,B,C,\cdots
空间X 的子集 ，例如\{0,1\},\{2,6,9\},\ldots
空集 为\varnothing
集合族 ：\mathscr{A},\mathscr{B},\cdots
定义：由X 的集合构成的集合
通常可以写成
\mathscr{A}=\{S_d,d\in D\}
D 被称为标志集 ，标志集不一定存在，例如\{\{0\},\{0,1\},\{0,1,2\}, \ldots\}
集合序列 ：标志集为\mathbb{N} 的集合族，\left\{S_n, n=1,2, \cdots\right\}
\sigma 代数\mathscr{F}
定义：满足一定条件的集合族X\in\mathscr{F} A\in\mathscr{F}\Rightarrow A^c\in\mathscr{F} A_1, A_2, \ldots \in \mathcal{F} \Rightarrow \bigcup_{n=1}^{\infty} A_n \in \mathcal{F}
最小的\sigma 代数：\{\varnothing,X\} \sigma 代数：所有X 的子集构成的集合，记作2^X
\sigma 代数的生成X 上的集合族\mathscr{A} ，\sigma(\mathscr{A}) 表示包含\mathscr{A} 的最小\sigma 代数修补 出\sigma 代数
可测空间 ：(X,\mathscr{F})
其中\mathscr{F} 是定义在X 上的\sigma 代数,\mathscr{F} 中的每个集合称为可测集
为什么要求可测空间中的\mathscr{F} 是\sigma 代数？为了使得可测空间具有良好性质
概率空间
测度
对于可测空间(X,\mathscr{F}) ，若存在函数\mu ，满足
\begin{aligned}
&\mu: \mathscr{F}\rightarrow [0,\infty]
\\
&\mu(\varnothing)=0
\\
&\mu\left(\bigcup_{n=1}^{\infty} A_n\right)=\sum_{n=1}^{\infty} \mu\left(A_n\right)
\end{aligned}
A_1,A_2,\ldots\in\mathscr{F} 且两两不交\mu 为测度
测度的引入使得我们可以计算可测集的"大小"
从可测空间到测度空间
对于可测空间(X,\mathscr{F}) 和测度\mu ，得到测度空间
(X,\mathscr{F},\mu)
对于不同的任务，我们可以构造不同的测度空间
从测度空间到概率空间
用样本空间 \Omega 代替空间X ，得到可测空间(\Omega,\mathscr{F})
对于可测空间(\Omega,\mathscr{F}) ，定义函数P ，满足
\begin{aligned}
&P: \mathscr{F}\rightarrow [0,1]
\\
&P(\varnothing)=0,P(\Omega)=1
\\
&P\left(\bigcup_{n=1}^{\infty} A_n\right)=\sum_{n=1}^{\infty} P\left(A_n\right)
\end{aligned}
P 是测度，还满足了额外条件，将其定义为概率
由此得到概率空间 (\Omega,\mathscr{F},P) A\in\mathscr F, A\subseteq\Omega 称为事件 \omega\in\Omega 称为样本点
概率论
随机变量
可测函数
对于可测空间(X,\mathscr{F}) 和(Y,\mathscr{G}) ，若存在函数f ，满足
\begin{aligned}
&f:X\rightarrow Y
\\
&G\in \mathscr{G}\Rightarrow f^{-1}(G)\in\mathscr{F}
\end{aligned}
f 为可测函数
注意，f^{-1} 表示原像 而不是反函数，因为可测函数不一定存在反函数
Borel空间
取实数集\mathbb{R} 为空间X ，Borel \sigma 代数为\mathscr{F} ，得到一个特殊的可测空间
(\mathbb{R}, \mathcal{B}_{\mathbb{R}})
Borel集合系\mathcal{B}_{\mathbb{R}} 是由\mathbb{R} 中所有开集生成的\sigma 代数
随机变量
对于概率空间(\Omega,\mathscr{F},P) 和Borel空间(\mathbb{R}, \mathcal{B}_{\mathbb{R}}) ，其可测函数f 称为有限值实值随机变量
通常用X 而不是f 表示随机变量，这里有一点符号混淆，不要和空间X 弄混了
\begin{aligned}
&X:\Omega\to\mathbb R
\\
&B\in \mathcal{B}_{\mathbb{R}}\Rightarrow X^{-1}(B)\in\mathscr F
\end{aligned}
概率结构
背景
对于概率空间(\Omega,\mathscr{F},P) 和Borel空间(\mathbb{R}, \mathcal{B}_{\mathbb{R}}) ，我们有概率P 和随机变量X
\begin{aligned}
&P:\mathscr F\to[0,1]
\\
&X:\Omega\to \mathbb R
\end{aligned}
在此基础上，我们可以定义分布、期望等概率论结构
分布函数
随机变量X 的分布 定义为
P_X(B)=P(\omega:X(\omega)\in B)=P(X^{-1}(B)),\qquad B\in\mathcal B(\mathbb R)
P_X 也可以记作P\circ X^{-1}
分布函数 定义为
F_X(x)=P_X((-\infty,x])
期望和矩
随机过程
基本概念
随机过程
随机过程是定义在同一概率空间上的一族随机变量，通常记为
\{X_t, t \in T\}\quad\text{或}\quad\left\{X_t\right\}_{t \in T}
T 是指标集，例如可以是时间集合
若给定概率空间(\Omega, \mathcal{F}, P) ，随机过程可以形式化地定义为映射族：
(t,\omega)\mapsto X_t(\omega): T \times \Omega \rightarrow S
t\in T ：指标集中的一个具体元素，通常表示某一时刻\omega\in \Omega ：是样本点 ，即随机试验的一种可能结果X_t(\omega) \in S ：状态空间中S 的一个可能取值
对固定的样本点\omega\in \Omega ，函数
t \mapsto X_t(\omega): T \rightarrow S
T 离散，则是一条确定序列 （即元素不是随机变量）
对每一个固定的t \in T ，函数
\omega\mapsto X_t(\omega): \Omega \rightarrow S
随机变量
按指标集和状态空间可分为：T=\mathbb{N} 或T=\mathbb{Z} T=[0, \infty) 或T=\mathbb{R} S 可数S \subseteq \mathbb{R}^n
随机序列
随机序列是随机过程的特殊情形 ，即指标集为自然数或整数的随机过程，通常记为
\left\{X_n,n \in \mathbb{N}\right\}
X_n 都是定义在同一概率空间(\Omega, \mathcal{F}, P) 上的随机变量
特别的，对于一个固定样本\omega ，得到确定序列
X_1(\omega), X_2(\omega), \ldots
鞅
定义
若随机序列\left\{X_n, n \geq1\right\} 对任何n ，满足
\mathbb{E}\left[X_{n+1} \mid X_1, \cdots, X_n\right]=X_n
如果只是大于等于号成立，成为下鞅；如果只是小于等于号成立，称为上鞅。