防盗 https://www.cnblogs.com/setdong/p/17325420.html
1. Markov's inequality
Theorem: \(X\) 为非负随机变量, 且 \(\mathbb{E}[X]<\infty\). 那么对于任意 \(t>0\) 有
\[\mathbb{P}[X\geq t\mathbb{E}[X]]\leq\frac{1}{t}
\]
或对于任意的 \(\epsilon>0\) 有
\[\mathbb{P}[X\geq\epsilon]\leq\frac{\mathbb{E}[X]}{\epsilon}
\]
证明, 以上两式等价, 这里证第一个:
由定义有
\[\mathbb{P}[X\geq t\mathbb{E}[X]]=\sum_{x:x\geq t\mathbb{E}[X]}\mathbb{P}[X=x]
\]
对于\(x\geq t\mathbb{E}[X]\) 部分, 有 \(\frac{x}{t\mathbb{E}[X]}\geq 1\), 所以
\[\mathbb{P}[X\geq t\mathbb{E}[X]]\leq\sum_{x:x\geq t\mathbb{E}[X]}\mathbb{P}[X=x]\frac{x}{t\mathbb{E}[X]}
\]
对于\(x < t\mathbb{E}[X]\) 部分, 有 \(\mathbb{P}[X=x]\frac{x}{t\mathbb{E}[X]}\geq 0\) , 所以加上这些非负部分, 有:
\[\mathbb{P}[X\geq t\mathbb{E}[X]]\leq\sum_{x}\mathbb{P}[X=x]\frac{x}{t\mathbb{E}[X]}=\frac{\mathbb{E}[X]}{t\mathbb{E}[X]}=\frac{1}{t}
\]
2. Chebyshev's inequality
Theorem: \(X\) 为随机变量, 且 \(\text{Var}[X]<\infty\) (方差). 那么对于任意 \(t>0\) 有
\[\mathbb{P}[|X-\mathbb{E}[X]|\geq t\text{Var}[X]^{\frac{1}{2}}]\leq\frac{1}{t^2}
\]
或对于任意\(\epsilon>0\) 有
\[\mathbb{P}[|X-\mathbb{E}[X]|\geq \epsilon]\leq\frac{\text{Var}[X]}{\epsilon^2}
\]
证明:
首先有
\[\mathbb{P}[|X-\mathbb{E}[X]|\geq t\text{Var}[X]^{\frac{1}{2}}]=\mathbb{P}[(X-\mathbb{E}[X])^2\geq t^2\text{Var}[X]]
\]
然后对上式右侧应用 Markov's inequality, 其中\(X\) 是 \((X-\mathbb{E}[X])^2\), \(\epsilon\) 是 \(t^2\text{Var}[X]^2\)
\[\mathbb{P}[(X-\mathbb{E}[X])^2\geq t^2\text{Var}[X]]\leq \frac{\mathbb{E}[(X-\mathbb{E}[X])^2]}{t^2\text{Var}[X]}=\frac{1}{t^2}
\]
其中 \(\mathbb{E}[(X-\mathbb{E}[X])^2]=\text{Var}[X]\) 为方差的定义.
3. Weak law of large numbers
Theorem: \((X_n)_{n\in\mathbb{N}}\) 是一列独立的随机变量, 它们有相同的期望 \(\mu\) 和方差 \(\sigma^2>\infty\). \(\bar{X}_n=\frac{1}{n}\sum_{i=1}^n X_i\) 为均值. 那么对于任意的 \(\epsilon>0\) 有
\[\lim_{n\rightarrow\infty}\mathbb{P}[|\bar{X}_n-\mu|\geq\epsilon]=0
\]
证明:
已知变量是独立的, 根据期望和方差的特性有,
\[\mathbb{E}[\bar{X}_n]=\sum_{i=1}^n \frac{\mu}{n}=\mu\\
\text{Var}[\bar{X}_n]=\sum_{i=1}^n \frac{\sigma^2}{n^2}=\frac{\sigma^2}{n}
\]
对上式使用 Chebyshev's inequality, 其中 \(t=\epsilon/\text{Var}[\bar{X}_n]^{\frac{1}{2}}\), 有
\[\mathbb{P}[|\bar{X}_n-\mu|\geq\epsilon]\leq\frac{\sigma^2}{n\epsilon^2}
\]
所以当 \(n\) 趋于无穷时, 概率趋于 \(0\). 可以理解为样本均值依概率收敛于期望值.
防盗 https://www.cnblogs.com/setdong/p/17325420.html