1. Error的来源
error实际来源于bias和variance.
2. Estimator
我们用回归模型预测宝可梦的战斗力时,是不知道宝可梦实际计算函数的,我们只能使用自己估测的函数去尽可能靠近这个函数.
那么一个Estimator的bias和variance是指什么呢?以概率与统计来说明:
假设预测一个变量的均值和方差.直接预测是不可能的,所以取\(N\)个样本点.\(N\)个样本点的均值\(m\)只有在\(Sample\)无穷多个点时,(大概率)才会与\(\mu\)相同.我们进行多次实验\(Sample\),每次\(m\)都不同.但如果我们算\(m\)的期望值,这个值会恰好是\(\mu\).
每次实验计算\(m\)都与实际\(\mu\)有偏差,这个偏差大小取决于\(\sigma^2\).
我们用\(m\)计算\(s^2\)来估测\(\sigma^2\).注意右边的\(s_i\)都是\(s_i^2\),图里没标.\(s^2\)是一次采集的样本方差,\(\sigma^2\)是实际方差,这两关系如下.
