高斯分布下方差估计的推导

考虑一组独立同分布的样本 $\{x^{(1)},…,x^{(m)}\}$ 服从高斯分布 $p(x^{(i)})=\mathcal{N}(x^{(i)};\mu,\sigma^2)$,其中 $i \in \{1,…,m\}$ 。

</br>

样本方差(sample variance)

样本方差定义为

其中 $\hat{\mu}_{m}$ 是样本均值。

那么它的偏差为:$bias(\hat{\sigma}^{2}_{m})=\mathbb{E}[\hat{\sigma}^{2}_{m}]-\sigma^2$

以知的条件有:

  • $\mathbb{E}(x^{(i)})=\mu$
  • $D(x^{(i)})=\sigma^2$
  • $D(x^{(i)})=\sigma^2=\mathbb{E}[(x^{(i)})^2]-\mathbb{E}[x^{(i)}]^2$
  • $\mathbb{E}(\hat{\mu}_{m})=\mu$
  • $D(\hat{\mu}_{m})=D(\frac{1}{n}\sum_{i=1}^{m}x^{(i)})=\frac{1}{n^2}D(\sum_{i=1}^{m}x^{(i)})=\frac{\sigma^2}{n}$

那么有:

因此前面的偏差为$bias(\hat{\sigma}^{2}_{m})=-\frac{\sigma^2}{m}$


无偏样本方差(unbiased sample variance)

因此,下面这种估计是无偏的:

可以知道 $\tilde{\sigma}_m^2=\sigma^2$

文章作者: Sshpark
文章链接: http://sshpark.com.cn/2019/09/14/高斯分布下方差估计的推导/
版权声明: 本博客所有文章除特别声明外,均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来自 Sshpark