题目:
在本题中,我们将贝叶斯估计应用到确定性参数的估计问题。因为参数是确定的,我们将先验PDF指定为,其中是真值。在此先验PDF下求MMSE估计量,并解释你的结果。
解答:
由公式10-5的推导,我们可以得到θ的MMSE估计量是:
贝叶斯估计的最核心假设就是待估计参数θ是随机变量,上述公式的意义就是:使得贝叶斯MSE最小的估计量是随机变量θ在概率分布(也称为后验概率)上的期望(均值),其中是一组观测到的测试数据,或者也可以写为:
由贝叶斯定理,可以得到:
因此:
其中,是联合概率(joint),和是条件概率,和是边缘概率。特别的,在贝叶斯估计中,称为后验概率(posterior),称为似然概率(likelihood),为证据因子(evidence),为先验概率(prior)。
根据联合概率与边缘概率的关系:
因此,最终的后验概率为:
因此的MMSE可以改写为:
需要注意的是,中已经不包含,因此可以直接从上述积分中直接提出,得到:
再代入先验PDF,得到:
由δ函数的筛选性,即:
参考:
[数学物理]-δ函数 - 知乎
因此:
因此,在理想的先验PDF下,也就是θ为确定参数的情况下,参数 的MMSE估计量也是。
但是通过上述推导,我们发现没有找到一个映射函数,在获取先验知识和观测数据后,用于计算,因此在确定性参数条件下(),θ的MMSE估计量不是不是一个有效估计(a valid estimator)。
需要注意的是,这里的有效估计,不是指的估计的有效性(Efficiency)。
还没有评论,来说两句吧...