目录

1. 最佳线性无偏估计的由来

2. 简单线性模型下一维参数的BLUE

3. 一般线性模型下一维参数的BLUE

4. 一般线性模型下多维参数的BLUE

4.1 以一维情况说明Rao论文中的结论

4.2 矢量参数是MVUE的本质是矢量参数中的每个一维参数都是MVUE

4.3 一般线性模型多维参数BLUE的具体证明过程

4.4 BLUE与最小二乘的关系

---

说明：此部分内容在2024版本的课程中没有提供，需要参考2023之前的课程：

第四讲_1_哔哩哔哩_bilibili

1. 最佳线性无偏估计的由来

        利用极大似然等方法，在精确了解概率分布 的情况下，可以推导获得解析的估计公式。例如数据是独立同分布，且符合高斯分布时，可以通过联合概率密度函数求导的方法，获得极大似然估计：

        上述估计函数与输入数据之间是一种线性关系，在高斯分布情况下，每个数据点的权重都是 。

        我们希望估计与数据之间维持这种线性关系，如如下形式：

        其中是待确定的线性系数。

        如果估计函数是上述线性表达形式，这一类估计都称为是线性估计。

         矢量表示下，可以写为：

其中：

，是采集到的n个点数据

，是线性估计待确定的系数

        如果我们希望上述估计具有无偏的性质，即：

        那么这一类估计就称为是线性无偏估计。

        如果我们希望能够寻找到线性无偏估计中的最佳估计，这个最佳指的是估计的MSE最小，即在所有的线性无偏估计中寻找MSE最小的估计：

此时对应的就是最佳线性无偏估计，Best Linear Un-bias Estimator，简称BLUE。

2. 简单线性模型下一维参数的BLUE

        最简单的数据采集与待估计的参数模型如下：

        此时如果需要确保无偏性，那么满足：

        求解BLUE的过程，从无偏性出发：

代入线性估计量，由于 是确定系数，不具备随机性，因此得到：

此时得到此模型下的约束条件：

 接下来，观察最优性，即：

由于 是无偏的

 其中可以定义自协方差矩阵：

因此：

此时，最优线性估计，转化为：

其中约束条件为：

上述具体BLUE的求解是下面复杂线性模型的特例，此处不单独求解，参照下一节。

3. 一般线性模型下一维参数的BLUE

        更加一般的情况， 与待估计参数之间存在已知的一种线性关系，即：

其中 是系统模型已知的确定参数。上述线性采集模型是更加一般的情况，此时，我们仍然用一组线性系数去估计 ，即：

此时的无偏性使得待确定的系数满足：

即：

写成矢量形式，即：

 其中： 为达到BLUE待确定的参数。 是系统模型中已知的参数。

此时，再考虑估计方差：

此时：

代入后，得到：

因此，线性情况下最优估计，等效为：

此时定义：

由于 的正定的，因此，本质上是求二次型 最小时，对应的 ，

显然，如果没有额外的限制条件，在时 的最小值为0，上述形成的估计是不合理的，因此引入无偏约束 下求最小值，数学语言描述为：

上述为约束优化问题，可以通过拉格朗日方法求解：

其中的 主要是为了计算形式上的简化，对整体结果不影响，对 求 的梯度，即：

因此：

代入约束条件：

得到：

此时：

对应的：

上述就是一般线性模型一维情况下的BLUE。

上述简单线性模型，即：

代入得到：

这就是上述简单模型下一维参数的BLUE估计表达式。

更加特殊的，如果上述模型中噪声 是独立的，那么：

其中：

代入上述公式，得到：

因此，此时的BLUE可以具体表示为：

        此时可以发现，BLUE估计中每个观测值 的权重由 决定，当前观测值方差较大时，那么在BLUE估计中占的比重较小。

        如果更加特殊情况，即 是不光独立，而且是同分布的，那么：

代入后得到：

        此时，独立同分布下BLUE的估计表达式与高斯分布下MVUE估计量一致。但在BLUE的过程中，我们没有假设具体观测噪声的概率密度，只是假设了独立同分布及噪声的方差。

4. 一般线性模型下多维参数的BLUE

         是多维情况，即：

        此时： 不是矩阵，因此不能像一维情况下通过比较数据大小寻找最小值。对于矢量情况下的BLUE，可以参考Kay书上的证明，此处采用Rao 1989年的工作，说明上述求解过程，该过程与Kay书上的不一致。

4.1 以一维情况说明Rao论文中的结论

先从一维情况说明： , ，那么 是MVUE 当 , ，那么 ，即最小方差无偏估计和任意零均值的 是正交的。

其中：

首先证明

是MVUE估计量，因此，如果构建 是常数的估计量：

另外

上式需要恒成立，需要满足：

此时，仅在 情况下才能满足，因此，一定有 。

现在证明

任意,使得，此时：

此时，由于，，因此，此时：

因此，任意的MSE都超过  的MSE，因此是MVUE。

4.2 矢量参数是MVUE的本质是矢量参数中的每个一维参数都是MVUE

下面推广到矢量模式，待估计参数：

估计量：

如果 是 的MVUE，那么 是 的MVUE

证明：

如果存在另外估计量：

现在我们想验证： , 是否一定是小于等于0的

此时：

同理：

对于每一个分量， 是MVUE，因此

因此，分量的线性组合，也就存在：

也就是：

即：

因此， 是MVUE。

4.3 一般线性模型多维参数BLUE的具体证明过程

        接下来推导矢量情况下下的BLUE，假设数据模型为：

其中， ，是m*1维矢量；一组观测数据 ， 是每组数据的观测噪声； 是线性观测矩阵，模型建立后，属于已知参数， 是n*m维矩阵。

考虑线性估计：

其中，A是m*n维矩阵，使得：

可以发现 是矢量 的一个线性组合

在无偏约束下：

因此，得到：

现在就是要求 ，使得

现在用Rao的结论进行求解：

假设任意取 ,也是用 实现的一个线性估计：

且的期望为0，即：

因此：

说明 的每个行矢量都正交 矩阵的列矢量，将 转置，因此 的列矢量都正交 矩阵的列矢量，也就是 一定在 张成的正交补空间中。

具体可以参考矩阵的正交补空间：

【矩阵论笔记】正交补空间-CSDN博客

假设 是 空间的一组基矢量，即：

由于 ，也就是 的每个列矢量，都可以用e 线性组合表示，因此肯定存在矩阵 ，使得：

也就是：

因此：

利用Rao的结论，即此时：

其中：

即：

回顾上述问题，由于 ，因此 也是任意的， ，因此 也是任意的，也就是对于任意的 ，都成立 ，因此：

因此：

的行矢量都 的列矢量正交，因此 的行矢量又回到了 即：

即

也就是：

或者：

同时利用无偏估计约束，即

得到：

即：

代入后得到：

此时，得到矢量情况下的BLUE：

当 ，即模型中噪声是独立同分布（可以不知道具体分布）时的BLUE解：

学习最小二乘后，可以发现上述结果与最小二乘一致。

4.4 BLUE与最小二乘的关系

        最小二乘数学模型：

，是待估计或者拟合参数，m*1维矢量；一组n个点的观测数据x ， 是每组数据的观测噪声或者可以认为是拟合误差； 是线性观测矩阵，模型建立后，属于已知参数， 是n*m维矩阵。

        最小二乘核心约束的是估计误差的平方和最小，即：

本质上， 是一个数，与上述矢量BLUE最后化中的 是矩阵难度上存在难度上的本质不同。

最小二乘的最优解比较简单，令：

对求偏导：

重要的矩阵求导，参考：

矩阵求导、几种重要的矩阵及常用的矩阵求导公式-CSDN博客

因此：

达到最小值时，一阶偏导为零，因此：

对比上述结果，可以发现最小二乘解属于BLUE，上述也是高斯马尔科夫定理的核心要点。