小白求问一下加权最小二乘法是啥

Question

如题所述

Answer 1

加权最小二乘法（WLS），简称权重最小二乘，是一种在多元回归分析中处理异方差问题的有效方法。在传统的最小二乘法（OLS）中，当数据的误差项方差与自变量不均匀相关时，OLS的结果可能失效。WLS通过引入权重矩阵来纠正这个问题。具体来说，假设我们有模型y = bX + e，其中X是设计矩阵，e是误差项，如果误差的方差与X的某个属性相关，我们可以构造一个权重矩阵W，其逆W^(-1) 可以分解为P'P，P由W的元素决定。

通过将P应用于X和y，得到新的形式b* = (X'P'PX)^(-1) * X'P'Py，其中权重体现在W矩阵的元素中。例如，如果W是对角矩阵，权重为1/si（其中si是误差方差），每个数据点都会乘以sqrt(1/si)进行变换。更复杂的权重设定形式，如对数等，可能对应更复杂的方差协方差阵W。

选择权重取决于W的具体设定，通常需要参考计量经济学教材，如伍德里奇的作品，其中提供了详细的理论推导和实例。总的来说，WLS是一种通过调整数据的权重，以适应误差异方差性的回归技术，以提高回归结果的效率和有效性。