第1个回答 2022-07-28
之前，讲的下降方法以及Newton方法都是在无约束条件的前提下的。这里讨论的是在等式约束（线性方程）的前提下讨论的。我们研究的是下面的凸优化问题：
其中
请不要怀疑 条件的可靠性，否则，只需找出其线性无关组即可。而且，显然，如果 如果无解，那么优化问题同样无解。
通过对对偶问题，及KKT条件的分析，可以知道，该优化问题存在最优解的充要条件是，存在 满足：
我们首先确定矩阵 和向量 ，用以参数化可行集：
只需， 为 的一个特解即可。 是值域为 的零空间的任何矩阵（满足 ，即 可以取得所有 的解）。于是等式约束问题就可以变为无约束问题：
我们也可以为等式约束构造一个最优的对偶变量 :
我们希望导出等式约束问题：
在可行点 处䣌Newton方向 ，将目标函数换成在x附近的二阶泰勒近似：
注意上述问题时关于 的优化问题。
根据我们在文章开头提到的最优性条件，可以得到：
我们可以将Newton方向 及其相关向量 解释为最优性条件
的线性近似方程组的解。
我们用 代替 ，用 代替 ，并将第二个方程中的梯度项换成其在 附近的线性近似，从而得到：
利用 ，以上方程变成：
这上面定义的一样。
我们将等式约束问题的Newton减量定义为：
这和无约束情况表示的是一样的，因此也可以进行同样的解释。
在 处的二阶泰勒近似为：
与二次模型之间的差值满足：
从上面可以看出， 对 处的 给出了基于二次模型的一个估计，这可以作为设计好的停止准则的基础。
注意，下面的算法初始点为可行点。
对原始问题采用Newton方法的迭代过程和对利用消除法简化后采用Newton方法过程完全一致，证明翻阅《凸优化》。