利用迭代算法解决问题，需要做好以下三个方面的工作： 一、确定迭代变量。在可以用迭代算法解决的问题中，至少存在一个直接或间接地不断由旧值递推出新值的变量，这个变量就是迭代变量。 二、建立迭代关系式。所谓迭代关系式，指如何从变量的前一个值推出其下一个值的公式（或关系）。迭代关系式的建立是解决迭代问题的关键，通常可以使用递推或倒推的方法来完成。 三、对迭代过程进行控制。在什么时候结束迭代过程？这是编写迭代程序必须考虑的问题。不能让迭代过程无休止地重复执行下去。迭代过程的控制通常可分为两种情况：一种是所需的迭代次数是个确定的值，可以计算出来；另一种是所需的迭代次数无法确定。对于前一种情况，可以构建一个固定次数的循环来实现对迭代过程的控制；对于后一种情况，需要进一步分析出用来结束迭代过程的条件。
五次及以上多项式方程没有根式解（就是没有像二次方程那样的万能公式），这个是被伽罗瓦用群论做出的最著名的结论。但是，没有王屠夫难道非得吃带毛猪？工作生活中还是有诸多求解高次方程的真实需求（比如行星的轨道计算，往往就是涉及到很复杂的高次方程），这日子可怎么过下去啊？要讲牛顿迭代法之前我们先说一个关键问题：切线是曲线的线性逼近。因为切线是一条直线（也就是线性的），所以我们可以说，A点的切线是f(x)的线性逼近。离A点距离越近，这种逼近的效果也就越好，也就是说，切线与曲线之间的误差越小。所以我们可以说在A点附近，“切线\approx f(x) ”。牛顿迭代法又称为牛顿-拉弗森方法，实际上是由牛顿、拉弗森（又是一个被牛顿大名掩盖的家伙）各自独立提出来的。牛顿-拉弗森方法提出来的思路就是利用切线是曲线的线性逼近这个思想。牛顿、拉弗森们想啊，切线多简单啊，研究起来多容易啊，既然切线可以近似于曲线，我直接研究切线的根不就成了。随便找一个曲线上的A点（为什么随便找，根据切线是切点附近的曲线的近似，应该在根点附近找，但是很显然我们现在还不知道根点在哪里），做一个切线，切线的根（就是和x轴的交点）与曲线的根，还有一定的距离。牛顿、拉弗森们想，没关系，我们从这个切线的根出发，做一根垂线，和曲线相交于B点，比如求平方根：x^2=78 ，可以转为求 x^2-78=0 这个方程的根，就可以用牛顿-拉弗森方法求。求平方根用牛顿-拉弗森方法是安全的，没有我之前说的那么多坑。不过我看了有一些工程师写的代码，就有点滥用牛顿-拉弗森方法了，没有从数学角度进行更多的考虑。数学的魅力就在于，哪怕18世纪就证明了五次及以上多项式方程没有根式解，随着时间的发展，这个证明并不会被推翻，不像技术一样会日新月异。所以牛顿-拉弗森方法仍然在计算机学科中被广泛使用。
牛顿法是二阶收敛，梯度下降是一阶收敛，所以牛顿法就更快。如果更通俗地说的话，比如你想找一条最短的路径走到一个盆地的最底部，梯度下降法每次只从你当前所处位置选一个坡度最大的方向走一步，牛顿法在选择方向时，不仅会考虑坡度是否够大，还会考虑你走了一步之后，坡度是否会变得更大。所以，可以说牛顿法比梯度下降法看得更远一点，能更快地走到最底部。根据wiki上的解释，从几何上说，牛顿法就是用一个二次曲面去拟合你当前所处位置的局部曲面，而梯度下降法是用一个平面去拟合当前的局部曲面，通常情况下，二次曲面的拟合会比平面更好，所以牛顿法选择的下降路径会更符合真实的最优下降路径。
