一种全局收敛的共轭梯度法.rar

最优化理论是一门应用广泛的学科，它讨论决策问题的最佳选择之特性，构造寻求最优解的计算方法，研究这些计算方法的理论性质及实际计算表现. 随着高新技术、计算机及信息技术的飞速发展，最优化理论在实际应用中正发挥着越来越大的作用.

    最优化问题数学模型的三要素：目标函数，决策变量，约束条件. 一般来说，实际问题中的优化问题总是有约束的，但是如果模型中不含约束条件，即可行域，则模型称为无约束最优化问题. 在理论与算法上，无约束优化是约束优化的基础.

    共轭梯度法是无约束最优化问题中最常用的方法之一，它最早是1952年由计算数学家 Hestenes和几何学家Stiefel为求解线性方程组，时提出的. 由于解线性方程组等价于求解极小化的正定二次函数，因此，他们提出的方法也可视为求二次函数极小值的共轭梯度法. 1964年， Fletcher和Reeves将此方法推广到非线性优化，得到了求解一般函数极小值的共轭梯度算法.

    在解决无约束优化问题的方法中，最速下降法是最简单的，但它收敛速度太慢. 拟牛顿方法收敛速度很快，被广泛认为是非线性规划最有效的方法，但拟牛顿法需要存储矩阵以及通过求解线性方程组来计算搜索方向，这对于求解大规模问题几乎是不可能办到的. 共轭梯度法是求解无约束最优化问题的一种有效方法，具有算法简便，存储量需求小等优点，不仅克服最速下降法收敛速度慢的特点，又避免了拟牛顿法需要存储和计算Hesse矩阵的缺点，特别适合求解大规模问题. 在电力分配、石油勘探、大气模拟、航天航空等许多领域出现的大规模优化问题常常是利用共轭梯度法求解的，因而共轭梯度法有很强的应用背景.

由于是数学论文，简介里有很多公式复制不出来。Wrod里是有公式的请放心。