矩阵微分在梯度分析中的应用.doc

摘要： 矩阵的概念自行列式发展而来, 为我们日常生活和科学研究解决了无数问题,现已发展得越发成熟。在十七世纪初的欧洲，那时候的微分理论发展还没有那么全面，数学家费尔玛最早提出极值的概念，他提出了如何确定极大值和极小值的方法,对以后微分学的发展提供了深远的影响，促进了微分学理论的快速成长。矩阵微分是多变量函数微分的推广，但是在直接计算某些复杂函数的微分时相当繁琐，本论文主要讨论利用矩阵微分去计算实值标量函数的Jacobian矩阵和梯度矩阵，并研究其在梯度分析中的一些应用。本文首先从基本概念出发，依次介绍Jacobian矩阵和梯度矩阵的定义及相关结论，然后定义矩阵微分及证明相关定理，并计算矩阵论中常用函数的矩阵微分。在论文的第三部分我们分别介绍矩阵微分在求解无约束优化问题的梯度下降法、多元正态分布的极大似然估计及其矩阵最优低秩逼近中的应用。

关键词：矩阵微分；梯度矩阵；优化理论

目录

摘要

Abstract

一、 绪论-1

(一)选题背景及意义-1

(二)国内外研究现状-2

二、矩阵微分-3

(一)Jacobian矩阵和梯度矩阵概念-3

1.Jacobian 矩阵-3

2.梯度矩阵-4

3.一般计算-6

(二)矩阵微分与计算-8

1.一阶矩阵微分-8

2.一些标量函数的梯度矩阵计算-10

三、 矩阵微分的应用-16

(一)无约束优化问题的梯度下降法-16

1.多变量函数的平稳点和极值点-16

2.凸集与凸函数-18

3.无约束凸优化的一阶算法-19

(二)多元正态分布极大似然估计-21

(三)矩阵最优低秩逼近-22

参 考 文 献-25

致 谢-26