交叉验证法提升支持向量机的分类性能.doc

摘要：支持向量机是借助优化方法解决机器学习问题的新工具。近年来，支持向量机越来越受到人们的广泛关注，在其理论研究和算法实现方面都取得了重大进展，成为机器学习领域的前沿热点课题。

关于支持向量机（SVM ）参数的优化选取，国际上并没有公认统一的最好的方法，目前较为常用的SVM 参数寻优的方法有：实验法、网格搜索(grid search)法,遗传算法(genetic algorithm，GA)寻优法 、粒子群算法(particle swarm optimization，PSO)寻优法等。实验法是指通过大量的实验比较来确定参数，这种方法十分浪费时间，且不易寻得最优参数。网格搜索法是将待搜索参数在一定的空间范围中划分成网格，通过遍历网格中所有的点来寻找最优参数。这种方法在寻优区间足够大且步距足够小的情况下可以找出全局最优解。GA算法和PSO算法属于启发式算法，它们不必遍历区间内所有的参数组也能找到全局最优解，但这2种算法操作往往比较复杂，且容易陷入局部最优解。通过比较本文采用网格搜索法。

网格搜索法的改进：针对网格搜索法搜索时间长的问题提出一种改进的网格搜索法，先采用大步距大范围粗搜，初步确定一个最优参数区间，之后在此区间内进行小步距精搜，大幅度地减少了参数寻优时间。

关键词：支持向量机，交叉验证，分类

目录

摘要

ABSTRACT

1 引言-1

1.1课题的背景-1

1.2研究的目的及意义-1

1.3 本文的主要工作-1

2 支持向量机的理论基础-2

2.1最优化理论-2

2.1.1  KKT条件-2

2.1.2  拉格朗日对偶-3

2.2 统计学习理论思想-4

2.2.1  经验风险-4

2.2.2  VC维-5

3 支持向量分类机-7

3.1最优分类平面-7

3.2 线性支持向量分类机-8

3.3 非线性支持向量分类机-11

3.4支持向量-12

4 支持向量机核函数-14

4.1支持向量及其性质-14

4.1.1支持向量分类机-14

  4.1.2 支持向量回归机-15

4.2 核函数-14

4.3支持向量机中核函数的选取-17

4.3.1已知训练集时核函数的选取-18

4.3.2核函数的构造-19

5 支持向量机参数选取-20

5.1交叉验证法思想-20

5.2 程序基本模块的描述-20

5.2.1 数据的提取-20

5.2.2 数据预处理-21

5.2.3 选择最佳的SVM参数c&g-21

5.2.4 利用最佳的参数进行SVM网络训练-21

5.2.5 SVM网络预测-21

5.2.6 结果分析-21

5.3 MATLAB实现-22

6 总结与展望-25

致谢-26

参考文献-27