数据挖掘中的新方法：支持向量机

第1章 最优化问题及其基本理论

1. 1 最优化问题

1. 1. 1 最优化问题实例

1. 1. 2 最优化问题

1. 1. 3 凸最优化

1. 2 最优性条件

1. 2. 1 无约束问题的最优性条件

1. 2. 2 约束问题的最优性条件

1. 3 对偶理论

1. 3. 1 最大最小对偶

1. 3. 2 Lagrange对偶

1. 4 注记

参考文献

第2章 求解分类问题和回归问题的直观途径

2. 1 分类问题的提出

2. 1. 1 例子 心脏病诊断

2. 1. 2 分类问题和分类学习机

2. 2 线性分类学习机

2. 2. 1 线性可分问题的线性分划

2. 2. 2 近似线性可分问题的线性分划

2. 3 支持向量分类机

2. 3. 1 从线性分划到二次分划

2. 3. 2 二次分划算法的简化

2. 3. 3 非线性分划的基本途径

2. 4 线性回归学习机

2. 4. 1 回归问题

2. 4. 2 线性回归问题与硬 -带超平面

2. 4. 3 硬 -带超平面的构造

2. 4. 4 硬 -带超平面的推广

2. 4. 5 线性支持向量回归机

2. 5 支持向量回归机

2. 6 注记

参考文献

第3章 核

3. 1 描述相似性的工具--内积

3. 1. 1 直观的相似程度与内积

3. 1. 2 支持向量分类机中的相似与内积

3. 1. 3 核函数的选取

3. 2 多项式空间和多项式核

3. 2. 1 有序单项式空间

3. 2. 2 无序单项式空间

3. 2. 3 Hilbert空间与多项式核函数

3. 3 Mercer核

3. 3. 1 半正定矩阵的特征展开

3. 3. 2 Mercer定理与Mercer核

3. 4 正定核

3. 4. 1 正定核的必要条件

3. 4. 2 正定核的充分条件

3. 4. 3 正定核的特征

3. 4. 4 再生核Hilbert空间

3. 4. 5 正定核与Mercer核的关系

3. 5 核的构造

3. 5. 1 核的构造原则

3. 5. 2 常用的几种核函数

3. 6 注记

参考文献

第4章 推广能力的理论估计

4. 1 损失函数和期望风险

4. 1. 1 概率分布

4. 1. 2 损失函数

4. 1. 3 期望风险

4. 2 求解分类问题的一种途径和一个算法模型

4. 2. 1 分类问题的一个自然的数学提法

4. 2. 2 求解分类问题的途径

4. 2. 3 一个学习算法

4. 3 VC维

4. 4 学习算法在概率意义下的近似正确性

4. 5 一致性概念和关键定理

4. 6 结构风险最小化

4. 7 基于间隔的推广估计

4. 8 注记

参考文献

第5章 分类问题

5. 1 最大间隔原则

5. 1. 1 线性可分问题的最大间隔原则

5. 1. 2 扰动意义下的几何解释

5. 2 线性可分支持向量分类机

5. 2. 1 线性可分问题的规范超平面

5. 2. 2 原始最优化问题

5. 2. 3 才偶问题及其与原始问题的关系

5. 2. 4 线性可分支持向量分类机及其理论基础

5. 3 线性支持向量分类机

5. 3. 1 原始问题

5. 3. 2 对偶问题及其与原始问题的关系

5. 3. 3 线性支持向量分类机及其理论基础

5. 3. 4 支持向量

5. 4 支持向量分类机

5. 4. 1 可分支持向量分类机

5. 4. 2 支持向量分类机

5. 5 v-支持向量分类机 v-SVC

5. 5. 1 v-线性支持向量分类机的原始最优化问题

5. 5. 2 v-线性支持向量分类机的对偶问题及其与原始问题的关系

5. 5. 3 y-支持向量分类机

5. 5. 4 v-支持向量分类机的性质

5. 6 v-支持向量分类机 v-SVC 和C-支持向量分类机 C-SVC 的关系

5. 6. 1 主要结论

5. 6. 2 主要结论的证明

5. 7 多类分类问题

5. 7. 1 一类对余类

5. 7. 2 成对分类

5. 7. 3 纠错输出编码方法

5. 7. 4 确定多类目标函数方法

5. 8 一个例子

5. 9 注记

参考文献

第6章 回归估计

6. 1 回归问题

6. 1. 1 回归问题的难点

6. 1. 2 回归问题的数学提法

6. 1. 3 不敏感损失函数

6. 2 -支持向量回归机

6. 2. 1 硬 -带支持向量回归机

6. 2. 2 从线性 -支持向量回归机到 -支持向量回归机

6. 3 v-支持向量回归机

6. 3. 1 原始最优化问题

6. 3. 2 对偶问题及其与原始问题的关系

6. 3. 3 v-支持向量回归机

6. 3. 4 v-支持向量回归机的性质

6. 4

-支持向量回归机 -SVR 与v-支持向量回归机 v-SVR 的关系

6. 4. 1 主要结论

6. 4. 2 主要结论的证明

6. 5 其他形式的支持向量回归机

6. 5. 1 支持向量回归机的线性规划形式

6. 5. 2

-带为任意形状的支持向量回归机

6. 6 其他形式的损失函数

6. 7 一些例子

6. 7. 1 一维回归问题

6. 7. 2 二维回归问题

6. 8 注记

参考文献

第7章 算法

7. 1 无约束问题解法

7. 1. 1 无约束问题提法

7. 1. 2 基本无约束问题算法

7. 1. 3 牛顿-条件预优共轭梯度法 Newton-PCG算法

7. 2 内点算法

7. 2. 1 线性规划的原仿射尺度法

7. 2. 2 线性规划的原-对偶算法

7. 2. 3 凸二次规划的仿射尺度法

7. 2. 4 凸二次规划的原-对偶算法

7. 3 求解大型问题的算法

7. 3. 1 停机准则

7. 3. 2 选块算法 chunking

7. 3. 3 分解算法 decomposing

7. 3. 4 序列最小最优化 sequential minimal optimization,SMO 算法

参考文献

第8章 应用

8. 1 模型选择问题

8. 1. 1 训练集的选取--特征选择问题

8. 1. 2 核及参数选择问题

8. 2 分类问题的线性分划中的特征选择

8. 2. 1 特征选择的BFM方法

8. 2. 2 序列极小化方法

8. 3 模型选择

8. 3. 1 算法的评价标准

8. 3. 2 模型选择

8. 4 静态图像中球的识别

8. 4. 1 作为分类问题的足球识别问题

8. 4. 2 正类和负类训练点的采集

8. 4. 3 如何处理正类和负类训练点个数的不均衡

8. 4. 4 降维处理和参数C的选取

8. 4. 5 试验结果

8. 5 自由曲面的重建问题

8. 6 应用简介

8. 6. 1 手写阿拉伯数字识别

8. 6. 2 文本分类

8. 6. 3 生物信息技术

8. 7 核技巧的应用

8. 7. 1 核聚类

8. 7. 2 核主成分分析

8. 8 注记

参考文献

附录A 基础知识

A. 1 基本定义

A. 2 梯度和Hesse矩阵

A. 3 方向导数

A. 3. 1 一阶方向导数

A. 3. 2 二阶方向导数

A. 4 Taylor展开式

A. 5 分离定理

附录B Hilbert空间

B. 1 向量空间

B. 2 内积空间

B. 3 Hilbert空间

B. 4 算子. 特征值和特征向量

附录C 概率

C. 1 概率空间

C. 2 随机变量及其分布

C. 3 随机变量的数字特征

C. 4 大数定律

附录D 鸢尾属植物数据集

英汉术语对照表