机器学习：从公理到算法

第

1章引言

.............................................................................................1

1.1机器学习的目的：从数据到知识

.....................................................1

1.2机器学习的基本框架

.....................................................................2

1.2.1数据集合与对象特性表示

.....................................................3

1.2.2学习判据

............................................................................4

1.2.3学习算法

............................................................................5

1.3机器学习思想简论

.........................................................................5延伸阅读

..............................................................................................7习题

....................................................................................................8参考文献

..............................................................................................9

第

2章归类理论.....................................................................................

2.1类表示公理

.................................................................................

2.2归类公理

....................................................................................

2.3归类结果分类

.............................................................................

2.4归类方法设计准则

.......................................................................

2.4.1类一致性准则

...................................................................

2.4.2类紧致性准则

...................................................................

2.4.3类分离性准则

...................................................................

2.4.4奥卡姆剃刀准则

................................................................

25讨论

..................................................................................................

27延伸阅读

............................................................................................

29习题

..................................................................................................

30参考文献

............................................................................................

第

3章密度估计.....................................................................................

3.1密度估计的参数方法

...................................................................

3.1.1最大似然估计

...................................................................

3.1.2贝叶斯估计

.......................................................................

3.2密度估计的非参数方法

................................................................

3.2.1直方图

.............................................................................

3.2.2核密度估计

.......................................................................

3.2.3

K近邻密度估计法

............................................................

40延伸阅读

............................................................................................

40习题

..................................................................................................

41参考文献

............................................................................................

第

4章回归

...........................................................................................

4.1线性回归

....................................................................................

4.2岭回归

.......................................................................................

Lasso回归

..................................................................................

48讨论

..................................................................................................

51习题

..................................................................................................

52参考文献

............................................................................................

第

5章单类数据降维

..............................................................................

5.1主成分分析

.................................................................................

5.2非负矩阵分解

.............................................................................

5.3字典学习与稀疏表示

...................................................................

5.4局部线性嵌入

.............................................................................

5.5典型关联分析

.............................................................................

5.6多维度尺度分析与等距映射

.........................................................

63讨论

..................................................................................................

65习题

..................................................................................................

66参考文献

............................................................................................

第

6章聚类理论.....................................................................................

6.1聚类问题表示及相关定义

.............................................................

6.2聚类算法设计准则

.......................................................................

6.2.1类紧致性准则和聚类不等式

...............................................

6.2.2类分离性准则和重合类非稳定假设

.....................................

6.2.3类一致性准则和迭代型聚类算法

.........................................

6.3聚类有效性

.................................................................................

6.3.1外部方法

..........................................................................

6.3.2内蕴方法

..........................................................................

75延伸阅读

............................................................................................

76习题

..................................................................................................

77参考文献

............................................................................................

第

7章聚类算法.....................................................................................

7.1样例理论：层次聚类算法

.............................................................

7.2原型理论：点原型聚类算法

..........................................................

7.2.1

C均值算法

......................................................................

7.2.2模糊

C均值

......................................................................

7.3基于密度估计的聚类算法

.............................................................

7.3.1基于参数密度估计的聚类算法

............................................

7.3.2基于无参数密度估计的聚类算法

.........................................

97延伸阅读

..........................................................................................

106习题

................................................................................................

107参考文献

..........................................................................................

第

8章分类理论...................................................................................

8.1分类及相关定义

........................................................................

8.2从归类理论到经典分类理论

.......................................................

8.2.1

PAC理论

.......................................................................

8.2.2统计机器学习理论

...........................................................

8.3分类测试公理

...........................................................................

118讨论

................................................................................................

119习题

................................................................................................

119参考文献

..........................................................................................

第

9章基于单类的分类算法：神经网络

..................................................

9.1分类问题的回归表示

.................................................................

9.2人工神经网络

...........................................................................

9.2.1人工神经网络相关介绍

....................................................

9.2.2前馈神经网络

.................................................................

9.3从参数密度估计到受限玻耳兹曼机

.............................................

9.4深度学习

..................................................................................

9.4.1自编码器

........................................................................

9.4.2卷积神经网络

.................................................................

132讨论

................................................................................................

133习题

................................................................................................

134参考文献

..........................................................................................

第

10章

K近邻分类模型

......................................................................

K近邻算法

.............................................................................

10.1.1

K近邻算法问题表示

....................................................

10.1.2

K近邻分类算法

..........................................................

10.1.3

K近邻分类算法的理论错误率

......................................

10.2距离加权最近邻算法

................................................................

K近邻算法加速策略

...............................................................

kd树

......................................................................................

K近邻算法中的参数问题

.........................................................

144延伸阅读

..........................................................................................

145习题

................................................................................................

145参考文献

..........................................................................................

第

11章线性分类模型

..........................................................................

11.1判别函数和判别模型

................................................................

11.2线性判别函数

..........................................................................

11.3线性感知机算法

......................................................................

11.3.1感知机数据表示

...........................................................

11.3.2感知机算法的归类判据

.................................................

11.3.3感知机分类算法

...........................................................

11.4支持向量机

.............................................................................

11.4.1线性可分支持向量机

....................................................

11.4.2近似线性可分支持向量机

.............................................

11.4.3多类分类问题

..............................................................

162讨论

................................................................................................

164习题

................................................................................................

165参考文献

..........................................................................................

第

12章对数线性分类模型

...................................................................

Softmax回归

..........................................................................

Logistic回归

...........................................................................

170讨论

................................................................................................

172习题

................................................................................................

173参考文献

..........................................................................................

第

13章贝叶斯决策

.............................................................................

13.1贝叶斯分类器

..........................................................................

13.2朴素贝叶斯分类

......................................................................

13.2.1最大似然估计

..............................................................

13.2.2贝叶斯估计

.................................................................

13.3最小化风险分类

......................................................................

13.4效用最大化分类

......................................................................

185讨论

................................................................................................

185习题

................................................................................................

186参考文献

..........................................................................................

第

14章决策树

....................................................................................

14.1决策树的类表示

......................................................................

14.2信息增益与

ID3算法

...............................................................

14.3增益比率与

C4.5算法

..............................................................

Gini指数与

CART算法

...........................................................

14.5决策树的剪枝

..........................................................................

196讨论

................................................................................................

197习题

................................................................................................

197参考文献

..........................................................................................

第

15章多类数据降维

..........................................................................

15.1有监督特征选择模型

................................................................

15.1.1过滤式特征选择

...........................................................

15.1.2包裹式特征选择

...........................................................

15.1.3嵌入式特征选择

...........................................................

15.2有监督特征提取模型

................................................................

15.2.1线性判别分析

..............................................................

15.2.2二分类线性判别分析问题

.............................................

15.2.3二分类线性判别分析

....................................................

15.2.4二分类线性判别分析优化算法

.......................................

15.2.5多分类线性判别分析

....................................................

205延伸阅读

..........................................................................................

207习题

................................................................................................

207参考文献

..........................................................................................

第

16章多类数据升维：核方法

.............................................................

16.1核方法

....................................................................................

16.2非线性支持向量机

...................................................................

16.2.1特征空间

.....................................................................

16.2.2核函数

........................................................................

16.2.3常用核函数

.................................................................

16.2.4非线性支持向量机

.......................................................

16.3多核方法

................................................................................

213讨论

................................................................................................

215习题

................................................................................................

215参考文献

..........................................................................................

第

17章多源数据学习

..........................................................................

17.1多源数据学习的分类

................................................................

17.2单类多源数据学习

...................................................................

17.2.1完整视角下的单类多源数据学习

...................................

17.2.2不完整视角下的单类多源数据学习

................................

17.3多类多源数据学习

...................................................................

17.4多源数据学习中的基本假设

......................................................

222讨论

................................................................................................

222习题

................................................................................................

223参考文献

..........................................................................................

后记

........................................................................................................

索引

........................................................................................................