机器学习之路：Caffe、Keras、scikit-learn实战

第一篇

机器学习篇

第1

章

初识机器学习

....................................................................................

机器学习——赋予机器“学习”的灵魂

.....................................................................

1.1.1

小红帽识别毒蘑菇

...................................................................................................................

1.1.2

三种机器学习问题

...................................................................................................................

1.1.3

常用符号

..................................................................................................................................

1.1.4

回顾

..........................................................................................................................................

KNN——相似的邻居请投票

........................................................................................

1.2.1

模型原理

..................................................................................................................................

1.2.2

鸢尾花卉数据集（IRIS）

.......................................................................................................

1.2.3

训练模型

..................................................................................................................................

1.2.4

评估模型

................................................................................................................................

1.2.5

关于KNN

...............................................................................................................................

1.2.6

运用KNN

模型

......................................................................................................................

1.2.7

回顾

........................................................................................................................................

逻辑分类I：线性分类模型

........................................................................................

1.3.1

参数化的模型

........................................................................................................................

1.3.2

逻辑分类：预测.....................................................................................................................

1.3.3

逻辑分类：评估.....................................................................................................................

1.3.4

逻辑分类：训练.....................................................................................................................

1.3.5

回顾

........................................................................................................................................

逻辑分类II：线性分类模型

.......................................................................................

1.4.1

寻找模型的权重.....................................................................................................................

VI

∣

机器学习之路——Caffe、Keras、scikit-learn

实战

1.4.2

去均值和归一化.....................................................................................................................

1.4.3

实现

........................................................................................................................................

1.4.4

回顾

........................................................................................................................................

第2

章

机器学习进阶

..................................................................................

特征工程

......................................................................................................................

2.1.1

泰坦尼克号生存预测

.............................................................................................................

2.1.2

两类特征

................................................................................................................................

2.1.3

构造非线性特征.....................................................................................................................

2.1.4

回顾

........................................................................................................................................

调试模型

......................................................................................................................

2.2.1

模型调试的目标.....................................................................................................................

2.2.2

调试模型

................................................................................................................................

2.2.3

回顾

........................................................................................................................................

分类模型评估指标

......................................................................................................

2.3.1

混淆矩阵系指标.....................................................................................................................

2.3.2

评估曲线

................................................................................................................................

2.3.3

回顾

........................................................................................................................................

回归模型

......................................................................................................................

2.4.1

回归与分类

............................................................................................................................

2.4.2

线性回归

................................................................................................................................

2.4.3

波士顿房价预测.....................................................................................................................

2.4.4

泰坦尼克号生存预测：回归预测特征年龄Age

..................................................................

2.4.5

线性模型与非线性模型

.........................................................................................................

2.4.6

回顾

........................................................................................................................................

决策树模型

..................................................................................................................

2.5.1

信息与编码

............................................................................................................................

2.5.2

决策树

....................................................................................................................................

2.5.3

对比线性模型和决策树模型的表现

.....................................................................................

2.5.4

回顾

........................................................................................................................................

模型融合

......................................................................................................................

2.6.1

融合成群体（Ensamble）

.....................................................................................................

2.6.2

Bagging：随机森林（Random

Forest）

...............................................................................

目录

∣

VII

2.6.3

Boosting：GBDT

...................................................................................................................

2.6.4

Stacking

..................................................................................................................................

2.6.5

泰坦尼克号生存预测：小结

.................................................................................................

2.6.6

回顾

........................................................................................................................................

第3

章

实战：股票量化

..............................................................................

第一步：构造童话世界

..............................................................................................

3.1.1

股票是什么

............................................................................................................................

3.1.2

当机器学习与量化交易走在一起

.........................................................................................

3.1.3

构造一个童话世界

.................................................................................................................

3.1.4

回顾

......................................................................................................................................

第二步：应用机器学习

............................................................................................

3.2.1

构建特征数据

......................................................................................................................

3.2.2

回归预测股票价格

...............................................................................................................

3.2.3

分类预测股票涨跌

...............................................................................................................

3.2.4

通过决策树分类，绘制决策图

...........................................................................................

3.2.5

回顾

......................................................................................................................................

第三步：在真实世界应用机器学习

........................................................................

3.3.1

回测

......................................................................................................................................

3.3.2

基于特征的交易预测

...........................................................................................................

3.3.3

破灭的童话——真实世界的机器学习

...............................................................................

第二篇

深度学习篇

第4

章

深度学习：背景和工具

.................................................................

背景

............................................................................................................................

4.1.1

人工智能——为机器赋予人的智能

...................................................................................

4.1.2

图灵测试

..............................................................................................................................

4.1.3

强人工智能

vs

弱人工智能

...............................................................................................

4.1.4

机器学习和深度学习

...........................................................................................................

4.1.5

过度的幻想

..........................................................................................................................

4.1.6

回顾

......................................................................................................................................

VIII

∣

机器学习之路——Caffe、Keras、scikit-learn

实战

深度学习框架简介

....................................................................................................

4.2.1

评测方式

..............................................................................................................................

4.2.2

评测对象

..............................................................................................................................

4.2.3

深度学习框架评测

...............................................................................................................

4.2.4

小结

......................................................................................................................................

深度学习框架快速上手

............................................................................................

4.3.1

符号主义

..............................................................................................................................

4.3.2

MNIST

..................................................................................................................................

4.3.3

Keras

完成逻辑分类

............................................................................................................

4.3.4

回顾

......................................................................................................................................

Caffe

实现逻辑分类模型

...........................................................................................

4.4.1

Caffe

训练MNIST

概览

......................................................................................................

4.4.2

Caffe

简介

.............................................................................................................................

4.4.3

准备数据集

..........................................................................................................................

4.4.4

准备模型

..............................................................................................................................

4.4.5

模型训练流程

......................................................................................................................

4.4.6

使用模型

..............................................................................................................................

4.4.7

Caffe

的Python

接口

...........................................................................................................

4.4.8

回顾

......................................................................................................................................

第5

章

深层学习模型

................................................................................

解密生物智能

............................................................................................................

5.1.1

实验一：大脑的材料

...........................................................................................................

5.1.2

实验二：探索脑皮层的功能区域

.......................................................................................

5.1.3

实验三：不同的皮层组织——区别在于函数算法

...........................................................

5.1.4

实验四：可替换的皮层模块——神经元组成的学习模型

...............................................

5.1.5

模拟神经元

..........................................................................................................................

5.1.6

生物结构带来的启发

...........................................................................................................

5.1.7

回顾

......................................................................................................................................

DNN

神经网络模型

...................................................................................................

5.2.1

线性内核和非线性激活

.......................................................................................................

5.2.2

DNN、CNN、RNN

.............................................................................................................

5.2.3

逻辑分类：一层神经网络

...................................................................................................

目录

∣

IX

5.2.4

更多的神经元

......................................................................................................................

5.2.5

增加Hidden

Layer（隐层）

................................................................................................

5.2.6

ReLu

激活函数

.....................................................................................................................

5.2.7

理解隐层

..............................................................................................................................

5.2.8

回顾

......................................................................................................................................

神经元的深层网络结构

............................................................................................

5.3.1

问题：更宽

or

更深

...........................................................................................................

5.3.2

链式法则：深层模型训练更快

...........................................................................................

5.3.3

生物：深层模型匹配生物的层级识别模式

.......................................................................

5.3.4

深层网络结构

......................................................................................................................

5.3.5

回顾

......................................................................................................................................

典型的DNN

深层网络模型：MLP

..........................................................................

5.4.1

优化梯度下降

......................................................................................................................

5.4.2

处理过拟合：Dropout

.........................................................................................................

5.4.3

MLP

模型

.............................................................................................................................

5.4.4

回顾

......................................................................................................................................

Caffe

实现MLP

.........................................................................................................

5.5.1

搭建MLP

.............................................................................................................................

5.5.2

训练模型

..............................................................................................................................

5.5.3

回顾

......................................................................................................................................

第6

章

学习空间特征

................................................................................

预处理空间数据

........................................................................................................

6.1.1

像素排列展开的特征向量带来的问题

...............................................................................

6.1.2

过滤冗余

..............................................................................................................................

6.1.3

生成数据

..............................................................................................................................

6.1.4

回顾

......................................................................................................................................

描述图片的空间特征：特征图

................................................................................

6.2.1

图片的卷积运算...................................................................................................................

6.2.2

卷积指令和特征图

...............................................................................................................

6.2.3

回顾

......................................................................................................................................

CNN

模型I：卷积神经网络原理

.............................................................................

6.3.1

卷积神经元

..........................................................................................................................

X

∣

机器学习之路——Caffe、Keras、scikit-learn

实战

6.3.2

卷积层

..................................................................................................................................

6.3.3

多层卷积

..............................................................................................................................

6.3.4

回顾

......................................................................................................................................

CNN

模型II：图片识别

...........................................................................................

6.4.1

连接分类模型

......................................................................................................................

6.4.2

猫狗分类

..............................................................................................................................

6.4.3

反思CNN

与DNN

的结合：融合训练

..............................................................................

6.4.4

深度学习与生物视觉

...........................................................................................................

6.4.5

回顾

......................................................................................................................................

CNN

的实现模型

.......................................................................................................

6.5.1

ImageNet

简介

......................................................................................................................

6.5.2

Googlenet

模型和Inception

结构

........................................................................................

6.5.3

VGG

模型

.............................................................................................................................

6.5.4

其他模型

..............................................................................................................................

6.5.5

回顾

......................................................................................................................................

微训练模型（fine-tuning）

.......................................................................................

6.6.1

二次训练一个成熟的模型

...................................................................................................

6.6.2

微训练在ImageNet

训练好的模型

.....................................................................................

6.6.3

回顾

......................................................................................................................................

第7

章

Caffe

实例：狗狗品种辨别

...........................................................

准备图片数据

............................................................................................................

7.1.1

搜集狗狗图片

......................................................................................................................

7.1.2

清洗数据

..............................................................................................................................

7.1.3

标准化数据

..........................................................................................................................

7.1.4

回顾

......................................................................................................................................

训练模型

....................................................................................................................

7.2.1

生成样本集

..........................................................................................................................

7.2.2

生成训练、测试数据集

.......................................................................................................

7.2.3

生成lmdb

.............................................................................................................................

7.2.4

生成去均值文件...................................................................................................................

7.2.5

更改prototxt

文件

................................................................................................................

7.2.6

训练模型

..............................................................................................................................

目录

∣

XI

7.2.7

回顾

......................................................................................................................................

使用生成的模型进行分类

........................................................................................

7.3.1

更改deploy.prototxt

.............................................................................................................

7.3.2

加载模型

..............................................................................................................................

7.3.3

回顾

......................................................................................................................................

第8

章

漫谈时间序列模型

.........................................................................

Embedding

..................................................................................................................

8.1.1

简单的文本识别...................................................................................................................

8.1.2

深度学习从读懂词义开始

...................................................................................................

8.1.3

游戏：词义运算...................................................................................................................

8.1.4

回顾

......................................................................................................................................

输出序列的模型

........................................................................................................

8.2.1

RNN

......................................................................................................................................

8.2.2

LSTM

....................................................................................................................................

8.2.3

并用人工特征和深度学习特征——一个NLP

模型的优化历程

......................................

8.2.4

反思：让模型拥有不同的能力

...........................................................................................

8.2.5

回顾

......................................................................................................................................

深度学习：原理篇总结

............................................................................................

8.3.1

原理小结

..............................................................................................................................

8.3.2

使用建议

..............................................................................................................................

第9

章

用深度学习做个艺术画家——模仿实现PRISMA

...........................

机器学习初探艺术作画

............................................................................................

9.1.1

艺术作画概念基础

...............................................................................................................

9.1.2

直观感受一下机器艺术家

...................................................................................................

9.1.3

一个有意思的实验

...............................................................................................................

9.1.4

机器艺术作画的愿景

...........................................................................................................

9.1.5

回顾

......................................................................................................................................

实现秒级艺术作画

....................................................................................................

9.2.1

主要实现思路分解讲解

.......................................................................................................

9.2.2

使用统计参数期望与标准差寻找mask

..............................................................................

XII

∣

机器学习之路——Caffe、Keras、scikit-learn

实战

9.2.3

工程代码封装结构及使用示例

...........................................................................................

9.2.4

回顾和后记

..........................................................................................................................

附录A

机器学习环境部署

.........................................................................

附录B

深度学习环境部署

.........................................................................

附录C

随书代码运行环境部署

..................................................................