数据挖掘：R语言实战

第1 章

目 录

第0 章 致敬，R！ ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 1

致敬，肩膀！．．．．．．．．．．．．．．．．．．．． 1

致敬，时代！．．．．．．．．．．．．．．．．．．．． 3

致敬，人才！．．．．．．．．．．．．．．．．．．．． 4

致敬，R 瑟！ ．．．．．．．．．．．．．．．．．．．． 5

上篇 数据预处理

第1 章 数据挖掘导引．．．．．．．10

1．1 数据挖掘概述．．．．．．．．10

1．1．1 数据挖掘的过程．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．10

1．1．2 数据挖掘的对象．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．12

1．1．3 数据挖掘的方法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．12

1．1．4 数据挖掘的应用．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．13

1．2 数据挖掘的算法．．．．14

1．3 数据挖掘的工具．．．．17

1．3．1 工具的分类17

1．3．2 工具的选择18

1．3．3 商用的工具19

1．3．4 开源的工具21

1．4 R 在数据挖掘中的优势．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．23

数据挖掘：R 语言实战

VI

第2 章 数据概览．．．．．．．．．．．．．．．．．25

2．1 n×m 数据集．．．．．．．．．．．．25

2．2 数据的分类．．．．．．．．．．．．28

2．2．1 一般的数据分类．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．28

2．2．2 R 的数据分类．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．29

2．2．3 用R 简单处理数据．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．31

2．3 数据抽样及R 实现34

2．3．1 简单随机抽样．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．34

2．3．2 分层抽样．．．．36

2．3．3 整群抽样．．．．38

2．4 训练集与测试集．．．．40

2．5 本章汇总．．．．．．．．．．．．．．．．．40

第3 章 用R 获取数据．．．．．．42

3．1 获取内置数据集．．．．42

3．1．1 datasets 数据集．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．42

3．1．2 包的数据集43

3．2 获取其他格式的数据．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．45

3．2．1 CSV 与TXT 格式．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．45

3．2．2 从Excel 直接获取数据．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．47

3．2．3 从其他统计软件中获取数据．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．48

3．3 获取数据库数据．．．．50

3．4 获取网页数据．．．．．．．．52

3．5 本章汇总．．．．．．．．．．．．．．．．．55

第4 章 探索性数据分析．．．56

4．1 数据集．．．．．．．．．．．．．．．．．．．．．56

4．2 数字化探索．．．．．．．．．．．．57

4．2．1 变量概况．．．．57

4．2．2 变量详情．．．．58

4．2．3 分布指标．．．．61

4．2．4 稀疏性．．．．．．．．62

4．2．5 缺失值．．．．．．．．63

4．2．6 相关性．．．．．．．．65

4．3 可视化探索．．．．．．．．．．．．68

4．3．1 直方图．．．．．．．．68

目 录

VII

4．3．2 累积分布图71

4．3．3 箱形图．．．．．．．．73

4．3．4 条形图．．．．．．．．78

4．3．5 点阵图．．．．．．．．81

4．3．6 饼图．．．．．．．．．．．．82

4．5 本章汇总．．．．．．．．．．．．．．．．．84

第5 章 数据预处理．．．．．．．．．．．．86

5．1 数据集加载．．．．．．．．．．．．86

5．2 数据清理．．．．．．．．．．．．．．．．．88

5．2．1 缺失值处理90

5．2．2 噪声数据处理．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．95

5．2．3 数据不一致的处理．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．97

5．3 数据集成．．．．．．．．．．．．．．．．．99

5．4 数据变换．．．．．．．．．．．．．．．101

5．5 数据归约．．．．．．．．．．．．．．．102

5．6 本章汇总．．．．．．．．．．．．．．．104

中篇 基本算法及应用

第6 章 关联分析．．．．．．．．．．．．．．．106

6．1 概述．．．．．．．．．．．．．．．．．．．．．．．．106

6．2 R 中的实现．．．．．．．．．．．109

6．2．1 相关软件包．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．109

6．2．2 核心函数．．．109

6．2．3 数据集．．．．．．110

6．3 应用案例．．．．．．．．．．．．．．．111

6．3．1 数据初探．．．111

6．3．2 对生成规则进行强度控制．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．112

6．3．3 一个实际应用．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．114

6．3．4 改变输出结果形式．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．115

6．3．5 关联规则的可视化．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．116

6．4 本章汇总．．．．．．．．．．．．．．．120

第7 章 聚类分析．．．．．．．．．．．．．．．121

7．1 概述．．．．．．．．．．．．．．．．．．．．．．．．121

7．1．1 K-均值聚类．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．122

数据挖掘：R 语言实战

VIII

7．1．2 K-中心点聚类．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．122

7．1．3 系谱聚类．．．122

7．1．4 密度聚类．．．124

7．1．5 期望最大化聚类．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．125

7．2 R 中的实现．．．．．．．．．．．126

7．2．1 相关软件包．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．126

7．2．2 核心函数．．．127

7．2．3 数据集．．．．．．129

7．3 应用案例．．．．．．．．．．．．．．．131

7．3．1 K-均值聚类．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．131

7．3．2 K-中心点聚类．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．135

7．3．3 系谱聚类．．．137

7．3．4 密度聚类．．．140

7．3．5 期望最大化聚类．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．145

7．4 本章汇总．．．．．．．．．．．．．．．150

第8 章 判别分析．．．．．．．．．．．．．．．151

8．1 概述．．．．．．．．．．．．．．．．．．．．．．．．151

8．1．1 费希尔判别．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．152

8．1．2 贝叶斯判别．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．153

8．1．3 距离判别．．．153

8．2 R 中的实现．．．．．．．．．．．154

8．2．1 相关软件包．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．154

8．2．2 核心函数．．．155

8．2．3 数据集．．．．．．157

8．3 应用案例．．．．．．．．．．．．．．．161

8．3．1 线性判别分析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．161

8．3．2 朴素贝叶斯分类．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．167

8．3．3 K 最近邻．．．172

8．3．4 有权重的K 最近邻算法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．174

8．4 推荐系统综合实例．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．175

8．4．1 kNN 与推荐．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．176

8．4．2 MovieLens 数据集说明．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．176

8．4．3 综合运用．．．177

8．5 本章汇总．．．．．．．．．．．．．．．182

目 录

IX

第9 章 决策树．．．．．．．．．．．．．．．．．．．183

9．1 概述．．．．．．．．．．．．．．．．．．．．．．．．183

9．1．1 树形结构．．．183

9．1．2 树的构建．．．184

9．1．3 常用算法．．．185

9．2 R 中的实现．．．．．．．．．．．185

9．2．1 相关软件包．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．185

9．2．2 核心函数．．．186

9．2．3 数据集．．．．．．187

9．3 应用案例．．．．．．．．．．．．．．．190

9．3．1 CART 应用．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．191

9．3．2 C4．5 应用．．202

9．4 本章汇总．．．．．．．．．．．．．．．205

下篇 高级算法及应用

第10 章 集成学习．．．．．．．．．．．．208

10．1 概述．．．．．．．．．．．．．．．．．．．．．208

10．1．1 一个概率论小计算．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．208

10．1．2 Bagging 算法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．209

10．1．3 AdaBoost 算法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．209

10．2 R 中的实现．．．．．．．．．209

10．2．1 相关软件包．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．209

10．2．2 核心函数210

10．2．3 数据集．．．．210

10．3 应用案例．．．．．．．．．．．．．213

10．3．1 Bagging 算法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．213

10．3．2 Adaboost 算法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．218

10．4 本章汇总．．．．．．．．．．．．．219

第11 章 随机森林．．．．．．．．．．．．220

11．1 概述．．．．．．．．．．．．．．．．．．．．．．220

11．1．1 基本原理．220

11．1．2 重要参数．222

11．2 R 中的实现．．．．．．．．．223

11．2．1 相关软件包．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．223

数据挖掘：R 语言实战

X

11．2．2 核心函数．223

11．2．3 可视化分析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．231

11．3 应用案例．．．．．．．．．．．．．232

11．3．1 数据处理．233

11．3．2 建立模型．234

11．3．3 结果分析．235

11．3．4 自变量的重要程度．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．236

11．3．5 优化建模．237

11．4 本章汇总．．．．．．．．．．．．．241

第12 章 支持向量机．．．．．．．242

12．1 概述．．．．．．．．．．．．．．．．．．．．．242

12．1．1 结构风险最小原理．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．243

12．1．2 函数间隔与几何间隔．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．244

12．1．3 核函数．．．．245

12．2 R 中的实现．．．．．．．．．245

12．2．1 相关软件包．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．245

12．2．2 核心函数246

12．2．3 数据集．．．．248

12．3 应用案例．．．．．．．．．．．．．248

12．3．1 数据初探249

12．3．2 建立模型249

12．3．3 结果分析249

12．3．4 预测判别250

12．3．5 综合建模251

12．3．6 可视化分析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．252

12．3．7 优化建模254

12．4 本章汇总．．．．．．．．．．．．．256

第13 章 神经网络．．．．．．．．．．．．257

13．1 概述．．．．．．．．．．．．．．．．．．．．．257

13．2 R 中的实现．．．．．．．．．258

13．2．1 相关软件包．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．258

13．2．2 核心函数258

13．3 应用案例．．．．．．．．．．．．．261

13．3．1 数据初探261

目 录

XI

13．3．2 数据处理262

13．3．3 建立模型263

13．3．4 结果分析264

13．3．5 预测判别264

13．3．6 模型差异分析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．266

13．3．7 优化建模268

13．4 本章汇总．．．．．．．．．．．．．272

第14 章 模型评估与选择．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．273

14．1 评估过程概述．．．．273

14．2 安装Rattle 包．．．．274

14．3 Rattle 功能简介．．275

14．3．1 Data――选取数据．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．275

14．3．2 Explore――数据探究．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．276

14．3．3 Test――数据相关检验．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．276

14．3．4 Transform――数据预处理．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．277

14．3．5 Cluster――数据聚类．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．277

14．3．6 Model――模型评估．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．277

14．3．7 Evaluate――模型评估．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．280

14．3．8 Log――模型评估记录．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．281

14．4 模型评估相关概念．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．281

14．4．1 误判率．．．．281

14．4．2 正确/错误的肯定判断、正确/错误的否定判断．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．281

14．4．3 精确度、敏感度及特异性．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．282

14．5 Rattle 在模型评估中的应用．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．282

14．5．1 混淆矩阵282

14．5．2 风险图．．．．283

14．5．3 ROC 图及相关图表．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．286

14．5．4 模型得分数据集．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．287

14．6 综合实例．．．．．．．．．．．．．288

14．6．1 数据介绍288

14．6．2 模型建立288

14．6．3 模型结果分析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．289

数据挖掘：R 语言实战

XII