大数据分析及应用项目教程（Spark SQL）

第 1 章 大数据分析概述 ..........................................................................................1

任务 1.1 关于大数据分析............................................................................................. 1

情境导入 ........................................................................................................ 1

学习目标和要求 ............................................................................................ 1

1.1.1 什么是大数据分析 ............................................................................ 2

1.1.2 大数据分析工具 ................................................................................ 5

1.1.3 大数据分析可视化 ............................................................................ 8

任务 1.2 认识 Spark SQL ............................................................................................. 8

情境导入 ........................................................................................................ 8

学习目标和要求 ............................................................................................ 8

1.2.1 Spark SQL 的背景简介 ..................................................................... 9

1.2.2 Spark SQL 的运行原理 ................................................................... 10

脑图小结......................................................................................................................... 14

章节练习......................................................................................................................... 16

第 2 章 实践环境准备 ...........................................................................................17

任务 2.1 Hadoop 集群环境搭建 ................................................................................. 17

情境导入 ...................................................................................................... 17

学习目标和要求 .......................................................................................... 18

2.1.1 环境准备 .......................................................................................... 18

2.1.2 安装 Hadoop..................................................................................... 35

2.1.3 启动 Hadoop 集群............................................................................ 45

2.1.4 运行经典案例 wordcount ................................................................ 48

任务 2.2 Spark 集群部署与使用 ................................................................................ 50

情境导入 ...................................................................................................... 50

学习目标和要求 .......................................................................................... 50

2.2.1 安装 Spark ........................................................................................ 50

2.2.2 启动 Spark ........................................................................................ 54

2.2.3 Spark 集群测试 ................................................................................ 56

任务 2.3 安装 Scala ..................................................................................................... 60

情境导入 ...................................................................................................... 60

学习目标和要求 .......................................................................................... 60

2.3.1 下载 Scala 安装包............................................................................ 61

2.3.2 Scala 安装配置................................................................................. 61

脑图小结......................................................................................................................... 62

章节练习......................................................................................................................... 63

第 3 章 学生信息处理分析 ....................................................................................65

任务 3.1 班级基本情况分析....................................................................................... 66

情境导入 ...................................................................................................... 66

学习目标和要求 .......................................................................................... 66

3.1.1 学生所属班级和男女生数量 .......................................................... 67

3.1.2 以班级为单位整理学生信息 .......................................................... 84

任务 3.2 学生基本情况分析....................................................................................... 96

情境导入 ...................................................................................................... 96

学习目标和要求 .......................................................................................... 96

3.2.1 学生特长情况分析 .......................................................................... 96

3.2.2 学生成绩情况分析 ........................................................................ 102

脑图小结....................................................................................................................... 105

章节练习....................................................................................................................... 106

第 4 章 房产大数据分析与探索 ...........................................................................108

任务 4.1 某房产公司销售人员业绩分析............................................................... 108

情境导入 .................................................................................................... 108

学习目标和要求 ........................................................................................ 110

4.1.1 数据集处理 .................................................................................... 110

4.1.2 数据操作分析 ................................................................................ 116

任务 4.2 某城市近年房产销售状况分析................................................................. 131

情境导入 .................................................................................................... 131

学习目标和要求 ........................................................................................ 132

4.2.1 数据准备 ........................................................................................ 132

4.2.2 数据探索与分析 ............................................................................ 134

4.2.3 总结分析 ........................................................................................ 139

脑图小结....................................................................................................................... 139

章节练习....................................................................................................................... 140

第 5 章 电商大数据分析与索 ...........................................................................141

任务 5.1 “女装电子商务评论”数据分析........................................................ 141

情境导入 .................................................................................................... 141

学习目标和要求 ........................................................................................ 142

5.1.1 数据准备 ..................................................................................... 142

5.1.2 数据清洗 ..................................................................................... 152

5.1.3 数据转换 ..................................................................................... 157

5.1.4 数据分析 ........................................................................................ 162

5.1.5 数据输出 ........................................................................................ 171

任务 5.2 “在线销售订单”数据分析..................................................................... 173

情境导入 .................................................................................................... 173

学习目标和要求 ........................................................................................ 174

5.2.1 数据查询操作 ................................................................................ 174

5.2.2 数据分析探索 ................................................................................ 184

脑图小结....................................................................................................................... 191

章节练习....................................................................................................................... 192

第 6 章 Zeppelin 数据可视化 ............................................................................193

任务 6.1 Zeppelin 安装与部署.................................................................................. 193

情境导入 .................................................................................................... 193

学习目标和要求 ........................................................................................ 193

6.1.1 下载安装包 .................................................................................... 194

6.1.2 安装配置 ........................................................................................ 195

6.1.3 测试运行 Zeppelin ......................................................................... 199

任务 6.2 “女装电子商务评论”数据可视化......................................................... 203

情境导入 .................................................................................................... 203

学习目标和要求 ........................................................................................ 204

6.2.1 加载数据注册视图 ........................................................................ 204

6.2.2 执行 SQL 数据可视化................................................................... 208

任务 6.3 “在线销售订单”数据可视化................................................................. 212

情境导入 .................................................................................................... 212

学习目标和要求 ........................................................................................ 213

执行 Spark SQL 数据可视化 .................................................................... 213

脑图小结....................................................................................................................... 216

章节练习....................................................................................................................... 216