大数据平台部署与运维

单元1 大数据简介

任务 认识大数据 .

1.1.1 大数据的概念及特点

1.1.2 大数据的发展背景

1.1.3 大数据技术的发展历程

1.1.4 大数据的意义和应用现状

1.1.5 大数据的未来

1.1.6 大数据人才需求与岗位介绍

单元 2 Hadoop 伪分布式安装部署

任务2.1 搭建Hadoop伪分布式

2.1.1 Hadoop的发展 历程 与应用现状

2.1.2 Hadoop 的优 点与核心 组成

2.1.3 Hadoop 的安装方式

2.1.4 Hadoop 各版本选择

2.1.5 Hadoop 伪分布式搭建的基本流程.

任务 2.2 启动与访问 Hadoop

2.2.1 Hadoop 启动／停止 的操作命令

2.2.2 基于 Web UI 监控 Hadoop 平 台

单元 3 Hadoop 集群部署与监控

任务3.1 搭建Hadoop集群

3.1.1 集群概述

3 .1.2 Hadoop 集群的 特点

3.1.3 H adoop 集群规 划

3.1.4 Hadoop 集群部署 的过程 ..

任务 3.2 监控 Hadoop 集群..

单元 4 HDFS 分布式存储

任务4.1 认识HDFS

4.1.1 HDFS的原理

4.1.2 HDFS 读写文件 的流程

4.1.3 HDFS 的特点及其不适合的 应用场景

任务 4.2 HDFS 的文件 系统操作

任务 4.3 HDFS 的系统管理操作

4.3.1 HDFS 的安全模 式操作

4.3.2 HDFS 增加扩容操作..............

4.3.3 HDFS 数据平衡

4.3.4 HDFS 存储策略..

4.3.5 HDFS 快照

任务4.4 部署本地开发环境

4.4.1 认识JDK

4.4.2 认 识 Maven

4.4.3 认 识 IDEA

任务 4.5 HDFS 的 Java API 操作

单元5 使用MapReduce 实现电商销售数据的统计

任务 5.1 认识 MapReduce

5.1.1 MapReduce 的概 念与原理

5.1.2 MapReduce 的体 系 架构

5.1.3 MapReduce 的发展现状

5.1.4 YARN 的运行机制

任务 5.2 使用 MapReduce 实现词频的统计

5.2.1 MapReduce 数据处理的流程.

5.2.2 MapReduce 相关 Java API 及应用

5.2.3 MapReduce 驱动类

任务 5.3 使用 MapReduce 完成电商销售数据的统计

5.3.1 MapReduce 完成电 商销售数 据统计的 流程

5.3.2 自定义分区

5.3.3 自 定 义 数 据 类 型

任务 5.4 MapReduce 任务监控..

5.4.1 MapReduce 任务监控的方式

5.4.2 任务失败的几种情况

5.4.3 MapReduce日志文件

单元 6 Hadoop 高可用集群规划部署

任务 6.1 部署与访问 ZooKeeper

6.1.1 ZooKeeper 概述及其特性

6.1.2 ZooKeeper 的应 用场 景

6.1.3 ZooKeeper 的工作原理

6.1.4 ZooKeeper 的部 署方式

任务 6.2 部署 Hadoop 高可用集群

6.2.1 Hadoop 高可 用集群的 工作原理..

6.2.2 Hadoop 高可用集 群的主要配置项及含义.

单元 7 分布式数据库HBase 部署与应用

任务 7.1 搭建伪分布式 HBase

7.1.1 HBase 的原理

7.1.2 HBase 的体系架构

7.1.3 HBase 与 JDK、Hadoop 版本的兼容关系

7.1.4 HBase 伪分布式部署准备 ...

任务 7.2 部署 HBase 完全分布式集群

7.2.1 HBase 集群规划

7.2.2 HBase 的主要配置项及含义.

7.2.3 HBase 访问命令

7.2.4 基于 Web UI 监控 HBase 的 状 态

任务 7.3 HBase 集群运维

7.3.1 HBase 监控工具介绍

7.3.2 HBase 集群优化

单元 8 数据仓库Hive 部署与应用

任务 8.1 部署 Hive 本地模式

8.1.1 Hive 介绍

8.1.2 Hive 的安装方式

任务 8.2 部署 Hive 远程模式·....

单元 9 Spark 计算框架部署..

任务 9.1 部署与操作 Spark Local

任务 9.2 部署与操作 Spark Standalone

9.2.1 Spark 运行流程

9.2.2 Spark 配置文件与配置参数

任务 9.3 部署与操作 Spark on YARN

单元 10 Flink 流式计算框架部署与操作.

任务 10.1 部署本地模式 Flink

10.1.1 Flink 介绍

10.1.2 Flink 的部署模式

任务 10.2 部署独立模式Flink集群

10.2.1 Flink的体系架构

10.2.2 Flink 集群的运行模式

任务 10.3 部署并运行 Flink on YARN 集群

10.3.1 Flink on YARN 的运行方法

10.3.2 故 障调试与恢复

单元 11 0 20 外卖服务大数据平台部署运维综合实训...