课程定位

面向大数据产业、运营商IT运维、金融信息化及相关人员，结合模块讲解、平台操作和行业案例学习Hadoop生态。课程涉及不同代际技术与工具，具体版本、软件环境及练习条件请按当期教学安排确认。

学习收获

• 学习Hadoop、Spark和Storm处理平台的技术架构、安装部署、运维配置与应用开发。
• 学习利用Hadoop和Spark开展行业大数据存储管理、分析挖掘及实际应用。
• 理解Storm、HDFS、MapReduce、Hive、HBase、Spark、GraphX、MLib、Shark及ElasticSearch等生态组件涉及的存储、数据库、仓库、查询、挖掘和分布式处理技术。

课程特色

• 从需求理解和课程设计导入，覆盖十二个技术教学部分，并在第四天安排学员考试与业界交流。
• 实际内容贯通文件接口、数据流、Flume/Sqoop/distcp、集群调优监控、NoSQL、HiveQL与UDF/UDAF、Spark架构及消息集成。
• 案例包括贵州数据交易中心、UrbanInsights公交规划，以及Facebook、Google、Rackspace、Verizon、Telefonica和中国联通等应用情境；平台数据和个人信息的使用须满足授权与合规要求。

课程模块

1.需求理解

• Hadoop 设计之初的目标就定位于高可靠性、高可拓展性、高容错性和高效性，正是这些设计上与生俱来的优点，才使得Hadoop 一出现就受到众多大公司的青睐，同时也引起了研究界的普遍关注。
• 对电信运营商而言,用户上网日志包含了大量用户个性化需求、喜好信息,对其进行分析和挖掘,能更好地了解客户需求。传统经营分析系统小型机加关系型数据库的架构无法满足对海量非结构化数据的处理需求,搭建基于X86的Hadoop 平台,引入大数据处理技术的方式,实现高效率、低成本、易扩展的经营分析系统混搭架构成为电信运营商最为倾向的选择。本课程将全面介绍Hadoop平台开发和运维的各项技术，对学员使用该项技术具有很高的应用价值。

2.培训课程架构与设计思路

• （1）培训架构：
• 本课程分为三个主要部分：
• 第一部分：重点讲述大数据技术在的应用，使学员对大数据技术的广泛应用有清晰的认识，在这环节当中会重点介绍Hadoop技术在整个大数据技术应用中的重要地位和应用情况。
• 第二部分：具体对hadoop技术进行模块化分拆，从大数据文件存储系统技术和分布式文件系统平台及其应用谈起，介绍Hadoop技术各主要应用工具和方法，以及在运维维护当中的主流做法，使学员全面了解和掌握Hadoop技术的精华。
• 第三部分：重点剖析大数据的应用案例，使学员在案例当中对该项技术有更深入的感观印象
• （2）设计思路：
• 本课程采用模块化教学方法，以案例分析为主线，由浅入深、循序渐进、由理论到实践操作进行设计。
• （3）与企业的贴合点：
• 本课程结合企业转型发展及大数据发展战略，围绕企业大数据业务及行业应用市场拓展发展目标，重点讲授Hadoop的应用技术，提升企业IT技术人员的开发和运维能力，有很强的贴合度。

第一部分：移动互联网、大数据、云计算相关技术介绍

• 1、数据中心与云计算技术应用
• 2、智慧城市与云计算技术应用
• 3、移动互联网、大数据与云计算关联技术
• 4、移动云计算的生态系统及产业链
• 5、大数据技术在运营商、金融业、银行业、电子商务行业、零售业、制造业、政务信息化、互联网、教育信息化等行业中的应用实践
• 6、国内外主流的大数据解决方案介绍
• 7、当前大数据解决方案与传统数据库方案的剖析比较
• 8、Cloudera Hadoop 大数据平台方案剖析
• 9、开源的大数据生态系统平台剖析

第二部分：大数据的挑战和发展方向

• 1、大数据时代的挑战
• 战略决策能力
• 技术开发和数据处理能力
• 组织和运营能力
• 2、大数据时代的发展方向
• 云计算是基础设施架构
• 大数据是灵魂资产
• 分析、挖掘是手段
• 发现和预测是最终目标
• 3、大数据挖掘在各行业应用情况
• 电信行业应用及案例分析
• 互联网行业应用及案例分析
• 金融行业应用及案例研究
• 销售行业应用案例分析

第三部分：大数据文件存储系统技术和分布式文件系统平台及其应用

• 1、Hadoop的发展历程
• Hadoop大数据平台架构
• 基于Hadoop平台的PB级大数据存储管理与分析处理的工作原理与机制
• Hadoop 的核心组件剖析
• 2、分布式文件系统HDFS
• 概述、功能、作用、优势
• 应用范畴、应用现状
• 发展趋势
• 3、分布式文件系统HDFS架构及原理
• 核心关键技术
• 设计精髓
• 基本工作原理
• 系统架构
• 文件存储模式
• 工作机制
• 存储扩容与吞吐性能扩展
• 4、分布式文件系统HDFS操作
• SHELL命令操作
• I/O流式操作
• 文件数据读取、写入、追加、删除
• 文件状态查询
• 数据块分布机制
• 数据同步与一致性
• 元数据管理技术
• 主节点与从节点工作机制
• 大数据负载均衡技术
• HDFS大数据存储集群管理技术
• 5、Hadoop生态系统组件
• Storm
• HDFS
• MapReduce
• HIVE
• HBase
• Spark
• GraphX
• MLib
• Shark

第四部分：Hadoop文件系统HDFS最佳实战

• 1、HDFS的设计
• 2、HDFS的概念
• 数据块
• namenode和datanode
• 联邦HDFS
• HDFS的高可用性
• 3、命令行接口
• 4、Hadoop文件系统
• 5、Java接口
• 从Hadoop URL读取数据
• 通过FileSystem API读取数据
• 写入数据
• 目录
• 查询文件系统
• 删除数据
• 6、数据流
• 剖析文件读取
• 剖析文件写入
• 一致模型
• 7、通过Flume和Sqoop导入数据
• 8、通过distcp并行复制
• 9、Hadoop存档
• 使用Hadoop存档工具
• 不足

第五部分：Hadoop运维管理与性能调优

• 1、第二代大数据处理框架
• Yarn的工作原理及
• DAG并行执行机制
• Yarn大数据分析处理案例分析
• Yarn 框架并行应用程序实践
• 2、集群配置管理
• Hadoop集群配置
• Hadoop性能调优与参数配置
• Hadoop机架感知策略与配置
• Hadoop压缩机制
• Hadoop任务负载均衡
• Hadoop 集群维护
• Hadoop监控管理
• 3、HDFS的静态调优技巧
• HDFS 的高吞吐量I/O性能调优技巧
• MapReduce/Yarn的并行处理性能调优技巧
• Hadoop集群的运行故障剖析，以及解决方案
• 基于Hadoop大数据应用程序的性能瓶颈剖析。
• Hadoop 大数据运维监控管理系统 HUE 平台的安装部署与应用配置
• Hadoop运维管理监控系统Ambari平台的安装部配置
• Hadoop 集群运维系统 Ganglia, Nagios的安装部署与应用配置

第六部分：NOSQL数据库Hbase与Redis

• 1、NOSQL基础
• CAP理论
• Base与ACID
• NOSQL数据库存储类型
• 键值存储
• 列存储
• 文档存储
• 图形存储
• 2、HBase分布式数据基础
• 3、安装Hbase
• 4、Hbase应用
• HBase的逻辑数据模型，HBase的表、行、列族、列、单元格、版本、row key排序
• HBase的物理模型，命名空间（表空间）、表模式（Schema）的设计法则
• HBase 主节点HMaster的工作原理，HMaster的高可用配置，以及性能调优
• HBase 从节点RegionServer（分区服务节点）的工作原理，表分区及存储I/O高并发配置，以及性能调优
• HBase的存储引擎工作原理，以及HBase表数据的键值存储结构，以及HFile存储结构剖析
• HBase表设计与数据操作以及数据库管理操作
• HBase集群的安装部署、参数配置和性能优化
• 5、HBase分布式数据库简介、发展历程、应用场景、工作原理、以及应用优势与不足之处
• HBase分布式数据库集群的主从式平台架构和关键技术剖析
• HBase伪分布式和物理集群分布式的控制与运行配置
• HBase从节点RegionServer（分区服务节点）的工作原理，表分区及存储I/O高并发配置，以及性能调优
• HBase的存储引擎工作原理，以及HBase表数据的键值存储结构，以及HFile存储结构剖析
• HBase表设计与数据操作以及数据库管理操作
• HBase集群的安装部署、参数配置和性能优化
• ZooKeeper分布式协调服务系统的工作原理、平台架构、集群部署应用实战
• ZooKeeper集群的原理架构，以及应用配置
• 6、Redis内存数据库介绍，以及业界应用案例
• Redis内存数据库集群架构以及核心技术剖析
• Redis 集群的安装部署与应用开发实战

第七部分：类SQL语句工具——Hive

• 1、安装Hive
• 2、示例
• 3、运行Hive
• 配置Hive
• Hive服务
• Metastore
• 4、Hive与传统数据库相比
• 读时模式vs.写时模式
• 更新、事务和索引
• 5、HiveQL
• 数据类型
• 操作与函数
• 6、表
• 托管表和外部表
• 分区和桶
• 存储格式
• 导入数据
• 表的修改
• 表的丢弃
• 7、查询数据
• 排序和聚集
• MapReduce脚本
• 连接
• 子查询
• 视图
• 8、用户定义函数
• 写UDF
• 写UDAF

第八部分：数据挖掘SPARK建模基础介绍

• 1、Spark简介
• Spark是什么
• Spark生态系统BDAS
• 2、Spark架构
• Spark分布式架构与单机多核架构的异同
• 3、Spark集群的安装与部署
• Spark的安装与部署
• Spark集群初试
• 4、Spark硬件配置
• Spark硬件
• Spark硬件配置流程

第九部分：Kafka基础介绍

• 1、Kafka介绍
• 2、kafka体系结构
• 3、kafka设计理念简介
• 4、kafka通信协议
• 5、kafka的伪分布安装、集群安装
• 6、kafka的shell操作、java操作
• 7、kafka设计理念*
• 8、kafka producer和consumer开发
• 9、Kafka分布式消息订阅系统的应用介绍、平台架构、集群部署与配置应用实战
• 10、Flume-NG数据采集系统的数据流模型、平台架构、集群部署与配置应用实战
• 11、Hadoop与DBMS之间数据交互工具Sqoop的应用实践，
• 12、Sqoop导入导出数据以及Sqoop集群部署与配置
• 13、Kettle 集群的平台架构、核心技术、部署配置和应用实战
• Sqoop与MySQL、Hadoop集群之间的数据交互应用。

第十部分：大数据典型应用与开发案例分析：互联网数据运营

• 1、案例1：贵州数据交易中心
• 交易所交易形式：电子交易
• 交易所服务：大数据交易、大数据清洗建模分析、大数据定向采购、大数据平台技术开发
• 大数据交易安全性探讨分析
• 数据交易中心商业模式探讨分析
• 2、案例2：大数据应用案例：公共交通线路的智能规划
• UrbanInsights：为公交公司提供基于订阅访问的大数据工具以及大数据咨询服务
• Urban Insights数据源、数据收集、数据仓库、数据分析——设计运营线路
• Urban Insights通过互联网数据的运营
• 讨论：浙江移动大数据应用与开发方向

第十一部分：当前数据中心的改造和转换分析-以国内外运营商、互联网公司为例

• 1、流商业大数据解决方案比较
• 2、主流开源云计算系统比较
• 3、国内外代表性大数据平台比较
• 各厂商大数据产品案例介绍。
• 5、案例分析
• Facebook的SNS平台应用
• Google的搜索引擎应用
• Rackspace的日志处理
• Verizon成立精准市场营销部
• TelefonicaDynamicInsights推出的名为“智慧足迹”的商业服务
• 中国联通的“移动通信用户上网记录集中查询与分析支撑系统”

第十二部分：课程总结与问题答疑评估培训

• 第十二部分：课程总结与问题答疑评估培训。

第四天 学员考试与业界交流

• 第四天 学员考试与业界交流。

适合人群

各地企事业单位大数据产业相关人员，运营商 IT信息化和运维工程师相关人员，金融业信息化相关人员，或对大数据感兴趣的相关人员。

师资信息

张老师，具有阿里大数据高级专家背景，是资深Spark、Hadoop技术专家及虚拟化专家，长期研究HDFS、MapReduce、HBase、Hive、Mahout、Storm、Spark、openTSDB等生态技术，具有开发运维与项目实施实践。项目涉及电信网络优化、中国移动省级请账单及详单实时查询、中国银联票据详单平台、银行大数据记录、运营商用户上网记录、交通违章、区域医疗、公共数据云DAAS和Web Game Daas游戏云平台等。完整姓名、个人历史履历及当期授课安排以正式通知为准，项目涉及的数据不代表课堂可获取真实个人或企业敏感信息。

课程咨询与报名

了解本期课程安排、师资及报名事项，请联系新中华学习网：400-061-6586，也可使用本页下方的报名咨询表。具体开课安排以正式通知为准。

温馨提示：本文内容根据课程内容整理，各模块实际讲授内容由授课老师根据学员情况灵活调整，最终以课堂授课为准。