课程定位

面向已有数据分析算法基础的工程人员，按数据平台、模型算法、项目实践及考试交流四日安排开展训练。课程以Linux集群、JDK1.8、Hadoop2.7和Spark2.1等教学环境为基础，具体版本、兼容条件和练习材料以当期通知为准。

学习收获

• 学习大数据平台架构、分析理论、常见机器学习方法及BI解决方案，理解搜索、广告、电商和金融客户案例。
• 练习Hadoop、Spark与R分析平台、分布式仓库及商业或开源分析产品的结合应用。
• 通过客户、日志和推荐系统案例，联系算法模型与业务分析任务。

课程特色

• 结合技术原理与系统操作，采用日志和推荐案例练习。建议准备i5及以上CPU、至少4GB内存、预留50GB空间的电脑，可用移动硬盘，VMware教学镜像及依赖环境按当期提供条件核实。

课程模块

第一天业界主流的数据仓库工具和大数据分析挖掘工具

• 1.业界主流的基于Hadoop和Spark的大数据分析挖掘项目解决方案
• 2.业界数据仓库与数据分析挖掘平台软件工具
• 3.Hadoop数据仓库工具Hive
• 4.Spark实时数据仓库工具SparkSQL
• 5.Hadoop数据分析挖掘工具Mahout
• 6.Spark机器学习与数据分析挖掘工具MLlib
• 7.大数据分析挖掘项目的实施步骤

大数据分析挖掘项目的数据集成操作训练

• 1.日志数据解析和导入导出到数据仓库的操作训练
• 2.从原始搜索数据集中抽取、集成数据，整理后形成规范的数据仓库
• 3.数据分析挖掘模块从大型的集中式数据仓库中访问数据，一个数据仓库面向一个主题，构建两个数据仓库
• 4.同一个数据仓库中的事实表数据，可以给多个不同类型的分析挖掘任务调用
• 5.去除噪声

基于Hadoop的大型数据仓库管理平台—HIVE数据仓库集群的多维分析建模应用实践

• 6.基于Hadoop的大型分布式数据仓库在行业中的数据仓库应用案例
• 7.Hive数据仓库集群的平台体系结构、核心技术剖析
• 8.Hive Server的工作原理、机制与应用
• 9.Hive数据仓库集群的安装部署与配置优化
• 10.Hive应用开发技巧
• 11.Hive SQL剖析与应用实践
• 12.Hive数据仓库表与表分区、表操作、数据导入导出、客户端操作技巧
• 13.Hive数据仓库报表设计
• 14.将原始的日志数据集，经过整理后，加载至Hadoop + Hive数据仓库集群中，用于共享访问

Spark大数据分析挖掘平台实践操作训练

• 15.Spark大数据分析挖掘平台的部署配置
• 16.Spark数据分析库MLlib的开发部署
• 17.Spark数据分析挖掘示例操作，从Hive表中读取数据并在分布式内存中运行

第二天聚类分析建模与挖掘算法的实现原理和技术应用

• 18.聚类分析建模与算法原理及其在Spark MLlib中的实现与应用，包括：
• a)Canopy聚类（canopy clustering）
• b)K均值算法（K-means clustering）
• c)模糊K均值（Fuzzy K-means clustering）
• d)EM聚类，即期望最大化聚类（Expectation Maximization）
• e)以上算法在Spark MLib中的实现原理和实际场景中的应用案例。
• 19.Spark聚类分析算法程序示例

分类分析建模与挖掘算法的实现原理和技术应用

• 20.分类分析建模与算法原理及其在Spark MLlib中的实现与应用， 包括：
• f)Spark决策树算法实现
• g)逻辑回归算法（logistics regression）
• h)贝叶斯算法（Bayesian与Cbeyes）
• i)支持向量机（Support vector machine）
• j)以上算法在Spark MLlib中的实现原理和实际场景中的应用案例。
• 21.Spark客户资料分析与给用户贴标签的程序示例
• 22.Spark实现给商品贴标签的程序示例
• 23.Spark实现用户行为的自动标签和深度技术

关联分析建模与挖掘算法的实现原理和技术应用

• 24.预测、推荐分析建模与算法原理及其在Spark MLlib中的实现与应用，包括：
• k)Spark频繁模式挖掘算法（parallel FP Growth Algorithm）应用
• l)Spark关联规则挖掘（Apriori）算法及其应用
• m)以上算法在Spark MLib中的实现原理和实际场景中的应用案例。
• 25.Spark关联分析程序示例

第三天推荐分析挖掘模型与算法技术应用

• 26.推荐算法原理及其在Spark MLlib中的实现与应用，包括：
• a)Spark协同过滤算法程序示例
• b)Item-based协同过滤与推荐
• c)User-based协同过滤与推荐
• d)交叉销售推荐模型及其实现

回归分析模型与预测算法

• 27.利用线性回归（多元回归）实现访问量预测
• 28.利用非线性回归预测成交量和访问量的关系
• 29.基于R+Spark实现回归分析模型及其应用操作
• 30.Spark回归程序实现异常点检测的程序示例

图关系建模与分析挖掘及其链接分析和社交分析操作

• 31.利用Spark GraphX实现网页链接分析，计算网页重要性排名
• 32.实现信息传播的社交关系传递分析，互联网用户的行为关系分析任务的操作训练

神经网络与深度学习算法模型及其应用实践

• 33.神经网络算法Neural Network的实现方法和挖掘模型应用
• 34.基于人工神经网络的深度学习的训练过程
• a)传统神经网络的训练方法
• b)Deep Learning的训练方法
• 35.深度学习的常用模型和方法
• a)CNN（Convolutional Neural Network）卷积神经网络
• b)RNN（Recurrent Neural Network）循环神经网络模型
• c)Restricted Boltzmann Machine(RBM)限制波尔兹曼机
• 36.基于Spark的深度学习算法模型库的应用程序示例

项目实践

• 37.日志分析系统与日志挖掘项目实践
• a)Hadoop，Spark，ELK技术构建日志数据仓库
• b)互联网微博日志分析系统项目
• 38.推荐系统项目实践
• a)电影数据分析与个性化推荐关联分析项目

培训总结

• 39.项目方案的课堂讨论，讨论实际业务中的分析需求，剖析各个环节的难点、痛点、瓶颈，启发出解决之道；完成讲师布置的项目案例，巩固学过的大数据分析挖掘处理平台技术知识以及应用技能

第四天学员考试与业界交流

• 第四天学员考试与业界交流。

适合人群

大数据分析应用开发、算法应用、集群运维工程师，项目规划咨询及IT管理人员，以及售前售后技术支持人员；需有一定数据分析挖掘算法基础。

师资信息

师资介绍包括周老师与张老师，具体当期安排以正式通知为准，不代表两位共同授课。周老师为中国科学院通信与信息系统专业博士，有北京邮电大学移动互联网与信息化实验室特聘研究员、对外经贸大学信息学院特聘兼职教师及中国移动集团高级培训讲师相关经历，研究大数据、4G、移动互联网安全管理和精准营销，有信息系统架构师、金牌讲师、技术顾问和移动开发专家相关经历，担任过大型通信项目总师，为十五家以上省移动公司、三十家以上地市公司提供过项目开发与教学。张老师有阿里大数据专家及Spark、Hadoop、虚拟化技术实践，研究HDFS、MapReduce、HBase、Hive、Mahout、Storm、Spark和openTSDB，项目涉及电信网络优化、移动账单与详单查询、银联票据、银行记录、交通医疗大数据，以及DAAS公共数据和Web Game Daas平台。二人完整姓名与历史职务均以当期核实为准。

课程咨询与报名

了解本期课程安排、师资及报名事项，请联系新中华学习网：400-061-6586，也可使用本页下方的报名咨询表。具体开课安排以正式通知为准。

温馨提示：本文内容根据课程内容整理，各模块实际讲授内容由授课老师根据学员情况灵活调整，最终以课堂授课为准。