跳到主要内容
按专业 / 地区找课 ↗
当前位置:新中华学习网 >> 公开课>> 职业技能 >> 全国高校大数据(Hadoop、spark、Python)师资
全国高校大数据(Hadoop、spark、Python)师资
  • 开课地点:成都
  • 开课日期:2026/11/4
  • 学习费用:9800元
  • 学制:以正式通知为准
围绕Hadoop生态、Spark建模挖掘与Python机器学习,结合安装运维、数据平台及项目案例开展师资训练。本期安排:2026年11月4日,成都。
开课日期
2026年11月4日—2026年11月13日
开课地点
成都
学习费用
9800元/人
学制
以正式通知为准

课程定位

面向高校大数据相关讲师、信息中心与院系人员及感兴趣的专业人员,采用理论与项目实践结合的方式。

学习收获

  • 掌握大数据处理平台(Hadoop、Spark、Storm)技术架构、以及平台的安装部署、运维配置、应用开发;掌握主流大数据Hadoop平台和Spark实时处理平台的技术架构和实际应用;利用Hadoop+Spark对行业大数据进行存储管理和分析挖掘的技术应用;讲解Hadoop生态系统组件,包括Storm,HDFS,MapReduce,HIVE,HBase,Spark,GraphX,MLib,Shark, ElasticSearch等大数据存储管理、分布式数据库、大型数据仓库、大数据查询与搜索、大数据分析挖掘与分布式处理技术
  • 让学员充分掌握大数据平台技术架构、大数据分析的基本理论、机器学习的常用算法、国内外主流的大数据分析与BI商业智能分析解决方案、以及大数据分析在搜索引擎、广告服务推荐、电商数据分析、金融客户分析方面的应用案例。
  • 强调主流的大数据分析挖掘算法技术的应用和分析平台的实施,让学员掌握主流的基于大数据Hadoop和Spark、R的大数据分析平台架构和实际应用,并用结合实际的生产系统案例进行教学,掌握基于Hadoop大数据平台的数据挖掘和数据仓库分布式系统平台应用,以及商业和开源的数据分析产品加上Hadoop平台形成大数据分析平台的应用剖析。
  • 让学员掌握常见的机器学习算法,深入讲解业界成熟的大数据分析挖掘与BI平台的实践应用,并以客户分析系统、日志分析和电商推荐系统为案例,串联常用的数据挖掘技术进行应用教学。
  • 从数学层面推导最经典的机器学习算法,以及每种算法的示例和代码实现(Python)、如何做算法的参数调试、以实际应用案例分析各种算法的选择等。

课程特色

  • 已公布排期为2026-11-04至2026-11-13,此日期范围不表示每天连续授课;具体上课日期、授课天数与实际日程以正式开课通知为准。
  • 本课程基本的实践环境是Linux集群,JDK1.8, Hadoop 2.7.*,Spark 2.1.*。
  • 本课程采用技术原理与项目实战相结合的方式进行教学,在讲授原理的过程中,穿插实际的系统操作,本课程讲师也精心准备的实际的应用案例供学员动手训练。
  • 请准备i5及以上CPU、4GB及以上内存的电脑,预留50GB硬盘空间(可用移动硬盘);按原课程提供的VMware镜像和操作任务实践。

课程模块

模块一 移动互联网、大数据、云计算相关技术介绍

  • 1、数据中心与云计算技术应用
  • 2、智慧城市与云计算技术应用
  • 3、移动互联网、大数据与云计算关联技术
  • 4、移动云计算的生态系统及产业链
  • 5、大数据技术在运营商、金融业、银行业、电子商务行业、零售业、制造业、政务信息化、互联网、教育信息化等行业中的应用实践
  • 6、国内外主流的大数据解决方案介绍
  • 7、当前大数据解决方案与传统数据库方案的剖析比较
  • 8、Cloudera Hadoop 大数据平台方案剖析
  • 9、开源的大数据生态系统平台剖析

模块二 大数据的挑战和发展方向

  • 1、大数据时代的挑战
  • 战略决策能力
  • 技术开发和数据处理能力
  • 组织和运营能力
  • 2、大数据时代的发展方向
  • 云计算是基础设施架构
  • 大数据是灵魂资产
  • 分析、挖掘是手段
  • 发现和预测是最终目标
  • 3、大数据挖掘在各行业应用情况
  • 电信行业应用及案例分析
  • 互联网行业应用及案例分析
  • 金融行业应用及案例研究
  • 销售行业应用案例分析

模块三 大数据文件存储系统技术和分布式文件系统平台及其应用

  • 1、Hadoop的发展历程
  • Hadoop大数据平台架构
  • 基于Hadoop平台的PB级大数据存储管理与分析处理的工作原理与机制
  • Hadoop 的核心组件剖析
  • 2、分布式文件系统HDFS
  • 概述、功能、作用、优势
  • 应用范畴、应用现状
  • 发展趋势
  • 3、分布式文件系统HDFS架构及原理
  • 核心关键技术
  • 设计精髓
  • 基本工作原理
  • 系统架构
  • 文件存储模式
  • 工作机制
  • 存储扩容与吞吐性能扩展
  • 4、分布式文件系统HDFS操作
  • SHELL命令操作
  • I/O流式操作
  • 文件数据读取、写入、追加、删除
  • 文件状态查询
  • 数据块分布机制
  • 数据同步与一致性
  • 元数据管理技术
  • 主节点与从节点工作机制
  • 大数据负载均衡技术
  • HDFS大数据存储集群管理技术
  • 5、Hadoop生态系统组件
  • Storm
  • HDFS
  • MapReduce
  • HIVE
  • HBase
  • Spark
  • GraphX
  • MLib
  • Shark

模块四 Hadoop文件系统HDFS最佳实战

  • 1、HDFS的设计
  • 2、HDFS的概念
  • 数据块
  • namenode和datanode
  • 联邦HDFS
  • HDFS的高可用性
  • 3、命令行接口
  • 4、Hadoop文件系统
  • 5、Java接口
  • 从Hadoop URL读取数据
  • 通过FileSystem API读取数据
  • 写入数据
  • 目录
  • 查询文件系统
  • 删除数据
  • 6、数据流
  • 剖析文件读取
  • 剖析文件写入
  • 一致模型
  • 7、通过Flume和Sqoop导入数据
  • 8、通过distcp并行复制
  • 9、Hadoop存档
  • 使用Hadoop存档工具
  • 不足

模块五 Hadoop运维管理与性能调优

  • 1、第二代大数据处理框架
  • Yarn的工作原理及
  • DAG并行执行机制
  • Yarn大数据分析处理案例分析
  • Yarn 框架并行应用程序实践
  • 2、集群配置管理
  • Hadoop集群配置
  • Hadoop性能调优与参数配置
  • Hadoop机架感知策略与配置
  • Hadoop压缩机制
  • Hadoop任务负载均衡
  • Hadoop 集群维护
  • Hadoop监控管理
  • 3、HDFS的静态调优技巧
  • HDFS 的高吞吐量I/O性能调优技巧
  • MapReduce/Yarn的并行处理性能调优技巧
  • Hadoop集群的运行故障剖析,以及解决方案
  • 基于Hadoop大数据应用程序的性能瓶颈剖析与提
  • Hadoop 大数据运维监控管理系统 HUE 平台的安装部署与应用配置
  • Hadoop运维管理监控系统Ambari平台的安装部配置
  • Hadoop 集群运维系统 Ganglia, Nagios的安装部署与应用配置

模块六 NOSQL数据库Hbase与Redis

  • 1、NOSQL基础
  • CAP理论
  • Base与ACID
  • NOSQL数据库存储类型
  • 键值存储
  • 列存储
  • 文档存储
  • 图形存储
  • 2、HBase分布式数据基础
  • 3、安装Hbase
  • 4、Hbase应用
  • HBase的逻辑数据模型,HBase的表、行、列族、列、单元格、版本、row key排序
  • HBase的物理模型,命名空间(表空间)、表模式(Schema)的设计法则
  • HBase 主节点HMaster的工作原理,HMaster的高可用配置,以及性能调优
  • HBase 从节点RegionServer(分区服务节点)的工作原理,表分区及存储I/O高并发配置,以及性能调优
  • HBase的存储引擎工作原理,以及HBase表数据的键值存储结构,以及HFile存储结构剖析
  • HBase表设计与数据操作以及数据库管理操作
  • HBase集群的安装部署、参数配置和性能优化
  • 5、HBase分布式数据库简介、发展历程、应用场景、工作原理、以及应用优势与不足之处
  • HBase分布式数据库集群的主从式平台架构和关键技术剖析
  • HBase伪分布式和物理集群分布式的控制与运行配置
  • HBase从节点RegionServer(分区服务节点)的工作原理,表分区及存储I/O高并发配置,以及性能调优
  • HBase的存储引擎工作原理,以及HBase表数据的键值存储结构,以及HFile存储结构剖析
  • HBase表设计与数据操作以及数据库管理操作
  • HBase集群的安装部署、参数配置和性能优化
  • ooKeeper分布式协调服务系统的工作原理、平台架构、集群部署应用实战
  • ZooKeeper集群的原理架构,以及应用配置
  • 6、Redis内存数据库介绍,以及业界应用案例
  • Redis内存数据库集群架构以及核心技术剖析
  • Redis 集群的安装部署与应用开发实战

模块七 类SQL语句工具——Hive

  • 1、安装Hive
  • 2、示例
  • 3、运行Hive
  • 配置Hive
  • Hive服务
  • Metastore
  • 4、Hive与传统数据库相比
  • 读时模式vs.写时模式
  • 更新、事务和索引
  • 5、HiveQL
  • 数据类型
  • 操作与函数
  • 6、表
  • 托管表和外部表
  • 分区和桶
  • 存储格式
  • 导入数据
  • 表的修改
  • 表的丢弃
  • 7、查询数据
  • 排序和聚集
  • MapReduce脚本
  • 连接
  • 子查询
  • 视图
  • 8、用户定义函数
  • 写UDF
  • 写UDAF

模块八 数据挖掘SPARK建模基础介绍

  • 1、Spark简介
  • Spark是什么
  • Spark生态系统BDAS
  • 2、Spark架构
  • Spark分布式架构与单机多核架构的异同
  • 3、Spark集群的安装与部署
  • Spark的安装与部署
  • Spark集群初试
  • 4、Spark硬件配置
  • Spark硬件
  • Spark硬件配置流程

模块九 Kafka基础介绍

  • 1、Kafka介绍
  • 2、kafka体系结构
  • 3、kafka设计理念简介
  • 4、kafka通信协议
  • 5、kafka的伪分布安装、集群安装
  • 6、kafka的shell操作、java操作
  • 7、kafka设计理念*
  • 8、kafka producer和consumer开发
  • 9、Kafka分布式消息订阅系统的应用介绍、平台架构、集群部署与配置应用实战
  • 10、Flume-NG数据采集系统的数据流模型、平台架构、集群部署与配置应用实战
  • 11、Hadoop与DBMS之间数据交互工具Sqoop的应用实践,
  • 12、Sqoop导入导出数据以及Sqoop集群部署与配置
  • 13、Kettle 集群的平台架构、核心技术、部署配置和应用实战
  • 14、利用Sqoop实现 MySQL 与 Hadoop 集群之间

模块十 大数据典型应用与开发案例分析:互联网数据运营

  • 1、案例1:贵州数据交易中心
  • 交易所交易形式:电子交易
  • 交易所服务:大数据交易、大数据清洗建模分析、大数据定向采购、大数据平台技术开发
  • 大数据交易安全性探讨分析
  • 数据交易中心商业模式探讨分析
  • 2、案例2:大数据应用案例:公共交通线路的智能规划
  • UrbanInsights:为公交公司提供基于订阅访问的大数据工具以及大数据咨询服务
  • Urban Insights数据源、数据收集、数据仓库、数据分析——设计运营线路
  • Urban Insights通过互联网数据的运营
  • 3、讨论:浙江移动大数据应用与开发方向

模块十一 当前数据中心的改造和转换分析-以国内外运营商、互联网公司为例

  • 1、流商业大数据解决方案比较
  • 2、主流开源云计算系统比较
  • 3、国内外代表性大数据平台比较
  • 4、各厂商最新的大数据产品介绍
  • 5、案例分析
  • Facebook的SNS平台应用
  • Google的搜索引擎应用
  • Rackspace的日志处理
  • Verizon成立精准市场营销部
  • TelefonicaDynamicInsights推出的名为“智慧足迹”的商业服务
  • 中国联通的“移动通信用户上网记录集中查询与分析支撑系统”

大数据建模与分析挖掘培训内容

  • 业界主流的数据仓库工具和大数据分析挖掘工具
  • 1.业界主流的基于Hadoop和Spark的大数据分析挖掘项目解决方案
  • 2.业界数据仓库与数据分析挖掘平台软件工具
  • 3.Hadoop数据仓库工具Hive
  • 4.Spark实时数据仓库工具SparkSQL
  • 5.Hadoop数据分析挖掘工具Mahout
  • 6.Spark机器学习与数据分析挖掘工具MLlib
  • 7.大数据分析挖掘项目的实施步骤

大数据分析挖掘项目的数据集成操作训练

  • 1.日志数据解析和导入导出到数据仓库的操作训练
  • 2.从原始搜索数据集中抽取、集成数据,整理后形成规范的数据仓库
  • 3.数据分析挖掘模块从大型的集中式数据仓库中访问数据,一个数据仓库面向一个主题,构建两个数据仓库
  • 4.同一个数据仓库中的事实表数据,可以给多个不同类型的分析挖掘任务调用
  • 5.去除噪声
  • 基于Hadoop的大型数据仓库管理平台—HIVE数据仓库集群的多维分析建模应用实践
  • 6.基于Hadoop的大型分布式数据仓库在行业中的数据仓库应用案例
  • 7.Hive数据仓库集群的平台体系结构、核心技术剖析
  • 8.Hive Server的工作原理、机制与应用
  • 9.Hive数据仓库集群的安装部署与配置优化
  • 10.Hive应用开发技巧
  • 11.Hive SQL剖析与应用实践
  • 12.Hive数据仓库表与表分区、表操作、数据导入导出、客户端操作技巧
  • 13.Hive数据仓库报表设计
  • 14.将原始的日志数据集,经过整理后,加载至Hadoop + Hive数据仓库集群中,用于共享访问
  • Spark大数据分析挖掘平台实践操作训练
  • 15.Spark大数据分析挖掘平台的部署配置
  • 16.Spark数据分析库MLlib的开发部署
  • 17.Spark数据分析挖掘示例操作,从Hive表中读取数据并在分布式内存中运行

聚类分析建模与挖掘算法的实现原理和技术应用

  • 18.聚类分析建模与算法原理及其在Spark MLlib中的实现与应用,包括:
  • a)Canopy聚类(canopy clustering)
  • b)K均值算法(K-means clustering)
  • c)模糊K均值(Fuzzy K-means clustering)
  • d)EM聚类,即期望最大化聚类(Expectation Maximization)
  • e)以上算法在Spark MLib中的实现原理和实际场景中的应用案例。
  • 19.Spark聚类分析算法程序示例
  • 分类分析建模与挖掘算法的实现原理和技术应用
  • 20.分类分析建模与算法原理及其在Spark MLlib中的实现与应用, 包括:
  • f)Spark决策树算法实现
  • g)逻辑回归算法(logistics regression)
  • h)贝叶斯算法(Bayesian与Cbeyes)
  • i)支持向量机(Support vector machine)
  • j)以上算法在Spark MLlib中的实现原理和实际场景中的应用案例。
  • 21.Spark客户资料分析与给用户贴标签的程序示例
  • 22.Spark实现给商品贴标签的程序示例
  • 23.Spark实现用户行为的自动标签和深度技术
  • 关联分析建模与挖掘算法的实现原理和技术应用
  • 24.预测、推荐分析建模与算法原理及其在Spark MLlib中的实现与应用,包括:
  • k)Spark频繁模式挖掘算法(parallel FP Growth Algorithm)应用
  • l)Spark关联规则挖掘(Apriori)算法及其应用
  • m)以上算法在Spark MLib中的实现原理和实际场景中的应用案例。
  • 25.Spark关联分析程序示例
  • 推荐分析挖掘模型与算法技术应用
  • 26.推荐算法原理及其在Spark MLlib中的实现与应用,包括:
  • a)Spark协同过滤算法程序示例
  • b)Item-based协同过滤与推荐
  • c)User-based协同过滤与推荐
  • d)交叉销售推荐模型及其实现

回归分析模型与预测算法

  • 27.利用线性回归(多元回归)实现访问量预测
  • 28.利用非线性回归预测成交量和访问量的关系
  • 29.基于R+Spark实现回归分析模型及其应用操作
  • 30.Spark回归程序实现异常点检测的程序示例
  • 图关系建模与分析挖掘及其链接分析和社交分析操作
  • 31.利用Spark GraphX实现网页链接分析,计算网页重要性排名
  • 32.实现信息传播的社交关系传递分析,互联网用户的行为关系分析任务的操作训练
  • 神经网络与深度学习算法模型及其应用实践
  • 33.神经网络算法Neural Network的实现方法和挖掘模型应用
  • 34.基于人工神经网络的深度学习的训练过程
  • a)传统神经网络的训练方法
  • b)Deep Learning的训练方法
  • 35.深度学习的常用模型和方法
  • a)CNN(Convolutional Neural Network)卷积神经网络
  • b)RNN(Recurrent Neural Network)循环神经网络模型
  • c)Restricted Boltzmann Machine(RBM)限制波尔兹曼机
  • 36.基于Spark的深度学习算法模型库的应用程序示例
  • 项目实践 37.日志分析系统与日志挖掘项目实践
  • a)Hadoop,Spark,ELK技术构建日志数据仓库
  • b)互联网微博日志分析系统项目
  • 38.推荐系统项目实践
  • a)电影数据分析与个性化推荐关联分析项目

培训总结

  • 39.项目方案的课堂讨论,讨论实际业务中的分析需求,剖析各个环节的难点、痛点、瓶颈,启发出解决之道;完成讲师布置的项目案例,巩固学过的大数据分析挖掘处理平台技术知识以及应用技能

模块一 机器学习的数学基础1 - 数学分析

  • 1. 机器学习的一般方法和横向比较
  • 2. 数学是有用的:以SVD为例
  • 3. 机器学习的角度看数学
  • 4. 复习数学分析
  • 5. 直观解释常数e
  • 6. 导数/梯度
  • 7. 随机梯度下降
  • 8. Taylor展式的落地应用
  • 9. gini系数
  • 10. 凸函数
  • 11. Jensen不等式
  • 12. 组合数与信息熵的关系

模块二 机器学习的数学基础2 - 概率论与贝叶斯先验

  • 1. 概率论基础
  • 2. 古典概型
  • 3. 贝叶斯公式
  • 4. 先验分布/后验分布/共轭分布
  • 5. 常见概率分布
  • 6. 泊松分布和指数分布的物理意义
  • 7. 协方差(矩阵)和相关系数
  • 8. 独立和不相关
  • 9. 大数定律和中心极限定理的实践意义
  • 10. 深刻理解最大似然估计MLE和最大后验估计MAP
  • 11. 过拟合的数学原理与解决方案

模块三 机器学习的数学基础3 - 矩阵和线性代数

  • 1. 线性代数在数学科学中的地位
  • 2. 马尔科夫模型
  • 3. 矩阵乘法的直观表达
  • 4. 状态转移矩阵
  • 5. 矩阵和向量组
  • 6. 特征向量的思考和实践计算
  • 7. QR分解
  • 8. 对称阵、正交阵、正定阵
  • 9. 数据白化及其应用
  • 10. 向量对向量求导
  • 11. 标量对向量求导
  • 12. 标量对矩阵求导工作机制

模块四 Python基础1 - Python及其数学库

  • 1. 解释器Python2.7与IDE:Anaconda/Pycharm
  • 2. Python基础:列表/元组/字典/类/文件
  • 3. Taylor展式的代码实现
  • 4. numpy/scipy/matplotlib/panda的介绍和典型使用
  • 5. 多元高斯分布
  • 6. 泊松分布、幂律分布
  • 7. 典型图像处理
  • 8. 蝴蝶效应
  • 9. 分形与可视化

模块五 Python基础2 - 机器学习库

  • 1. scikit-learn的介绍和典型使用
  • 2. 损失函数的绘制
  • 3. 多种数学曲线
  • 4. 多项式拟合
  • 5. 快速傅里叶变换FFT
  • 6. 奇异值分解SVD
  • 7. Soble/Prewitt/Laplacian算子与卷积网络
  • 8. 卷积与(指数)移动平均线
  • 9. 股票数据分析

模块六 Python基础3 - 数据清洗和特征选择

  • 1. 实际生产问题中算法和特征的关系
  • 2. 股票数据的特征提取和应用
  • 3. 一致性检验
  • 4. 缺失数据的处理
  • 5. 环境数据异常检测和分析
  • 6. 模糊数据查询和数据校正方法、算法、应用
  • 7. 朴素贝叶斯用于鸢尾花数据
  • 8. GaussianNB/MultinomialNB/BernoulliNB
  • 9. 朴素贝叶斯用于18000+篇/Sogou新闻文本的分类

模块七 回归

  • 1. 线性回归
  • 2. Logistic/Softmax回归
  • 3. 广义线性回归
  • 4. L1/L2正则化
  • 5. Ridge与LASSO
  • 6. Elastic Net
  • 7. 梯度下降算法:BGD与SGD
  • 8. 特征选择与过拟合

模块八 Logistic回归

  • 1. Sigmoid函数的直观解释
  • 2. Softmax回归的概念源头
  • 3. Logistic/Softmax回归
  • 4. 最大熵模型
  • 5. K-L散度
  • 6. 损失函数
  • 7. Softmax回归的实现与调参

模块九 回归实践

  • 1. 机器学习sklearn库介绍
  • 2. 线性回归代码实现和调参
  • 3. Softmax回归代码实现和调参
  • 4. Ridge回归/LASSO/Elastic Net
  • 5. Logistic/Softmax回归
  • 6. 广告投入与销售额回归分析
  • 7. 鸢尾花数据集的分类
  • 8. 交叉验证
  • 9. 数据可视化

模块十 决策树和随机森林

  • 1. 熵、联合熵、条件熵、KL散度、互信息
  • 2. 最大似然估计与最大熵模型
  • 3. ID3、C4.5、CART详解
  • 4. 决策树的正则化
  • 5. 预剪枝和后剪枝
  • 6. Bagging
  • 7. 随机森林
  • 8. 不平衡数据集的处理
  • 9. 利用随机森林做特征选择
  • 10. 使用随机森林计算样本相似度
  • 11. 数据异常值检测

模块十一 随机森林实践

  • 1. 随机森林与特征选择
  • 2. 决策树应用于回归
  • 3. 多标记的决策树回归
  • 4. 决策树和随机森林的可视化
  • 5. 葡萄酒数据集的决策树/随机森林分类
  • 6. 波士顿房价预测

模块十二 提升

  • 1. 提升为什么有效
  • 2. 梯度提升决策树GBDT
  • 3. XGBoost算法详解
  • 4. Adaboost算法
  • 5. 加法模型与指数损失

模块十三 提升实践

  • 1. Adaboost用于蘑菇数据分类
  • 2. Adaboost与随机森林的比较
  • 3. XGBoost库介绍
  • 4. Taylor展式与学习算法
  • 5. KAGGLE简介
  • 6. 泰坦尼克乘客存活率估计

模块十四 SVM

  • 1. 线性可分支持向量机
  • 2. 软间隔的改进
  • 3. 损失函数的理解
  • 4. 核函数的原理和选择
  • 5. SMO算法
  • 6. 支持向量回归SVR

模块十五 SVM实践

  • 1. libSVM代码库介绍
  • 2. 原始数据和特征提取
  • 3. 葡萄酒数据分类
  • 4. 数字图像的手写体识别
  • 5. SVR用于时间序列曲线预测
  • 6. SVM、Logistic回归、随机森林三者的横向比较

模块十六 聚类(一)

  • 1. 各种相似度度量及其相互关系
  • 2. Jaccard相似度和准确率、召回率
  • 3. Pearson相关系数与余弦相似度
  • 4. K-means与K-Medoids及变种
  • 5. AP算法(Sci07)/LPA算法及其应用

模块十七 聚类(二)

  • 1. 密度聚类DBSCAN/DensityPeak(Sci14)
  • 2. DensityPeak(Sci14)
  • 3. 谱聚类SC
  • 4. 聚类评价AMI/ARI/Silhouette
  • 5. LPA算法及其应用

模块十八 聚类实践

  • 1. K-Means++算法原理和实现
  • 2. 向量量化VQ及图像近似
  • 3. 并查集的实践应用
  • 4. 密度聚类的代码实现
  • 5. 谱聚类用于图片分割

模块十九 EM算法

  • 1. 最大似然估计
  • 2. Jensen不等式
  • 3. 朴素理解EM算法
  • 4. 精确推导EM算法
  • 5. EM算法的深入理解
  • 6. 混合高斯分布
  • 7. 主题模型pLSA

模块二十 EM算法实践

  • 1. 多元高斯分布的EM实现
  • 2. 分类结果的数据可视化
  • 3. EM与聚类的比较
  • 4. Dirichlet过程EM
  • 5. 三维及等高线等图件的绘制
  • 6. 主题模型pLSA与EM算法

模块二十一 主题模型LDA

  • 1. 贝叶斯学派的模型认识
  • 2. Beta分布与二项分布
  • 3. 共轭先验分布
  • 4. Dirichlet分布
  • 5. Laplace平滑
  • 6. Gibbs采样详解

模块二十二 LDA实践

  • 1. 网络爬虫的原理和代码实现
  • 2. 停止词和高频词
  • 3. 动手自己实现LDA
  • 4. LDA开源包的使用和过程分析
  • 5. Metropolis-Hastings算法
  • 6. MCMC
  • 7. LDA与word2vec的比较
  • 8. TextRank算法与实践

模块二十三 隐马尔科夫模型HMM

  • 1. 概率计算问题
  • 2. 前向/后向算法
  • 3. HMM的参数学习
  • 4. Baum-Welch算法详解
  • 5. Viterbi算法详解
  • 6. 隐马尔科夫模型的应用优劣比较

模块二十四 HMM实践

  • 1. 动手自己实现HMM用于中文分词
  • 2. 多个语言分词开源包的使用和过程分析
  • 3. 文件数据格式UFT-8、Unicode
  • 4. 停止词和标点符号对分词的影响
  • 5. 前向后向算法计算概率溢出的解决方案
  • 6. 发现新词和分词效果分析
  • 7. 高斯混合模型HMM
  • 8. GMM-HMM用于股票数据特征提取

模块二十五 课堂提问与互动讨论

  • 模块二十五 课堂提问与互动讨论

适合人群

各地高校大数据产业相关讲师,信息中心相关人员、系主任、院长或对大数据感兴趣的相关人员

师资信息

张老师:阿里大数据高级专家,国内资深的Spark、Hadoop技术专家、虚拟化专家,对HDFS、MapReduce、HBase、Hive、Mahout、Storm、spark和openTSDB等Hadoop生态系统中的技术进行了多年的深入的研究,更主要的是这些技术在大量的实际项目中得到广泛的应用,因此在Hadoop开发和运维方面积累了丰富的项目实施经验。近年主要典型的项目有:某电信集团网络优化、中国移动某省移动公司请账单系统和某省移动详单实时查询系统、中国银联大数据数据票据详单平台、某大型银行大数据记录系统、某大型通信运营商全国用户上网记录、某省交通部门违章系统、某区域医疗大数据应用项目、互联网公共数据大云(DAAS)和构建游戏云(Web Game Daas)平台项目等。

课程咨询与报名

了解本期课程安排、师资及报名事项,请联系新中华学习网:400-061-6586,也可使用本页下方的报名咨询表。具体开课安排以正式通知为准。

温馨提示:本文内容根据课程内容整理,各模块实际讲授内容由授课老师根据学员情况灵活调整,最终以课堂授课为准。

常年开班,获取最新开班时间或内训报价,咨询:400-061-6586,咨询微信:pxbbaoming

全国公开课报名咨询热线
400-061-6586

热门高校分类

课程咨询

留下你的学习安排

填写意向课程,了解当期班次与报名事项。

信息用于课程咨询与报名联系。

×关闭