课程定位

面向大数据开发、分析挖掘及相关项目技术人员，按原理、数据分析、实现与调参连接数学基础和机器学习应用。教学框架包含Python2.7等版本内容，实际软件环境及资料提供以当期通知核实；股票等数据仅作算法练习案例。

学习收获

• 按原理、数据、实现与调参的顺序学习算法模块。
• 加强数据清洗与特征提取的理解和实践。
• 通过爬虫与实际案例，练习将业务数据问题转成模型任务。
• 运用矩阵、概率与统计知识理解机器学习基础。
• 结合源码、数据及直观解释研究算法原理。
• 比较特征选择对预测表现的影响。
• 联系项目实践辨别算法差异和适用选择。

课程特色

• 结合数学推导、直观解释、源码数据和案例练习，比较算法与特征选择；具体配套资料以当期安排为准。

课程模块

一、数学分析与学习优化

• 比较学习方法，联系SVD、常数e、导数梯度、随机梯度下降、Taylor展开、Gini、凸函数、Jensen不等式及组合数与信息熵。

二、概率与贝叶斯先验

• 梳理古典概率、贝叶斯、先验后验共轭及常见分布，研究泊松指数含义、协方差、独立相关、大数定律和中心极限定理。
• 比较MLE与MAP、过拟合原理及处理思路。

三、矩阵与线性代数

• 联系马尔科夫和状态转移理解矩阵乘法、向量组和特征向量，研讨QR分解、对称正交正定、白化及向量矩阵求导。

四、Python及数学计算库

• 围绕Python2.7、Anaconda/Pycharm和列表、元组、字典、类、文件开展基础练习。
• 联系Taylor实现、NumPy/SciPy/Matplotlib/Pandas、高斯泊松幂律、图像、蝴蝶效应和分形可视化。

五、机器学习库与数值工具

• 使用scikit-learn认识损失与曲线、多项式拟合、FFT、SVD，联系Soble、Prewitt、Laplacian算子、卷积、移动平均与股票数据分析。

六、清洗与特征选择

• 讨论算法和特征的关系、特征提取、一致性、缺失异常、模糊查询与校正；以鸢尾花和新闻分类比较GaussianNB、MultinomialNB、BernoulliNB。

七、回归框架与正则化

• 比较线性、Logistic/Softmax和广义线性回归，研究L1/L2、Ridge、LASSO、ElasticNet、BGD/SGD及过拟合。

八、Logistic与Softmax

• 理解Sigmoid、Softmax来源、最大熵、KL散度和损失函数，研讨实现与调参。

九、回归代码与验证

• 练习线性和分类回归、正则方法，结合广告销量、鸢尾花、交叉验证和可视化检视模型。

十、决策树与随机森林

• 从熵、联合条件熵、互信息和最大似然到ID3/C4.5/CART，研究正则、前后剪枝、Bagging及随机森林。
• 讨论不平衡样本、特征选择、样本相似度和异常检测。

十一、树模型实践

• 进行决策树回归、多标记回归、树与森林可视化，比较葡萄酒分类及波士顿房价预测练习。

十二、提升算法

• 研究提升机制、GBDT、XGBoost、AdaBoost以及加法模型和指数损失。

十三、提升实践

• 比较AdaBoost与森林的蘑菇分类，联系XGBoost库、Taylor、Kaggle及Titanic案例。

十四、支持向量机

• 讨论线性可分、软间隔、损失、核函数选择、SMO和支持向量回归。

十五、SVM实践

• 结合libSVM、数据特征、葡萄酒及手写体分类、时间序列SVR，对比SVM、Logistic和森林。

十六、相似度与聚类起步

• 比较Jaccard与准确召回、Pearson与余弦，研究K-means/K-medoids变种、AP（Sci07）及LPA应用。

十七、密度与谱聚类

• 研讨DBSCAN、DensityPeak（Sci14）、谱聚类、LPA及AMI/ARI/Silhouette评价。

十八、聚类代码练习

• 实现K-means++、向量量化图像近似、并查集及密度聚类，使用谱聚类进行图像分割。

十九、EM原理

• 从最大似然和Jensen不等式理解并推导EM，联系混合高斯和pLSA主题模型。

二十、EM实践

• 实现多元高斯EM并可视化，对比聚类，研讨Dirichlet过程、三维等高线及pLSA。

二十一、LDA主题模型

• 联系贝叶斯、Beta/二项、共轭先验、Dirichlet、Laplace平滑与Gibbs采样。

二十二、文本与LDA练习

• 从爬虫、停用词和高频词到自编LDA及开源包，讨论Metropolis-Hastings、MCMC、word2vec比较及TextRank。

二十三、HMM原理

• 研究概率计算、前后向、参数学习、Baum-Welch及Viterbi，比较隐马尔科夫应用边界。

二十四、HMM应用

• 编写中文分词并比较开源包，讨论Unicode等文件编码、停用词标点、概率溢出与新词，观察分词表现及GMM-HMM特征提取。

二十五、课堂讨论

• 围绕算法差异、数据、参数和应用选择展开提问与互动。

适合人群

大数据分析开发、算法应用、集群运维及项目售前售后技术人员，相关项目规划咨询和IT管理人员。

师资信息

张老师，有Spark、Hadoop生态与虚拟化相关研究和项目实施经历，涉及HDFS、MapReduce、HBase、Hive、Mahout、Storm、Spark及openTSDB等技术，参与过通信网络与账单、金融数据、交通、医疗及云平台等项目。完整姓名、现行职务及当期授课安排以正式通知为准。

课程咨询与报名

了解本期课程安排、师资及报名事项，请联系新中华学习网：400-061-6586，也可使用本页下方的报名咨询表。具体开课安排以正式通知为准。

温馨提示：本文内容根据课程内容整理，各模块实际讲授内容由授课老师根据学员情况灵活调整，最终以课堂授课为准。