课程定位

围绕大数据平台架构、开发和高性能处理，通过项目小组、案例和操作练习研究完整技术链。课程涵盖Hadoop 1.0/2.0等历史技术版本，重点比较架构原理与适用场景，具体环境以当期教学安排为准。

学习收获

• 理解大数据背景与演化。
• 认识需求、技术趋势及数据价值。
• 以案例支持技术选型和架构讨论。
• 学习Hadoop与Spark体系。
• 研究数据采集。
• 学习分布式存储。
• 比较NoSQL与NewSQL。
• 了解仓库与统计机器学习相关技术。
• 研究数据分析与BI。
• 学习离线处理。
• 练习Storm流处理。
• 研究内存实时计算。
• 理解数据管理原理与应用。
• 比较平台架构及使用场景。
• 运用平台技术规划项目方案。
• 练习应用开发、集群运维及性能调优。

课程特色

• 通过项目小组沙盘实操与案例，连接集群架构、开发、运维和调优；课堂可结合实际问题开展交流，具体实施以当期安排为准。

课程模块

一、基础、方案与MapReduce

• 分析4V、云计算、需求价值和行业案例，比较软硬件全栈、Apache、CDH、HDP及传统数据库方案。
• 学习MapReduce模型、流程、JobTracker/TaskTracker、Combiner/Partitioner及优化实践。

二、存储与Hadoop集群

• 研究HDFS主从、核心组件、高可用、部署及shell操作，比较小文件与对象存储。
• 学习Hadoop1.0与2.0、YARN资源调度、性能优化和部署，运行MapReduce项目。

三、Spark内存计算

• 比较MapReduce瓶颈与Spark场景，研究RDD、架构、容错调度和Scala，练习环境、集群及Hadoop集成。

四、仓库查询与监控

• 研究Hive架构metastore、导入导出分区及SQL，比较SparkSQL与Impala实时查询及MPP机制。
• 了解HUE、Ambari、Ganglia和Nagios等运维工具。

五、流处理与数据采集

• 学习Storm集群并发、分组、Acker可靠性及开发集成，比较Spark Streaming模型和机制。
• 通过Sqoop开展MySQL与Hadoop数据交互，研究Flume-NG模型与Kafka消息架构。

六、NoSQL与NewSQL

• 比较半结构和非结构场景，研究HBase、ZooKeeper、表键设计与集群，了解MongoDB及API。
• 分析Cassandra一致性哈希、分布及NWR，比较Redis多实例集群和NewSQL适用范围。

七、项目交流与考核

• 研讨需求、选型、应用实施和系统优化，结合第四天学习考核与行业经验交流总结技术方案。

适合人群

大数据项目管理人员、平台架构师、开发工程师及应用设计人员。

师资信息

师资包括钟老师与蒋老师。钟老师为计算机系统结构方向工学博士，有研究所工程、大数据云计算研发及IT项目管理经历；蒋老师为清华大学博士，有云计算、分布式存储及大数据平台项目经验。两位老师未披露完整姓名，名单不代表共同授课，具体当期授课人选与分工以正式通知为准。

课程咨询与报名

了解本期课程安排、师资及报名事项，请联系新中华学习网：400-061-6586，也可使用本页下方的报名咨询表。具体开课安排以正式通知为准。

温馨提示：本文内容根据课程内容整理，各模块实际讲授内容由授课老师根据学员情况灵活调整，最终以课堂授课为准。