课程简介
1.掌握基于大数据平台核心组件（HDFS、Yarn、Hive、Hbase、Spark和Flink等）的搭建、使用、运维
2.掌握大数据使用场景和性能优化
3.能够掌握700+节点集群的运维和优化
4.掌握大数据平台性能优化的思路，同时能够对Spark、Flink和Hive组件进行性能优化
5.能够对大数据平台组件出现的问题进行有条不紊的分析和解决
目标收益
培训对象
1.大数据开发工程师
2.大数据架构师
3.大数据运维工程师
4.对大数据开发感兴趣的一线开发人员
课程大纲
|
Day1 大数据集群搭建实战（1小时） |
Master节点角色部署实战 Slave节点角色部署实战 工具节点角色部署实战 Edge节点角色部署实战 不同角色节点配置建议（内存、磁盘和CPU） 不同服务磁盘使用规划实战（DN、NN、JN和ZK等） 小于100节点大数据集群角色部署实战 100-200节点大数据集群角色部署实战 大于300节点大数据集群角色部署实战 Hive服务HMS和HS2高可用和loadbalance部署实战 大数据平台权限认证和授权解决方案（LDAP+SSSD+Kerberos+Ranger） |
|
Day1 HDFS原理介绍（1小时） |
HDFS架构介绍 HDFS运行原理介绍 NameNode功能详解 DataNode功能详 HDFS HA功能详解 HSFD的fsimage和editslog详解 HDFS的block详解 HDFS的block的备份策略 |
|
Day1 HDFS运维和优化（3小时） |
机架感知对性能的提升 HDFS+Ranger权限控制运维 Small Files and Java Heap Tuning HDFS集群通过文件书和block数来估算NN的内存使用和性能瓶颈 元数据FSImage和Edit文件的工作原理和合并机制解析 NN RPC processing is too long 生产环境NN active 和 Standby切换失败，导致集群瘫痪 DN日志出现大量"Slow.*?(took|cost)"问题诊断 Namenode checkpoint status again Disk Slowness问题排查 Slow LDAP通过日志观察常见的现象 HDFS服务最佳实践 — number of DataNodes, — Amount of data, — number of blocks & files, — number of snapshots, — number of RPCs per second, Other limits |
|
Day1 Yarn运维和优化（2小时） |
Yarn架构和原理 ResourceManager工作原理 NodeManager工作原理 ApplicationMaster工作原理 Yarn的资源控制机制 Yarn资源封装Container介绍 Yarn资源都租户配置和实战 Yarn replacement rules权限配置和实操 Yarn 队列+Ranger控制详解和实操 Yarn Container资源最大最小设置 Yarn Queue核心参数解释和优化，提升资源使用效率 MapReduce配置参数设置和优化 Yarn任务调度策略CS和FA深度比较 Yarn核心参数解释和优化实战 |
|
Day1 大数据集群搭建实战（1小时） Master节点角色部署实战 Slave节点角色部署实战 工具节点角色部署实战 Edge节点角色部署实战 不同角色节点配置建议（内存、磁盘和CPU） 不同服务磁盘使用规划实战（DN、NN、JN和ZK等） 小于100节点大数据集群角色部署实战 100-200节点大数据集群角色部署实战 大于300节点大数据集群角色部署实战 Hive服务HMS和HS2高可用和loadbalance部署实战 大数据平台权限认证和授权解决方案（LDAP+SSSD+Kerberos+Ranger） |
|
Day1 HDFS原理介绍（1小时） HDFS架构介绍 HDFS运行原理介绍 NameNode功能详解 DataNode功能详 HDFS HA功能详解 HSFD的fsimage和editslog详解 HDFS的block详解 HDFS的block的备份策略 |
|
Day1 HDFS运维和优化（3小时） 机架感知对性能的提升 HDFS+Ranger权限控制运维 Small Files and Java Heap Tuning HDFS集群通过文件书和block数来估算NN的内存使用和性能瓶颈 元数据FSImage和Edit文件的工作原理和合并机制解析 NN RPC processing is too long 生产环境NN active 和 Standby切换失败，导致集群瘫痪 DN日志出现大量"Slow.*?(took|cost)"问题诊断 Namenode checkpoint status again Disk Slowness问题排查 Slow LDAP通过日志观察常见的现象 HDFS服务最佳实践 — number of DataNodes, — Amount of data, — number of blocks & files, — number of snapshots, — number of RPCs per second, Other limits |
|
Day1 Yarn运维和优化（2小时） Yarn架构和原理 ResourceManager工作原理 NodeManager工作原理 ApplicationMaster工作原理 Yarn的资源控制机制 Yarn资源封装Container介绍 Yarn资源都租户配置和实战 Yarn replacement rules权限配置和实操 Yarn 队列+Ranger控制详解和实操 Yarn Container资源最大最小设置 Yarn Queue核心参数解释和优化，提升资源使用效率 MapReduce配置参数设置和优化 Yarn任务调度策略CS和FA深度比较 Yarn核心参数解释和优化实战 |
近期公开课推荐
