课程简介
此议题首先会介绍近5年大海量数据计算技术的演进规律,并详细对比主流计算框架如Spark,Flink,Beam的异同,从中梳理出海量数据计算的通用编程模型。其次,针对Flink的核心技术点包括有状态的数据处理、常用API、窗口、异步IO等做深入的介绍。之后将介绍如何从0到1开发出一个基于Flink的配置化、高度可扩展、计算平台,以及如何应用领域驱动设计(DDD)来更好的实现各业务的大数据计算需求。
一、海量数据处理技术的演进规律及核心技术点
二、Flink核心技术深入浅出(有状态的数据处理、常用API、窗口、checkpoint,异步IO等)
三、Spark,Flink,Beam深入比较和应用场景分析
四、从0到1开发出一个基于Flink的配置化、高度可扩展、计算平台
五、领域驱动设计核心知识;如何用Flink结合领域驱动设计拆解业务需求。
目标收益
1. Flink核心技术的深入理解。
2. 流式和离线海量数据计算平台的设计的抽象与分层能力
3. 用Flink实现一个通用数据计算产品的方法。
4. 领域驱动设计(DDD)的核心知识和它在大数据领域的应用。
培训对象
课程内容
此议题首先会介绍近5年大海量数据计算技术的演进规律,并详细对比主流计算框架如Spark,Flink,Beam的异同,从中梳理出海量数据计算的通用编程模型。其次,针对Flink的核心技术点包括有状态的数据处理、常用API、窗口、异步IO等做深入的介绍。之后将介绍如何从0到1开发出一个基于Flink的配置化、高度可扩展、计算平台,以及如何应用领域驱动设计(DDD)来更好的实现各业务的大数据计算需求。
一、海量数据处理技术的演进规律及核心技术点
二、Flink核心技术深入浅出(有状态的数据处理、常用API、窗口、checkpoint,异步IO等)
三、Spark,Flink,Beam深入比较和应用场景分析
四、从0到1开发出一个基于Flink的配置化、高度可扩展、计算平台
五、领域驱动设计核心知识;如何用Flink结合领域驱动设计拆解业务需求。