课程简介
课程将详细介绍数据架构的发展、典型数据仓库架构、湖仓一体数据架构及其工具。重点讲解Hudi技术在湖仓一体架构中的应用，并通过Flink+Hudi构建湖仓一体数据平台的案例分享，加深理解。此外，还将通过实战案例，探讨湖仓一体数据底座的构建方法，包括数据域划分、指标体系构建等。本课程适合大数据架构师、数据工程师等角色，旨在提升学员在湖仓一体架构设计和落地方面的能力。
目标收益
培训对象
课程大纲
| 数据架构的发展 |
离线数仓解决方案 实时数仓数仓解决方案 新一代数仓---数据中台概念及架构 湖仓一体数据架构解决方案 实时OLAP数据平台架构方案 基于Flink构建实时数据平台的解决方案 基于Flink构建湖仓一体数据平台的解决方案 |
| 数据架构设计架构 |
数据仓库典型架构介绍 —ODS层 —DW层 —DM层 数据安全控制 ETL任务调度 |
| 湖仓一体数据架构 |
数据接入大数据平台 —离线数据接入 —实时的数据接入 数据处理过程 —数据的ETL —数据分层(ODS、DW和DM等) —数据建模 —数据校验 数据应用 —数据离线应用 —数据实时应用 —数据实验室 —数据展示工具(BI工具) |
| 湖仓一体工具介绍 |
数据湖工具介绍 常见的数据湖技术 开源架构Hudi技术介绍和应用场景 开源架构Iceberg技术介绍和应用场景 开源架构Delta Lake技术介绍和应用场景 hudi、Iceberg和Delta Lake的比较 Hudi 在业内的使用案例介绍 |
| Flink+hudi构建湖仓一体技术介绍 |
数据湖以及Hudi数据湖概述 Hudi数据湖插入数据 Hudi数据湖之更新数据 Hudi数据湖查询数据 Hudi增量数据查询 Hudi表格式介绍 Hudi表索引介绍 Hudi数据湖COW表引擎 Hudi数据湖MOR表引擎 Hudi Timeline详解 Hudi数据湖之flink实时数据分析服务构建 实战： Flink+Hudi构建湖仓一体数据平台的案例分享 |
| 案例实战：湖仓一体数据底座实战 |
数据域划分方法论介绍 主题域划分 指标体系构建 –业务需求梳理方法 –指标和维度梳理 –选择业务过程 –声明粒度 –确定维度 –确定事实 –指标和维度一致性矩阵 建模规范介绍 数据架构解决的问题 数据分层的好处 数据仓库分层模型介绍（OneData） 明细模型 -ODS -DWD 汇总模型 -DWS -ADS 数据分层核心原则—公共数据下沉介绍 指标数据规范定义 事实表和维度表识别 数据一致性解决方案 - 指标一致性 - 维度一致性 - 事实一致性 OneID梳理流程和生成规则案例介绍 建模生命周期 数据仓库OneModel设计规范 存储规范 时间维度规范 ODS、DWD、DWS、ADS层规范 数据类型转换规范 视图、临时表规范 |
|
数据架构的发展 离线数仓解决方案 实时数仓数仓解决方案 新一代数仓---数据中台概念及架构 湖仓一体数据架构解决方案 实时OLAP数据平台架构方案 基于Flink构建实时数据平台的解决方案 基于Flink构建湖仓一体数据平台的解决方案 |
|
数据架构设计架构 数据仓库典型架构介绍 —ODS层 —DW层 —DM层 数据安全控制 ETL任务调度 |
|
湖仓一体数据架构 数据接入大数据平台 —离线数据接入 —实时的数据接入 数据处理过程 —数据的ETL —数据分层(ODS、DW和DM等) —数据建模 —数据校验 数据应用 —数据离线应用 —数据实时应用 —数据实验室 —数据展示工具(BI工具) |
|
湖仓一体工具介绍 数据湖工具介绍 常见的数据湖技术 开源架构Hudi技术介绍和应用场景 开源架构Iceberg技术介绍和应用场景 开源架构Delta Lake技术介绍和应用场景 hudi、Iceberg和Delta Lake的比较 Hudi 在业内的使用案例介绍 |
|
Flink+hudi构建湖仓一体技术介绍 数据湖以及Hudi数据湖概述 Hudi数据湖插入数据 Hudi数据湖之更新数据 Hudi数据湖查询数据 Hudi增量数据查询 Hudi表格式介绍 Hudi表索引介绍 Hudi数据湖COW表引擎 Hudi数据湖MOR表引擎 Hudi Timeline详解 Hudi数据湖之flink实时数据分析服务构建 实战： Flink+Hudi构建湖仓一体数据平台的案例分享 |
|
案例实战：湖仓一体数据底座实战 数据域划分方法论介绍 主题域划分 指标体系构建 –业务需求梳理方法 –指标和维度梳理 –选择业务过程 –声明粒度 –确定维度 –确定事实 –指标和维度一致性矩阵 建模规范介绍 数据架构解决的问题 数据分层的好处 数据仓库分层模型介绍（OneData） 明细模型 -ODS -DWD 汇总模型 -DWS -ADS 数据分层核心原则—公共数据下沉介绍 指标数据规范定义 事实表和维度表识别 数据一致性解决方案 - 指标一致性 - 维度一致性 - 事实一致性 OneID梳理流程和生成规则案例介绍 建模生命周期 数据仓库OneModel设计规范 存储规范 时间维度规范 ODS、DWD、DWS、ADS层规范 数据类型转换规范 视图、临时表规范 |
近期公开课推荐
