课程简介
案例背景:
在业务规模不断壮大,数据不断膨胀的背景下,数据的使用及管理成本成为越来越多企业发展过程当中的痛点问题。如何降本增效,达到压缩成本和迅速转换数据价值的双赢结果是当前的热议话题。Flink 作为支持批流一体的计算引擎,被越来越多企业选择为流批一体解决方案中的重要一环。
解决思路:
1. 使用 Flink 作为流批一体统一引擎,实现数据同源、计算同源和结果一致;
2. 基于 Iceberg 和字节自研存储引擎 CloudFS 的存储解决方案,解决流批一体中统一数据存储的问题。
成果:
1. 字节跳动流批一体解决方案在推荐系统特征平台的实践,助力今日头条、抖音等产品更精准地服务用户;
2. 依托于字节跳动在业内最大规模实时计算集群实践,开箱即用企业级云原生流批一体大数据平台,提供 Serverless 极致弹性。
目标收益
1. 了解 Flink 流批一体在字节跳动的探索与实践;
2. 了解字节跳动基于 Iceberg 的数据存储的探索;
3. 字节跳动云原生计算流批一体解决方案。
培训对象
课程内容
案例方向
AI基础设施/互联网AI前沿/湖仓一体/数据智能平台演进
案例背景
在业务规模不断壮大,数据不断膨胀的背景下,数据的使用及管理成本成为越来越多企业发展过程当中的痛点问题。如何降本增效,达到压缩成本和迅速转换数据价值的双赢结果是当前的热议话题。Flink 作为支持批流一体的计算引擎,被越来越多企业选择为流批一体解决方案中的重要一环。
收益
1. 了解 Flink 流批一体在字节跳动的探索与实践;
2. 了解字节跳动基于 Iceberg 的数据存储的探索;
3. 字节跳动云原生计算流批一体解决方案。
解决思路
1. 使用 Flink 作为流批一体统一引擎,实现数据同源、计算同源和结果一致;
2. 基于 Iceberg 和字节自研存储引擎 CloudFS 的存储解决方案,解决流批一体中统一数据存储的问题。
结果
1. 字节跳动流批一体解决方案在推荐系统特征平台的实践,助力今日头条、抖音等产品更精准地服务用户;
2. 依托于字节跳动在业内最大规模实时计算集群实践,开箱即用企业级云原生流批一体大数据平台,提供 Serverless 极致弹性。