课程简介
大数据落地已经趋于常态，对于大数据，我们面临的真正问题转变为： 1.怎样在日新月异的大数据处理技术中“淘金” 2.怎样跟随并利用好新的大数据实践（比如中台、数据湖）
本门课程介绍业界最前沿技术和真实的案例，带你剖析技术框架产生的原因和它们解决的问题，全面掌握大数据处理实战技能。并在课程的最后，深入解决如何用数据驱动业务的问题，通过电商、金融、短视频等相关案例，详解经过处理的大数据是如何推动业务不断发展演进，完成商业目标的。
目标收益
1. 深入大数据最新技术
2. 攻克数据中台的难点
3. 用数据驱动业务价值
培训对象
1.希望掌握Flink为核心技术的流式计算的知识点、希望掌握海量数据处理的大数据工程师和架构师；
2.希望了解数据中台建设全貌和具体实现细节，希望开启数据中台建设的中台负责人；
3.希望利用数据湖等新理念，打破数据孤岛、构建现代数据仓库的数据治理负责人；
4.在利用以上技术构建好数据基础设施后，希望建立用户画像、开启精准营销等工作，切实发挥数据价值的数据科学家和产品负责人；
课程大纲
| 模块一：流式计算(Flink)实战（10月11日 13：30-17：30） |
1. 流式处理架构 1.1 流式处理背景及架构介绍 1.2 流式处理行业案例以及Flink的适用场景及应用概述 1.3 Flink 与 Spark的比较以及为什么选择Flink 1.4 Flink流式计算的编程模型[1]：DataStream API 1.5 Flink流式计算的编程模型[2]：FlinkSQL与UDF 2. Flink流式处理核心技术 2.1 三种Time与Watermark 2.2 Window窗口有状态聚合计算详解 2.3 开发自己的Flink Connector(Source & Sink) 2.4 看懂Flink WebUI和Flink Metrics体系 2.5 常见Flink Connector(Kafka，Elasticsearch，HDFS)的使用与调优 2.6 Flink的Exactly-Once处理、状态维护与容错机制。 2.7 Flink 流式处理时的反压机制 3. 流式计算常见问题的技术方案： 3.1 如何处理乱序和延迟的数据？ 3.2 海量数据规模下的性能调优？ 3.3 双流Join怎么用？ 3.4 实时数据与纬度表关联怎么样做最高效？ 3.5 如何在Flink中实现业务计算逻辑动态更新？ 3.6 窗口聚合数据希望尽早输出怎么办？ 4. Flink在各大互联网公司的典型应用剖析 4.1 Flink在阿里、腾讯、微博的应用 4.2 Flink在短视频直播用户行为分析的实战 |
| 模块二：大数据中台构建实战（10月17日 13：30-17：30） |
1.大数据中台的前世今生 a)数据系统到大数据系统的发展 b)大数据系统的成本压力与收益 c)中台战略是商业再造的战略 d)分久必合的中台发展史：专业分工、内部竞争、内部计划经济和内部中台化 e)阿里数据中台的由来 2.大数据中台的理念及其适用场景 a)大数据中台的定义 b)大数据中台的能力构成 c)大数据中台的核心思想 d)大数据中台的价值：降低成本、提升效率、增进协作、服务客户 e)大数据中台的设计思想 3.大数据中台的方法论和案例 a)大数据中台的架构 b)阿里大数据中台四横三纵的架构实践分析 c)蚂蚁金服大数据中台架构：风控、数据、业务 4.大数据中台的架构实战 a)日新月益的业务及运营变化：商业赋能、数据展示、智能决策 b)数据资产管理：资产地图、资产分析、资产管理、资产应用、资产运营 c)统一数据服务：知识萃取中心、公共数据中心、垂直数据中心 d)智能数据研发：数据仓库规划、模型构建、指标规范、数据同步、数据开发、任务调度、监控告警 e)计算平台：离线计算、实时计算、计算资源调度 f)分布式存储平台 5.大数据中台运营 a)以商业计划BP为中心的IT和DT的高效组织 b)人力资源的高效组织 c)战略投资与财务风险控制 d)大数据中台的运维及IT工程维护 e)数据资产化与数据商业化 f)未来的演进 |
| 模块三：数据湖构建实战（10月24日 13：30-17：30） |
1.数据湖是什么湖？ a)什么是数据湖 b)原始数据保存的问题 c)与数据仓库的区别 d)数据湖的关键技术 e)数据沼泽与数据治理 f)数据河与数据源 2.数据湖的架构及战略分析 a)数据湖的常见架构 b)与数据仓库的关系和并存 c)数据湖与Hadoop的关系 d)数据湖与原始数据的关系 e)数据湖与大数据 f)数据湖的安全保障 g)数据湖与元数据 3.数据湖技术分析与实战 a)Apache Hadoop数据湖的基础 b)Apache Kafka数据河流的基础 c)Apache Hudi数据湖存储 d)Apache Ranger数据湖安全 e)Apache Atlas数据湖治理与元数据 4.数据湖的案例分析 a)开源Hadoop数据湖案例分析 b)Amazon数据湖案例分析 c)阿里云EMR数据湖案例分析 d)阿里飞天数据湖案例分析 e)微软Data lake as service案例分析 5.未来的发展 a)下一代数据仓库 b)AI驱动 c)决策自动化 |
| 模块四：用数据做商业分析（10月31日 13：30-17：30） |
（一）如何应对数字化转型 第一节：阿里数据应用转型 数据仓库的建立 去IOE化和阿里云的成立 数据平台到阿里金融 从成本中心到利润中心 第二节：数据中台概念及重要性 数据结构认知：常用结构及算法 商务数据分析流程 红牛的数据搜集案例 文本挖掘分析 直播营销中的数据分析 第三节：如何构建数据中台 数据和算法的关系 数据可视化 推进步骤和切入点 数据的存通用 典型案例分享——便利店O2O数据管理运营 （二）精准营销 第一节：精准营销概述 STP策略 用户需求分析 目标用户选择 营销策略分析：定价、促销 第二节：精准定向的广告系统 情境广告系统介绍 精准广告投放 广告相关性 语义匹配 排序、定价和CTR预估 Facebook算法改变调整影响广告效果案例 第三节：精准数据推送-今日头条玩转精准营销 我是不是被窃听了？ 数据挖掘：抓取、分类与解读 用户画像 个性推荐 案例：精准营销助力品牌推广 第四节：精准营销在金融中的运用-消费金融 客户细分:客户地图 价格策略：成本覆盖损失 营销策略：人海战术+线上+线下 大数据运用：营销辅助 （三）用户画像基础 第一节：客户画像概述 什么是PERSONA？客户画像的重要性 数据的来源，客户画像的基础 客户画像的应用领域（推荐、定制、搜索） 定量画像与定性画像 第二节：以腾讯的用研为例-定性与定量结合 屌丝和长尾：找出你真正的用户 人口统计分析-年龄、性别、地域等显性分析 ZMET分析，深层次画像：建立表象特征到挖掘价值属性 访谈的话术与技巧，内在价值标签的提取 某产品访谈案例分享 第三节：画像的应用-某Q阅读为例 用户的人口统计数据 用户行为数据 用户的消费行为数据 寻找读者的痛点和爽点 第四节：用户画像在金融中的运用-高净值客户分析 AUM：最常用的标签 活跃度：你眼中的客户和真实的客户 新思路：综合贡献度 （四）交叉销售 第一节：交叉销售的场景与运用 交叉销售，从关联推荐和微信广告说起 从4P到4C，渠道的利用 别让我思考，满足用户的便利性需求 ARPU,GMV如何倍增 第二节：某宝-疯狂的赛车之买了又买 项目背景：扩容细分类目下产品展示 Pidmatch模块：宝贝和产品关联 CRM审核和产品关联订正信息模块 买了又买模块：产品关联推荐 产品展示的视觉交互改进 灰度测试及产品上线 第三节： 某Q的阅读-渠道运营的力量 从阅文免费新规说开去 Wap、APP和Web不同的渠道 外部渠道互换：预装、换量、和移动结算 集齐七龙珠，抱紧黄钻大腿 蚊子腿也是肉：某Q空间Banner图 总结：互联网运营也遵循商业规律 第四节：银行软开及运营 一张图：矩阵管理与金字塔管理 资源的重要性，会哭的孩子有奶喝 谁说大象不能跳舞，银行的觉醒 新动向：科技金融战略 （五）总结 要点总结及工具推荐 |
|
模块一：流式计算(Flink)实战（10月11日 13：30-17：30） 1. 流式处理架构 1.1 流式处理背景及架构介绍 1.2 流式处理行业案例以及Flink的适用场景及应用概述 1.3 Flink 与 Spark的比较以及为什么选择Flink 1.4 Flink流式计算的编程模型[1]：DataStream API 1.5 Flink流式计算的编程模型[2]：FlinkSQL与UDF 2. Flink流式处理核心技术 2.1 三种Time与Watermark 2.2 Window窗口有状态聚合计算详解 2.3 开发自己的Flink Connector(Source & Sink) 2.4 看懂Flink WebUI和Flink Metrics体系 2.5 常见Flink Connector(Kafka，Elasticsearch，HDFS)的使用与调优 2.6 Flink的Exactly-Once处理、状态维护与容错机制。 2.7 Flink 流式处理时的反压机制 3. 流式计算常见问题的技术方案： 3.1 如何处理乱序和延迟的数据？ 3.2 海量数据规模下的性能调优？ 3.3 双流Join怎么用？ 3.4 实时数据与纬度表关联怎么样做最高效？ 3.5 如何在Flink中实现业务计算逻辑动态更新？ 3.6 窗口聚合数据希望尽早输出怎么办？ 4. Flink在各大互联网公司的典型应用剖析 4.1 Flink在阿里、腾讯、微博的应用 4.2 Flink在短视频直播用户行为分析的实战 |
|
模块二：大数据中台构建实战（10月17日 13：30-17：30） 1.大数据中台的前世今生 a)数据系统到大数据系统的发展 b)大数据系统的成本压力与收益 c)中台战略是商业再造的战略 d)分久必合的中台发展史：专业分工、内部竞争、内部计划经济和内部中台化 e)阿里数据中台的由来 2.大数据中台的理念及其适用场景 a)大数据中台的定义 b)大数据中台的能力构成 c)大数据中台的核心思想 d)大数据中台的价值：降低成本、提升效率、增进协作、服务客户 e)大数据中台的设计思想 3.大数据中台的方法论和案例 a)大数据中台的架构 b)阿里大数据中台四横三纵的架构实践分析 c)蚂蚁金服大数据中台架构：风控、数据、业务 4.大数据中台的架构实战 a)日新月益的业务及运营变化：商业赋能、数据展示、智能决策 b)数据资产管理：资产地图、资产分析、资产管理、资产应用、资产运营 c)统一数据服务：知识萃取中心、公共数据中心、垂直数据中心 d)智能数据研发：数据仓库规划、模型构建、指标规范、数据同步、数据开发、任务调度、监控告警 e)计算平台：离线计算、实时计算、计算资源调度 f)分布式存储平台 5.大数据中台运营 a)以商业计划BP为中心的IT和DT的高效组织 b)人力资源的高效组织 c)战略投资与财务风险控制 d)大数据中台的运维及IT工程维护 e)数据资产化与数据商业化 f)未来的演进 |
|
模块三：数据湖构建实战（10月24日 13：30-17：30） 1.数据湖是什么湖？ a)什么是数据湖 b)原始数据保存的问题 c)与数据仓库的区别 d)数据湖的关键技术 e)数据沼泽与数据治理 f)数据河与数据源 2.数据湖的架构及战略分析 a)数据湖的常见架构 b)与数据仓库的关系和并存 c)数据湖与Hadoop的关系 d)数据湖与原始数据的关系 e)数据湖与大数据 f)数据湖的安全保障 g)数据湖与元数据 3.数据湖技术分析与实战 a)Apache Hadoop数据湖的基础 b)Apache Kafka数据河流的基础 c)Apache Hudi数据湖存储 d)Apache Ranger数据湖安全 e)Apache Atlas数据湖治理与元数据 4.数据湖的案例分析 a)开源Hadoop数据湖案例分析 b)Amazon数据湖案例分析 c)阿里云EMR数据湖案例分析 d)阿里飞天数据湖案例分析 e)微软Data lake as service案例分析 5.未来的发展 a)下一代数据仓库 b)AI驱动 c)决策自动化 |
|
模块四：用数据做商业分析（10月31日 13：30-17：30） （一）如何应对数字化转型 第一节：阿里数据应用转型 数据仓库的建立 去IOE化和阿里云的成立 数据平台到阿里金融 从成本中心到利润中心 第二节：数据中台概念及重要性 数据结构认知：常用结构及算法 商务数据分析流程 红牛的数据搜集案例 文本挖掘分析 直播营销中的数据分析 第三节：如何构建数据中台 数据和算法的关系 数据可视化 推进步骤和切入点 数据的存通用 典型案例分享——便利店O2O数据管理运营 （二）精准营销 第一节：精准营销概述 STP策略 用户需求分析 目标用户选择 营销策略分析：定价、促销 第二节：精准定向的广告系统 情境广告系统介绍 精准广告投放 广告相关性 语义匹配 排序、定价和CTR预估 Facebook算法改变调整影响广告效果案例 第三节：精准数据推送-今日头条玩转精准营销 我是不是被窃听了？ 数据挖掘：抓取、分类与解读 用户画像 个性推荐 案例：精准营销助力品牌推广 第四节：精准营销在金融中的运用-消费金融 客户细分:客户地图 价格策略：成本覆盖损失 营销策略：人海战术+线上+线下 大数据运用：营销辅助 （三）用户画像基础 第一节：客户画像概述 什么是PERSONA？客户画像的重要性 数据的来源，客户画像的基础 客户画像的应用领域（推荐、定制、搜索） 定量画像与定性画像 第二节：以腾讯的用研为例-定性与定量结合 屌丝和长尾：找出你真正的用户 人口统计分析-年龄、性别、地域等显性分析 ZMET分析，深层次画像：建立表象特征到挖掘价值属性 访谈的话术与技巧，内在价值标签的提取 某产品访谈案例分享 第三节：画像的应用-某Q阅读为例 用户的人口统计数据 用户行为数据 用户的消费行为数据 寻找读者的痛点和爽点 第四节：用户画像在金融中的运用-高净值客户分析 AUM：最常用的标签 活跃度：你眼中的客户和真实的客户 新思路：综合贡献度 （四）交叉销售 第一节：交叉销售的场景与运用 交叉销售，从关联推荐和微信广告说起 从4P到4C，渠道的利用 别让我思考，满足用户的便利性需求 ARPU,GMV如何倍增 第二节：某宝-疯狂的赛车之买了又买 项目背景：扩容细分类目下产品展示 Pidmatch模块：宝贝和产品关联 CRM审核和产品关联订正信息模块 买了又买模块：产品关联推荐 产品展示的视觉交互改进 灰度测试及产品上线 第三节： 某Q的阅读-渠道运营的力量 从阅文免费新规说开去 Wap、APP和Web不同的渠道 外部渠道互换：预装、换量、和移动结算 集齐七龙珠，抱紧黄钻大腿 蚊子腿也是肉：某Q空间Banner图 总结：互联网运营也遵循商业规律 第四节：银行软开及运营 一张图：矩阵管理与金字塔管理 资源的重要性，会哭的孩子有奶喝 谁说大象不能跳舞，银行的觉醒 新动向：科技金融战略 （五）总结 要点总结及工具推荐 |
近期公开课推荐
