课程简介

案例背景:
大中型企业在最近30年的信息化过程中，构建了大量基于如Oracle，SQLServer等关系型数据库业务系统。这些数据库在处理更大量或者更高并发的时候已经凸显了老一代技术的瓶颈，另外，关系模型的固定结构在更大程度上也是企业创新的一大阻力。一种比较主流的解决方案就是实时数仓，在不改变已有系统的前提下，将数据从已有的关系型数据库实时同步到分布式数据仓库，在一个新的数据平台上为新的业务做数据支撑。

解决思路：

- 使用MongoDB，一个高性能分布式数据库，而不是性能迟缓，架构臃肿的Hadoop大数据
- 使用实时的流处理引擎来进行从Oracle/MySQL到MongoDB的数据实时同步及处理
- 使用Tapdata的流程可视化工具来降低流处理的使用成本

这个过程中我们遇到的挑战：
Oracle 数据库日志实时采集的一系列坑
MongoDB的逻辑视图无法有效使用索引

使用这个技术组合，我们在一个客户的实时数据中台项目中取得了很大的成功，比较如下：

建设前：
业务数据散落在数十套单独的系统内，依赖大量的存储过程和定制脚本进行数据打通
对一个前端业务的支撑，后台团队需要4-8个星期来提供一个数据接口
销售看板需要通过大量的程序进行汇总来自9个不同系统的订单数据，在第2天才能形成

建设后：
统一的实时数据平台，接入了来自于10多套订单系统的数据及商品库存数据
简单接口1天，相对复杂的接口1个星期
秒级更新的全局实时销售看板

目标收益

- 了解一个真实的MongoDB的应用场景，及Change Stream 功能的高级用法
- 了解流处理引擎工作机制
- 学习一个技术型数据中台落地方案

培训对象

课程内容

案例方向

---

智能数据分析/企业级大数据架构演进/流式计算系统设计/数据库的未来

案例背景

---

大中型企业在最近30年的信息化过程中，构建了大量基于如Oracle，SQLServer等关系型数据库业务系统。这些数据库在处理更大量或者更高并发的时候已经凸显了老一代技术的瓶颈，另外，关系模型的固定结构在更大程度上也是企业创新的一大阻力。一种比较主流的解决方案就是实时数仓，在不改变已有系统的前提下，将数据从已有的关系型数据库实时同步到分布式数据仓库，在一个新的数据平台上为新的业务做数据支撑。

收益

---

- 了解一个真实的MongoDB的应用场景
- 了解流处理引擎工作机制
- 学习一个轻量级数据中台落地方案

解决思路

---

- 使用MongoDB，一个高性能分布式数据库，而不是性能迟缓，架构臃肿的Hadoop大数据
- 使用实时的流处理引擎Hazelcast Jet来完成从Oracle/MySQL到MongoDB的数据实时同步及处理
- 使用Tapdata的流程可视化工具来降低流处理的使用成本

在流处理引擎的选择上，我们选择了Hazelcast Jet而不是主流的Flink，这个考量更多是从数据的时效，以及方案的部署成本及维护易用性上。

这里面碰到比较大的坑：
Oracle 日志采集的坑比较多，基本上是一路踩过来
MongoDB 逻辑视图无法有效使用索引导致性能很低，最后使用固化视图来解决

结果

---

使用这个技术组合，我们在一个客户的实时数据中台项目中取得了很大的成功。在有这个平台之前，对一个前段业务的支撑，后台团队需要4-8个星期来提供数据接口。在我们的实时数据平台启用后，这个时间可以缩短到2个星期。我希望能够把这个工具产品化一下，让更多的用户可以来用我们的解决方案。