MongoDB + 流处理引擎: 快速构建一个实时数据中台

案例背景:
大中型企业在最近30年的信息化过程中，构建了大量基于如Oracle，SQLServer等关系型数据库业务系统。这些数据库在处理更大量或者更高并发的时候已经凸显了老一代技术的瓶颈，另外，关系模型的固定结构在更大程度上也是企业创新的一大阻力。一种比较主流的解决方案就是实时数仓，在不改变已有系统的前提下，将数据从已有的关系型数据库实时同步到分布式数据仓库，在一个新的数据平台上为新的业务做数据支撑。

解决思路：

- 使用MongoDB，一个高性能分布式数据库，而不是性能迟缓，架构臃肿的Hadoop大数据
- 使用实时的流处理引擎来进行从Oracle/MySQL到MongoDB的数据实时同步及处理
- 使用Tapdata的流程可视化工具来降低流处理的使用成本

这个过程中我们遇到的挑战：
Oracle 数据库日志实时采集的一系列坑
MongoDB的逻辑视图无法有效使用索引

使用这个技术组合，我们在一个客户的实时数据中台项目中取得了很大的成功，比较如下：

建设前：
业务数据散落在数十套单独的系统内，依赖大量的存储过程和定制脚本进行数据打通
对一个前端业务的支撑，后台团队需要4-8个星期来提供一个数据接口
销售看板需要通过大量的程序进行汇总来自9个不同系统的订单数据，在第2天才能形成

建设后：
统一的实时数据平台，接入了来自于10多套订单系统的数据及商品库存数据
简单接口1天，相对复杂的接口1个星期
秒级更新的全局实时销售看板