2019.08.07 丨 msup
一文读懂什么是中台?什么是数据中台?
2019.08.07 丨 msup
2018年底到2019年年初,随着阿里、腾讯、百度等巨头的大规模组织架构调整,中台的热度陡增。一时间,各大互联网公司纷纷开始跟随建设中台。
今年5月2日,有消息传出称阿里正在拆分“大中台”模式。随后,阿里回应称此消息为假消息——这一回应也进一步催生了”中台“架构思想的火热讨论。那么什么是中台,我们来快速梳理一下中台的相关知识。
什么是中台?
按照数据咨询公司Thoughtworks首席咨询师王健给出的10个字定义,中台就是:
“企业级的能力复用平台”
“企业级”划定了中台的范围,区分开了单系统的服务化与微服务。 “能力”指定了中台的主要承载对象,能力的抽象解释了各种各样中台的存在。 “复用”定义了中台的核心价值,过去的平台化对于易复用性并没有给予足够关注。中台的兴起,使得人们的目光更多的从平台内部,转换到平台对于前台业务的支撑上。 “平台”说明了中台的主要形式,区别于应用系统拼凑的方式,通过对于更细粒度能力的识别与平台化沉淀,实现企业能力的柔性复用,对于前台业务更好的支撑。
中台从何而来?
中台是最早由阿里在2015年提出的“大中台,小前台”战略中延伸出来的概念。它的灵感来源于芬兰的小公司Supercell,这家公司仅有300名员工,却接连推出爆款游戏,是全球最会赚钱的明星游戏公司。
2015年年中,马云带领阿里众高管拜访了Supercell。2016年6月,腾讯宣布以86亿美元收购Supercell公司84.3%的股权。
Supercell的神奇之处在哪里?恰恰是这家小公司,开创了中台的“玩法”,并将其运用到了极致。这家看似很小的公司,设置了一个强大的中台,用以支持众多的小团队进行游戏研发。这样一来,各个团队就可以专心创新,不用担心基础却又至关重要的技术支撑问题。
Supercell的CEO潘纳宁更是将一个游戏公司按照一个专业运动队的方式来管理。他认为管理层的唯一使命是获得最好的人才,为他们创造最好的环境,给他们自由和信任,帮助他们摆脱困境,让公司成为一个最好的人才可以产生最大影响的地方。
其他的一切,包括财务目标,都是次要的。因此Supercell构建了完全颠倒的管理结构。传统的管理结构是一个金字塔形的,CEO往往处在金字塔的顶端。而Supercell最大的创新之处,在于其管理结构完全是上下颠倒的。潘纳宁最引以为豪的标签是:“行业里最没有权力的CEO”。
Supercell的整体架构采用“开发者领导”的模式。300人的团队被分成若干个小团队,5-7个游戏开发者组成一个小团队,开发自己的游戏,以最快的速度推出公测版,检测游戏受用户欢迎的情况。
这些小团队又被称为“细胞cell”,Supercell则是这些细胞的集合,这也是Supercell公司名的由来。由此可见,中台不是单纯的系统或平台,更是组织架构的重组和变革。
然而,企业的经营过程由多方面因素的共同作用。那么中台建设能解决多少问题?
中台解决了什么痛点?
痛点一:企业前方市场与企业内部支撑的冲突
用户和用户的需求永远是善变的。依稀记得“80后是垮掉的一代”的说法的你,现在看到的却是“被10后毁掉的90后父母”的感叹。
主流用户的变化,不会因为某个年代人的话语权高低而稳定下来。而即便是同年代的用户,在随着现代社会发展和各行各业互联网服务的滋养中又进化细分成了出不同的支流,需求全然不同,呈现场景化、碎片化的特征。
为了不被善变的用户所抛弃,企业不得不跟随着用户;为了满足用户而尽可能积极地响应用户需求的变化,发展新业务、提供新服务。这就给企业的前方业务端提出了挑战:必须做到快速响应、灵活运转。
但要作为一个能承接大量新业务和新服务的大体量企业,业务想要做到量大又灵活,必定需要靠企业内部科学有序体系的稳定支撑。
所以,企业前方市场总是会趋于变化无序,而企业内部支撑总归要趋于稳定有序,两者必定冲突。
痛点二:前台与后台的冲突
企业前方市场和企业内部支撑的冲突,必定带来在系统层级上的前台和后台的冲突。
前台:企业前方市场的管理平台,是企业的终端用户直接使用或交互的系统。比如像微信、QQ、淘宝这样的APP; 后台:企业内部支撑的管理平台,是企业管理核心能力的系统。比如像企业ERP管理平台、企业财务管理平台等系统。
前台是对接用户的,所以系统需要快速响应前端用户的需求,快速创新、快速迭代。简而言之:快速建设、错了就推翻重来、不能耗费太大成本。
后台是企业对内的,为了支撑前台越来越多的业务,后台不断地建设,系统不断庞大地起来。所以后台系统需要扎实稳定,建成之后往往不能随意改动。简而言之,是需要耗费大力成本建设的基础能力、不能轻易推翻、改动成本极大。前台系统和后台系统的特点决定了,两者的冲突不可避免。
痛点三:大企业的通病(各占山头、重复建设)
企业发展到一定程度,组织架构和层级必然不断膨胀扩张。各大事业部下各大部门,就像一个小型组织一样,各占山头,势必会出现屁股决定脑袋的现象:这事就算对公司有好处,但对我们部门KPI没好处啊,那我不做。
大企业内部各处都是墙——部门墙、业务墙、数据墙。更不用说那些一味的内部赛马的绩效考核机制,势必更加加剧部门间的相互封闭。
而一些原本可以快速提供的用户服务,却需要多重对接,无法快速拿出产品方案,耗费很大的成本和极长的时间。一个原本可以共用的服务,被不同部门重复建设。
中台的类型有哪些?
按照目前普遍的说法,中台分为6类:
数据中台:提供数据分析能力,帮助企业从数据中学习改进,调整方向。 业务中台:提供重用服务,例如用户中心、订单中心之类的开箱即用可重用能力。 算法中台:提供算法能力,帮助提供更加个性化的服务,增强用户体验。 技术中台:提供自建系统部分的技术支撑能力,帮助解决基础设施、分布式数据库等底层技术问题。 研发中台:提供自建系统部分的管理和技术实践支撑能力,帮助快速搭建项目、管理进度、测试、持续集成、持续交付。 组织中台:为项目提供投资管理、风险管理、资源调度等支持。
数据中台用白话理解更容易?
中台就是公共服务平台,数据中台就是将数据加工以后封装成一个公共的数据产品或服务。
家里厨房有油/盐/酱油/醋/料酒/生抽…很多种调料(数据),你(业务部门)特别喜欢吃糖醋排骨/糖醋鱼/糖醋里脊/糖醋猪蹄…(各种业务应用),你老妈(IT部门)觉得每天都按照比例调制糖醋汁很麻烦很浪费时间还每次都有偏差(每次数据有误差)。
于是你老妈决定按照“1料酒;2酱油;3白糖;4醋;5水”的比例(数据算法)调制好一大桶糖醋汁(数据产品),以后每天倒一点糖醋汁就可以很快做出一盘糖醋XX(业务应用)。
这个调制糖醋汁的过程就相当于构建了 一个数据中台,糖醋汁就是数据产品。数据产品往往不是直接提供给用户使用的,而是提供给业务应用使用的(类似于糖醋汁不是用来直接喝的,而是用来做糖醋XX的)。另外,为了调制更快更准确,可能还需要买一些密封大桶/漏斗/量杯(ETL/BI 等数据工具)。
当然,如果你家十天半个月才做一次糖醋XX(低频),那就没有必要调制一大桶糖醋汁放那儿(不需要构建这个数据产品)。类似这个逻辑,如果你家每天都做八宝粥,则可以把八种粮食(数据)混合好放一个大桶里做成八宝粥混料(数据产品)。
如果你老妈的糖醋XX做的特别好开了个餐馆,每天做给几百个人吃(需求量变大),就需要调制更多糖醋汁买个冰箱存起来(数据仓库),这也解决了随用随跳(实时取数)的效率瓶颈。所以,在做数据中台之前,先自问一下:
有没有糖醋汁、八宝粥混料的需求?(有没有数据产品的需求?) 有多少人吃?(使用这个数据产品的需求量大不大?) 多久吃一次?(需要这个数据产品的频率高不高?)
如果以上都合理,就可以开始规划数据中台了。数据中台的核心理念在于“数据取之于业务,用之于业务”,即它相比于数据平台注重的是对业务的积累和沉淀,构建了从数据生产到消费,消费后产生的数据再回流到生产流程的闭环过程。
业务积累和沉淀的过程体现在数据中台对外提供的数据服务,数据中台作为整个企业组织所有业务的数据消费需求的提供方,通过业务对数据服务的不断滋养,会形成一系列稳健的数据服务,这样当出现新的市场机会需要构建新的前台应用时,数据中台可以无差别的进行数据服务供给,从而保证了企业组织的创新火种。
总结
看到这里,你估计对中台有个大概了解。中台不是凭空产生的,而是建立在业务之上,公司发展过程中一些项目有点不同,然后重新搭建架构,有点资源浪费,搭建中台系统完美解决重复造轮子问题。
今年,很可能成为“数据中台”的元年;同时,关于数据中台的整体定义,也会随着头部企业落地数据中台而逐渐清晰。预计2019年底,我国将会诞生10-15家呈现明显落地效果的数据中台建设最佳实践案例企业。
据知名调研机构Canalys2019年2月的相关数据报告,2018年全球云计算市场规模突破800亿美元,达到804亿美元;未来10-15年,“数据中台”也许会超越今天的云计算市场,形成一个万亿级市场,同时中国也将诞生1—2家SAP级别企业。
在数据中台如此火热的今天,无论是业务线繁多的大公司,还是万丈高楼平地起的创业公司,亦或是发展处于转型时期的中小型企业,大家都趋之若鹜,摩拳擦掌并跃跃欲试,那么不妨来MPD十周年深圳站技术管理者工作坊,听听技术大咖对于中台的理解及建设实践。
9月21-22日,第44届MPD技术管理者工作坊将于深圳华侨城洲际酒店举办。宜信数据中台团队负责人卢山巍将作为数据科学/人工智能场讲师为我们分享《敏捷数据中台建设实践》的话题。
话题概述
宜信在17年推出了一系列大数据开源工具,在技术社区内得到了广泛关注和好评,包括大家熟悉的DBus、Wormhole、Moonbox、Davinci,并基于四大开源平台之上形成一套“敏捷大数据架构”方法论。19年,宜信基于四大开源平台和敏捷方法论,建设了公司统一的“敏捷数据中台”,并在全公司推广使用。本次分享将会介绍我们从“敏捷大数据架构”到“敏捷数据中台”的建设之路,并会深入到设计、架构和实践层面进行讨论,为社区建设自己的数据中台提供一个参考和借鉴。
听众收益
1、了解宜信四大开源项目的设计思想、定位和能力
2、了解宜信敏捷数据中台的建设思路、定位和价值
3、了解宜信敏捷数据中台技术架构和设计思路
4、了解宜信敏捷数据中台支持的典型数据应用场景
此外,数据科学/人工智能场的其它几位人工智能专家也将进行3小时的深度分享,包括机器学习、Flink等话题演讲。目前工作坊日程已上线,我们一起来看看。
话题概述
此议题首先会介绍近5年大海量数据计算技术的演进规律,并详细对比主流计算框架如Spark、Flink、Beam的异同,从中梳理出海量数据计算的通用编程模型。其次,针对Flink的核心技术点包括有状态的数据处理、常用API、窗口、异步IO等做深入的介绍。之后将介绍如何从0到1开发出一个基于Flink的配置化、高度可扩展、计算平台,以及如何应用领域驱动设计(DDD)来更好的实现各业务的大数据计算需求。
听众收益
1、Flink核心技术的深入理解
2、流式和离线海量数据计算平台的设计的抽象与分层能力
3、用Flink实现一个通用数据计算产品的方法
4、领域驱动设计(DDD)的核心知识和它在大数据领域的应用
话题概述
随着 Amazon 的 Echo 走红、Google 的 Home 智能音箱的迎头追赶到国内的百度、小米、阿里等巨头在智能音箱市场的竞争,其技术的核心均围绕语音和对话式 AI 技术,本分享结合 DuerOS 系统下的对话式应用场景介绍对话式 AI 中主要问题,结合实际问题分析其中的挑战,以及 DuerOS 在综合 NLU、搜索、推荐等方向的技术打造智能对话式 AI 的实践,同时也介绍其中深度学习和增强学习等的应用。
听众收益
1、了解对话系统技术火热背后的产品背景和逻辑
2、了解对话系统的经典技术框架
3、学习对话理解中的经典 NLP 技术
4、了解对话场景下检索和推荐技术的一些独特应用
话题概述
在本次微型课程中,我将介绍两个硅谷前沿的项目,通过对项目实践中的解析,让大家对机器学习的架构、算法等有更深入地了解,也可以通过这两个案例,启发听众如何更好地使用机器学习落地到真实业务场景中。
听众收益
1、介绍多维推荐系统,包含相关性,可读性,以及个性化信息的推荐算法设计和实现
2、推荐系统的挑战以及相应的系统架构设计
3、介绍前沿机器学习、人工智能如何与传感器技术结合
4、机器学习算法在多源数据中的挑战和相应解决方案
正值MPD十周年之际,为答谢长期以来一直关注我们的朋友。组委会特别为大家准备了体验票的福利,现在点击“此处”,即可有机会获得!
此文摘自如下文章,产业智能官:http://suo.im/5mleD7;边缘计算社区:http://suo.im/4ZImof;人人都是产品经理:http://suo.im/4ZImmj,如有侵权可联系我们删除。