「硅谷大咖说」超越“大数据”：运用商业分析和数据科学为企业实现商业价值

一、大数据发展的5个层面

一般大家讲大数据还是以数据量为主，就是认为“大数据是很大很大的数据”。实际上我们可以把大数据分成两个维度：1、传统意义讲的Y轴维度：数据量的大和小；2、X轴上的维度：数据处理分析的难度和挑战性。光有了数据还不叫大数据，实实在在地把大数据应用起来，在这个应用过程中所产生的处理分析的难度和挑战性是更应该考虑的，尤其是在本身工作中应用大数据的时候。

这个图是两个轴为坐标，从左下角开始：

第一层是财务数据。财务公司是第一批应用大数据的公司，90年代初开始，美国基本上所有的金融公司都在广泛地利用金融数据来让自己的业务不断增值。

我的第一份工作是在第一资本这家公司，它现在是全美第四大信用卡公司。它最著名的是以数据分析的方式，从财务数据中挖掘出对业务增值的策略和运营。其实第一资本和几家传统的金融公司比起来，它的历史会短很多，成为后起之秀杀出血路就是因为它的数据的理解和分析做得非常好，所以它能在这个市场找到自己的位置。

当时第一资本做得最好的一件事情，是从信用分数比较差的人群中找出信用相对好的人群并发给他们信用卡，而一般的信用卡公司不给这个人群发信用卡，所以竞争小很多。通过数据分析找出竞争对手没挖掘的市场，这是第一资本最早成功的一个原因。

在同一时期，华尔街也有很多公司开始用财务数据做大量的工作，尤其是在股票交易方面，做对冲模型、统计模型，制造了大量的财富。数据应用从财务开始，这是最自然的，因为最早应用大数据的还是跟钱最直接相关的地方。

第二层是CRM数据，即客户关系管理数据。客户管理数据比财务数据大得多，因为得跟客户之间多次交流才产生交易，所以数据量在进一步增大，分析难度和挑战性也在进一步增大。比如oracle、ERP、ICP等传统的比较经典的系统。

第三层是硅谷最早一批IT领域的创业企业，包括Google、Yahoo、eBay等。与传统公司不同的是它们以其网站为主要业务，网站的数据都存储在网络日志里，这个数据比前面的数据都更庞大，很多人每天都可以去访问这个网站，在这个网站上做各种活动留下各种用户的行为。这些数据都积累起来就变成了一个非常有挑战性的事情，包括对它的处理和分析都是一些网站成功的重要原因。

第四层是所谓的社交网络，这些公司的出现是在2010年初期，LinkedIn、Facebook等，社交网络公司的出现导致数据量大幅增长。比如LinkedIn平台上有多于4亿人，这4亿人中每两个人之间理论上都可以产生关系，发信息、看档案，而这些可能产生的关系都会以数据的形式保存下来，这样数据量的增长就变得非常非常巨大。

大数据这个词和社交网络公司的出现同时被喊出来，因为传统的交互型的数据库已经无法存储如此大量的数据了，大家可能比较熟悉的传统数据库有oracle或者更古老的一些关联性数据库。那怎么办呢？数据存储变成了一个最大的挑战性的问题，这个时候Hadoop开始出现，大家开始采用Hadoop这种相对经济的存储方式来处理大量的数据。但Hadoop解决的更多的是数据存储的问题，而把数据储存在Hadoop之上，分析和处理的难度和挑战性大大地增加了，直到今天还有很多的创业企业还在做相关的技术。

第五层是最新型的或者说当红的创业企业，比如Uber、滴滴、airbnb、WeChat、Snapchat等，它们可以划分到共享经济、物联网和实时通讯这些行业里面去。它们的数据量进一步增大，数据处理分析的难度和挑战性也在进一步增强。一个很重要的特点是对数据实时性处理的要求程度越来越高了。

大家可以想象，就是说在你用优步或者滴滴的时候，它实际上是在接近实时的情况下匹配用车的人和提供驾车服务的司机，很短时间内帮这两者建立联系，这里数据处理的速度起到了非常重要的作用。

刚刚说到的这些分享经济、物联网、实时通讯相关的公司实际上也是第一次在历史上真正大规模地把人实际的相关行为的数据记录下来。

在此之前比如LinkedIn、Facebook、微信、朋友圈，其实很多时候是可以在社交网络上创造出一个虚拟的自己。而Uber、滴滴、airbnb的相关数据是人的实际行为，比如说我实际的出行，这个是不可以造假也不可以虚拟的，这是第一次大规模地把人类的实际的生活记录下来，这个趋势是不可逆转的，我觉得以后越来越多的生活当中相关的行为、事情等都会以数据方式存储下来，所以数据量在迅速的膨胀，同时对它们的处理跟分析的难度也会不断增加。

最后一层是更新型的创业企业，比如大健康、环境科学相关、教育相关或娱乐相关的这些初创企业，当它们做出规模的时候，它们的数据量肯定会进一步增大，同时相关的处理和分析的难度也在进一步增加。我说这些的目的是什么呢？

大数据这个词从开始发明到现在都没有明确的定义，从我们的角度来讲每一波创业的新型公司的出现都会带来一种新的大数据的产生和存储的方式，每一波新型公司的出现引领了一个新的大数据产生积累和变现的过程，希望大家在创业、职业发展时从这个角度想想，有没有在大数据进步的过程中跟上时代的节奏。

二、大数据的4个技术维度

三个V，第一个V-volume-容量：到底这个数据的大小是Terabytes还是megabytes、有多少条数据记录、多少个数据表格和数据文件。这是容量。

第二个V-velocity-速度：对数据处理的速度，是以P处理的方式接近实时的速度还是实时的速度，这个V的重要性变得越来越重要，因为现在生活方式和生活节奏都越来越快。

第三个V-variety-数据的多样性，这个大家平时考虑得相对少一些，我们平时所说的数据很多时候是数字，但是数字并不是数据的唯一形式，现在越来越多的我们称之为非结构化的数据，比如说文本、语音、图像、录像，所有这些实际上只要是以数据化的方式存储下来的都是数据，对他们相关的分析也为大数据本身的处理带来更多的挑战。

任何一个公司把大数据这三个V都做得很好、做到极致是不可能的，也是不必要的。最重要的是第四个V-value-价值，怎样利用大数据实实在在地为业务为公司带来价值。这是我们一个数据科学团队或者一个分析团队应该做的事情。

大家可能对数据分析不是很了解，这个图讲的就是数据分析的重要性以及它在企业成长过程中起的作用。

这个环的核心是任何一个业务起步的时候都有一个自己核心的业务平台，在这个平台上第一步要做的就是客户和业务的增长。任何一个初创公司第一件事都是要有一个经济模式，在这个经济模式上不断成长自己的客户和业务，找到一个对的经济模式和正确的增长模式。

在业务和客户的增长过程中会不断积累收集数据，当数据积累到一定程度并真正可以从里面挖掘出有用信息的时候，就可以用数据分析的方式来不断找出符合客户需求的增值产品和服务，把这些增值产品服务做到平台当中去，这样的话就可以进一步帮助客户和业务的增长。

数据分析在企业成长的过程中起到优化促进不断增长的作用，和企业的业务是息息相关的。在最开始没有很多数据的时候要找对业务模式，这是一个初创企业最开始要做的最核心的事情。

三、商业分析团队

5年前，我们这个团队在LinkedIn建立，我们的目标如图中所说，总结起来就是：我们要做可以创造商业价值的数据科学。当时数据科学本身的定义有很大的争议，但是不管数据科学本身的定义是什么，我们这个团队最大的目的是要真正把数据和业务结合起来，创造更多的商业价值。

从组织架构的角度来讲，我们认为分析师和数据科学家是处于业务部门和技术部门之间的一个团队。业务部门，顾名思义他们所承担的最大任务是在业务上的收益和指标；技术部门负责的是这个平台的稳定性，把这个产品研发出来，所以他们的任务更多的是把工程方面的工作做好。而分析师和数据科学家在两者之间，既要懂业务又要懂技术，用最好的技术和产生的相关数据的分析来帮助业务部门不断地增加业务上的价值。

图中是在Google上对“big data”这个词的搜索量，在2011年之前的它是很平的一条线。2011年之后，对“big data”的搜索在Google上开始了指数性的增长，这说明了两点问题：1、大家对大数据的认识在不断提高，还是非常迅速的提高；2、也说明了相关人才的匮乏，这是一个暂时无法解决的问题。

三、商业分析师需要具备的三大方面的技能

分析师需要具备的技能有哪些呢？总结起来有三个大的方面：

1、有简单的编程和数据产品开发的技术。这样的话你自己做数据产品的时候，能够不依赖于其他的团队，自己就可以开发。

2、有统计及数学知识背景。在这么多的数据里挖出点儿有用的信息，统计和数学知识的积累对分析师是非常关键很重要的。

3、有业务的专项知识和商业的心态。你对业务本身有很好的了解，同时用商业的心态去想如何把技术跟数据结合起来不断地推动业务的发展。

同时具备这三点的才是商业分析需要的人才，这样的人相对比较少，但我们希望能够把大家都培养成全能的人才。

四、商业分析进化论：从数据到价值实现

从商业分析的进化论说，我们如何做到从数据到价值实现。可以放到两个维度上来，Y轴是商业上的回报，x轴是我们整个商业分析进化的过程。

数据。第一步要把数据做好，包括数据的存储、数据的整理、数据的清洁、数据的整合。第一步非常重要，虽然在商业回报方面并没有很高的直接的商业回报，但这是后面几步的一个非常重要的基石。

信息和知识。数据本身确实不直接带来商业回报，所以我们要进入第二步从里面挖掘信息和知识。数据告诉你发生了什么，信息跟知识能告诉你为什么这个事情会发生，这个时候从商业角度来讲的回报有了进一步的增加。

预测。通过对历史的学习、对历史数据和业务的理解我们可以去预测，预测将会发生什么。当能够预测什么将会发生的时候，商业回报会有进一步的增加。

洞察。这个也是我们分析师认为能达到最好的一个对数据的应用：从里面挖掘出来洞察战略。我们可以帮助角色部门建立最好的商业决策，而这个最好的商业决策能够给公司带来最好的商业回报。

商业价值实现。但是后来我们发现一个更大的问题：最后的商业价值实现在很大程度上要花掉我们很多的时间和精力，去推送数据的思维和数据运营的思路，只有这样才能真正的把数据的价值体现出来并达到最高的商业回报。

我们在工作中发现其实用最好的技术、最好的算法、最好的数据科学，可能最后并不能真正带来商业回报，而跟业务部门结合起来给大家更好的推动数据思维的方法、建立数据运营的思路，是一个长期的也是一个逐渐见效的过程，这才是商业价值真正能够得到最大化体验的过程。

我们管这个叫商业分析的进化论：一步一步从数据到价值实现的过程，而这也是商业回报不断得到提升的过程。我们团队内部更多要做的事情是：如何表明我们做的事情是对公司的价值推动的直接的方式。我们用一个EOI的分析架构，具体展现我们所做的工作给公司带来的价值。

五、EOI分析架构

E是empower-助力，这是一个商业分析团队的核心任务，他要做的事情就是助力公司所有的人在任何时候能拿到他们需要的数据跟洞察，这是整个分析团队最核心的任务也是最先要完成的事情。

O是Optimize-优化，当你对数据跟业务都有了很好的了解，你就可以去帮助业务部门，怎样利用数据和数据的挖掘优化业务的表现，让你的工作跟业务部门的表现和业务能够直接挂起钩来，我们认为这是一个战略性的任务，在你把核心任务做好的基础上做出对公司具有战略性意义的事情。

I是innovate-创新，我们管这个叫风险任务，并不是说风险很大而是说应该有创新意识，这个是分析团队或数据团队非常重要的一点。

整个公司里真正对业务跟技术都非常了解的是数据分析团队，能够用创新的方式用分析和数据来给业务的成长带来推动力。他们的创新精神能够不断地把我们的价值体现和影响力提高到新的高度。

我写了一篇关于分析架构EOI推动商业价值的文章，有兴趣可以看看。文章后来被翻译成中文发表在创业家杂志上，在网上就可以搜到，翻译成中文以后叫《LinkedIn的大数据新玩法》。

六、EOI分析架构举例

助力举例：人才流动画板。

优化举例：用户倾向的一个预测模型，是跟营销部门一起合作的一个项目。

创新举例：和销售、营销部门做的一个大客户兴趣指数，把所有的公司、企业进行排序，让我们的销售部门、营销部门更有的放矢地去和潜在客户进行合作，实实在在地给大家带来价值，让更多的公司和大客户变成LinkedIn的客户。

对数据的理解、数据对公司的作用、长期数据怎样以资本的形式帮助公司不断的增长。

我对创业公司的大数据上的一些建议。

硅谷创业和中国创业的区别。

Q：都说大数据掘金，为什么目前看到最多的是电商和广告行业能从大数据里挣到钱，其他行业却很少，您觉得深层次的原因是什么？

A：我觉得这个命题本身就不是很正确，不是只有广告和电商行业在大数据中赚到钱，LinkedIn就是一个很好的例子。广告营收只占LinkedIn业务营收的百分之二十到三十左右，其他的是这个平台以用户为基础做的一些B2B的产品所带来的。而且我觉得新型的行业出来之后，越来越多的企业赚钱的方式和电商广告不一样。

为什么电商广告从大数据中赚到更多钱，是因为他们跟钱离得更近，电商是卖产品的、广告是做销售的，它们跟钱离得更近，所以变现也相对更容易。

对大数据的应用还处于一个比较浅的层次，当对大数据有了更多的了解，能从里面挖掘到金矿的机会更大。当然如果广告业务能在营收上有帮助的话应该肯定地去做。鼓励大家不断地开阔思路去想怎样用更好的方式从数据中挖掘出更多的信息和价值，通过数据分析找出符合用户需求的增值产品和服务，把这些增值产品和服务做到你的业务模式里去，这是可以让业务不断壮大的一个方式。

Q：很多企业都在建立自己的大数据团队，以您的经验来看，怎么才能比较好的从零到一的搭建大数据团队，在团队文化、人员培养上要注重哪几个方面？

Q：三大技能基础里有关简单编程的要求可以说的再详细一点吗？

A：简单编程更多是指脚本语言，现在很流行Python脚本语言、JavaScript 最新的网页前端的用户互动，Pythonh和R都属于简单编程的范围之内，并不是很难的编程语言，这些编程技术能数据分析师很好很快的去把这个数据产品的雏形做出来，让他整个这个工作效率大幅度的提高。

这就是简单的编程技术，我更希望分析师有一个商业驱动的头脑，而在技术上找出能解决他想解决的问题的技术就可以了，而不是在技术上追求精益求精，这是分析师和工程师一个核心的区别。

Q：在传统金融行业，目前数据分析作用于信用风险分析，比如信用风险评级，信用卡客户识别等，能否介绍下数据分析在其他领悟的应用场景。

A：其实我刚刚在讲大数据的时候已经涉及了一些应用方式，比如在电商上，按照一层层来的话在电商领域大数据就已经应用到各个方面了。比如说从最开始的获取客户，其实在线电商平台是通过SEO、SEM等拉到的流量，怎么用更经济有效的方式获取流量，都是数据分析相关的起的作用。

变成了你的用户之后，对用户本身行为的分析、用户生命长度的价值、用户本身的好坏程度、比如说在电商平台上一个卖家到底是好的卖家还是中的卖家还是差的卖家、一个买家他购买行为是好还是不好、应该给他们什么政策、所有这些实际都是与数据分析息息相关的。再有对风险和欺诈行为的控制，比如有的人可能会用盗用的信用卡、会注册假冒的账户、有的人会卖假货，所有这些都是数据分析可以起作用的地方。

在ebay分析师是非常大的一个团队，包括蚂蚁金服的分析团队都非常庞大，还有很大的一支精英团队帮助他们把各个方面的风险控制好，获取用户的保留风险的控制，包括长期用户的价值管理，方方面面都是有数据的驱动方式把它管理起来。

刚才用一个电商的例子来讲，我的感觉是以后这个世界会逐渐变得越来越数字化，所有人的行为、各种各样产品的相关属性都会以数字的方式存储下来，所以数据分析是无处不在的，在你的业务里面任何很小的一个环节你都应该去想怎么用数据方式把它做得更好，不断地去优化或者自动化，不断提高效率跟生产力，这是一个循序渐进但是不可逆转的过程。

Q：已经获取的数据如何能更好的进行互相验证尽量确保数据的正确性？

A：这个问题是普遍的，初创或成型的公司都面临，而且很容易被忽略。数据的质量，在根本层次上决定了数据的应用能不能为业务带来好的价值。

数据质量问题的解决没有一个一劳永逸的方式，数据分析师团队既要懂数据又要懂业务才能真正的提高数据质量。举个例子，比如你有一个电商平台，你想知道每天有多少个交易在平台发生，一个好的分析师会对这个平台上每天的交易了若指掌，如果每天的交易额大概是一千万人民币、一万个交易，如果第二天突然发现交易额变成了十万、交易量只有五百个，第一时间就能判断这个数据是不可能准确的。

这些所谓的常识是在长期的经验中积累下来的，对每个业务、每个公司来讲，如何对数据进行更好的验证也是一个不断渐进的过程。分析师对数据和业务的关键指标的理解程度非常之高，所以他们可以做出来一些规则，比如说一个数字大于某个阈值或者小于某个阈值的时候，那它一定是错误的。

比如中国的人口，你再做一次人口普查，如果说中国人口变成30亿了那肯定是错的，如果中国人口是6亿的话肯定也不对，但是如果你去问一个其他国家的人他不一定能够知道这个数值。你对业务越理解数据准确性的感觉就越好。

分析师就是负责数据质量的最核心的人，我们所有的报表、所有相关的分析，都需要通过分析师去做出最后的判断，来证明这个数字以及发掘出来的相关知识的准确性，这也是为什么分析师要长期培养逐渐积累一些知识，他会随着时间的增加对公司价值会越来越大。

没有一个答案可以解决所有的这些问题，但你需要的是有专门的人数据跟业务都理解得非常好，然后就让他去负责把整个数据质量提高，同时用商业的角度去看怎么用一些规则来自动检测数据的相关的质量，这样不会花太多的人工的时间。

Q：政府行业有必要使用大数据吗？如果有，就您知道的，典型的部门都有哪些？

A：有必要，和我们LinkedIn中国合作的中国政府已经很多了。

所有的业务都应该从数据思维的方式开始考虑，在方方面面、时时处处都应该有大数据的应用。根据业务不一样，大数据的应用方式也不一样。现在我们LinkedIn中国和政府合作更多的是帮助政府去找海外的人才。我们可以帮助政府分析海外人才的区域和相关职业分布，然后制定一个相关的人才策略，把这些人吸收到政府或企业中来。

LinkedIn的用户和用户的档案都是大数据，这就是对LinkedIn大数据的一个应用，就是说用这些LinkedIn平台上的那些数据来帮助政府部门来找到自己需要的这些高科技人才。

任何的地方都是可以利用大数据的，只是要看发展情况，包括这个部门的相关业务是不是准备好，逐渐把数据运营、数据驱动思维培养起来，这样你会看到更多可以用大数据的地方。

上图为李玥老师在深圳MPD演讲的视觉同传，想了解更多“有料”、“新锐”的工作坊，点击阅读原文看看MPD北京站精彩日程的手绘预告。