谁能将传统企业带入大数据时代？ -- DTCC数据库大会感想

     大会的倒数第二场演讲是天猫的周祥军讲解的“天猫商品详情页满意度模型”，他讲解的内容涉及到太多我不了解的专业知识，所以我也没怎么仔细听，只是到最后主持人的一席话引起了我的注意。周祥军给自己的定位是“搜索技术专家”，主持人说不如叫“数据科学家”更加贴切。在美国，已经有多家大学颁发“数据科学家”学位了，而且据主持人的分析，“数据科学家”的崛起在国内是早晚的事儿，五年之内对数据科学家的需求将会有一个爆发性的增长。这让我想起了现在比较火的一本书《大数据时代》，里面把大数据时代的三种关键角色称为“大数据掌控公司”、“大数据技术公司”、“大数据思维公司或个人”，并认为会出现一种新的职业，做数据买卖的“数据中间商”，而且在将来行业专家有可能被“数据科学家”所取代。      在这次DTCC大会上，也可以把分享者的公司按照这几种类型进行分类：      大数据掌控公司：中国移动、阿里巴巴、百度、爱奇艺、京东、新浪、平安科技、网易、360、智联招聘、当当网、国家某部委信息中心、腾讯。      大数据技术公司：IBM、SAP、达梦、Intel、拓尔思、华为、Oracle、微软。      大数据思维公司或个人：艾瑞咨询、Verint咨询。      上面只列出了一部分，大家可能觉得这么分不准确，所谓的“大数据掌控公司”大部分都是互联网公司，同时兼有“技术公司”和“思维公司”的角色，而他们也是所有公司中，在大数据领域最成功的一个群体。除了互联网公司，传统行业的大数据掌控公司包括平安科技和国家某部委信息中心，他们目前所做的是做好应用。平安科技主要是基于业务提升应用质量，应对海量的OLTP业务，所以他们应用了Oracle Timesten内存数据库；国家某部委信息中心业务众多，共有400多个应用，他们目前在做的工作是在多地建立数据中心，并优化应用体验。有意思的是，分享者们对“啤酒和尿布”的看法似乎能反应他们目前在做的是“大数据”还是“小数据”。在“数据掌控公司”中的很多分享者，和两个“大数据思维公司”，都提到了“啤酒和尿布”的故事，他们之中正在做大数据分析挖掘的人，或正在研究大数据的人，比如Verint咨询的分享者，他们都认同“啤酒和尿布”的故事，并饶有兴趣的把自己的工作与这个故事进行对比；而专注于应用的分享者，包括艾瑞咨询的正在专注于把小数据做精的分享者，都不太认同这个故事，他们认为大数据领域没有“黑天鹅”，这个故事让人失去理智。我觉得从“应用”的角度来讲，这说明了大数据发展的不同阶段，已经深入到大数据领域的人，身后无不是有已经成熟的应用为他们提供海量的数据，还没有深入到大数据领域的人，也许等他们的应用成熟了，就会考虑数据应用的问题，或者由于业务的进化是无穷的，他们靠自己永远也无法进入到大数据这个领域。在第一天Hadoop专场的主持人，来自百度的马如悦说：“不要成为技术的傀儡，要从应用入手”也反应了这个意思，他本人做了六年Hadoop之后，转入到上层应用中。传统行业的业务变化很快，应用优化的工作尚且做不够，哪儿有时间搞大数据呢？也许真的需要有人来帮助他们才行。目前与传统行业接触最多的应该是技术公司和咨询公司，技术公司一般是靠产品支撑，提供解决方案的方式与企业合作，但毕竟不是自己的企业，所以合作的深度有限，主要以提供产品为主，并把产品融入到解决方案当中去。这些产品从硬件到软件都有，例如华为的FusionCude存储、与华为合作推出关系型数据库一体机的达梦和拓尔思、SAP&ORACLE&微软的内存数据库等...大都围绕着高档硬件和关系型数据库，这些都能够帮助传统行业收集海量的数据，但对大数据的应用还缺乏推动力。从会上两个数据思维公司的分享中，艾瑞的分享者分享了他们在小数据领域的成绩，并诚恳的提出了自己的建议，Verint的分享者分享了她在大数据领域的探索，至少从他们的分享来看，他们对帮助传统企业如何进入大数据时代还没什么办法。目前来说，思维公司们无法在大数据领域帮助传统企业，技术公司们在帮助他们如何把更多的业务搬到网上来，并在此上乐此不疲，所以暂时传统行业在短时间内恐怕还无法进入到大数据领域中。他们之中大多都在进行一些“创新研究”，而艾瑞的分享者给出的建议是：“创新研究”不是大数据领域正确的入口点，正确的入口应该是“如何展示我们自己、如何帮助我们省钱&赚钱、如何提升用户体验”，并且这种方式不符合“数据挖掘9大定律”之中的几条核心定律。如果这个结论正确的话，恐怕大部分传统企业在大数据方面的努力都是无用功。主持人也发出了无奈的声音：“谁来帮助中小企业提供大数据解决方案？”也许在将来数据科学家们崛起之后，这种情况才会有所改变。      当当网的技术副总裁付强的分享中，提出了当前正在热议的“跨界”议题，但他并不是针对业务来说的，而是出现在他们公司技术人员当中的一种现象：DBA写更多的脚本，越来越像RD；RD写更多的PPT，越来越像产品经理；产品经理会写sql，越来越像DBA。为什么人都这么热衷于别人的领域？我大胆的猜测一下。首先，DBA通常指传统关系数据库的管理员，他们是关系数据处理和工具使用的专家，当关系数据库遇到瓶颈，DBA们要想处理这些数据，就需要用到其他的工具，比如目前正热的R、Python等脚本语言，或者MapReduce等，所以他们要写越来越多的脚本。RD的本职工作是系统研发，随着需求越来越偏向关注用户（这都要感谢amazon），他们必须将一些挖掘算法融入到应用中去，有了这些新东西大家都想关注，所以要写更多的PPT去给别人讲解；产品经理要让他们的产品更受欢迎，开始越来越多的关注数据，所以要学会写sql。俗话说求人不如求己，有谁能比自己更了解自己的需求呢？所以大家纷纷跨界，成就了一段佳话。带来关键性转变的也许是RD逐渐变成了大数据算法和工具专家，也就是兼有了“数据科学家”和“技术专家”的角色，这种转变首先将互联网公司带入了大数据领域，也真的从中取得了实惠。其实，在技术上的“跨界”值得庆幸，也是一种无奈，说明了“数据科学”和“计算机科学”如果不是同一个人同时精通这两门技术，是多么的难以融合。目前在做大数据的公司中，“思维公司”和“技术公司”的分界过于明显，大家专注于自己的领域中，难以融合，这也许是两者都难以在大数据领域对传统企业有所帮助的原因。如果把“大数据技术公司”和“大数据思维公司和个人”这两种角色合而为一，统称为“大数据应用公司”来模糊两者之间的界限，这样是否更合适呢？随着越来越多成功的互联网公司“跨界”到传统软件行业中来，我想这个问题的答案会变得越来越清晰。