浅谈大数据时代

创新和发展是时代永恒不变的主题，我们正在经历着以IT技术为代表的第三次工业革命，信息大爆炸之下，一个全新的属于大数据的时代正在来临，那么什么是大数据，大数据会引发怎样的商业变革，大数据的局限性在哪里，湖南农信又如何拥抱大数据呢？

 一、大数据思维

1、全体数据而不是随机样本。过去因为记录、存储和分析数据工具不够好，我们只能收集少量数据进行分析，传统统计学使用随机样本以尽可能少的数据来证实尽可能重大的发现，取得了巨大成功，但其本身也存在许多缺陷，一是采样分析的精确性随着采样的随机性的增加而大幅提高，但实现采用的随机性却非常困难，二是随机采样不适合考察子类别的情况，一旦进入细分领域，随机采样结果的错误率会大大增加，三是随机采样虽然能够更快更容易地发现问题，但不能回答本未考虑的事情。随着IT技术的飞速发展，社会信息来源更加广泛，信息采集和分析更加便捷，采用全体数据进行分析成为可能，大数据思维的转变之一就是指不使用随机分析法这样的捷径，而采用所有数据的方法。

 2、混杂性而不是精确性。对于“小数据”而言，最基本、最重要的要求就是减少错误，保证质量，但随着数据量的大幅增加，一些错误的数据也会混进数据库，但这并不是一个不可接受的情况，因为放松了容错的标准，人们掌握的数据也多了起来，还可以利用这些数据做更多新的事情，以谷歌的翻译系统为例，区别于传统的只利用于两种语言之间的文本翻译，谷歌翻译利用的是一个更大更繁杂的数据库—全球互联网，它从互联网上吸收能找到的所有翻译，如各种各样语言公司网站的对译文档，联合国和欧盟等国际组织发布的官方文件和报告译本等。尽管其输入来源很混乱，但基于无比庞大的基础数据，谷歌的翻译质量相对而言还是最好的，而且可翻译的内容更多。从“小数据”到“大数据”的转变之二在于我们要学会拥抱“混乱”，大数据的简单算法比小数据的复杂算法更有效，执迷于精确性是信息缺乏时代和模拟时代的产物。

3、相关关系而不是因果关系。传统的教育鼓励我们去探寻事物之间的因果关系，常见的思维模式是知道“为什么”后，我们才会进一步思考“怎么做”，但这一切在大数据时代发生了改变，以沃尔玛为例，通过分析自身海量的销售数据，沃尔玛发现每当在季节性飓风来临之前，蛋挞的销量会快速增长，从而将飓风用品和蛋挞放在一起以提高整体销量，在这个例子中我们不需要明白飓风和蛋挞销量之间存在的因果关系，只要知道彼此存在相关关系并加以应用，就能够实现销量的提升。大数据时代的转变之三在于知道“是什么”就够了，没有必要知道“为什么”，我们不必非得知道现象背后的原因，而是要让数据自己“发声”。

二、大数据时代的商业变革

1、一切皆可“量化”。数据化是指一种把现象转换为可制表分析的量化形式的过程，现代社会人类一切行为都在“数据化”，我们不再将世界看作一连串我们认为或是自然或是社会现象的事件，世界的本质某种程度上是由信息构成的，在数据化世界中，拥有了数据分析的工具和必需的设备，我们可以在更多领域、更快、更大规模地进行数据处理，从而创造更多的价值。

2、数据即资产。现行的财务报告模式始于20世纪30年代，当时信息类的企业几乎不存在，因此数据价值未被记录到企业的资产负债表中，但这一窘境正在改变。Facebook根据根据会计准则计算出来的价值约63亿美元，与最初的估值1040亿美元相差近1000亿美元，而在2009年至2011年之间，Facebook共收集2.1万亿条“获利信息”，按照差值计算，这便意味着每条信息数据都有约4美分的价值，这1000亿美元便是Facebook的数据价值。当数据持有人认识到数据的巨大价值之后，研究在正式的会计条款中将数据价值作为企业资产便将提上日程。

3、预测未来。大数据的核心即预测，通过建立相关关系分析法，将输出目标与各种输入变量进行关联，大数据能够实现对目标的预测，一个成功的应用案例便是亚马逊，通过对海量客户数据的分析，亚马逊使用一种“item-to-item”协同过滤技术加上数十种常用算法，数千条行业规则和针对用户意图的场景预测模块，成功实现对客户购书行为的预测，如今亚马逊销售额的三分之一都是来自于它的个性化推荐系统。通过大数据和数据分析算法进行预测，我们能知道未来“是什么”，能够创造点击率和提高销量，某种程度上说“为什么”已经不再重要，这种对“是什么”的洞察将重塑很多行业，不仅仅只是电子商务。

三、审视大数据

大数据的使用宣告一个令人激动时代的来临，公开的数据一旦处理得当，就能为千百万人急需解决的问题提供答案，但这不意味大数据是万能的，它同样存在局限性。

1、技能和思维的重要性。大数据价值链条上有三种角色，第一种是基于大数据本身的公司，这些公司拥有大量数据或者至少可以收集到大量数据；第二种是基于技能的公司，它们掌握了专业数据分析技能但不一定拥有数据或提出数据创新性用途的才能；第三种是基于思维的公司，这些公司拥有挖掘数据新价值的独特想法。如果把大数据比喻成一座金矿，那么技能和思维就是挖掘金矿的工具手段，数据非常之多而且具有战略重要性，但缺乏从数据中提取价值的能力也是无用的。

2、变革不依赖大数据。乔布斯发行iPod、iPhone和iPad等革命性产品之前没有做任何的数据分析和市场调研，而是依赖他对市场敏锐的嗅觉，他著名的回答是这样的：“消费者没义务去了解自己想要什么。”在革命性产品出现之前，市场以及客户对新产品的认知为0，因此也没有与之相关的数据，就像在汽车出现之前，如果进行市场调研，那么得出的结论将是客户需要一匹更快的马而不是汽车。大数据只能针对已经存在的事物进行分析，并不能无中生有地创造新的产品或规则，从原理上讲大数据分析仅是对历史数据的高效利用。

 四、拥抱大数据

 银行与数据存在天然的联系，在利率市场化和民营银行牌照放开的趋势下，未来银行业将面临日益激烈的市场竞争，考虑到银行同业间产品和服务的同质化，对数据的高效利用将成为银行核心竞争力之一，数据将成为银行重要的资产。

1、重视数据价值。在整个数据的生命周期中，数据的基本用途仅实现了数据的初始价值，即为信息的收集和处理提供了依据，但数据的真实价值就像漂浮在海洋中的冰山，绝大部分都隐藏在表面之下，亚马逊通过对客户数据的二次利用提升了推荐引擎的性能，从而提高图书的销量；谷歌利用旧有的语音翻译记录创建了一个新的语音识别服务系统，而一些看似无用处于休眠状态的数据价值也可能通过与另一个截然不同的数据集结合释放出来，比如丹麦癌症协会将手机用户数据和癌症患者的信息结合分析，回答了手机是否致癌的问题。在大数据时代，数据的价值“取之不尽，用之不竭”，多个数据集的总和重组在一起比单个数据集的总和更大，随着数据采集、存储和使用成本的下降，企业应该重视数据价值，收集尽可能多的使用数据并保存尽可能长的时间。

2、拓展数据来源。以湖南农信为例，拓展数据来源可以分为两个方面，一是整合已有系统的数据，湖南农信目前手机银行和网上银行托管在北京农信银中心，信用卡数据存放在上海银联，此类数据的重要性毋庸置疑，在洋湖数据中心规划中已为手机银行和网上银行设计了互联网分区，信用卡系统可以放置于开发业务区，因此洋湖数据中心后期建设中可以考虑将此类系统逐步迁回。二是创造新的数据收集渠道，湖南农信全省拥有4000多个营业网点，未来网点无线网络覆盖将成为趋势，我们可以针对性地部署上网行为管理设备，在满足公安部监管要求的同时进一步收集网点上网客户的信息，用于将来客户关系管理和产品营销。

3、高效利用数据。长沙市联社开发的风险管理系统通过在省联社核心业务系统和信贷管理系统中抽取数据，并对数据进行清洗、重组和归并，实现了数据价值的二次利用，提高了整体风险管理水平。未来新一代核心业务系统中，我们设计有ODS（Operational Data Store）区，提供历史数据的存储和查询服务，各市网络中心和法人行社可以开发个性化的小系统，从ODS区抽取数据，用于绩效管理，风险管理，客户分类优化产品，客户流失分析，情感分析和客户体验分析等方面。此外，拥有大量数据的我们处于大数据价值链条的核心地位，我们可以以合作的形式将数据价值变现，比如在农村电子商务这片蓝海上，我们可以选择与省供销社以及农村电商平台合作，以客户数据信息和金融服务的方式进入农村电子商务领域。