首页  ·  知识 ·  大数据
挡住大数据前进脚步的五道门槛
网友    实践应用  编辑:dezai   图片来源:网络
大数据是IT还是BI?企业要应用大数据,是准备完善的基础设施,让数据采集、存储、分析工具都就绪重要;还是首先根据目的,将手边就有的数据应用起来更重要?

阻止大数据前进的脚步,尤其是在传统行业真正施行并快速发展的具体原因有哪些?我们一道来分析一下:


一、数据
(1)除却大型互联网公司、金融、电信这样的机构,以及政府有关部门,对于数据采集和保存大多数企业尤其是传统行业并没有成为习惯。今天所谓的工业互联网,或者现在流行说的物联网概念是有了,实际上真正联网并且随时采集、保存和可用于分析的数据量却非常少。大多数移动互联网或者社交网络所产生的数据,其针对企业尤其传统行业并不具备很强的应用价值,或者开发很难成本很高。根据邬贺铨院士的说法,2010年中国新存储的数据量只有250个PB,只及日本的60%和美国的7%,大量的数据从一开始就没有被收集和存储下来。而且,我国每年新增数据量仅为美国的7%,欧洲的12%,其中政府和制造业的数据资源积累更是远远落后于国外。且仅就已有的有限的数据资源,还存在标准化、准确性、完整性低,利用价值不高等情况。
(2)“全量数据”很重要,整体大于部分之和。一方面,接轨大数据必须具备全量数据这样的概念。正如周涛教授曾经说过的,“大数据时代第一次有机会使得很多不同领域的数据围绕同一个东西关联起来。”另一方面,现实生活中, “数据孤岛”或者数据分割的问题比比皆是。对于很多行业大数据要落地,需要获得其他相关部分的数据来源支撑,比如在物流行业,就需要电子商务、道路交通、天气气象等多重的数据;比如医疗行业大数据,也需要打通制药及医疗设备研发、临床诊疗以及患者行为和情绪数据等多个环节;对于从事航空、医疗这些行业大数据业务开发的企业来说,还需要打通政府、航空或者医疗企业多重门槛,非常困难。
(3)跨行业如此,即便行业内部已经有的数据,对于众多传统企业来说,也无法有效地获得或接触到。首先由于历史的原因,包括数据意识和设备、成本因素,这些企业自身所保有的数据量有限;除了一些勇于创新的企业,开始试图利用互联网上或者其他途径能够获得的公开数据做一些尝试,大部分企业尚处于“巧妇难为无米之炊”的困境。在没有可靠的数据定价和交易平台的情况下,如何获得大量数据使用权也是个大的问题。
(4)即便已经拥有的数据,数据的真实性、数据标准和数据维度等都可能或多或少存在问题;要实现数据价值的最大化,适时数据的保存和处理很关键;建立公司内部数据管理和使用规范也很重要。
(5)数据问题需要立法保障。关于大数据收集和提取的合法性,数据隐私的保护和数据隐私应用这些问题需要国家从立法层面解决,不至于让数据所有权、隐私这些问题成为随时悬在大数据企业头顶之剑,不定什么时候落下来。由政府主持的数据开放,破除行政垄断和商业限制,建立开放、分享的数据环境势在必行。


二、工具
邬贺铨院士曾经说过,如果过去是要“带数据进程序”,在大数据时代则是要“带程序进数据”。对于互联网巨头,或者电信、金融这样的行业,其大数据应用和开发大多是为了支撑起业务或者拓展服务,比如广告、销售,客户维护或新业务开发等等。对于很多传统企业,其本身并没有技术能力,也没有应有的设施,进行必要的数据采集、存储和加工,也就是说除了缺乏“原料”外,这些企业数据加工的“生产线”也还没有具备,即便有一些数据应用也只能是BI层面,而且更多是传统的数据仓库“小数据”的层面。这也是为什么天云大数据CEO雷涛要提出“大数据≠BI,而是基础设施”的原因,他认为:“正如工业社会大生产一样,真正的大数据时代,首先是要解决“数据生产线”就绪的问题。” 更深层次,也需要企业战略、管理模式,管理方式和架构与大数据策略能够匹配。


三、动力
在互联网行业,大数据意味更精准的广告和新服务的开发,金融、电信等行业,大数据也能带来明显的服务改变或新业务模式。但是对于更多传统行业使用者来说,建立内部“数据工厂”对数据采集、存储、加工并能够转化为生产力是个相对漫长的过程,而且也并不像BI那样立竿见影,如何迅速获得可预见的“投资回报率”(ROI),也是很多传统企业考虑进军大数据的重要考量。事实上,上世纪80年代最早提出数据仓库概念的Teradata,其在海外实施的很多案例,都是采取Teradata和Accenture合作的模式进行的,也就是“IT解决方案加商业咨询”的模式,这也是传统的BI模式。今天,大数据落地很多是由IT公司来推动,在实际操作的过程中,咨询(BI)成为了IT实施的一个部分。但这样一来,如何说明白系统可用性、目标和效果是很大挑战,尤其是对于大多数传统企业,不仅对于IT系统缺乏足够了解,对于大数据也是一知半解,而且普遍缺乏内部/行业数据分析、挖掘人才,“语言不通”对于系统应用和效果就更难以明确。最重要的是,目前大多数传统行业还都缺乏真正有效“大数据落地”的案例,来推动行业信心或者带动市场,具备足够的“数据驱动”动力。


四、创新力
在周涛教授看来,“大数据在商业上的精髓,不仅仅是深入的分析,还在于怎样把自己的业务、自己的数据用到其他创造性的业务当中,或者是把其他的数据用到自己的业务中来。”这就需要通过一种机制,把“最聪明的头脑”聚集在一起。所以对于很多大的企业,通过获得全量数据,适时智能分析平台业务创新很重要;对于小的企业,也有可能利用现有数据,比如销售、视频数据,结合第三方开放数据创业业务;对于一些行业应用,以APP形式可能就很有效。对于这些行业创新,除了深谙行业规律的内部人才,对大数据结论的解读和应用,还需要数据分析员或者数据科学家,他们不但具备某个领域的专长,还能够熟练运用算法来解决问题,用数据道出真相。例如,之所以美国知名征信机构Equifax能够利用大数据,全球8000亿条企业和消费者记录的26 PB数据,推出涉及风险管理、身份验证、欺诈检测、决策分析和市场营销等领域的69个新产品,其 CIO ,来自硅谷银行金融集团 Dave Webb功不可没。


五、生态系统
周涛教授提到过,“如果只有几个人或者几家公司能用大数据,就算不上是一个时代。我们希望每一个科研团队、任何一个小的创意机构都有可能通过大数据获益。尽管数据量是如此庞大,但是它们使用起来就像平时的小数据一样。”无论上面说的如何开放数据,打破数据孤岛,进行数据立法,制订数据标准、指导数据交易都需要一个完整的数据采集、分享、交易、使用的生态系统,让数据产生者、数据拥有者、数据使用者和数据使能者们都纳入进来。“只有这些生态环境都能够建成了之后,我们才有可能在此基础上去讨论所谓的大数据平台,并且利用这些平台去吸引最好的数据和最好的人才。” 周涛说。


无疑,目前部署大数据也具备很多机遇:比如大量数据被创造和保存,对数据价值的认识,加之硬件和软件成本的下降,云计算设备和后台的普及等等,让很多企业已经有意识并且有能力参与到这一进程中。政府已经认识到大数据对于产业转型和创新的重要性,在积极地推动产业进程,对产业的引导、立法和规范工作也在进行中。另外,很多大学和研究机构开始关注和培养数据分析和挖掘人才。这其中非常关键的,正如不久前在上海召开的中国信息化百人会 “大数据:挑战与机遇”专题研讨会所提出的:“国家应进一步加强规划和引导、政策扶植和标准的制定,推进政府公共信息资源开放,优化完善大数据的发展环境,着力通过一批产业发展的核心关键技术,提高创新能力和信息服务水平,加速推进重要领域的大数据的应用,大力推进大数据服务的产业化。”

 

本文作者:网友 来源:网络
CIO之家 www.ciozj.com 微信公众号:imciow
    >>频道首页  >>网站首页   纠错  >>投诉
版权声明:CIO之家尊重行业规范,每篇文章都注明有明确的作者和来源;CIO之家的原创文章,请转载时务必注明文章作者和来源;
延伸阅读
也许感兴趣的
我们推荐的
主题最新
看看其它的