天天看点

什么是大数据?带你深度了解大数据大数据及其本质特征大数据蕴藏着新哲学思想和优势大数据实施的三大关键点

1989年,当万维网出现之后,给我们带来了第四次传播革命,互联网以其海量的空间、互动的方式,使得信息数量急剧增加,根据ZDNET的数据显示,2013 年中国产生的数据总量超过0.8ZB,2 倍于2012 年,相当于2009 年全球的数据总量,而预计到2020年,中国产生的数据总量将达到16ZB。尤其在“摩尔定律”使得存储能力极速提升、社交媒体的出现使得生产数据的能力高速发展、新数据挖掘技术使得数据分析能力大大扩展三大动力的推动下,全世界进入了大数据时代,2013年也被称为大数据元年,意味着大数据开始进入商用阶段。在大数据时代,DT+将成为大势所趋。

我要推荐下我自己建的大数据开发学习群:119599574,专注大数据分析方法,大数据编程,大数据仓库,大数据案例,人工智能,数据挖掘都是纯干货分享都是学大数据开发的,如果你正在学习大数据,欢迎初学和进阶中的小伙伴。

什么是大数据?带你深度了解大数据大数据及其本质特征大数据蕴藏着新哲学思想和优势大数据实施的三大关键点

大数据及其本质特征

大数据是指以服务于决策为目的,需要新型数据处理模式才能对其内容进行采集、存储、管理和分析的海量、高增长率和多样化的信息资本。

大数据具有如下本质特征:

一是 根本目的是服务于决策,大数据能够帮助各类组织和个人大幅度提升决策能力,做出更好的决策和判断;

二是 量度大,大数据通常是指100T以上的数据量,这难以依靠传统的计算手段有效计算,而必须依靠新的计算手段和数据挖掘工具;

三是 频率高,大数据是用户参与与互动而产生的数据,根据用户的网络痕迹来及时地了解用户的相关数据,这种数据是按照天甚至小时来计的高频数据。而传统的数据频率都很低,很多数据是按照月甚至按照年份来计算的;

四是 速度快,大数据是实时性的数据,能够实时反应。例如,在百度搜索框输入一个关键词,能够瞬间呈现,而传统的数据收集方式则是严重滞后的;

五是 维度丰富多样,大数据是全样本数据、多维度数据、非结构化数据,既包括普通的结构化数据,又包括视频和音频等非结构化数据。正是因为大数据的维度多样性,其也更为复杂。

六是 永远在线。在线是大数据的前提条件,从这个角度来说,大数据是永远在线的,能够随时被调用的。大数据通过分析各种网络终端上的用户痕迹,能够更好地分析用户的行为、情感、思想、爱好与需求,来更好地进行决策和分析。

七是 本质是信息资本。大数据是能够为政府和企业带来未来经济利益的信息资源,其本质是信息资产,而且随着大数据的应用越来越广,其价值会越来越大。因此,不应该仅仅把大数据看成成本,而把其看成和土地、资本、人才等一样的新生产要素。

大数据蕴藏着新哲学思想和优势

首先,大数据拓展了新的哲学思想。大数据既能处理“因果关系”又能处理“相关关系”,即不仅能够回答“为什么”又能回答“是什么”。在小数据时代,只能通过抽样调查的方式来回答“为什么”。而大数据则能通过全样本的方式来回答“是什么”,即发现相关关系,这能够帮助我们更好地地认识和了解世界。例如,沃尔玛发现在尿布旁边放上啤酒能够提高啤酒的销量,就把尿布和啤酒混搭销售。毫无疑问,尿布和啤酒之间并无因果关系,而二者在一起就形成很好的相关关系。

什么是大数据?带你深度了解大数据大数据及其本质特征大数据蕴藏着新哲学思想和优势大数据实施的三大关键点

其次,大数据分析具有显著优势。一是大数据能够实现分析的高度智能化,既能实现信息收集和分析的智能化,又能实现数据与用户需求的有效匹配;二是及时、迅速。大数据分析改变之前的市场调研和数据分析相对滞后的模式和方式,能够及时、迅速地进行分析。例如,传统的市场调研一般耗时几个月,而基于互联网的大数据调研则只需要几天就能得到调研结果;三是成本相对较低。由于可以大量使用技术手段,其成本相应较低。一般来说,传统的市场调研方式,每一份问卷都需要近百元,而互联网调研一份问卷只需要4元左右。

大数据实施的三大关键点

首先,数据的可获得度。目前在国内,大数据的发展严重受制于政府信息的公开性不够,很多数据难以获得,导致难以实现真正的大数据挖掘和分析,这就要求政府及时开放更多的数据,以提高数据的可获得度。

其次,进行科学的模型建构。模型的科学性直接决定着数据分析的质量,这就要求有高超的建模水平,当然数据量越多也有助于模型的合理构建。

第三,利用专家对观点进行提炼。为决策提供依据的基于数据挖掘的独到、高质量的观点,高度依赖于高质量的数据解释,这就体现了行业专家的价值。

在大数据时代,大数据已经成为整个社会的底层架构和标配,其上的一切都必须按照大数据的要求进行重构,大数据在解决大问题方面尤为有效,目前在语音搜索、智慧城市建设、互联网金融治理等方面取得了长足的进展,未来更多的领域都必将被大数据所革命和重构。

什么是大数据?带你深度了解大数据大数据及其本质特征大数据蕴藏着新哲学思想和优势大数据实施的三大关键点

继续阅读