内容摘要:在数据“爆炸”的时代,大数据常常被寄予厚望。清华大学统计学研究中心前不久成立,著名统计学家、哈佛大学终身教授刘军担任主任。日前,刘军做客人民日报、人民网《文化讲坛》,分享他的思考。
关键词:文化讲坛;汽油;原油;统计学;分析
作者简介:
大数据时代,统计学还有用吗?清华大学统计学研究中心主任刘军做客《文化讲坛》
大数据是“原油”,不是“汽油”(文化讲坛)
在数据“爆炸”的时代,大数据常常被寄予厚望。到底,什么样的数据才算大数据,怎样才能用好大数据,传统统计学还有用武之地吗?清华大学统计学研究中心前不久成立,著名统计学家、哈佛大学终身教授刘军担任主任。日前,刘军做客人民日报、人民网《文化讲坛》,分享他的思考。
——编者
让大数据区别于数据的,是其海量积累、高增长率和多样性
什么是数据?数据(data)在拉丁文里是“已知”的意思,在英文中的一个解释是“一组事实的集合,从中可以分析出结论”。笼统地说,凡是用某种载体记录下来的、能反映自然界和人类社会某种信息的,就可称之为数据。古人“结绳记事”,打了结的绳子就是数据。步入现代社会,信息的种类和数量越来越丰富,载体也越来越多。数字是数据,文字是数据,图像、音频、视频等都是数据。
什么是大数据呢?量的增多,是人们对大数据的第一个认识。随着科技发展,各个领域的数据量都在迅猛增长。有研究发现,近年来,数字数据的数量每3年多就会翻一番。
大数据区别于数据,还在于数据的多样性。正如高德纳咨询公司研究报告指出的,数据的爆炸是三维的、立体的。所谓的三维,除了指数据量快速增大外,还指数据增长速度的加快,以及数据的多样性,即数据的来源、种类不断增加。
从数据到大数据,不仅是量的积累,更是质的飞跃。海量的、不同来源、不同形式、包含不同信息的数据可以容易地被整合、分析,原本孤立的数据变得互相联通。这使得人们通过数据分析,能发现小数据时代很难发现的新知识,创造新的价值。
通过数据来研究规律、发现规律,贯穿了人类社会发展的始终。人类科学发展史上的不少进步都和数据采集分析直接相关,例如现代医学流行病学的开端。伦敦1854年发生了大规模的霍乱,很长时间没有办法控制。一位医师用标点地图的方法研究了当地水井分布和霍乱患者分布之间的关系,发现有一口水井周围,霍乱患病率明显较高,借此找到了霍乱暴发的原因:一口被污染的水井。关闭这口水井之后,霍乱的发病率明显下降。这种方法,充分展示了数据的力量。
本质上说,许多科学活动都是数据挖掘,不是从预先设定好的理论或者原理出发,通过演绎来研究问题,而是从数据本身出发通过归纳来总结规律。近现代以来,随着我们面临的问题变得越来越复杂,通过演绎的方式来研究问题常常变得很困难。这就使得数据归纳的方法变得越来越重要,数据的重要性也越发凸显出来。







