内容摘要:发展中的大数据确实带来了很多有用信息,但也使我们遇到越来越多的难题。人们利用大数据来对贷款人偿还能力进行评估,从而得到合理的风险回报。
关键词:统计学;量化投资;统计;发展;预测
作者简介:
大数据并非越大越好
大数据:越发展,难题越多
■孟晓犁
哈佛大学文理研究生院院长
大数据这两年一直是热词。发展中的大数据确实带来了很多有用信息,但也使我们遇到越来越多的难题。其中最大的难题就是如何去伪存真,将那些带来误导的噪音去除。
因此,发展中的大数据需要的不仅是专业的数据信息人才,而是需要更多善于和各个领域的大数据打交道的人,这对统计学的人才培养提出了全新的要求。
大数据统计 事关我们生活的幸福或痛苦
人人都知道,我们生活中很多事情都与大数据发生着关联。以我在哈佛大学教的通识课“生活中的统计:你快乐(或痛苦)的几率”为例。罗曼史就与大数据和统计学有密切关系。现在有不少号称可以帮助大家找到心上人的网站。具体怎么找?通常,网站会做一些调查问卷获得个人信息。同时调查那些相爱的人与他们个人的兴趣爱好、教育背景、家庭情况等有多大的相关性。根据这些搜集到的数据建立一个统计公式,给出一种概率上的预测。当达到一定概率时,网站就会显示两个人匹配。这类统计公式的可靠性建立在大量的数据上,而它的形成需要用到许多统计的思想和方法,包括设计问卷、抽样调查、建立模型、分析数据等等。
另外,酒和巧克力的口感也与大数据处理有关。因为这两者中的变量因素特别多,比如天气、地区、葡萄品种、采集及酿造的方法等;巧克力的可可产地、天气、制作方法等。变量越多,不确定性就越多,越需要统计学家们的工作。







