关于大数据时代的看法.docVIP

关于大数据的看法 大数据最初是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。但由于大数据的处理需要特殊的技术，包括可扩展的存储系统、大规模并行处理数据库、数据挖掘电网和云计算平台，所以大数据不仅仅只是一种信息资产，更深的含义应是数据分析的前沿技术。从学科角度而言，大数据对海量数据进行存储、整合、处理和分析，可视为一种新的数据分析方法。 大数据具有三个典型的特征。第一，就是要分析与某事物相关的所有数据，而不是依靠分析少量的数据样本；第二，我们需要接受数据的纷繁复杂，而不再追求精确性；第三，我们不需再探求难以捉摸的因果关系，转而关注事物的相关关系。 大数据的核心是预测，它讲求“样本=总体”，因此大数据使用的前提是已搜集整理了海量数据，再从中寻取有用的信息，而在拥有海量数据前，要认识数量庞大的总体。就比如说2009 年在H1N1 流感爆发的前几周，美国互联网巨头谷歌公司的工程师们就在《自然》杂志上发表了一篇文章，文章预测流感将在全美国传播，而且具体到了特定的地区和州，后来证明这几乎是准确的，事后美国公共卫生官员们感到非常震惊，工程师们之所以能进行预测是基于该公司收集和存储的海量数据，谷歌每天会收到来自全球30多亿条的搜索指令而且已保存了多年，工程师们通过比对5000 多万条美国人最频繁检索的词条，发现了45 个检索词条的组合，把它们代人一个特定的数学模型后，将结果与美国疾控中心2003至2008 年季节性流感传播时期的官方数据进行了比较，其结果与官方数据的相关性竞高达97%。也就是说，正因为谷歌公司拥有了一个庞大的数据资源库，才使工程师们做出了精准的判断。 而与大数据相对应的“小数据”就是统计学。统计学，是关于收集整理分析和解释统计数据的科学，是一门认识方法论性质的科学，其目的是探索数据内在的数量规律，以达到对客观事物的科学认识。下面就从四个方面分析大数据与统计学的区别。 第一，信息规模不同。大数据是要分析与某事物相关联的所有数据，而不是依靠分析少量的数据样本。统计学，是用尽可能少的数据来证明尽可能重大的发现。由于多年来养成的习惯，在我们的制度和激励机制中，习惯了尽可能减少数据的使用。但人们在大规模数据基础上可以做到的事情，在小规模数据基础上是无法完成的。 第二，精确性要求不同。在大数据时代，人们不再认为数据是静止和陈旧的，并且乐于接受数据的纷繁复杂，不再追求数据的精确性。而统计最基本、最重要的要求就是减少错误，统计数据要求精确、方向单一，数据一旦完成收集、整理、分析的目的，就被认为已经没有用处了。 第三，数据收集形式不同。统计数据分析，以往依赖于数据的随机采样，局限在小范围，无法揭示准确的细节信息。而在大数据时代，我们拥有各种各样、参差不齐的海量数据，很少有数据完全符合预先设定的数据种类，不精确已渗透到了最不能容忍错误的领域。要想获得大规模数据带来的好处，混乱应该是一种标准途径，而不应该是极力避免的。 第四，思维方式不同。大数据转变了人们的思想，不再探求难以捉摸的因果关系，转而关注事物的相关关系。而统计学，关注的是因果关系。 虽然说大数据将是时代未来发展的潮流，但这并不意味大数据将取代统计学，大数据与统计学的关系及其本身的优势，当统计学遇到大数据可以说既是机遇也是挑战，统计学的优势在于“以小见大”，这是统计学的优势，同时也是统计学在小数据约束下的妥协。在大数据时代，可将统计学的长处和大数据的优点结合起来，实现“以小见大”和“由繁入简”的有效结合。