[计算机基础]大数据是什么?
信息量的变化
纸张发明后的很长一段时期内,书籍的制作主要靠人工书写,效率不高,传播范围也有限,随着社会稳定与文明繁荣,逐渐无法满足人们对书籍的需要,直至隋末唐初雕版印刷术的发明,开启了中国书籍史上一个新的时代。雕版印刷的发明,使书籍摆脱了人工抄写,大大提高了印刷效率。北宋时期毕昇发明了活字印刷术,将整版刻制拆分为逐字印刷,活字亦可重复使用,进一步加快了印刷速度与灵活性。
由此可见,活字印刷术的发展,加快了人们通过书本传播信息的速度,且一本书含有的有价值的信息量也逐渐变多。随着计算机技术和相关技术的发展,信息量从 TB 级别跃升到 PB 级别,现如今的信息类型多样,不仅仅是文本形式,更多的是图片、视频、音频、地理位置等类型的信息。体现出了大数据“大”,即数据体量巨大。
大数据技术
大数据是无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。大数据有四个基本特征 PB 级别;数据类型多样;在短时间内获取高价值信息;价值密度低,商业价值高。办公常用的软件 Excel 最多可以拥有 255 张工作表,一个工作表最多可有 1048576 行,16384 列,也就是一张工作表可以存储 17179869184 个数据。但是,Excel 只能存储结构化的数据,大数据一般都是非结构化的数据,且许多的数据都是没有价值的,再加上常规软件工具抓取、管理和处理数据的效率低。
因此,对于大数据要进行专业化处理,大数据技术包括大规模并行处理数据库、数据挖掘电网、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统,大数据技术能够从各种类型的数据中快速获得高价值的信息。大数据技术是指从各种各样类型的数据中,快速获得有价值信息的能力。显然常规软件工具 Excel 无法胜任此项工作,即便是比 Excel 存储量更大的 MySQL、SqlServer 数据库都无法胜任。
大数据分析
大数据并不是简单的数据大的问题,重要的是通过对大数据进行分析来获取有价值的信息。所以大数据的分析方法在大数据领域显得尤为重要,可以说是决定最终信息是否有价值的决定性因素。大数据分析的基本方法有可视化分析、数据挖掘算法、预测性分析等。对于更深入的大数据分析,则需要更有特点、更深入、更专业的大数据分析方法。
大数据作用
大数据的处理正成为新一代信息技术的应用。移动互联网、物联网、社交网络、数字家庭、电子商务等是新一代信息技术的应用形态,这些应用不断产生大数据、云计算为这些海量、多样化的大数据提供存储和运算平台。对不同来源的数据进行管理、处理、分析与优化,将结果反馈到上述应用中,将创造出巨大的经济和社会价值。
大数据的分析可以使零售商实时掌握市场动态并迅速作出应对;可以为商家制定更加精准有效的营销策略;可以帮助企业为消费者提供更加及时和个性化的服务。
大数据可以通过实时监测、跟踪研究对象在互联网上产生的海量行为数据,进行挖掘分析,揭示出规律性的东西,提出研究结论和对策。