21大数据 郭旭

大数据定义
维基百科全书定义了大数据。维基百科全书认为，大数据是指在通常的软件工具范围内捕获和管理的数据集。大数据是一种大规模的数据集，在过去的存储和管理分析中远远超过传统软件，因此被称为大数据。
简单地说，大数据就是大数据。大数据的核心价值在于存储和分析大量数据；大数据技术的战略意义不在于掌握大量数据信息，而在于专业处理这些有意义的数据。换句话说，如果把大数据比作一个行业，这个行业盈利的关键是提高数据的加工能力，通过加工实现数据的增值。
大数据可以实现的应用程序可以概括为两个方向，一个是正确的定制，另一个是预测。例如，通过搜索引擎搜索相同的内容，每个人的结果都非常不同。例如，准确的营销，百度推广，淘宝喜欢推荐，或者你去一个地方自动向你周围的消费设施推荐等等。
大数据特征
1、规模性

随着信息技术的快速发展，数据开始爆炸性增长。大数据中的数据不再是少数GB或几个TB用于单位，而是用于单位PB(1千个T)、EB(1百万个T)或ZB(10亿个T)为计量单位。

2、多样性

多样性主要体现在三个方面、数据类型多、数据相关性强三个方面。

有许多数据来源。企业面临的传统数据主要是交易数据，互联网和物联网的发展带来了社交网站、传感器等多种来源数据。

由于数据来源于不同的应用系统和设备，决定了大数据形式的多样性。一般可分为财务系统数据、信息管理系统数据、医疗系统数据等结构化数据，其特点是数据之间的因果关系强；视频、图片、音频等非结构化数据，其特点是数据之间没有因果关系；三是半结构化数据，如HTML其特点是数据间因果关系薄弱，如文档、邮件、网页等。

有许多类型的数据，主要是非结构化数据。在传统企业中，数据以表格的形式保存。70%-85%的大数据是非结构化和半结构化的数据，如图片、音频、视频、网络日志和链接信息。

数据之间的相关性强，交互频繁，如游客在旅途中上传的照片和日志，与游客的位置、行程等信息有很强的相关性。

3、高速性

这是大数据区别于传统数据挖掘的最显著的特征。大数据与大数据的重要区别在于：一方面，大数据规模较大；另一方面，大数据对处理数据的响应速度有更严格的要求。实时分析而不是批量分析，数据输入、处理和丢弃立即生效，几乎没有延迟。数据的增长速度和处理速度是大数据高速度的重要体现。

4、价值性

虽然企业有大量的数据，但只有一小部分发挥了价值。隐藏在大数据背后的价值是巨大的。由于大数据中有价值的数据所占比例很小，大数据的真实价值体现在大量不相关的数据中。挖掘机器学习方法、人工智能方法或数据挖掘方法的深入分析，挖掘出对未来趋势和模式预测分析有价值的数据，并应用于农业、金融、医疗等领域，以创造更大的价值。
云计算定义
云计算是一种按用、方便、按需的网络访问的模式， 进入可配置的计算资源共享池（包括网络、服务器、存储、应用软件和服务）。这些资源可以快速提供，只需投入少量管理或与服务提供商互动。

云计算是继20世纪80年代大型计算机向客户端-服务器的巨大变化之后的另一个巨大变化。云计算不适用于特定的应用程序。在云的支持下，可以构建不断变化的应用程序。同一个云可以同时支持不同的应用程序运行。
如何理解云计算
云计算的核心是服务IaaS(基础设施即服务)，PaaS（平台即服务）和SaaS(软件即服务)
云计算的三个特点如下：

1、服务无处不在

用户可以随时随地使用该服务，只需要一个具有基本计算能力的计算设备和一个有效的互联网连接。从这个意义上说，任何联网应用都有潜力成为云计算平台。

2.有进入成本

用户需要使用该服务，但不具备独立提供该服务的经济或技术条件。例如，一些企业需要定期进行大规模计算，但不值得购买具有大规模计算能力的计算设备。超级计算中心允许多个用户分担超级计算机的成本，而不需要计算设备。

用户决定应用程序

云计算平台提供计算能力（包括处理器、内存、存储和网络接口），但不关心用户的应用类型。用户利用云计算平台提供的计算能力，充分考虑云计算平台设置的（技术和经济）限制，开发出丰富多彩的应用。
为什么云计算叫云？
云计算范围大，计算能力强，网络虚浮如云。云计算（CloudComputing）它是一种分布式计算，是指通过网络云将巨大的数据计算处理程序分解成无数的小程序，然后通过由多个服务器组成的系统进行处理和分析，得到结果并返回给用户。现阶段的云计算不仅是一种分布式计算，而且是分布式计算、效用计算、负载平衡、并行计算、网络存储、热备份冗余、虚拟化等计算机技术混合演变和跳跃的结果。
云计算关键技术有哪些？
虚拟化技术

实现云计算的重要技术支持就是虚拟化技术。虚拟化技术实现了物理资源的逻辑抽象和统一表示，产生了一个虚拟(非实在)的东西，各种不同的软硬件资源就可以形成一个虚拟的资源池，用户和业务应用就能更有效地使用这个资源池，通过虚拟化技术可以提高资源的利用率，且能够按照用户需求变化，快速有效地进行资源部署。

数据存储技术

从安全经济适用的角度来看，分布式存储无疑是云存储的最佳选择。采用多个副本存储相同的数据或多个备份法，并行为用户提供所需的服务。此外，高传输率也是云计算数据存储技术的一个主要特点。目前，有服务提供商使用这种数据存储技术Google、英特尔等。

大规模数据管理技术

云技术处理和利用大量数据的前提是，数据管理技术必须有能力有效地管理大量数据。目前，云计算系统中的数据管理技术主要是Google的Big Table数据管理技术和Hadoop开发的开源数据管理模块HBase。

编程模型

为了让用户在云环境中轻松获得编程服务，编程模型必须具有简单易操作的性能，使用户能够通过简单的编程实现既定的目标。此外，复杂的并行执行和任务调度对用户和编程人员的透明度也是该服务的主要特点。例如Google构造的Map Reduce编程规范可以满足上述要求。Map和Reduce构成基本运算单元的两个简单概念可以并行处理大量数据。Map Reduce目前广泛应用于编程模型和任务调度模型的需要。
大数据与云计算的关系
首先，大数据(bigdata)，它是一种海量、高增长率、多元化的信息资产，需要新的处理模式才能具有更强的决策能力、洞察发现能力和流程优化能力。
大数据与云计算的关系与硬币的正反面密不可分。单台计算机不能处理大数据，必须采用分布式计算架构。它的特点是挖掘大量数据，但必须依靠云计算的分布式处理、分布式数据库、云存储和虚拟化技术。他俩们的关系可以这样理解，云计算技术就是一个容器，大数据正是存放在这个容器中的水，大数据是要依靠云计算技术来进行存储和计算的。