第二章大数据技术概述

2.1大数据技术的产生

2.1.1大数据的基本概念

1. 大数据的定义：在一定时间范围内用常规软件工具进行捕捉，管理和处理数据集合
2. 大数据是现有的数据库管理工具和传统数据处理应用方法很难处理的大型、复杂的数据集，大数据技术的范畴包括大数据的采集、存储、搜索、共享、传输、分析和可视化等。

2.1.2大数据产生的原因

    经典案例：啤酒与尿布、谷歌与流感

2.1.3大数据概念的提出

1、内存：运行速度       存储：储存容量     

海量数据产生：（1）来自大人群互联网

（2）来自大量传感器机械

（3）科学研究及行业多结构专业数据

2、1887——1890年：电功器

1944年预见大数据

1997年用大数据描述超级计算机产生的大量信息

2003——2006年：谷歌提出大数据可重用方案

2008年提出大数据概念

2009年大数据逐渐走进互联网

2012年大数据成为一种新的资产类别

2013年大数据元年

3、各数据量单位：KB>MB>GB>TB>PB>EB>ZB>YB>NB>DB     12B=10亿TB

单位以PB衡量的数据可称为大数据

        1位（二进制0或1）

        1字节（8位）——1个英文字母或二进制8位数

        1文字=2字节=16位

2.1.4第四范式——大数据对科学研究产生的影响

实验——————理论——————计算——————数据

第一范式        第二范式        第三范式        第四范式

大数据的特征    （1）大量化：存储量大                     （3） 快速化

                                                 增量大                         （4） 有价值

                         （2）多样化：来源多   搜索引擎

                                                              社交网络

                                                格式多    结构化数据

                                                               非结构化数据

2.1.5云计算与大数据的关系

 1、区别：（1）云计算侧重于提供资源和应用的网络化交付方法；大数据侧重于应对大的数据量所带来的技术挑战。

            （2）云计算的核心是业务模式，其本质是数据处理技术，数据是资产，云计算为数据资产提供了存储访问的场所和计算能力。云计算更偏重大数据的存储和计算以及提供云计算服务运行云应用；大数据的核心作用是盘活数据资产的能力，从数据中挖掘价值核对数据进行预测性分析，为国家治理、企业决策乃至个人生活提供服务。

            （3）云计算是基础设施架构，大数据是思想方法。大数据技术将帮助人们从大体量、高度复杂的数据中分析、挖掘信息，从而发现价值和预测趋势。

    2、联系：云计算与大数据是一对相辅相成的概念，他们描述了面向数据时代信息技术的两个方面。

2.2大数据的4V特征

1. 大数据的4V特征

1. 规模性：大数据需要采集、处理、传输的数据量大；处理PB级的数据是比较常态的情况。企业内部的经营交易信息，网络世界中的商品、物流信息，人与人的交互信息、位置信息等都是大数据的主要来源。
2. 多样性：大数据的种类多、复杂性高；大数据有不同格式，有结构化的关系型数据，有半结构化的网页数据，还有非结构化的视频音频数据。而且非结构化数据。这些非结构化数据广泛存在于社交网络、物联网、电子商务之中，其增长速度比结构化数据快数十倍。
3. 高速性：大数据需要频繁的采集、处理并输出；因为数据会存在时效性，需要快速处理并得到结果。如一些电商数据，如果当天的信息不处理，就将会影响到很多需要立即做出的商业决策。要达到立竿见影而非事后见效，实现实时获取需要的信息，1秒是临界点，即对于很多实时大数据应用而言，数据必须要在1秒钟内进行处理，否则处理结果就是过时和无效的。
4. 价值密度低：大数据不经过相应的处理则价值较低。挖掘大数据的价值类似于沙里淘金。以视频为例，一个一小时的监控视频数据，可能有用的数据只有一两秒。如何通过强大的算法更迅速地完成数据的价值“提纯”是目前大数据技术研究的重要课题。

2.3大数据的主要应用及行业推动力量

2.3.1大数据的主要应用：

1. 互联网企业
2. 智能电网
3. 车联网
4. 医疗大数据

2.3.2企业推动大数据行业发展

腾讯、华为、谷歌、EMC、数据库、阿里

2.3.3我国政府推动大数据行业发展

2.4大数据的关键技术

1. 大数据预处理技术：数据采集

                     数据存取

                     基础架构支持

                     计算结果展现

1. 大数据存储技术：（1）存储设备能持久可靠的存储数据

1. 提供可伸缩接口
2. 提供高效查、调、更新等操作

1. 大数据分析技术：数据处理

                   统计和分析

                   数据挖掘

                   模型预测

1. 大数据计算技术：批处理计算和流处理计算

2.5典型的大数据计算架构

1. Hadoop是Apache软件基金会旗下的一个开源计算框架（硬盘层面，高延迟）；是最基础的分布式计算架构——处理本地数据
2. Spark是基于内存的大数据计算框架，提高了在大数据环境下处理的实时性，同时保证了高容错性和高伸缩性（处理数据是准实时的）——收集并更新
3. Storm是基于拓扑的流数据实时计算框架（完全实时）——延迟毫秒级

第三章虚拟化技术

3.1虚拟化技术简介

3.1.1虚拟化技术的概念

1. 虚拟化:作为一种计算机资源管理技术，将各种的IT实体资源抽象转化为另一种形式的技术

图3-1虚拟化软硬件框架对比 a)未应用虚拟化技术 b）应用虚拟化技术

表3-1虚拟化技术应用前后的对比

3.1.2虚拟化技术的分类

1. 网络虚拟化：将硬件与软件的网络设备资源，以及网络功能整合为一个统一的、基于软件可管理的虚拟网络。（是一种包含至少部分是虚拟网络连接的计算机网络）
2. 存储虚拟化：整合所有存储资源为一个存储池，对外提供逻辑存储接口，用户通过逻辑接口进行数据的读写，不论有多少个硬件存储设备，对外看到的只有一个。

               实现有两种方式：块虚拟化和文件虚拟化

1. 服务器虚拟化：（1）也称平台虚拟化，将服务器物理资源抽象成逻辑资源，让一台服务器变成几台甚至上百台相互隔离的虚拟服务器，用户不再受限于物理上的界限实现CPU、内存、磁盘1/0等硬件变成可以动态管理的“资源池”，从而提高资源的利用率，简化系统管理，实现服务器整合，让IT对业务的变化更具适应力。

1. 实际上是将操作系统和应用程序打包成虚拟机，从而将操作系统和应用具备良好的移动性。
2. 物理机:操作系统（Host Os)硬件（Host Machine）

     虚拟机：操作系统（Guest Os）虚拟机（Guest Machine）VMM（虚拟监控器）硬件（Host Machine）

1. 虚拟化的特点：分区：可分为多个虚拟机

                   隔离：虚拟机与虚拟机之间相互独立

                   封装：独立的文件夹形式

                   相对于硬件独立：屏蔽底层硬件不兼容问题

1. 虚拟化类型：寄居虚拟化——在主操作系统上安装和运行的一个程序

               特点：简单易于实现；

                     安装和运行应用程序时，依赖于主操作系统对设备的支持；

                     有两层OS，管理开销大，性能损耗大；

                     虚拟机对各种物理主机的调用都是通过虚拟化层和宿主OS一起调用完成

                裸金属虚拟化——在硬件上部署虚拟化层

               特点：不依赖于操作系统；

                     支持多种操作系统；

                     依赖虚拟层内核和服务控制台进行管理；

                     需要对虚拟层进行内核开发

                混合虚拟化——插入内核模块

                特点：相对于寄居虚拟化性能高；

                      相对于裸金属虚拟化不需要内核开发；

                      支持多种操作系统；

                      需要底层硬件支持虚拟扩展功能

1. 虚拟化层架构：全虚拟化：即所抽象的VM具有完全的物理特性，虚拟化层负责捕获CPU指令，为指令访问硬件充当媒介

                   特点：OS无需修改

                         速度和功能比较好，使用非常简单

                         移植性好

                   半虚拟化：特点：架构更简单

                                   对OS进行修改，用户体验比较麻烦

                                   速度上占一定优势

                   硬件辅助虚拟化

1. 操作系统虚拟化
2. 服务虚拟化
3. 桌面虚拟化
4. 应用虚拟化
5. 用户体验虚拟化

3.1.3虚拟化技术的优势和劣势

1. 虚拟化技术的优势：（1）减少物理资源的投入，节约成本（2）虚拟数据资源迁移方便（3）提高物理资源的使用率（4）更加环保、节省能源（5）易于自动化维护与操作，减少维护成本（6）数据安全更有保障
2. 虚拟化技术的劣势：（1）目前业界没有统一的虚拟化技术标准与平台，没有开放的                 协议
3. 如果没有对数据进行备份，应用虚拟化技术会存在一定的风险
4. 虚拟数据中心的迁移，对用户影响巨大

3.1.4虚拟化技术与云计算

1. 云计算1.0——以虚拟化为核心
2. 云计算2.0——以资源为核心
3. 云计算3.0——以应用为核心
4. 云计算：一种服务
5. 虚拟化：一种技术基础

3.2虚拟化技术原理

3.2.1虚拟机技术原理：（1）虚拟机技术实现了一台计算机同时运行多个操作系统，而且每个操作系统中都有多个程序运行，每个操作系统都运行在一个虚拟的CPU或虚拟主机上。虚拟机技术需要CPU、主板芯片组、BIOS和软件的支持，如VMM软件或者某些操作系统本身。

（2）虚拟机技术的核心是虚拟机监视器VMM（作用是向底层分配访问宿主机的硬件资源，向上管理虚拟机的操作系统和应用程序，它是一个宿主程序）

3.2.2CPU虚拟化原理：（1）目的是为了允许让多个虚拟机可以同时运行在VMM中。CPU虚拟化技术是将单CPU模拟为多CPU，让所有运行在VMM之上的虚拟机可以同时运行，并且他们相互之间都是独立的，互不影响的，以提高计算机的使用效率

1. CPU是计算机的核心，包含三大部分：运算器、控制器以及处理器寄存器

3.2.3内存虚拟化原理：（1）（除去CPU的虚拟化以外，另一个关键的虚拟化技术）让每个虚拟机可以共享物理内存，VMM可以动态分配与管理这些物理内存，保证每个虚拟机都有自己独立的内存运行空间。

（2）虚拟地址：客户虚拟机应用程序所使用的地址

（3）物理地址：由VMM提供的物理地址

（4）机器地址：真实的物理内存地址

（5）映射关系：包含两部分，客户机中的虚拟地址到VMM物理地址的映射；VMM物理地址到机器地址的映射。

3.2.4网络虚拟化原理：（1）提供了以软件的方式实现的虚拟网络设备，虚拟化平台通过这些虚拟网络设备可以实现与其他网络设备进行通信。

                     （2）网络虚拟化是要实现设备与设备之间的与物理连接没有关系的虚拟化连接

3.3常见的虚拟化技术解决方案

3.4常见虚拟化技术的应用实践

第四章数据中心

4.1数据中心的概念

数据中心(DataCenter)通常是指在一个物理空间内实现信息的集中处理、存储、传输、交换、管理，而计算机设备、服务器设备、网络设备、存储设备等通常认为是网络核心机房的关键设备。　　关键设备运行所需要的环境因素，如供电系统、制冷系统、机柜系统、消防系统、监控系统等通常被认为是关键物理基础设施。

4.2数据中心的基本单元——服务器

1. 一个完整的数据中心包括支撑系统、计算机设备和信息服务这三个逻辑部分。
2. 支撑系统主要是由电力设备、环境调节设备和监控设备组成，计算机设备包括服务器、存储设备和网络设备，这些设备运行着上层的信息服务。从中可以看到，服务器是数据中心服务的主要载体，同时与存储设备和网络设备相连，是数据中心的基本单元。

3、服务器（Server) 是指运行操作系统、数据库系统、Web系统等软件系统，为网络上其他终端提供服务的硬件设备。即从广义上讲，服务器是指网络中能对其他机器提供某些服务的计算机系统（如果一个PC 对外提供FTP服务，也可以称之为服务器）； 从狭义上讲，服务器是专指某些高性能计算机，能通过网络对外提供服务。服务器通常都会采购专用的CPU,与PC相比，服务器有更高标准的主板和电源、以及专用的带纠错功能的高速内存（ECC 内存）和专用的硬盘（SAS硬盘、FC硬盘、SSD硬盘）。

4、目前常见的服务器从基础构架上分为使用RISC (精简指令集）CPU的专用服务器和使用CISC (复杂指令集）CPU 的通用服务器。专用服务器主要用于对浮点运算性能较高的应用场景，如中型机和小型机，也就是大家经常听说的高性能机。目前大多数数据中心通常采用的是通用服务器，如Intel公司的Xeon系列和AMD公司的 Opteron 系列服务器。由于Xeon和Opteron与PC机的 CPU 都使用了 X86 架构，使用的都是 CISC 指令集，所以这类服务器通常被称为X86服务器。X86服器可从机箱结构和外形、结点密度、支持的CPU数量和用途进行分类。

5、按机箱结构和外形分类：塔式服务器、机架式服务器；

6、按结点密度分类：单结点服务器、多结点（高密度）服务器；

7、按支持的CPU数量分类：单路服务器、双路服务器、4路服务器、8路服务器、16路服务器、32路服务器。

8、按功能分类：文件服务器、数据库服务器、邮件服务器、Web服务器、DNS服务器等。

4.3数据中心选址

1. 七大要求按重要性排序：自然地理条件、配套设施、周边环境、成本因素、政策环境、高科技人才资源环境、社会经济人文环境
2. 选址理念：（1）地基很牢固（2）发生火灾的危险性小（3）没有大雨等引起洪水的可能性（4）用地周围视野广阔（5）远离经常落雷的地区和变电所、输电线（6）远离空气污染地区

4.4数据中心的能耗