NVMe SSD可以有多快？实测性能全分析

原标题：NVMe SSD能有多快？全面分析实测性能

本文是NVMe SSD前两篇文章分别介绍了系列文章的第三篇；本文将分享企业记录实验室在实际应用环境中获得的测试NVMe SSD性能。

选择和考虑测试平台

企事录实验室有多套服务器平台，最新的SkyLake还有白金版8180/8176和黄金版6154/6146四种处理器，具体细节如下：

企事录实验室中的四款当红的SkyLake不同的内核数量有不同的主频，TDP也不同

根据以往的经验，对于大多数应用程序来说，在处理器有一定数量核心的基础上，提高主频的性能比提高核心要高得多。部分原因是很多软件没有完全优化多核，也没有得到改进CPU主频可以直接提高应用程序的性能，而更多的核心通常需要操作系统甚至上层应用程序来获得性能收入。因此，选择了企事录实验室Intel Xeon Gold 与其他三款相比，6146处理器作为测试平台CPU，主频最高。

企业记录实验室用于测试DC S4500与DC P4500/4600性能的Intel白牌服务器

企事记录实验室将Xeon Gold 6146处理器安装型号S2600WF的Intel双插槽服务器主板配备256GB DDR4-2666内存，使用一片容量为400GB的Intel DC S3710 SSD安装起动盘Oracle Linux 7.4操作系统，以及Oracle 12c数据库(包括Grid和Database)分别使用软件Intel DC S4500、DC P4500以及DC P4600作为Oracle存储数据库，以DC S以4500的性能为基准，比较NVMe SSD与SATA SSD性能差异。

从上到下Intel DC S4500、DC P4500(背面)和DC P4600。DC S4500采用2.5英寸7mm(mm)厚度，相对DC P4500/4600的2.5英寸15mm厚度设计，显得轻薄很多

DC S4500采用6Gb/s SATA接口，是Intel传统SATA SSD最近，产品的延续主要面向读密集型应用场景。Intel又新增了DC S4600系列SSD，在相同容量下，耐写等级为DC S三倍4500，随机写IOPS翻了一倍，也是SATA SSD但面向写密集型应用场景。

采用U.2接口的DC P4500/4600则是Intel新一代的NVMe SSD，包括最新的闪存控制器设计和3D NAND闪存颗粒和更新NVMe 1.2规范支持。DC P4500主要面向读密集型场景，DC P4600面向中度写载荷场景，所以DC P4600具有更高的耐写性和更好的随机写作性能。

Intel DC S4500/4600与DC P4500/4600 SSD数据来源于相关数据对比Intel官网，企事录实验室整理。延迟主要分为顺序延迟和随机延迟，小尺寸数据通常在行业中使用(如4)K)随机读写延迟作为存储性能的衡量标准；Intel官网公布DC P4500/4600为4K随机读写数据块延迟，DC S4500是顺序读写延迟。为了统一比较，企事记录实验室与Intel联系，获得DC P按4500/4600的顺序读写延迟，但是DC S未能提供4500的随机读写延迟，但可以在以后的性能验证中获得

由于DC P4500/4600面向不同程度的读写应用场景，DC P4600的随机写作性能更高，耐写等级更高DC P大约是4500的5倍。它的内部NAND闪存颗粒也不同于闪存控制器：

Intel DC P4500与DC P使用两种不同的3600闪存颗粒D NAND闪存颗粒

Intel DC P闪存控制器4500和4600DRAM。闪存控制器看起来像同一型号，配备了两种类型DRAM，猜其中一个DRAM也许主要用于写作Buffer

Intel第四代SSD针对写I/O优化，I/O写在闪存控制器中Buffer返回操作成功，间隔一定时间后统一刷NAND存储中。SSD中配备的两颗电容可以保证SSD在突然断电的情况下会发生故障DRAM数据写在中间NAND存储，以确保数据不丢失。这种机制的优点是写作延迟低于阅读延迟，如上表所示，DC P4500/4600的读延迟为82微秒，而写延迟仅为30微秒。

NVMe SSD性能验证测试

使用企事录实验室FIO工具分别对DC S4500与DC P验证了4500/4600裸盘的性能。

企业记录实验室分别使用两种尺寸-4K和8K验证这三种数据块的数据块SSD性能表现在不同队列的深度。K行业用来衡量数据块的随机访问性能SSD随机性能的事实标准，8K数据块主要用于测量其在数据库应用下的性能。

不同的队列深度有不同的性能，通常在1时有最好的延迟性能；随着队列深度的增加，IOPS它会增长，直到获得SSD的最大IOPS；在未达到SSD的最大IOPS随着队列深度的增加，延迟通常不会增加；达到最大值IOPS之后，随着队列深度的增加，IOPS趋于稳定，但随着队列深度的增加，延迟通常是线性的。

由于新开箱SSD因此，测试结果有一定的误差，成绩会偏好。如上图所示，DC S4500的4K随机读取IOPS超过了8.5万，略好于Intel官网公布的7.2万IOPS；同样，DC P4500和DC P4600的4K随机读取IOPS分别超过54万和56万，高于官网公布的49万和55万，但误差不明显。

在8K在随机读取性能测试方面，DC S4500达到5.1万IOPS，DC P4500和DC P4600分别超过32万和34万IOPS。同时，企事录实验室还收集了其在不同队列深度下的延迟性能，如下图所示：

从测试结果来看，DC S当队列深度为1时，4500的延迟为0.18ms(即180微秒)，DC P队列深度为1时，4500/4600的延迟分别为0.04ms和0.03ms，证明NVMe SSD(DC P4500/4600)的延迟确实比SATA SSD(DC S4500)好很多。同时也证明了Intel官网公布DC S4500的延迟数据(36微秒)是顺序读写时的延迟性能

同样，企事记录实验室也以同样的方式进行了测试DC S4500与DC P4500/4600在不同队列深度下K、8K上图为随机性能IOPS增长情况，在队列深度为8时，达到最大IOPS，DC S4500达到3.9万IOPS，高于官网公布的3万IOPS；DC P4500达到了11万IOPS，远高于官网3.8万IOPS，这可能与开箱新盘测试有关，尽管在正式测试前已经花了几天时间SSD至少擦了一遍，但测试结果仍然很高；DC P4600则达到17.5万IOPS，与官网公布的结果一致。

当队列深度为1时，DC S4500与DC P4500/4600的延迟保持在0.04ms(即40微秒)Intel官网数据基本保持在同一水平。从2队列深度开始，随着队列的增加，延迟成倍增长

在带宽方面，NVMe SSD显然有很大的优势，U.2接口的NVMe SSD基本都采用PCIe 3.0 x理论带宽接近44通道GB/s，大数据顺序读取的实际带宽可达3.2GiB/s左右；而SATA 3.理论带宽为60Gb/s，大数据顺序读取的实际带宽为550MiB/s左右，差距近6倍。下图为企业记录实验室验证NVMe SSD(DC P4500/4600)与DC S4500的64K顺序读写带宽能力：

从测试结果来看，DC S读写带宽接近5000MB/s，距离SATA 3.0接口的实际带宽极限不远了。DC P按4500/4600的顺序读取带宽超过3200MB/s，基本上到达了PCIe 3.0 x实际带宽极限4通道；同时，DC P4500实测带宽接近1100MB/s，官网公布的1050MB/s基本一致；DC P4600的实测顺序写带宽超过1350MB/s，与其公布的1325 MB/s基本一致(5%以内的性能差可理解为测试误差)

从上述测试可以看出， DC S4500、DC P4500以及DCP实际测试结果为4600Intel由于测试平台或测试方法，甚至是官网提供的性能数据都是一致的SSD不同程度的新旧可能会导致测试结果的误差，但在较小范围内（通常5%为合理值），企业记录实验室认为它是真实有效的。

但值得注意的是，这只针对底层硬件(SSD)性能测试只能为基于上述应用程序提供模糊的性能参考。如果您想了解其在特定应用场景中的性能，通常需要在更高层次上使用相应的工具（解决方案）进行测试。

数据库应用的存储性能测试

使用NVMe SSD加速数据库的应用性能是目前主流的应用场景，但如何衡量呢？SSD例如，数据库应用程序中的性能并不容易Fio、IOmeter等测试工具只针对IO子系统(IO Subsystem)，它不能真正反映其在数据库中的性能。

根据以往的Oracle通过对各种不同测试工具的比较，企事记录实验室将这些工具大致分为三类：

IO子系统级测试工具：如Fio、IOmeter以及Orion等等。这些工具只针对硬盘或存储卷。(Volume)性能测试只能反映存储的性能。虽然测试数据的大小可以灵活调整甚至并发，但在特定的应用场景中很难反映其性能；

RDBMS等级测试工具：如SLOB，其需要安装Oracle例子，创建测试表空间，构建测试数据来评估存储性能。IO子系统测试工具，SLOB对IO调用更加复杂，具有更好的参考价值，也能反映系统其他资源的性能，如CPU和内存。但不能更为客观地展现真实应用场景下的性能；

应用级测试工具：如HammerDB、Swingbench以及Simora等，其尽可能地构建一个贴近真实应用的数据库场景，用以评估实际环境中的数据库性能表现。而这也意味着其衡量的是包括计算、存储乃至网络(如Oracle RAC方案)等子系统在内的整体性能表现。利用这些工具来评估存储子系统的性能表现时，还需要考虑其他子系统的性能瓶颈。

企事录实验室在基于Intel Xeon Gold 6146处理器的双插槽服务器上构建Oracle单实例数据库系统，依次使用1/2/3/4片DC S4500和DC P4600作为其数据库存储，分别使用SLOB和Swingbench工具进行测试，对比DC S4500与DC P4600 SSD在Oracle数据库环境下的性能表现。

在SLOB测试中，分别使用1/2/3/4片DCS4500以及DC P4600 SSD作为实际数据存储，均写入128GB测试数据，对其进行随机读取性能测试，测试完毕后整理数据并进行对比，其结果如下：

在使用DC S4500 SSD作为Oracle数据库存储时，随着DC S4500 SSD数量逐一增加，其性能线性增长，在4片DC S4500 SSD全部用作Oracle数据库存储之后，其最大性能超过了11万Rds/s(Reads/s)

而使用DC P4600 SSD作为Oracle数据库存储之后，即使只使用1片DC P4600 SSD，其也获得了3倍于4片DC S4500 SSD的性能之和，是单片DC S4500 SSD性能的10倍；随着DC P4600 SSD的增加，其性能随之线性增长。但在同时使用3片DC P4600之后，其性能达到最大值——85万Rds/s，从性能增长曲线推测，3片DCP4600 SSD的性能并未完全发挥，还略有盈余，但由于其他子系统(如计算、操作系统)达到瓶颈，即使再加入第4片DC P4600 SSD，其性能仍保持平稳，并未有所增加。

利用Swingbench工具能够更加真实反映使用SSD作存储的Oracle数据库服务器的综合性能表现。企事录实验室使用了另外一台配备Intel XeonE5-2699 v4处理器的双插槽服务器作为压力客户端，其上安装Windows Server 2012 R2 Datacenter操作系统，以及Swingbench工具，用以测试Oracle数据库服务器(Intel Xeon Gold 6146处理器+DC S4500/DC P4600)性能，压力客户端与Oracle数据库服务器通过万兆以太网连接。

为了尽可能排除大内存容量带来的性能虚高影响，在创建测试数据库时，将SGA调整为32GB，每次均写入120GB测试数据，在启动测试后，至少稳定运行1小时后获得性能结果，经过整理，分别使用1/2/3/4片DC S4500与DC P4600 SSD作存储的Oracle数据库性能(TPM)如下图所示：

由于Swingbench属于应用层测试，其并不能单纯反应某一子系统的具体性能，而体现的是Oracle数据库服务器的综合性能。在逐一添加DC S4500 SSD做数据库存储时，其TPM性能基本能线性增长，在加入第3片SSD后，获得最大性能——160万TPM。由于其他子系统瓶颈的出现，在加入第4片DC S4500之后，其性能并没有明显增加

相对于DC S4500，DC P4600能够提供更好的性能表现，在只使用1片DC P4600 SSD做存储的情况下，其TPM就超过了140万，接近3片DC S4500所能提供的TPM性能。在加入第2片DC P4600 SSD之后，Oracle数据库达到172万TPM。同样由于其他子系统触及瓶颈，并未完全发挥2片NVMe SSD的性能，即使加入第3片DC P4600 SSD，其性能略有抬头，但并没有明显变化。

同时，SSD的使用让Oracle数据库取得近200万TPM时，平均响应时间(延迟)并没有明显变化，在逐次添加DC S4500 SSD做存储后，其平均响应时间均维持在2ms左右；而对于DC P4600 SSD而言，其平均响应时间也在2ms左右，在加入第3片DC P4600SSD之后，虽然TPM性能并未明显增加，但3片SSD均摊了I/O压力，让Oracle数据库的响应更快，其平均延迟反而下降了1ms。

此外，还有一个现象需要注意，在上述测试所用的Oracle数据库服务器中添加多块SSD，尤其是性能更好的NVMe SSD，其数据库性能很容易就到达顶点。在Oracle为代表的应用里，存储已经不再是瓶颈，计算资源的供应(如CPU核心数量、主频以及内存大小)需要针对性优化；同时，软件方面(如操作系统、应用程序本身)也需要进行优化，比如在Linux操作系统中，有实践证明，使用Intel推出的SPDK(Storage Performance Development Kit)套件+NVMe SSD有助于应用性能提升。

在实际应用环境中，诸如Oracle数据库等应用通常计算、存储分离部署，使用网络(iSCSI、FC或InfiniBand等)实现连接，企业用户要发挥(NVMe)SSD的性能优势，还需要评估网络性能，以防网络成为瓶颈。企事录实验室相关测试证明，使用更高带宽的网络(25/100GbE)，同时启用RDMA(RoCE)等功能，并与NVMe over Fabrics规范相结合，能够显著提高存储子系统的性能表现。

经过本次测试，企事录实验室认为，SSD，尤其是NVMe SSD能够大幅提升存储子系统的性能表现，并降低响应时间(延迟)，可以更好地支持企业应用，特别是对响应时间要求苛刻、IO密集型的企业关键业务应用，使用NVMe SSD将大幅提升用户体验。返回搜狐，查看更多

责任编辑：