全站搜索
干货分享 | 如何使用 DiskSpd 模拟 Veeam Backup&Replication 磁盘操作
作者:Veeam卫盟软件    发布于:2019-10-15 09:23:02    文字:【】【】【


目的

本篇文章包含有关如何使用 Microsoft DiskSpd 模拟 Veeam Backup&Replication 磁盘操作以测量磁盘性能的信息。


DiskSpd 创建的测试文件不包含任何诊断信息,必须在测试结束后手动删除。有关性能测试的所有诊断信息都显示在命令行中。请不要发送 testfile.dat 来支持,因为它的内容无助于故障排除。


DiskSpd 和其他信息可以在这里找到:https://aka.ms/diskspd


方法

以下是有关选项的一些详细信息,以及可以独立于 Veeam 测量磁盘速度的一些模拟。请注意,与所有综合基准测试一样,实际结果可能会有所不同。




常用参数

用法: diskspd [options] target1 [ target2 [ target3 ...] ]


Target 目标(指 VBR Repository 存放的位置)

可用 Target:

    ○

文件的卷上有指定的盘符:E:\testfile.dat


    ○

在 CIFS 文件/ SMB 共享:\\nas\share\testfile.dat


    ○

NFS 共享上的文件,前提是您已使用 Client for NFS 将其挂载到磁盘盘符:N:\testfile.dat


    ○

磁盘:#X其中X是数字磁盘管理中的磁盘。您可以使用本地磁盘或 iSCSI 连接的本地磁盘,如果它们在线处于脱机状态并不重要。在这种模式下 diskspd 直接从磁盘读取或写入磁盘(“RAW”)


您可以指定多个目标,这样您就可以模拟同时运行的多个作业。


Block size 块大小

-b  指定读取或写入操作的大小。

对于 Veeam,此大小取决于作业设置。默认情况下,选择“本地”存储优化设置,这对应于备份中的1MB 块大小。但是,在将每个数据块写入备份文件之前,会对其进行压缩(除非使用“  解压缩”选项),因此大小会减小。可以安全地假设块平均压缩到一半大小,因此在大多数情况下,选择512KB块大小是一个很好的推荐值。


如果作业使用的是其他设置,WAN(256KB),LAN(512KB)或本地+(4MB; VBR v8及更早版本为8MB),请将-b  值相应更改为128KB,256KB 或4MB。如果启用“解压缩”选项,请不要将值减半。

File size 文件大小

-c  指定您需要为测试创建的文件大小。

通常1GB 就足够了。任何较低的东西都可以通过硬件轻松缓存,从而产生不正确的结果。

Duration 持续时间

-d  指定测试的持续时间。

默认情况下,它会进行5秒的预热(不收集统计数据),然后进行10秒的测试。这对于短期测试是可以的,但是对于更确凿的结果,运行测试至少10分钟(-d600)。

Caching 缓存

-Sh 禁用 Windows 和硬件缓存。
应该始终设置此标志。Veeam Agents 始终明确禁用I / O 操作的缓存以提高可靠性,即使这会导致速度降低。例如,Windows 资源管理器 确实使用了缓存管理器,并且在非常简单的复制粘贴测试中,由于缓存读取和延迟写入,将比 Veeam 获得更快的速度。




一、Active full or forward incremental 主动完备份或永久增量


C:\DiskSpd-2.0.21a\x86>diskspd.exe -c1G -b512K -w100 -Sh -d600 E:\testfile.dat


-w100  表示100%写入和0%读取。默认情况下使用顺序I / O。


重要信息:testfile.dat 的内容将在没有警告的情况下销毁。



查看资源管理器的 Disk 使用状况,重点查看 diskspd.exe 进程的 Disk I/O 和 Read/Write 数值:



以下复制 diskspd 输出的结果:


C:\DiskSpd-2.0.21a\x86>diskspd.exe -c1G -b512K -w100 -Sh -d600 E:\testfile.dat

Command Line: diskspd.exe -c1G -b512K -w100 -Sh -d600 E:\testfile.dat

Input parameters:

        timespan:   1

        -------------

        duration: 600s

        warm up time: 5s

        cool down time: 0s

        random seed: 0

        path: 'E:\testfile.dat'

                think time: 0ms

                burst size: 0

                software cache disabled

                hardware write cache disabled, writethrough on

                performing write test

                block size: 524288

                using sequential I/O (stride: 524288)

                number of outstanding I/O operations: 2

                thread stride size: 0

                threads per file: 1

                using I/O Completion Ports

                IO priority: normal

System information:

        computer name: VBRSERVER

        start time: 2019/07/22 14:51:31 UTC

Results for timespan 1:

*******************************************************************************

actual test time:       600.01s

thread count:           1

proc count:             2

CPU |  Usage |  User  |  Kernel |  Idle

-------------------------------------------

   0|  38.66%|   2.56%|   36.10%|  61.34%

   1|    5.46%|   0.73%|     4.73%|  94.54%

-------------------------------------------

avg.|  22.06%|  1.64%|   20.42%|  77.94%

Total IO

thread |       bytes     |     I/Os     |    MiB/s   |  I/O per s |  file

----------------------------------------------

        0 |   2102198272000 |      4009625 |    3341.27 |    6682.54 | 

E:\testfile.dat (1024MiB)

----------------------------------------------

total:     2102198272000 |      4009625 |    3341.27 |    6682.54

Read IO

thread |       bytes     |     I/Os     |    MiB/s   |  I/O per s |  file

----------------------------------------------

        0 |                  0 |            0 |       0.00 |       0.00 | E:\testfile.dat (1024MiB)

----------------------------------------------

total:                 0 |            0 |       0.00 |       0.00

Write IO

thread |       bytes     |     I/Os     |    MiB/s   |  I/O per s |  file

----------------------------------------------

     0 |   2102198272000 |      4009625 |    3341.27 |    6682.54 | E:\testfile.dat (1024MiB)

----------------------------------------------

total:     2102198272000 |      4009625 |    3341.27 |    6682.54

C:\DiskSpd-2.0.21a\x86>


(由于操作步骤是一致的,以下举例不再对操作过程、结果进行截图和复制)


二、Reverse incremental 反向增量


C:\DiskSpd-2.0.21a\x86>diskspd.exe -c1G -b512K -w67 -r4K -Sh -d600 E:\testfile.dat


-w67  表示67%写入和33%读取,以模拟在反向增量备份作业中发生的2次写入和1次读取操作。(注意总共是3次操作)


-r4K  支持4KB 对齐的随机I / O,以实现更逼真的仿真效果。

重要信息:testfile.dat 的内容将在没有警告的情况下销毁。


测试完成后,从结果中取出总IO MB / s并除以3。这是因为对于每个处理过的块,Veeam 需要进行3次I / O操作,因此有效速度要慢3倍。


三、Transforms, merges, and other synthetic operations 转换,合并和其他合成操作


包括将增量转换为回滚,合并永久前向增量备份和备份复制作业中的操作,以及创建合成完整备份文件和GFS点。

C:\DiskSpd-2.0.21a\x86>diskspd.exe -c1G -b512K -w50 -r4K -Sh -d600 E:\testfile.dat

-w50 表示50%写入和50%读取,以模拟从一个文件读取数据并将数据写入另一个(或者在转换的情况下,从两个文件中读取与写入另外两个文件相同数量的块)。


-r4K  支持4KB对齐的随机I / O,以实现更逼真的仿真效果。

重要信息: testfile.dat 的内容将在没有警告的情况下销毁。


测试完成后,从结果中取出总IO MB / s并将其除以2(4转换为回滚)。这是因为对于每个处理过的块,Veeam 需要进行2次I / O操作,因此有效速度慢2倍。要转换为回滚,必须从完整备份文件中读取每个块并将其写入回滚,然后才能从增量读取相应的块并将其写入完整备份,从而产生4x I / O。 


要估计完成合成操作的预期时间,以秒为单位:

对于合成完全备份和 GFS 点:将新完整备份文件的预期大小(通常与先前的完整备份文件相同)除以有效速度。


对于所有其他合成操作,添加将合并或转换的所有增量文件的大小,然后将结果总和除以有效速度。通常只合并最旧的增量文件,而所有增量文件都转换为回滚。


四、Slow Restore 恢复速度慢


最糟糕的情况是备份文件内部严重碎片,这意味着大量随机读取 I / O:

C:\DiskSpd-2.0.21a\x86>diskspd.exe -b512K -r4K -Sh -d600 E:\Backups\MySQL.vm-50D2018-12-01T221030.vbk


-r4K  支持4KB 对齐的随机I / O,以实现更逼真的仿真效果。


最好的情况是备份文件没有内部碎片(没有并行处理),这意味着线性读取I / O:

C:\DiskSpd-2.0.21a\x86>diskspd.exe -b512K -Sh -d600 E:\Backups\MySQL.vm-50D2018-12-01T221030.vbk


在这两种情况下,您都需要选择现有的.vbk 文件作为目标。放心,这只是执行读取操作。


五、Direct disk access speed 直接磁盘访问速度


C:\DiskSpd-2.0.21a\x86>diskspd.exe -Sh -d600 #X


其中 X 是您在磁盘管理中查看到的磁盘。


这不会覆盖任何数据,这是一个安全的测试,它也适用于脱机磁盘。适用于在 SAN 或热添加模式下模拟和测量最大可能的读取速度,但这当然不会考虑任何 VDDK 开销。



Veeam 在全球智能数据管理领域位居前列。Veeam Availability Platform 是最完备的备份解决方案,可以帮助客户成功完成智能数据管理的5个阶段。我们在全球拥有330,000多家客户,其中包括82%的财富500强企业和66%的全球2,000强企业。我们拥有业界最高的客户满意度评分,是行业平均水平的3.5倍。我们的全球生态系统包括61,000家渠道伙伴;独家经销商思科、慧与(HPE)、联想和 NetApp;以及近21,000家云和服务提供商。Veeam 总部位于瑞士巴尔,在30多个国家设有办事处。




解决方案:
    用例
        改造备份
        业务连续性和灾难恢复
        远程办公室/分支机构

    云解决方案
        多云数据保护
        云备份和 DRaaS
        云数据保留
        云移动性
        公有云和 SaaS 数据保护

    业务类型和行业
        医疗

    基础架构
        备份设备
        融合基础架构
        主存储

行业解决方案:
    HPE + Veeam
    Cisco + Veeam
    NetApp + Veeam
    Dell EMC + Veeam
    ExaGrid + Veeam
    Pure Storage + Veeam
    Quantum + Veeam
    Nutanix + Veeam
    IBM + Veeam
    联想 + Veeam



所有产品:

    企业
    Veeam Availability Suite 、Veeam Backup & Replication、Veeam Agent for Microsoft Windows、Veeam Agent for Linux、Veeam Availability for Nutanix AHV、Veeam Agent for IBM AIX 和 Veeam Agent for Oracle Solaris、Veeam Availability Orchestrator、Veeam Backup for Microsoft Office 365、适用于 VMware vSphere 和 Microsoft Hyper-V 的 Veeam ONE 、Veeam Cloud Connect for the Enterprise;

    中小型企业
    Veeam Agent for Microsoft Windows、Veeam Agent for Linux、Veeam Backup for Microsoft Office 365;

    服务提供商
    Veeam Availability Console、Veeam Endpoint Backup for ConnectWise、Veeam Backup & Replication Plug-in for ConnectWise;

    免费工具
    Veeam Backup & Replication 社区版、Veeam Agent for Microsoft Windows 免费版、Veeam Agent for Linux 免费版、Veeam Availability Console、Veeam Backup for Microsoft Office 365 社区版 、Veeam PN for Microsoft Azure 、Veeam ONE 社区版、Veeam Management Pack for Veeam Backup、Veeam Task Manager for Hyper-V、Veeam FastSCP for Microsoft Azure 、Veeam Report Library for System Center、Veeam Stencils for Microsoft Visio;


云合作伙伴:
    Amazon Web Services
    IBM Cloud
    托管云提供商
    Microsoft Cloud

社区专家:
    Veeam vExperts
    Veeam MVP
    Veeam Vanguards


成都科汇科技有限公司 --- 专业数据备份服务商

无论您的IT架构是 本地化、云端、还是混和云 都能提供一站式数据备份方案。

Veeam  线下代理技术咨询服务

四川成都Veeam解决方案中心

四川成都Veeam体验中心

四川成都Veeam技术服务中心


成都科汇科技有限公司

地址:成都市人民南路四段1号时代数码大厦18F

电话:400-028-1235

QQ:   2231749852

手机:138 8074 7621(微信同号)