12

嗨，我最近通过 qemu 目标做了一个 virtio-scsi over rbd 的实验（为了它的 DISCARD/TRIM 支持），并将吞吐量和 iops 与同一台机器上的 rbd 设置的 virtio-blk 的吞吐量和 iops 进行比较，在客户机中使用 fio . 结果顺序读写的吞吐量小 7 倍（42.3MB/s vs 309MB/s），随机读写的 iops 小 10 倍（546 vs 5705）。

我所做的是使用 OpenStack Juno 设置虚拟机，它为我提供了 virtio-blk over rbd 设置。然后我修改了libvirt configure xml中的相关部分，从这里：

<disk type='network' device='disk'>
  <driver name='qemu' type='raw' cache='writeback'/>
  <auth username='cinder'>
    <secret type='ceph' uuid='482b83f9-be95-448e-87cc-9fa602196590'/>
  </auth>
  <source protocol='rbd' name='vms/c504ea8b-18e6-491e-9470-41c60aa50b81_disk'>
    <host name='192.168.20.105' port='6789'/>
  </source>
  <target dev='vda' bus='virtio'/>
  <address type='pci' domain='0x0000' bus='0x00' slot='0x04' function='0x0'/>
</disk>

对此：

<disk type='network' device='disk'>
  <driver name='qemu' type='raw' cache='writeback' discard='unmap'/>
  <auth username='cinder'>
    <secret type='ceph' uuid='482b83f9-be95-448e-87cc-9fa602196590'/>
  </auth>
  <source protocol='rbd' name='vms/c504ea8b-18e6-491e-9470-41c60aa50b81_disk'>
    <host name='192.168.20.105' port='6789'/>
  </source>
  <target dev='vda' bus='scsi'/>
  <controller type='scsi' model='virtio-scsi' index='0'/>
</disk>

软件版本为：

qem 2.5.1

libvirt 1.2.2

内核3.18.0-031800-generic #201412071935 SMP Mon Dec 8 00:36:34 UTC 2014 x86_64（Ubuntu 14.04 内核）

管理程序是 KVM。

我认为 virtio-scsi 和 virtio-blk 之间的性能差异可能不会那么大。所以请指出我做错了什么，以及如何达到合理的表现。

一个限制是我想要一个适用于 OpenStack 的解决方案（如果适用于 Juno 则理想），而无需大量修补或编码。例如，我听说过 virtio-scsi + vhost-scsi + scsi-mq，但现在在 OpenStack 中似乎不可用。

4

2 回答 2

3

简单的答案是 VirtIO-SCSI 比 VirtIO-Block 稍微复杂一些。借用这里的简单描述：

VirtIO Block 有以下几层：

guest: app -> Block Layer -> virtio-blk
host: QEMU -> Block Layer -> Block Device Driver -> Hardware

而 VirtIO SCSI 看起来像这样：

guest: app -> Block Layer -> SCSI Layer -> scsi_mod
host: QEMU -> Block Layer -> SCSI Layer -> Block Device Driver -> Hardware

本质上，VirtIO SCSI 与 VirtIO Block 相比要经过另一个转换层。

对于大多数使用本地设备的情况，它会因此变慢。有几个奇怪的具体情况有时反过来是正确的，即：

  • 将主机 SCSI LUN 直接传递到 VirtIO SCSI 适配器。这稍微快一些，因为它绕过了主机端的块层。
  • QEMU 对 iSCSI 设备的本机访问。这有时会更快，因为它完全避免了主机块和 SCSI 层，并且不必将 VirtIO 块命令转换为 SCSI 命令。

尽管如此，在 VirtIO Block 上使用 VirtIO SCSI 有三个与性能无关的好处：

  1. 它支持更多的设备。VirtIO Block 为每个块设备公开一个 PCI 设备，这限制了大约 21-24 个设备，而 VirtIO SCSI 只使用一个 PCI 设备，并且可以处理该设备上绝对天文数字的 LUN。
  2. VirtIO SCSI 支持 SCSI UNMAP 命令（ATA 术语中的 TRIM，Linux 内核术语中的 DISCARD）。如果您使用的是精简配置的存储，这一点很重要。
  3. VirtIO SCSI 将设备公开为常规 SCSI 节点，而 VirtIO Block 使用特殊的设备专业。这通常不是很重要，但在从物理系统转换时会很有帮助。
于 2017-08-03T14:50:09.767 回答
-2

您在修改后的 configure.xml 中启用了放弃取消映射：

<driver name='qemu' type='raw' cache='writeback' discard='unmap' />

这会在飞行中擦洗块。

于 2016-10-23T00:13:47.983 回答