虚拟化底层技术之——iommu技术综述

  1. 云栖社区>
  2. 博客>
  3. 正文

虚拟化底层技术之——iommu技术综述

marshalzxy 2018-03-17 15:39:00 浏览704
展开阅读全文

一、iommu 主要功能

IOMMU(i/o memory management unit)。iommu有两大功能:控制设备dma地址映射到机器物理地址(dmar),中断重映射(intremap)(可选)

1.1 dma地址空间映射

Iommu 的主要功能为设备dma时刻能够访问机器的物理内存区,同时保证安全性。

在没有Iommu的时候,设备通过dma可以访问到机器的全部的地址空间。

1、这种机制下如果将设备的驱动放在用户态,那么如何保护机器物理内存区对于用户态驱动框架设计带来挑战。当出现了iommu以后,iommu通过控制每个设备dma地址到实际物理地址的映射转换,使得在一定的内核驱动框架下,用户态驱动能能够完全操作某个设备dma和中断成为可能。


2、如果将这个物理设备通过透传的方式进入到虚拟化虚拟机里,虚拟机的设备驱动配置设备的dma后,hypervisor必须在透传设备dma访问时刻,对dma访问进行截获,将其中dma访问的虚拟机物理地址,转换为hypervisor为虚拟机分配的物理地址,也就是需要将虚拟机透传设备dma访问做vpaddr(虚拟机物理地址)---->ppaddr(物理机物理地址)。这部分截获对虚拟机dma来说带来切换到hypervisor开销,hypervisor转换地址开销。

当引入了iommu以后,这部分开销由iommu硬件承担,所有hypervisor工作就更加简单,只需要将透传设备Iommu dma地址映射表使用vpaddr--->ppaddr地址转换表即可(这部分表在hypervisor里配置在ept中)

3、方便了老式32位pci硬件在64位机器上的使用。只需要在iommu地址映射表上配置32bitpci设备dma地址-->64位机器物理地址即可。

4、方便了主机os配置设备dma工作,因为dma要求使用连续的地址空间进行读写,有了iommu的存在os就可以为设备配置连续的dma地址而真正对应的非连续的物理地址


img_ad5f02edcfdee9cac25c541ef20cd6c2.jpe
设备dma地址映射




img_df8e903de4bec1e2d70a352a72cfb102.jpe
Iommu dma地址映射表


注意:

这里的iommu只管设备发起的dma的映射,而软件发起的mmio,设备的pci configuration接入不受其管制!


1.2 中断重映射(可选)

在虚拟化透传设备使用中,或者主机侧用户态驱动框架中还有一个问题就是msi中断的安全保护。msi的特点就是只要发起特定的pci write 消息,机器(在x86上是LAPIC)就能够将此pci write消息翻译为一次中断信号。在msi中断信息里,含有中断源信息,中断vector信息以及中断发往哪里,中断模式等等信息。

如果设备透传到虚拟机,而虚拟机里有恶意驱动,那么恶意驱动完全可以操作一个透传设备发起dma write访问,带有msi中断信息,导致hypervisor被攻击。

在用户态驱动层面也是相同的,用户态驱动可以触发dma 带有msi中断导致主机系统被攻击。

为了防止这种情况发生,Intel的iommu技术(vt-d)里实现了中断重映射技术(intremap)。设备发起的msi中断先进入iommu的intremap模块进行映射得到真正的msi中断信息。主机os会在这个中断重映射表里限定,某个设备只能发起哪种中断向量,同时会验证msi中的信息位(如此提升了恶意软件触发真实msi的难度)。

这也是在公司李同学遇到了某款有硬件缺陷的主机支持iommu的dmar但是不支持intremap,开启vfio的时候linux kernel不会开启设备的vfio,提示只有开启vfio模块的allow_unsafe_interrupts配置后才能使用vfio的原因。

1.3 iommu cache 、intremap cache和设备tlb

在1.1和1.2中我们提到了很多转换表,这些转换表都位于物理内存中,所以在intel vt-d中设计了大量主机侧cache机制来缓存这些表的表项,提升访问效率。

设备tlb是intel vt-d中设计的设备测tlb寄存器,在设备进行dma的时候在设备一侧缓存dma地址到物理地址映射项。

2、iommu在各个厂商的分身

1)inte vt-d

2)amd iommu或者gart

3) arm的Smmu

3、总结

iommu中dmar出现为虚拟化软件dma访问带来的性能提升,intremap出现为虚拟化软件透传带来了中断消息的安全保证。

4、参考

iommu wiki

还是不太理解mmu和io-map

《Vt-directed-io-spec.pdf》

网友评论

登录后评论
0/500
评论
marshalzxy
+ 关注