云和其他存储平台中的重复数据删除是一种从数据流中删除重复或重复数据以减少存储在设备或系统中的物理数据量的过程。
在主存储中，重复数据删除有助于通过删除相同的数据块并使用元数据将数据的逻辑副本与实际数据相关联，从而减少所消耗的物理空间量。 在公共云中，存储平台的重复数据删除功能不会暴露给用户。
如果提供商选择在云计算中实施重复数据删除，那么该保护对于云提供商来说是有益的。 这是因为存储空间是基于所使用的逻辑容量（而不是物理容量）来计费的，任何节省的开支都是由服务提供商提供的，以提供更便宜的服务或降低成本。
但是对于使用云端存储进行备份的人来说，存在一个问题。将多个备份映像复制到云上将消耗大量的存储空间，这比使用磁盘系统等磁盘系统作为存储目标时要大得多。
云端的重复数据删除有许多解决方案。许多备份软件平台将在源上重复数据删除，并仅保留物理存储上的重复数据删除数据。备份软件拥有并管理元数据由逻辑到物理状态转换。
另一种方法是寻找可以提供存储接口并进行重复数据删除的存储网关。在这种情况下，管理员不依赖于备份软件，数据可以更容易地导入其他平台。
最明显的问题是，使用任何备份软件都将拥有元数据，因此，理想情况下，存储重复数据删除网关是更好的选择。这样可以确保备份环境中的数据在备份软件之外是可移植的，而不需要对数据进行补充，从而将数据转移到另一个平台。
除了云中的重复数据删除之外，该过程在虚拟机组中运行良好，在虚拟机中，基本操作系统在多个虚拟机中是相似的或相同的。
在备份世界中，重复数据删除用于减少在执行相同数据集（例如VM）的重复备份时存储的物理数据量。当备份之间的实际数据只有一小部分（例如5%到10%）发生变化时，重复数据删除技术可确保物理空间消耗尽可能最优。备份系统可以看到重复数据删除率为20：1及更高。
本文转自d1net（转载）
