重复数据删除技术

　　重复数据删除技术得益于它能够对重复的文件，数据块等进行去重处理，因而成为一个不错的数据简缩技术。重复数据删除技术使得次级存储上的数据占用率大大降低，这是因为在源端等待备份、快照或者复制的目标对象中有大量的重复数据，而在这些数据到达次级存储前进行了重复数据删除操作。重复数据删除比率由10:1到500:1不等，根据数据的不同类型以及时间帧的不同而有所不同，这也是为什么当今大多数备份软件、虚拟磁带库以及备份目的端存储设备都内嵌有重复数据删除技术。

　　然而大多数数据存储管理员并未对这项应用于目标存储上的主存储重复数据删除技术感到极大的兴趣。一些知名厂商的系统比如EMC公司的Celerra和Data Domain、ExaGrid公司的EX系列、NetApp公司的FAS以及V-series，当他们应用于主存储重复数据删除技术的时候，并没有表现出于在备份、快照或者复制源端进行重复数据删除技术的明显优势。而且他们在白皮书中所承诺的去重比率也与用户或者供应商实际测试的结果有所差距。导致这一差距的原因在于，没有那么多的数据可以进行重复数据删除操作并且重复数据删除算法在压缩数据上的应用也不太完美。数据压缩操作会改变数据块的组成并极大的减少了重复数据块的存在。许多非结构化的目标数据，比如微软office系列的数据(pptx文件、docx文件以及xlsx文件)、JPEGS格式、MPEGs格式、PDFs格式、ZIPs格式等文件都是经过压缩处理的。

　　重复数据删除技术面临的另外一个挑战是应用以及用户性能。比如说，可能会影响写或者读数据的响应时间。同样，写性能可能会由于采用了内联重复数据删除技术或者后处理重复数据删除技术而降低。因为内联重复数据删除技术在数据被真正写入存储前就需要进行重复数据删除操作，所以会产生一定的延时。读性能同样也会因此而受到影响。这方面性能的降低不会对一些应用，比如虚拟机黄金系统镜像以及ISO文件产生负面影响，反而会达到最好的去重效果。

数据压缩技术和主存储设备

　　根据生产环境下用户以及供应商对主存储重复数据删除技术的测试，数据压缩技术(比如StorWize公司的STN设备)，表现出来的去重性能略优于主存储上的重复数据删除技术。数据压缩技术可以将所有的零位从原始数据中去除，相比主存储上重复数据删除技术，这样操作的方式会达到同样或者更好的效果，并且对系统性能的影响几乎为零。不过，对于已经压缩过的数据来说，数据压缩技术的意义不大。最适合实施数据压缩技术的还是一些结构化的数据，比如数据库和电子邮件，同样也包括一些未被压缩过的数据。

基于内容识别的压缩技术

　　基于内容识别的压缩技术，比如Ocarina Networks公司的optimizer，是完全不同的另一种主存储上数据简缩技术。这项技术相比于重复数据删除技术以及数据压缩技术都更有优势。这是一项后处理技术，它首先会将数据从其原始的格式解压缩，然后将其重复的存储对象做删除操作，之后再将处理后的对象重新进行压缩操作以恢复其原有的格式。如果之前数据并未进行过压缩操作，它会直接将重复的存储对象删除后再进行压缩操作。

　　这项技术的缺憾来自于其对部署环境的条件要求。在使用基于内容识别的压缩技术的时候，需要放置一个读码器和一个解码器来才能允许用户或者是应用本身读取重复数据删除和压缩后的数据。读码器可以存在于用户的工作站上、服务器上、应用上或者存储系统本身上。

基于源端的后处理数据简缩技术

　　第三种主存储数据简缩技术是基于源端的后处理数据简缩技术，这同时是要推荐给中小企业的。这种类型的数据简缩技术同样是可内容识别的，但与之前的技术不同的是，它是通过将“超过大小的部分“删除，使内嵌图片转化为最合适的文件格式和解析度。这样的效果不仅能大大减小文件的大小，还能满足不影响视觉内容完整性的需要。基于源端的数据简缩文件优化技术可以应用于文件服务器或者桌面计算机上，它在价格上对于中小企业来说是个不错的选择。基于源端的数据简缩技术支持微软office系列文件以及JPEG格式的文件。同时，这种技术的效果也类似于其他内容识别技术。此外，它也并不需要用其他的软件去打开或者读取那些已经被优化过的文件。换句话说，任何用户都可以在他们的工作站上读取并且更改一个已经优化过的微软Office格式或者JPEG格式的文件而不需要指定特定的软件。

　　然而，基于源端级别的后处理数据简缩技术仅局限于它所支持的文件类型。它并不支持其他类型的文件或者数据库。另外，它必须安装在文件服务器上或者桌面计算机上。

　　总的来说，上述所包括的每种主存储数据简缩技术都可以适用于中小企业环境下的主存储数据简缩规划中。每种技术都能提供相当不错的数据简缩效果，但每种也分别有各自不足地方。每个数据存储环境也是不尽相同的。最关键的一点就是选择合适于自己环境的主存储数据简缩技术，合理的使用它并使得在最低成本下能提供最佳的数据简缩性能。