什么是重复数据消除？(data deduplication?)

重复数据消除是一种在删除重复数据的情况下压缩数据的技术，它可以在系统上维护每个信息单元的一个副本，而不允许多次复制。保留的副本具有允许系统检索它们的引用。这种技术减少了对存储空间的需求，除了限制与数据存储相关的费用外，还能使系统运行得更快。它可以以多种方式工作，并用于多种类型的计算机系统。...

重复数据消除是一种在删除重复数据的情况下压缩数据的技术，它可以在系统上维护每个信息单元的一个副本，而不允许多次复制。保留的副本具有允许系统检索它们的引用。这种技术减少了对存储空间的需求，除了限制与数据存储相关的费用外，还能使系统运行得更快。它可以以多种方式工作，并用于多种类型的计算机系统。

在文件级重复数据消除中，系统会查找任何重复的文件并删除多余的文件。块级重复数据消除查看文件中的数据块，以识别无关数据。由于各种原因，人们最终可能会得到加倍的数据，而使用重复数据消除可以简化系统，使其更易于使用。该系统可以定期浏览数据以检查重复项，消除多余项，并为留下的文件生成引用。

这种系统有时被称为智能压缩系统或单实例存储系统。这两个术语都引用了系统智能地存储和归档数据以减少系统负载的思想。重复数据消除对于大型系统尤其有价值，因为大型系统存储了来自多个数据源的数据，并且存储成本不断上升，因为系统需要随着时间的推移进行扩展。

这些系统被设计成用于压缩和管理数据的更大系统的一部分。重复数据消除无法保护系统免受病毒和故障的影响，因此必须使用足够的防病毒保护来确保系统安全并限制文件的病毒污染，同时还要在单独的位置进行备份，以解决因停机、设备损坏等导致的数据丢失问题。在备份之前对数据进行压缩将节省时间和金钱。

在存储中使用重复数据消除的系统可以更快、更高效地运行。它们仍然需要定期扩展以适应新数据并解决安全问题，但它们不太容易被重复数据快速填充。这是电子邮件服务器上的一个特别常见的问题，在电子邮件服务器上，服务器可能会为用户存储大量数据，其中很大一部分数据可能由重复的数据组成，例如反复重复的相同附件；例如，许多人在工作中发电子邮件时都会在页脚上贴上电子邮件免责声明和公司徽标，这些内容会很快占用服务器空间。

  • 发表于 2021-12-13 12:44
  • 阅读 ( 138 )
  • 分类：互联网

你可能感兴趣的文章

消除5个office 365神话

...都能跳转到订阅版本，但它并没有很好地教育人们它需要什么。外面有很多错误的信息——这可能会让那些不懂技术的人感到困惑。 ...

  • 发布于 2021-03-17 03:40
  • 阅读 ( 267 )

emc公司(emc)和网络存储(netapp)的区别

...到Data ONTAP 8中。它还具有用于磁带数据存储虚拟化和NetApp重复数据消除的虚拟磁带库（VTL）。它还提供以下功能：平台操作系统、协议、软件、存储和安全系统。它旨在为客户的存储和数据管理问题提供经济高效的解决方案。它...

  • 发布于 2021-06-23 21:14
  • 阅读 ( 267 )

etl公司(etl)和数据仓库(data warehouse)的区别

...据仓库的区别就源于这个基本概念。 覆盖的关键领域 1.什么是ETL–定义，功能2.什么是数据仓库–定义，功能3.ETL和数据仓库的区别是什么–关键区别的比较 关键术语 数据仓库 什么是etl公司(etl)？ ETL代表提取、转换和加载。在...

  • 发布于 2021-07-01 03:18
  • 阅读 ( 480 )

数据集成(data integration)和etl公司(etl)的区别

...程。它涉及提取、转换和加载数据。 覆盖的关键领域 1.什么是数据集成-定义，功能2.什么是ETL-定义，功能3.数据集成和ETL之间的区别是什么-关键区别的比较 关键术语 大数据、数据集成、数据仓库、ETL 什么是数据集成(data integr...

  • 发布于 2021-07-01 03:55
  • 阅读 ( 614 )

数据冗余(data redundancy)和数据不一致(data inconsistency)的区别

...与数据库管理系统相关的两个术语。 覆盖的关键领域 1.什么是数据冗余-定义，功能2.什么是数据不一致-定义，功能3.数据冗余和数据不一致的区别是什么-关键区别的比较 关键术语 数据不一致，数据冗余 什么是数据冗余(data red...

  • 发布于 2021-07-01 05:22
  • 阅读 ( 1041 )

数据治理(data governance)和数据管理(data management)的区别

...治理和数据管理来有效地处理数据。 覆盖的关键领域 1.什么是数据治理-定义，功能2.什么是数据管理-定义，功能3.数据治理和数据管理的区别-关键区别比较 关键术语 大数据、业务智能、数据治理、数据管理、数据仓库、元数...

  • 发布于 2021-07-01 22:10
  • 阅读 ( 848 )

数据争用(data wrangling)和数据清理(data cleaning)的区别

...据清理是生成有用数据的两种方法。 覆盖的关键领域 1.什么是数据争用-定义，功能2.什么是数据清理-定义，功能3.数据争用和数据清理的区别-主要区别比较 关键术语 数据清理、数据挖掘、数据争用、数据争用器 什么是数据争...

  • 发布于 2021-07-02 00:30
  • 阅读 ( 2116 )

数据完整性(data integrity)和数据冗余(data redundancy)的区别

...数据冗余是与数据相关的两个术语。 覆盖的关键领域 1.什么是数据完整性-定义，功能2.什么是数据冗余-定义，功能3.数据完整性和数据冗余之间的差异-关键差异比较 关键术语 Data Accuracy, Data Integrity, Data Redundancy 什么是数据完整...

  • 发布于 2021-07-02 02:20
  • 阅读 ( 667 )

使用免费工具消除重复数据

...费的iTunes重复数据消除实用程序（比如Fixtunes），但没有什么效果很好（Fixtunes在我退出之前挂了几个小时，没有任何进展迹象）。在评论中大声说出你最喜欢的iTunes重复数据消除器(注意：您可以始终使用常规文件重复数据消除...

  • 发布于 2021-07-30 07:56
  • 阅读 ( 135 )

操作的(operational)和数据仓库中的信息系统(information system in data warehouse)的区别

什么是数据仓库中的操作系统(operational system in data warehouse)？ 操作系统是数据仓库中的通用术语，用于指用于处理组织日常事务的系统。这些系统的设计方式是无缝执行日常事务处理，并维护（保留）事务数...

  • 发布于 2021-11-27 16:33
  • 阅读 ( 210 )
qmezms3679
qmezms3679

0 篇文章

相关推荐