Backup & Storage

Deduplizierung

Allgemeine Infos

Deduplizierung ist ein herstellerübergreifendes Verfahren zur Speicherreduktion: Das System zerlegt Daten in Blöcke (Chunks), erkennt identische Blöcke anhand von Prüfsummen und speichert jeden Block nur einmal. Weitere Vorkommen werden durch Verweise auf den bereits gespeicherten Block ersetzt.

Den größten Effekt hat Deduplizierung bei Daten mit vielen Wiederholungen: Backup-Repositories mit vielen Ständen derselben Systeme, VM-Bibliotheken, ISO-Sammlungen und Softwareverteilfreigaben. Microsoft nennt für Windows Server typische Einsparungen von 30 bis 50 Prozent bei Benutzerdokumenten, 50 bis 60 Prozent bei allgemeinen Freigaben und 80 bis 95 Prozent bei Virtualisierungsbibliotheken. Die tatsächliche Quote hängt stark vom Datenbestand ab.

Abgrenzung: Die Windows-Server-Rolle Data Deduplication ist eine konkrete Implementierung und hat einen eigenen Eintrag. Weitere Implementierungen gibt es in Backup-Software (z. B. Veeam), Deduplizierungs-Appliances, Storage-Arrays und Dateisystemen wie ZFS. Kompression ist ein ergänzendes, aber anderes Verfahren: Sie verkleinert einzelne Blöcke, Deduplizierung vermeidet Wiederholungen.

Funktionsweise & Details

Die Verfahren unterscheiden sich in drei Dimensionen:

  1. Zeitpunkt: Inline-Deduplizierung prüft die Daten beim Schreiben, sodass Duplikate nie gespeichert werden, kostet aber Schreibleistung. Post-Process-Deduplizierung schreibt zunächst normal und optimiert später per Hintergrundjob, wie die Windows-Server-Rolle.
  2. Ort: Quellseitige Deduplizierung (Source) arbeitet beim Backup-Client oder Proxy und spart Netzwerkbandbreite, zielseitige (Target) arbeitet im Repository oder in der Appliance.
  3. Blockbildung: Feste Blockgrößen sind einfach und schnell, variable (inhaltsdefinierte) Blockgrenzen finden mehr Duplikate, wenn Daten verschoben werden, benötigen aber mehr CPU.

Die Zuordnung erfolgt über Hashwerte. Gute Implementierungen schützen gegen Hash-Kollisionen durch starke Hashverfahren oder bitweisen Vergleich und speichern Metadaten redundant, weil ein beschädigter, häufig referenzierter Block viele Dateien betrifft.

Vorteile & Nutzen

  • Deutlich geringerer Speicherbedarf, da viele Wiederherstellungspunkte sich die gleichen Blöcke teilen.
  • Weniger Netzwerkverkehr bei quellseitiger Deduplizierung, was Offsite-Kopien über WAN beschleunigt.
  • Längere Aufbewahrung bei gleicher Hardware, weil zusätzliche Stände nur die geänderten Blöcke kosten.
  • Geringere Kosten für Cloud- und Object-Storage-Ziele, die nach belegter Kapazität abrechnen.

Praxisbeispiel

Ein Softwarehaus mit 45 Mitarbeitenden speichert Build-Artefakte, ISO-Dateien und VM-Vorlagen auf einem 20 TB großen Fileserver. Nach Aktivierung der Deduplizierung auf dem Datenvolume sinkt die Belegung auf etwa ein Drittel, weil viele Vorlagen nahezu identische Betriebssystemdateien enthalten. Die geplante Speichererweiterung wird um zwei Jahre verschoben.

Worauf sollte man achten?

  • Deduplizierung nach Verschlüsselung bringt kaum etwas, weil verschlüsselte Daten keine erkennbaren Muster haben: Plane die Reihenfolge (erst deduplizieren, dann verschlüsseln) bewusst.
  • Ein dedupliziertes Repository ist ein Klumpenrisiko: Ein beschädigter Block betrifft viele Sicherungen. Halte deshalb eine zweite, unabhängige Kopie vor.
  • Rechne bei Restores mit Rehydrierungsaufwand: Deduplizierte Daten müssen wieder zusammengesetzt werden, was die Wiederherstellung verlangsamen kann.
  • Doppelte Deduplizierung (Backup-Software und Appliance gleichzeitig) bringt selten zusätzlichen Gewinn. Folge den Herstellerempfehlungen für die Kombination.

Fazit

Deduplizierung ist eines der wirksamsten Mittel gegen wachsende Backup-Datenmengen. Setze sie gezielt dort ein, wo viele ähnliche Daten liegen, und kompensiere das Klumpenrisiko mit einer unabhängigen Zweitkopie.

Weiterführende Links

Verwandte Artikel