Deduplizierung von Daten

Definition der Datendeduplizierung

Die Datendeduplizierung, auch “Dedup” genannt, beseitigt doppelte oder redundante Informationen in einem Datensatz. Kurz gesagt ist die Deduplizierung ein Prozess, der sicherstellt, dass nur eine Kopie der Daten in einem bestimmten Datensatz oder Block existiert.

Das Verfahren erhöht die Speicherkapazität und optimiert Redundanzen, ohne die Genauigkeit oder Integrität der Daten zu beeinträchtigen. Verweise oder Zeiger auf die einzige gespeicherte Kopie ersetzen die gelöschten redundanten Informationen. Sehr oft wird die Datendeduplizierung mit Datenkomprimierung kombiniert, um noch größere Speichereinsparungen zu erzielen.

Es gibt zwei Möglichkeiten, die Deduplizierung danach zu klassifizieren, wo sie stattfindet. Die erste ist die quellseitige Deduplizierung, bei der die Deduplizierung an der Quelle erfolgt, wo die Daten entstehen. Die zweite ist die zielseitige Deduplizierung, bei der die Deduplizierung auf dem Zielspeicher erfolgt, auf dem die Daten gespeichert werden.

Was ist Datendeduplizierung?

Unter Datendeduplizierung versteht man den Prozess, bei dem doppelte Kopien von Datensätzen entfernt werden, um Speicherressourcen zu optimieren und die Leistung zu steigern. Durch die Beseitigung redundanter Informationen schafft das System Speicherplatz und verringert die Größe der Datensätze. Diese Maßnahmen senken die Speicherkosten und verbessern die Leistung von Anwendungen, die Aufgaben mit kleineren Datensätzen ausführen können.

Datendeduplizierung ist nur dann sinnvoll, wenn sie auf sekundäre Speicherorte mit Sicherungsdaten angewendet wird. Die für die Datensicherung genutzten sekundären Speicherorte weisen in der Regel höhere Duplikationsraten auf, wodurch eine Deduplizierung erforderlich wird. Im Gegensatz dazu hat bei Primärspeichern, die in Produktionsumgebungen eingesetzt werden, die Leistung Vorrang vor anderen Faktoren, sodass dort möglicherweise auf eine Deduplizierung verzichtet wird.

Beim Einsatz der Deduplizierung ist zu beachten, dass bestimmte relationale Datenbanken wie Oracle und Microsoft SQL nicht von der Deduplizierung profitieren. Solche Datenbanken verwalten oft einen eindeutigen Schlüssel für jeden Datensatz, wodurch Deduplizierungsmodule doppelte Datensätze nicht als Duplikate erkennen können.

Schauen wir uns ein gängiges Beispiel an.

Der Geschäftsführer des Unternehmens sendet eine E-Mail an alle 100 Mitarbeiter mit einem aktualisierten Organigramm als Anhang. Alle 100 Mitarbeiter erhalten dieselbe Datei und speichern sie auf ihrem Desktop, damit sie später darauf zurückgreifen können. Wenn später in der Nacht die Datensicherung läuft, werden alle 100 Kopien dieser Datei gespeichert, doch aufgrund der Deduplizierung wird nur eine einzige Datei gespeichert, mit 99 Verweisen oder Verknüpfungen zum Original.

In diesem Beispiel haben wir eine Deduplizierungsrate von 100 zu 1 festgestellt. In Kombination mit der Datenkomprimierung werden nur die gespeicherten Instanzen der Daten komprimiert, um die Speicherkapazität durch eine effiziente Kodierung der Daten weiter zu steigern.

Was ist der Prozess der Datendeduplizierung und wie funktioniert er?

Bei der Deduplizierung werden die Daten analysiert, um die eindeutigen Datenblöcke zu identifizieren, bevor diese gespeichert werden. Werden Duplikate eines einzelnen Datenblocks gefunden, werden die redundanten Muster gelöscht und durch Verweise – sogenannte Zeiger – auf die gespeicherten eindeutigen Daten ersetzt. Der Agent, der die Deduplizierung durchführt, weist jedem gespeicherten Datenblock eine eindeutige Identifikationsnummer zu.

Werden bei der Überprüfung der eindeutigen Identifikationsnummern doppelte Daten festgestellt, werden die neu entdeckten redundanten Informationen entfernt. Im Rahmen des Deduplizierungsprozesses werden Datenblöcke oder -abschnitte verglichen, indem die den gespeicherten Daten zugewiesenen eindeutigen Identifikationsnummern gescannt werden. Wird eine doppelte Identifikationsnummer gefunden, wird der neue Datenabschnitt mit der doppelten Identifikationsnummer als redundante Kopie angesehen und gelöscht. Der Deduplizierungsagent geht davon aus, dass doppelte eindeutige Nummern einen redundanten Datenblock bedeuten.

Die Datendeduplizierung kann entweder „inline“ während des Datenflusses oder „nachträglich“ erfolgen, nachdem die Daten bereits auf Speichergeräte geschrieben wurden.

Die Datendeduplizierung läuft im Hintergrund ab und folgt vorgegebenen Optimierungsrichtlinien, um Dateien zu identifizieren, die bearbeitet werden müssen. Der Deduplizierungsagent unterteilt die Zieldateien anschließend in variable Datenblöcke, identifiziert die eindeutigen Blöcke und speichert sie mit zugewiesenen eindeutigen Identifikationsnummern. Im Rahmen des Deduplizierungsprozesses werden doppelte Datenblöcke entfernt und durch identische Verweise auf gespeicherte Daten ersetzt. Anschließend stellt der Deduplizierungsagent den ursprünglichen Dateistrom mit den neu optimierten Dateien wieder her.

Wie bereits im E-Mail-Beispiel erwähnt, sind (bei bestimmten Datentypen) Deduplizierungsverhältnisse von bis zu 90:1 keine Seltenheit, was die Vorteile der Deduplizierung noch verstärkt. Eine noch höhere Speichereffizienz lässt sich erzielen, indem die Deduplizierung mit Datenkomprimierung kombiniert wird, wodurch die Größe der gespeicherten Daten und der dafür benötigte Speicherplatz weiter reduziert werden.

Die Datendeduplizierung ist ein einfaches Konzept, das erheblich zur Reduzierung der Speicherressourcen und der damit verbundenen Kosten beiträgt. In Kombination mit Datenkomprimierung lassen sich die Einsparungen noch steigern, und die Leistung der Speichergeräte sowie die Anwendungsleistung werden verbessert.

Warum ist die Datendeduplizierung wichtig?

Das ungebremste exponentielle Datenwachstum in Verbindung mit immer kürzer werdenden Backup-Fenstern, SLAs zur Datenaufbewahrung und gesetzlichen Vorschriften belastet die IT-Ressourcen und das Unternehmenswachstum. Die Datendeduplizierungstechnologie reduziert den Bedarf an physischer Festplattenkapazität und erfüllt gleichzeitig die Anforderungen an die Datenaufbewahrung.

Die Menge der täglich erzeugten Daten ist schier unvorstellbar, und all diese Daten müssen optimiert werden, um die Speicherkapazität besser zu nutzen, und vor Verlust geschützt werden. Im Jahr 2020 erzeugten die Menschen im Durchschnitt 1,7 MB Daten pro Sekunde und pro Person auf der Erde.¹ Bis zum Jahr 2025 werden schätzungsweise täglich 463 Exabyte an Daten entstehen.²

Leider handelt es sich bei den meisten gespeicherten Daten um Duplikate, die die Speicherkosten der Kunden in die Höhe treiben und die Leistung sowie die Auslastung der Cloud-Systeme beeinträchtigen. So entstehen beispielsweise durch die Dateifreigabe der Nutzer viele doppelte Kopien derselben Datei. In virtualisierten Umgebungen können Gastbetriebssysteme bei mehreren virtuellen Maschinen (VMs) nahezu identisch sein. Selbst Backup-Snapshots können von einem Tag zum anderen geringfügige Unterschiede aufweisen. Durch Deduplizierung werden diese Ineffizienzen aus den Speichersystemen beseitigt.

Nach Schätzungen von Microsoft lassen sich mit Virtualisierungsbibliotheken in der Regel Platzersparnisse von bis zu 50 % erzielen, während Virtualisierungsbibliotheken sogar Platzersparnisse von bis zu 95 % ermöglichen könnten.³ Die Einsparungen variieren je nach Datensatz.

Vorteile der Datendeduplizierung

Anwendungen und die von ihnen generierten Daten sind die treibenden Kräfte hinter der Geschäftsanalyse und der entscheidende Faktor für erfolgreiches Wachstum. Die Vorteile der Bewältigung des Datenwachstums und der Datendeduplizierung beschränken sich nicht nur auf Speichersysteme, sondern erstrecken sich auf die gesamte IT-Infrastruktur und die Anwendungsleistung. Ein durch Deduplizierung und Komprimierung reduzierter Speicherbedarf senkt die Speicherkosten, entlastet das Netzwerk und verringert Bandbreitenengpässe. Zudem verbessert sich die Leistung der Anwendungen an den Endgeräten, was zur Steigerung der Produktivität von Remote-Mitarbeitern beiträgt.

Lösungen zur Datendeduplizierung bieten erhebliche geschäftliche Vorteile, die über die Bereiche hinausgehen, die in direktem Zusammenhang mit Speichergeräten stehen:

• Geringere Kosten. Eine geringere Speicherkapazität führt zu geringeren Ausgaben, die sich auf den gesamten IT-Betrieb auswirken. Weniger zu verwaltende Infrastruktur bedeutet weniger Verwaltungs- und Managementressourcen sowie geringere Gesamtkosten seitens der Cloud-Anbieter für Datenübertragung und Netzwerkverkehr. Zu den Einsparungen bei der lokalen Speicherung zählen die Investitionskosten (Capex) für die Speichergeräte und den von ihnen beanspruchten Platz sowie für Kühlsysteme. Die Einsparungen umfassen auch die Betriebskosten (Opex) für Speicherverwaltung, Kühlung und andere Versorgungsleistungen, einschließlich Strom.
• Längere Aufbewahrungsdauer. Dank der Datendeduplizierung haben Unternehmen den Vorteil, dass sie die kleineren Datensätze über einen längeren Zeitraum aufbewahren und strengere Aufbewahrungsvorschriften erfüllen können.
• Höhere Gesamtleistung. Da viele Cloud-Anbieter ihre Gebühren am Datenverkehr ausrichten, ist es für Kunden sinnvoll, ihre Datensätze zu optimieren. Ein geringerer Datenverkehr zwischen den Cloud-Standorten senkt die anfallenden Kosten und setzt Netzwerkbandbreite für mehr Nutzer und eine schnellere Bereitstellung von Diensten frei. Für Unternehmen ist es ratsam, ihre Daten zu deduplizieren, bevor sie in die Cloud übertragen werden. Ebenso ist es sinnvoll, in der Cloud gespeicherte Daten zu deduplizieren.

Häufige Anwendungsfälle für die Datendeduplizierung

Unternehmen jeder Größe benötigen Deduplizierung für folgende alltägliche Anwendungsfälle:

• Virtuelle Maschinen. VMs mit Anwendungsbereitstellungen führen zu doppelten Gast-Systemen und zugehörigen Daten. Die Deduplizierung kanndazu beitragen, dass VMs effizienter arbeiten.
• Endpunkte. Endgeräte, darunter Desktops und Laptops, neigen dazu, doppelte Daten anzusammeln, die regelmäßig dedupliziert werden müssen, um eine bessere Leistung zu erzielen undeffizientere Sicherungsvorgänge.
• Cloud-Speicher. Da immer mehr Daten in die Cloud verlagert werden, bietet die Datendeduplizierung in der Cloud enorme Vorteile, da die Anhäufung von Daten dort kostspieliger sein kann als die lokale Datenspeicherung, wenn sie unkontrolliert erfolgt. Für manche Kunden kann es zur Kostensenkung hilfreich sein, ihre Daten vor der Übertragung in die Cloud zur Langzeitarchivierung einer Deduplizierung zu unterziehen. Im Allgemeinen senkt die Verkleinerung des Datensatzes die Kosten und verbessert die Netzwerkleistung sowie die Gesamtleistung.

Bietet Commvault eine Datendeduplizierung an?

Ja! Commvault bietet in seinem Portfolio an Datensicherungslösungen eine Deduplizierung auf Enterprise-Niveau an. Dank unserer ausgefeilten Deduplizierungsfunktionen profitieren Kunden von hoher Leistung, Speicheroptimierung und Kosteneinsparungen.Demo anfordernInformieren Sie sich noch heute, wie dies Ihrem Unternehmen helfen könnte!

Quellen

1. Domo.com2020. „Data Never Sleeps 6.0.“
2. Raconteur. Infografik „Data in a Day“.
3. Microsoft 2021. „Warum istDeduplizierung von Daten„nützlich?“
4. WinPure, Januar 2021. „Vorteile der Datendeduplizierung:Steigern Sie den ROI Ihres Unternehmens.”