1
Lang ist relativ kurz: Archivierung und Sicherung von Daten
amLeibniz-Rechenzentrum
15.10.2006 (Tag der offenen Tür)
Dr. Bernd [email protected]
2Dr. Bernd Reiner, 15.10.2006
Agenda
Datensicherung (Backup + Archivierung)
Archiv- & Backupsysteme am LRZ
Entwicklung des Speichervolumens
Herausforderung Langzeitarchivierung
2
3Dr. Bernd Reiner, 15.10.2006
Datenhaltungsdienste am LRZ (1)
Datensicherung (Backup)Zusätzliche ZweitkopieKurzfristige Aufbewahrung
Wieso Backup?Fehler in der Hard- oder Softwaremenschliches Versagen sonstige Katastrophen
4Dr. Bernd Reiner, 15.10.2006
Datenhaltungsdienste am LRZ (2)
Längengrad
Breiten-grad
Zeit
Archive (Archivierung)sichere Aufbewahrunggünstige Speichermedienmittelfristige Lagerung großer,bzw. sehr großer Datenmengenz.B. E/A-Daten der Programme an den Supercomputern, Video-Daten, 3D-SimulationenLangzeitarchivierung großer Datenmengenz.B. Datenbestände von Bibliotheken
3
5Dr. Bernd Reiner, 15.10.2006
Wer sichert Daten am LRZ? (1)
HLRB II
6Dr. Bernd Reiner, 15.10.2006
Prinzip der verteilten Datensicherung
4.000 Rechner (Server)
Netzwerk
BackupServer
Tape Library
Disk Cache
LRZ
4
8Dr. Bernd Reiner, 15.10.2006
2 x Magnetband-Speichersysteme von IBM (1)
20 LTO II Laufwerke
35 MByte/s Transferrate
5.000 Bandplätze
200 GByte pro Band
990 TByte Gesamtkapazität
Maximalausbau:
6.900 Bandplätze
1.400 TByte Kapazität2 Systeme
9Dr. Bernd Reiner, 15.10.2006
2 x Magnetband-Speichersysteme von IBM (2)
5
10Dr. Bernd Reiner, 15.10.2006
Unsere Schnelle: StorageTek SL8500
15 Titanium Laufwerke
120 MByte/s Transferrate
4.900 Bandplätze
500 GByte pro Band
2.400 TByte Gesamtkapazität(entspr. 3,8 Mill. CD`s)
Maximalausbau:
300.000 Bandplätze
146.000 TByte Gesamtkapazität
11Dr. Bernd Reiner, 15.10.2006
StorageTek Titanium Laufwerk
Titanium T10000 Laufwerk
120 MByte/s Transferrate
500 GByte pro Band
6
12Dr. Bernd Reiner, 15.10.2006
Magnetband-Speichermedien
9 Spur Band 100MBQIC Kassette 250MB8 mm Kassette 20GB4 mm Kassette 2GBIBM 3590 Band 40GBIBM 3570 Kassette 7GBSTK SD-3 Band 50GB
13Dr. Bernd Reiner, 15.10.2006
Zukünftige Entwicklung
7
15Dr. Bernd Reiner, 15.10.2006
0
200
400
600
800
1000
1200
1400
1600
1800
2001 2002 2003 2004 2005 2006
Jahr
Dat
envo
lum
en in
Ter
abyt
e
Backup & Archiv Volumen (TByte)
Backup Volumen (TByte)
Archiv Volumen (TByte)
Entwicklung des Speichervolumens
September 2006:1.573 Terabyte3728 Nodes
Januar 2001:39 Terabyte650 Nodes
Verdopplung des Datenvolumens ca. jedes Jahr!!!
16Dr. Bernd Reiner, 15.10.2006
Entwicklung des Speichervolumens (2)
125 Mil. Kubikmeter(bzw. 125 TByte)
Walchensee(Dezember 2002)
Chiemsee, das Bayerische Meer
(Dezember 2006)Annahme:
1 KByte entspricht 1 Liter Wasser
2.047 Millionen Kubikmeter(bzw. 2.047 TByte)
* 16
8
17Dr. Bernd Reiner, 15.10.2006
Entwicklung des Speichervolumens (3)
48.500 Mil. Kubikmeter(48.500 TByte = 48,5 PByte)
Bodensee(Dezember 2010)
Chiemsee, (Dezember 2006)
Annahme: 1 KByte entspricht 1 Liter Wasser
2.047 Mil. Kubikmeter(2.047 TByte)
* 24
18Dr. Bernd Reiner, 15.10.2006
Entwicklung des Speichervolumens (4)
48.500 Mil. Kubikmeter(48.500 TByte = 48,5 PByte)
Bodensee(Dezember 2010)
Ostsee(Mitte 2019)Annahme:
1 KByte entspricht 1 Liter Wasser
21.600.000 Mil. m³(21.600.000 TByte =
21.600 PByte = 21,6 EByte)
* 445
9
21Dr. Bernd Reiner, 15.10.2006
Wieso Langzeitarchivierung?
Rechtliche Vorgaben
Steigende Zahl digitaler DokumentAusschließlich digitale Dokumente (born digital)Digitalisierung vielfältiger Formate und Erschließungsformen
Mehrwert digitaler DokumenteEinfache Bereitstellung (weltweit)Volltextsuche
Sicherung des WeltkulturerbesKeine Abnutzung bei BüchernKein physischer VerfallGeringeres Risiko bei Katastrophen durch RZ und Backup
22Dr. Bernd Reiner, 15.10.2006
Beispiel Langzeitarchivierung
Projekt BABSBibliothekarisches Archivierungs-und Bereitstellungssystem
KooperationspartnerLRZ Datenhaltung
BSB Digitalisierung
Ziel: Sicherung des WeltkulturerbesSchriften des 16. Jahrhunderts
Aktueller Datenbestand: 17 TByte
10
24Dr. Bernd Reiner, 15.10.2006
Sind die Daten wirklich sicher?
Modernste Klimatechnik
optimierte Temperatur & Luftfeuchtigkeit
Argon-Löschanlage
Feuer wird erstickt Kein Wasserschaden
25Dr. Bernd Reiner, 15.10.2006
Sind die Daten wirklich sicher?
Zweitkopie von Archivdatenwird in einem geographisch entfernten Rechenzentrum
gespeichert!
11
26Dr. Bernd Reiner, 15.10.2006
LZA: Lebensdauer von Daten (Beispiel 1)
• Datenträger: 5 ¼ Zoll Floppy Disk• Aufzeichnungsstandard: MS-Word, Version ?• Geschrieben: 1985• Lesbar: 15 Jahre später (sehr) problematisch
• Datenträger: LTO Ultrium 1• Aufzeichnungsstandard: MS-Word, Version ?• Geschrieben: 2000• Lesbar: 15 Jahre später problematisch
27Dr. Bernd Reiner, 15.10.2006
LZA: Lebensdauer von Daten (Beispiel 2)
• Datenträger: Pergament (Codex Sinaiticus)• Aufzeichnungsstandard: griechische Majuskel• Geschrieben: um 350 n. Chr.• Lesbar: 1650 Jahre später problemlos
• Datenträger: Stein• Aufzeichnungsstandard: Ägypt. Hieroglyphen• Geschrieben: 4000 v. Chr. bis 300 v. Chr.• Lesbar: 6000 Jahre später problemlos
12
28Dr. Bernd Reiner, 15.10.2006
Probleme bei der Langzeitarchivierung
Haltbarkeit des Datenträgers
Verfügbarkeit der Hardware (Rechner und R/W)
Verfügbarkeit des Betriebsystems
Verfügbarkeit des Dateisystems
Verfügbarkeit der Applikations-Software
Verfügbarkeit des Dateiformates
Lebensdauer von Daten begrenzt durch:
29Dr. Bernd Reiner, 15.10.2006
LZA: Was kann man tun?
HW und SW MuseumOriginalzustand HW & SW erhaltenBeibehaltung der ursprünglichen Datenformate
EmulationBeibehaltung der ursprünglichen DatenformateHW und SW (Betriebssystem, Anwendung) nachbilden
MigrationPeriodisches überführen der Datenformate in neue FormateAnpassung an neue HW und SW
Lesbarkeit des SpeichermediumsPeriodisches kopieren auf neue Medien (alle 3 bis 10 Jahre)Generationswechsel der Speichertechnologien berücksichtigenDurch bessere und schnellere Hardware machbar
Nicht m
öglich!
Aufwändig!
Nicht m
öglich?!
Möglich!
13
30Dr. Bernd Reiner, 15.10.2006
LZA: Notwendige Schritte
Reduzierung der verwendeten DateiformateAufwand steigt mit Anzahl der Dateiformate
StandardisierungDateiformate für LZA PDF/A (ISO 19005-1, seit Sept. 2005)MetadatenObject Identifier
Open Source DateiformateLesbar von unterschiedlicher SW
OAIS (Open Archival Information Systems) Referenz ModellDatenimport, Speicherung, Zugriff, DatenverwaltungAdministration, Archivierungsstrategien (z.B. Migration)
31Dr. Bernd Reiner, 15.10.2006
LZA: Weitere Anforderungen
AutomatisierungMigration der Daten und Umkopieren der Medien entsprechend der Alterung der Daten (Band) über Metadaten
Verschlüsselung der DatenSchutz vor fremden Zugriffen
Signatur der DatenAuthentizität der Daten auch nach Jahren eindeutig bestimmen
PrüfsummenÜbereinstimmung Original und Kopie kann sichergestellt werden
HistorienführungAlle relevanten Arbeitsschritte protokolliert. Über Signatur und Prüfsummen kann eine lückenlose Historie der Zugriffe erfolgen.
14
32Dr. Bernd Reiner, 15.10.2006
Es muss auf einemdieser Bänder sein!Es muss auf einem
dieser Bänder sein!
Vielen Dank!
Dr. Bernd [email protected]
