1.3.2005 Speichersystemkonzept Uni HD und MA 1
Neues Speicherkonzept der Universitäten Heidelberg und Mannheim
Rolf Bogus, Gerhard Rathmann
Dr. Werner Aufsattler
1.3.2005 Speichersystemkonzept Uni HD und MA 2
Übersicht
• Situation vor Realisierung des Speicherprojektes
• Ziele der Speicherkonsolidierung
• Beschaffte Geräte
• Realisierung
• Erste Erfahrungen
• Ausblick
1.3.2005 Speichersystemkonzept Uni HD und MA 3
Situation vor Realisierung des Speicherprojektes - HD
• Direkt zugewiesene Speichersysteme bei allen Servermaschinen:– Sun-Server für Netzdienste mit SUN-Raidsystem
(Raid 5 mit Hotspare), zusammen etwa 0,5 TB– IBM-AIX-Server für Datensicherung mit IBM SSA-
Plattensystemen, für AFS-Fileservice mit Comparex-(Hitachi)-Raidsystemen und für Mail mit IBM-SCSI-Plattensystem, zusammen etwa 2,5 TB
– Windows-Fileservercluster mit Infortrend IDE-Raidsystem, 0,5 TB
1.3.2005 Speichersystemkonzept Uni HD und MA 4
Situation vor Realisierung des Speicherprojektes - MA
• Mit HBFG-Antrag 2002 realisiertes zentrales HP-Speichersystem XP1024– Sieben AFS-Fileserver unter Linux mit
doppelter FC-HBA-Anbindung an XP1024– An XP1024 angebundene Servermaschinen– 2 Brocade 16-Port-SAN-Switche– Für jeden Fachbereich eigenes
„Koppelsystem“ (Samba-Gateway)
1.3.2005 Speichersystemkonzept Uni HD und MA 5
Situation vor Realisierung des Speicherprojektes - Übersicht
1.3.2005 Speichersystemkonzept Uni HD und MA 6
Situation vor Realisierung des Speicherprojektes - Probleme
• Probleme in Heidelberg:– Speichersysteme bei manchen Servern voll belegt,
bei anderen noch Kapazität frei– Umverteilung von Speicherplatz bei direkt
angeschlossenen Speichersystemen unmöglich– hoher Betreuungsaufwand durch 9 verschiedene
Speichersystem-Modelle– Nutzer haben unterschiedliche Benutzerverzeichnisse
auf Windows- und auf Unix-Systemen
• Probleme in Mannheim:– Keine synchrone Spiegelung wichtiger Daten
1.3.2005 Speichersystemkonzept Uni HD und MA 7
Ziele der Speicherkonsolidierung
• Vereinfachung der heterogenen Landschaft• Flexibilisierung durch zentrale Speicherzuteilung• Erhöhung der Datensicherheit• Geringerer Managementaufwand• Zusammenlegung von Windows- und Unix-
Dateiservice• Synchrone Datenspiegelung für hochwichtige
Daten
1.3.2005 Speichersystemkonzept Uni HD und MA 8
Beschaffte Geräte in HD
• Speichersystem HDS 9980V mit 14 TB Netto-kapazität
• HDS NAS-Gateway-Filer GF920c als ausfall-sicheres Clustersystem für Windows- und Unix-Fileservice
• CISCO SAN-Director MDS 9509 mit 64 2Gbit-SAN-Ports
• ADVA-Komponenten und HDS-Lizenzen für synchrone Datenspiegelung
• Erweiterung der USV, Steuerrechner, Zusatzserver, Datenkassetten zur Sicherung, …
1.3.2005 Speichersystemkonzept Uni HD und MA 9
Beschaffte Geräte – HDS 9980V
1.3.2005 Speichersystemkonzept Uni HD und MA 10
Beschaffte Geräte – NAS-Filer
1.3.2005 Speichersystemkonzept Uni HD und MA 11
Beschaffte Geräte – SAN-Director
1.3.2005 Speichersystemkonzept Uni HD und MA 12
Beschaffte Geräte – ADVA-Zusatz
1.3.2005 Speichersystemkonzept Uni HD und MA 13
Ausgetauschte Geräte in MA
• HDS Educational Fund ermöglicht Aus-tausch:– Speichersystem HP XP1024 (7 TB) ausge-
tauscht gegen HDS 9980V mit 11 TB Nettokapazität
– 2 Brocade 16-Port-SAN-Switches ausge-tauscht gegen CISCO SAN-Director MDS 9509 mit 64 2Gbit-SAN-Ports
– Garantieverlängerung der Speicherumgebung um fast drei Jahre
1.3.2005 Speichersystemkonzept Uni HD und MA 14
Realisierung - HD
• Einbau FC-HBAs in Server• Manuelle Datenmigration von direkt
angeschlossenen Raidsystemen in 9980V• Windows-Fileservercluster mit Secure Copy (Fa.
Small Wonders) in NAS-Filer kopiert• Inbetriebnahme der synchronen Spiegelung HD
– MA• Zuteilung von Speicherplatz des NAS-Filers an
Server ohne FC-HBAs
1.3.2005 Speichersystemkonzept Uni HD und MA 15
Realisierung - MA
• HDS 9980V parallel zur alten HP XP1024 aufgebaut, ebenso SAN-Director
• Die meisten Daten mittels AFS-Methoden („vos move“) umgezogen
• Server mit doppelten FC-HBAs benötigen Software von HDS anstelle von HP
1.3.2005 Speichersystemkonzept Uni HD und MA 16
Realisierung - Übersicht
1.3.2005 Speichersystemkonzept Uni HD und MA 17
Erste Erfahrungen
• SAN-Speicher ist ein Vielfaches schneller als die bisherigen lokal angeschlossenen Speichersysteme
• Doppelte FC-HBAs liefern nicht nur Redundanz, sondern auch Lastausgleich
• NAS-Speicher ist ein Vielfaches schneller als die bisherigen internen Platten
• HDS-Support ist ausgezeichnet
1.3.2005 Speichersystemkonzept Uni HD und MA 18
Ausblick - iSCSI
• Speicherplatz-Angebot an Institute für selbst betriebene Instituts-Server über das vorhandene LAN (iSCSI)
• Anfallende Kosten für Institute müssen noch zusammengestellt werden
• CISCO unterstützt dieses innovative Projekt mit einem entsprechenden iSCSI-Einschub für CISCO-Director
1.3.2005 Speichersystemkonzept Uni HD und MA 19
Ausblick - Serverkonsolidierung
• Beschaffung zweier IBM Bladecenter mit 15 Intel-Blades HS20
• Qlogic-SAN- und CISCO-Ethernet-Switche integriert
• Betriebssystem: Redhat Advanced Server• „SAN-Blades“: keine eigene Festplatte,
Booten aus dem SAN• „NAS-Blades“: eingebaute Festplatte mit
Betriebssystem, Daten im NAS-Filer
1.3.2005 Speichersystemkonzept Uni HD und MA 20
Ausblick – Datenbank-Cluster
• Test von Oracle Real Application Cluster Version 10g auf zwei Blades
• Gemeinsames Dateisystem: OCFS, (zertifiziertes) NFS oder ASM – Tests laufen noch
• Ausbau auf sechs bis acht Knoten geplant
1.3.2005 Speichersystemkonzept Uni HD und MA 21
Fragen?