9. Anbindung der ESX Server - SAN
NetQuest GmbH Seite 9-1
9 Anbindung der ESX Server - SAN
Anbindung der ESX Server mit Fibre Channel und iSCSI
9.1 Übersicht
Themen des Kapitels – Anbindung der ESX Server - SAN
Im Kapitel Anbindung der ESX Server - SAN werden der Aufbau eines iSCSI und Fibre Channel SAN beschrieben und die am Storage System dafür notwendige Konfiguration. Zusätzlich werden noch die Methoden zur Speicherung von virtuellen Platten auf SAN erläutert.
Themen des Kapitels
Übersicht – SAN
SAN Implementierungs-Optionen
Konfiguration des SAN - NetApp
Konfiguration des SAN – ESX Server
Speicherung der virtuellen Platten im SAN
9. Anbindung der ESX Server - SAN
NetQuest GmbH Seite 9-2
9.2 Übersicht – SAN
Aufbau und Funktion eines SAN Systems.
9.2.1 SAN Funktionen und Eigenschaften
Ein SAN kommt zum Einsatz, wenn häufig große Speichermengen bewegt werden und eine zeitnahe Datensicherung erforderlich ist. Vor allem große Websites wie Amazon, Consors, eBay, oder GMX, aber auch e-Commerce Systeme, die mit großen Beständen an Kundendaten hantieren oder an Warenwirtschaftssysteme angeschlossen sind, brauchen solche Lösungen.
SAN Übersicht
9. Anbindung der ESX Server - SAN
NetQuest GmbH Seite 9-3
Ein Storage Area Network (SAN) ist ein spezialisiertes Netzwerk aus Speichersubsystemen und Computersystemen. Die meisten SAN Implementierungen verwenden das Fibre Channel (FC) Protokoll. Die Komponenten eines SAN können in einem Rechenzentrum oder auch in mehreren Rechenzentren über eine große Entfernung verteilt sein. Eine Fabric besteht aus einem oder mehreren Fibre Channel (FC) Switches, die die Verbindung zwischen den einzelnen SAN Komponenten realisieren.
9. Anbindung der ESX Server - SAN
NetQuest GmbH Seite 9-4
9.2.2 SAN Technologien
Der Fibre Channel (FC) ist das am Häufigsten verwendete Verbindungsmedium in einem SAN. Das FC Netz verbindet die Datenspeicher direkt miteinander. Einzelner und direkter Anschluss an einen Server entfällt. Nach über zehn Jahren öffentlicher Normung im ANSI und nach einem etwa fünfjährigen Einsatz in Produkten, ist der FC mittlerweile ein Standardprodukt. Der Fibre Channel hat kein eigenes Protokoll auf höheren Schichten. Stattdessen kommen Protokolle wie SCSI, oder IP, zum Einsatz. Daher müssen in Anwendungen und bei Treibern keine oder nur geringfügige Änderungen vorgenommen werden. Investitionen bleiben geschützt. Beim iSCSI wird über ein normales Ethernet und dem TCP/IP Protokoll die Anbindung der SAN Komponenten realisiert. Die Version 2.5.x des ESX Servers erlaubt nicht die Verwendung von iSCSI für die Speicherung der VMDK Dateien.
SAN Technologien
Fibre Channel – spezialisiertes Medium zur Verbindung der SAN Komponenten
iSCSI – Anbindung der SAN Komponenten über ein TCP/IP Netzwerk
9. Anbindung der ESX Server - SAN
NetQuest GmbH Seite 9-5
9.2.3 iSCSI
iSCSI
Mittels iSCSI ist es möglich, SCSI Befehle und Daten über ein herkömmliches TCP/IP Netzwerk zu versenden
Als physikalisches Medium kann z.B. Ethernet mit normalen Netzwerkkarten und Switches eingesetzt werden
9. Anbindung der ESX Server - SAN
NetQuest GmbH Seite 9-6
9.2.4 Physische Fibre Channel Topologien
Im Fibre Channel (FC) Umfeld existieren verschiedene Techniken, um das physische Layout des FC Netzwerks zu realisieren. Die erste Möglichkeit zur Verbindung von Fibre Channel (FC) Geräten war die FC-AL (Arbitrated Loop) Topologie. Als Variante für kleine Installationen ist eine Point-to-Point Verbindung möglich. Bei neuen Installationen wird normalerweise die so genannte Switched-Fabric Topologie eingesetzt, um einen höheren Datendurchsatz der einzelnen Geräte untereinander zu gewährleisten.
Physische Fibre Channel Topologien
Fibre Channel Arbitrated Loop (FC-AL)
Point-to-Point
Switched-Fabric
9. Anbindung der ESX Server - SAN
NetQuest GmbH Seite 9-7
Die Fibre Channel Arbitrated Loop (FC-AL) war die ursprüngliche physische Topologie des Fibre Channels. In einem Ring können maximal 126 Fibre Ports/Geräte angeschlossen werden. Alle Geräte müssen sich dabei die verfügbare Bandbreite teilen. Um die Verkabelung des Rings zu vereinfachen, werden Hubs zum Verbinden der Ports/Geräte eingesetzt.
Fibre Channel Arbitrated Loop
9. Anbindung der ESX Server - SAN
NetQuest GmbH Seite 9-8
Eine Point-to-Point Verbindung ist eine „minimalistische“ Variante einer Fibre Channel-Arbitrated Loop (FC-AL) mit nur zwei Geräten.
Point-to-Point
Direkte Verbindung der HBAs mit den Controllern der Plattensubsysteme
Ist von der Anzahl der Server und der Fehlerredundanz beschränkt
„Preiswerte“ Lösung, da keine Switches benötigt werden
9. Anbindung der ESX Server - SAN
NetQuest GmbH Seite 9-9
Bei der Switched-Fabric werden zur Verbindung der HBAs und der Controller der Plattensubsysteme Switches eingesetzt. Der Vorteil dieser Lösung ist die bessere Performance, da alle Ports/Geräte eine „direkte“ Verbindung aufbauen und so die volle Bandbreite nutzen können. Die Performance wird allerdings durch den internen Durchsatz des Switch begrenzt. Zusätzlich treten natürlich Engpässe auf, wenn mehrere Ports/Geräte gleichzeitig mit einem bestimmten Port/Gerät kommunizieren wollen. Die Switched-Fabric Topologie wird bei mittleren und größeren SANs am häufigsten eingesetzt.
Switched-Fabric
9. Anbindung der ESX Server - SAN
NetQuest GmbH Seite 9-10
9.2.5 Komponenten eines FC Netzwerks
FC Hubs - Ein FC Hub wird zur Verbindung der FC Komponenten in einer Arbitrated-Loop Topologie eingesetzt. Durch den Einsatz von Hubs wird die Verkabelung der Arbitrated-Loop Topologie vereinfacht. FC Switch – Ein FC Switch verbindet die einzelnen Komponenten eines SAN (Speichersubsystem und Computersysteme) in einer Switched-Fabric Topologie. FC Switche können auch redundant ausgelegt sein. Connections: HBAs und Controllers – Die Storage Systeme werden über Controller und die Computersystem über Host Bus Adapter (HBA) an die Fabric angebunden.
Fibre Channel Komponeten
FC Hubs
FC Switches
Connects: HBAs oder Controllers
9. Anbindung der ESX Server - SAN
NetQuest GmbH Seite 9-11
9.2.6 Ports und Port Benennung (FC)
Innerhalb eines SAN hat jeder Port eine eindeutige Port_ID, die für das Routing der Daten dieses Ports benötigt wird. Der WWPN (World Wide Port Name) ist eine weltweit eindeutige ID zur Adressierung des Ports inner- und auch außerhalb des SAN. Der WWNN (World Wide Node Name) ist wie die WWPN eine eindeutige ID zur Adressierung eines Geräts. Eine weitere Namenskonvention ist PortType_PortMode. PortType gibt an welches Gerät an den Port angeschlossen ist. Der PortMode gibt an, ob z.B. das Gerät aktiv ist (Operations-Modus).
Ports und Port Benennung
WWPN (World Wide Port Name) / WWNN (World Wide Node Name)
PortType_PortMode
9. Anbindung der ESX Server - SAN
NetQuest GmbH Seite 9-12
Bei Geräten mit einem Port ist die WWNN und WWPN gleich. Bei einem FC Switch oder einer redundant angebundenen Storage Einheit ist es so, dass ein Gerät mehrer Ports (z.B. redundante Storage Prozessors) und damit mehrere WWPN’s besitzt.
WWPN und WWNN
Storage
Processor 1
Controller1 Controller2
WWPN1
WWNN
WWPN2
9. Anbindung der ESX Server - SAN
NetQuest GmbH Seite 9-13
9.2.7 Logische SAN Topologien
Mittels Zonen werden Netzwerke innerhalb einer Switched-Fabric Topologie definiert. Eine Zone besteht aus zwei oder mehreren Ports die miteinander kommunizieren. Über eine Zone kann z.B. auch die „Sichtbarkeit“ von LUNs eingeschränkt werden.
Logische SAN Topologien
High Availability Topology
Zoning
9. Anbindung der ESX Server - SAN
NetQuest GmbH Seite 9-14
9.3 SAN Implementierungs-Optionen
Möglichkeiten wie SANs genutzt werden können.
9.3.1 VMFS basierende Nutzung
VMFS basierende Nutzung
Die Daten der Gast-Betriebssysteme werden ausschließlich in VMDK Dateien abgelegt, die wiederum im SAN in einem VMFS Dateisystemen abgelegt sind
Ein Vorteil ist die einfache Sicherung über Snapshots
Es können mehrere VMDK Dateien in einem VMFS Dateisystem gespeichert werden
9. Anbindung der ESX Server - SAN
NetQuest GmbH Seite 9-15
9.3.2 Direkte Nutzung durch das Gast-Betriebssystem
Direkte Nutzung durch den Gast
Das Gast-Betriebssystem kann auch direkt über eigene Treiber auf iSCSI Systeme oder NAS (Network Attached Storage) Systeme zugreifen
Z.B. bei Windows mit dem Windows Software iSCSI Initiator
9. Anbindung der ESX Server - SAN
NetQuest GmbH Seite 9-16
9.3.3 VMware Disk Mapping
Eine RAW LUN ist eine LUN, die nicht mit einem VMFS Dateisystem formatiert ist. Diese RAW LUN kann nicht direkt angesprochen werden, sondern wird der VM über ein Mapping File, das sich in einem VMFS Dateisystem befinden muss, zur Verfügung gestellt.
VMware Disk Mapping
9. Anbindung der ESX Server - SAN
NetQuest GmbH Seite 9-17
Einsatzgebiete des Disk Mapping
Änderungen an den physischen Geräten haben nur Änderungen des Mappings zur Folge, aber nicht der VMs
Haupteinsatzgebiete sind die Quorums und Datenplatten von Clustern (z.B. der Microsoft Cluster)
9. Anbindung der ESX Server - SAN
NetQuest GmbH Seite 9-18
Im Physical Mode können keine VMware Snapshots erstellt werden!
Disk Modus
Gemappte RAW Disks haben zwei Kompatibilitäts-Modi:
Virtual Mode – funktioniert wie eine normale VMDK Datei
Physical Mode – z.B. beim Einsatz von SAN Agents (Verwaltung und Konfiguration) innerhalb der VM
9. Anbindung der ESX Server - SAN
NetQuest GmbH Seite 9-19
9.4 Konfiguration des SAN - NetApp
Schritte zur Konfiguration des SAN (iSCSI und FCP)
9.4.1 Übersicht – SAN Konfiguration der NetApp
Beim Anlegen des Volumes sollten verschiedene Parameter gesetzt werden:
create_ucode=on
convert_ucode=on Deaktivierung der automatischen Snapshots: snap sched <Volume_Name> 0 0 0
Übersicht – SAN Konfiguration
1. Lizenzierung des entsprechenden SAN Protokolls (iSCSIoder Fibre Channel)
2. Anlegen eines Volume oder Qtree in dem die LUN erzeugt werden soll
3. Überprüfung ob das SAN Protokoll aktiviert ist
4. Konfiguration des Initiators a m Host
5. Anlegen der LUN, Igroup und Zuweisung der Igroup zur LUN
9. Anbindung der ESX Server - SAN
NetQuest GmbH Seite 9-20
9.4.2 Konfiguration des SAN
Überprüfung der Konfiguration des Fibre Channel:
fcp config <FC_Adapter> Anzeige des cfmode:
fcp show cfmode Wechseln des cfmode:
priv set advanced
fcp set cfmode <Mode> (z.B. bei FAS270c dualfabric oder single_image)
SAN Konfiguration (1)
Nach der Lizenzierung müssen die Treiber für iSCSI oder FCP aktiviert werden
license add …
Zu Verwaltung stehen folgende Befehle oder Tools zur Verfügung: fcp {command} -> Aktivierung mit fcp start
iscsi {command} -> Aktivierung mit iscsi start
FilerView
9. Anbindung der ESX Server - SAN
NetQuest GmbH Seite 9-21
SAN Konfiguration (2)
Nur die Initiatoren (iSCSI oder FDP) die in der Igroupangegeben sind können auf die LUN zugreifen
Anzeigen der Initiatoren: iscsi show initiator oder fcp show initiator
Anlegen der Igroup: igroup create –{ i|f } –t <ostype> <igroup_name>
Zuweisen der Initiatoren: igroup add <igroup_name> <wwpn oder iqn> …
9. Anbindung der ESX Server - SAN
NetQuest GmbH Seite 9-22
SAN Konfiguration (3)
Anlegen der LUN: lun create –s <size> -t <ostype> <lunpath>
z.B. lun create –s 10g –t windows /vol/vol1/q1/lun11
Mapping der LUN: lun map <lunpath> <igroup_name> <lun_id>
z.B. lun map /vol/vol1/q1/lun11 igwindows 11
9. Anbindung der ESX Server - SAN
NetQuest GmbH Seite 9-23
9.4.3 Konfiguration einer LUN mit dem lun setup Tool
lun setup Tool
Alternativ kann die Konfiguration auch mit dem Tool lun setup durchgeführt werden
9. Anbindung der ESX Server - SAN
NetQuest GmbH Seite 9-24
9.4.4 Konfiguration einer LUN mit FilerView
Zugriff: FilerView -> LUNs -> …
LUN Konfiguration mit FilerView
9. Anbindung der ESX Server - SAN
NetQuest GmbH Seite 9-25
9.5 Konfiguration des SAN – ESX Server
Konfiguration von Fibre Channel (FC) und iSCSI Storages.
9.5.1 vmhba Nummerierung
Die vmhba Nummerierung setz sich aus mehreren Teilen zusammen:
1. Der Nummer des Adapters (bzw. des Busses)
2. Die Nummer des Channel (nur für iSCSI).
3. Die SCSI ID (Target) bei SCSI Platten (bei SANs wird z.B. 0 und 1 für Storage Einheiten mit mehreren aktiven Storage Prozessoren verwendet)
4. Der LUN Nummer (bei SCSI Platten 0)
vmhba Nummerierung
9. Anbindung der ESX Server - SAN
NetQuest GmbH Seite 9-26
9.5.2 Überprüfung auf neue LUNs
Mit dem Befehl esxcfg-rescan kann die Überprüfung des SAN auf neue LUNs über die Konsole durchgeführt werden.
Überprüfung auf neue LUNs
Automatisch beim Booten des ESX Servers
Manuell:
Mit dem Virtual Infrastructure Client
Über die Konsole, z.B. esxcfg-rescan vmhba2
9. Anbindung der ESX Server - SAN
NetQuest GmbH Seite 9-27
Zugriff: vSphere Client -> Inventory -> Configuration -> Storage Adapter -> Rescan…
Mit dem Virtual Infrastructure Client kann eine Überprüfung des SAN auf neue LUNs durchgeführt werden.
Rescan des SAN
9. Anbindung der ESX Server - SAN
NetQuest GmbH Seite 9-28
Zugriff: vSphere Client -> Inventory -> Configuration -> Storage Adapter Über den Virtual Infrastructure Client kann die WWPN/WWNN der HBAs, bzw. der verbundenen Adapter des SAN Storages angezeigt werden.
Anzeigen der WWPN/WWNN
9. Anbindung der ESX Server - SAN
NetQuest GmbH Seite 9-29
9.5.4 Pluggable Storage Architecture (PSA)
Die Pluggable Storage Architecture (PSA) ist ein offenes, modulares Framework, das Multipathing-Lösungen von Drittanbietern für Arbeitslastverteilung und hohe Verfügbarkeit ermöglicht. Mit vSphere-CLI oder vCenter Server können Sie Pfade verwalten, die vom standardmäßigen nativen Multipathing gesteuert werden. Wenn eine Array-spezifische Funktionalität erforderlich ist, kann anhand der vSphere-CLI ein Drittanbieter-Plugin, das die vStorage APIs für Multipathing verwendet, konfiguriert werden.
Pluggable Storage Architecture
Die Pluggable Storage Architecture (PSA) ist ein offenes, modulares Framework für Lastverteilung und Hochverfügbarkeit
Mit vSphere-CLI oder vCenter Server können die Pfade verwaltet werden, die vom standardmäßigen nativen Multipathing gesteuert werden
Wenn eine Array-spezifische Funktionalität erforderlich ist kann diese durch Plug-Ins nachgerüstet werden
9. Anbindung der ESX Server - SAN
NetQuest GmbH Seite 9-30
Im ESX/ESXi ist die PSA eine VMkernel Schicht die für die Verwaltung der Storage-Pfade zuständig ist. Die Multipathing-Plugins (MPPs) werden entweder von VMware – Native Multipathing Plugin (NMP) oder von einem Fremdhersteller zur Verfügung gestellt. Das NMP unterstützt alle Storage Systeme in der VMware HCL aufgeführt werden und enthalten ein Algorithmus zur Pfadauswahl der auf das Storage System abgestimmt ist. Der NMP verbindet eine Menge von physikalischen Pfaden mit einem bestimmten Storage System oder einer LUN. Die Details der Zuweisung wird über ein sogenanntes Storage Array Type Plugin (SATP) verwaltet. Die Details der Auswahl der für den I/O verwendeten Pfade wird über ein Path Selection Plugin (PSP) verwaltet. Der ESX/ESXi Server stellt ein SATP für jedes Storage System das VMware unterstützt zur Verfügung. Das SATP ist für folgende Aufgaben zuständig:
Überwachung der Pfade (actice/dead)
Benachrichtigung des NMP bei Änderung des Status der physikalischen Pfade
Storage System abhängige Aktionen beim Failover
9. Anbindung der ESX Server - SAN
NetQuest GmbH Seite 9-31
9.5.5 Multipathing
Beim Multipathing handelt es sich um ein Feature zur Hochverfügbarkeit und Lastverteilung bei der ein SAN Storage über zwei oder mehrere physikalische Pfade erreicht werden kann. Dies ist dadurch sichtbar, dass die gleiche LUN an mehreren HBAs sichtbar ist. Im Falle eines Fehlers „frieren“ die VMs für ca. 30 Sekunden ein, bis der SAN Treiber die Umschaltung realisiert hat.
Multipathing Policy
Der Default PSP stellt folgende Policies für das Multipathing zur Verfügung:
Most Recently Used (MRU)
Fixed/Preferred Path
Round Robin
9. Anbindung der ESX Server - SAN
NetQuest GmbH Seite 9-32
Die automatische Umschaltung kann auf drei Arten (Policies) erfolgen:
Fixed Multipathing
Most Recently Used (MRU)
Round Robin Der Vorteil von Fixed Multipathing ist, dass ein manuelles Loadbalancing durchgeführt werden kann. Der Nachteil ist, dass eine zusätzliche Konfiguration erforderlich ist (Fixed ist die Defaultkonfiguration). Die empfohlene Konfiguration hängt von der angeschlossenen Storage Einheit ab und sollte in der SAN Kompatibiläts-Guide von VMware überprüft werden. Anpassung unter Windows 2000, XP und 2003:
Um Probleme mit Fehlermeldungen des Windows Gastbetriebssystems zu vermeiden, muss der Timeout für das Plattensubsystem in der Registry erhöht werden. HKEY_LOCAL_MACHINE\System\CurrentControlSet\Services\Disk Der Wert TimeOutValue sollte auf 60 Sekunden (Dezimal) gesetzt werden. Achtung, bei der Installation der neuen VMware Tools wird der Wert TimeOutValue automatisch auf 60 Sekunden gesetzt.
9. Anbindung der ESX Server - SAN
NetQuest GmbH Seite 9-33
Als HBA Failover oder Trespass wird das Umschalten von einem Storage Prozessor (SP) zu anderen SP bezeichnet.
Beispiel: HBA Failover/Trespass
9. Anbindung der ESX Server - SAN
NetQuest GmbH Seite 9-34
9.5.6 Asymmetric Logical Unit Access (ALUA)
Das Asymmetric Logical Unit Access (ALUA) Protokoll ist ein Standardprotokoll, das die Übermittlung von Storage-Pfaden und Pfadcharakteristiken zwischen Initiator (ESX/ESXi) und Target (Storage System) ermöglicht. Wenn das Storage System ALUA Kompatibel ist (wie NetApp), kann dieses mit dem vSphere NMP kommunizieren und automatisch die korrekten Pfade für den I/O auswählen. ALUA ist auch bekannt als Target Port Group Support (TPGS) im SCSI Primary Command (SPC) Standard.
Asymmetric Logical Unit Access
Asymmetric Logical Unit Access (ALUA) ist ein Standardprotokoll, das die Übermittlung von Storage-Pfaden und Pfadcharakteristiken zwischen Initiator und Target ermöglicht
Wenn das Storage System ALUA Kompatibel ist (wie NetApp), kann dieses mit dem vSphere NMP kommunizieren und automatisch die korrekten Pfade für den I/O auswählen
9. Anbindung der ESX Server - SAN
NetQuest GmbH Seite 9-35
Aktivierung des ALUA - NetApp
Das ALUA Protokoll muss auf der NetApp pro Initiator Group aktiviert werden:
igroup set <igroup_name> alua yes
Anschließend muss die Aktivierung kontrolliert werden: igroup show –v
Nach der Aktivierung müssen die ESX/ESXi Server neu gestartet werden
9. Anbindung der ESX Server - SAN
NetQuest GmbH Seite 9-36
9.5.7 Manuelle Konfiguration des Multipathing
Zugriff: vSphere Client -> Inventory -> Configuration -> Storage Adapter -> vmhbaXX
auswählen -> Devices -> Rechte Maustaste -> Manage Paths…
Das Multipathing kann im Virtual Infrastructure Client eingestellt werden. Über diesen Dialog lassen sich die Policy und/oder der Active Pfad auswählen. Das Multipathing kann auch über den Befehl esxcfg-mpath überprüft und konfiguriert werden. Beispiel:
esxcfg-mpath –l Auflistung der verfügbaren HBAs und ihrer Pfade.
Konfiguration des Multipathing
9. Anbindung der ESX Server - SAN
NetQuest GmbH Seite 9-37
9.5.8 Konfiguration des iSCSI Software Initiator
Der iSCSI Port muss geöffnet werden, wenn eine Authentifizierung am Storage erforderlich ist.
Konfiguration des Software iSCSI (1)
Für den iSCSI Zugriff über den Software Initiator des ESX Server auf das iSCSI Storage, muss in der Firewall der iSCSI Port geöffnet sein (wird bei der Konfiguration des Software iSCSI Initiator automatisch geöffnet)
9. Anbindung der ESX Server - SAN
NetQuest GmbH Seite 9-38
Konfiguration des Software iSCSI (2)
Für den iSCSI Zugriff muss ein Virtueller Switch mit einem VMkernel Port und einem Console Port angelegt werden. Die IP Adresse für die Ports muss sich im selben Netz oder in einem über ein Routing angebundenen Netzwerk befinden
9. Anbindung der ESX Server - SAN
NetQuest GmbH Seite 9-39
Zugriff: vSphere Client -> Inventory -> Configuration -> Storage Adapter Im Virtual Infrastructure Client wird der Software iSCSI Initiator angezeigt (vmhba32) und kann hier aktiviert und konfiguriert werden.
Konfiguration des Software iSCSI (3)
9. Anbindung der ESX Server - SAN
NetQuest GmbH Seite 9-40
In den Eigenschaften des Software Initiators muss dieser zuerst aktiviert werden (über den Knopf Configure…).
Konfiguration des Software iSCSI (4)
9. Anbindung der ESX Server - SAN
NetQuest GmbH Seite 9-41
Bei der Aktivierung wird auch automatisch der Name des iSCSI Adapters erzeugt. Dieser ist für die Konfiguration des iSCSI Storage wichtig, um den Zugriff auf die LUNs für diesen Adapter zu aktivieren.
Konfiguration des Software iSCSI (5)
9. Anbindung der ESX Server - SAN
NetQuest GmbH Seite 9-42
Im letzten Schritt muss noch die IP-Adresse des iSCSI Storage eingetragen werden. Dies wird in der Registerkarte Dynamic Discovery durchgeführt.
Konfiguration des Software iSCSI (6)
9. Anbindung der ESX Server - SAN
NetQuest GmbH Seite 9-43
9.5.9 iSCSI Designmöglichkeiten
9.5.9.1 iSCSI mit traditionellen Ethernet
VMKernel – Traditional Ethernet (1)
9. Anbindung der ESX Server - SAN
NetQuest GmbH Seite 9-44
VMKernel – Traditional Ethernet (2)
9. Anbindung der ESX Server - SAN
NetQuest GmbH Seite 9-45
Single-Mode Design
9. Anbindung der ESX Server - SAN
NetQuest GmbH Seite 9-46
9.5.9.2 iSCSI mit Multiswitch-Trunking
VMKernel – Multiswitch-Trunking (1)
9. Anbindung der ESX Server - SAN
NetQuest GmbH Seite 9-47
VMKernel – Multiswitch-Trunking (2)
9. Anbindung der ESX Server - SAN
NetQuest GmbH Seite 9-48
Multi-Mode Design
9. Anbindung der ESX Server - SAN
NetQuest GmbH Seite 9-49
9.5.10 NetApp Host Utilities
Übersicht – NetApp Host Utilities
Die Host Utilities sind eine Menge von Tools, die die Anbindung eines NetApp Storage Systems erleichtern
Die Host Utilities enthalten folgende Komponenten: Ein Installationsprogramme das verschiedene Parameter des
ESX Servers und der HBAs setzt
Diagnose Programme
Programme zur Erkennung und Korrektur von AlignmentProblemen
Dokumentation
9. Anbindung der ESX Server - SAN
NetQuest GmbH Seite 9-50
Evtl. muss noch SSH konfiguriert werden:
1. secureadmin setup ssl
2. options httpd.admin.ssl.enable on
Vorbereitung auf der NetApp
Die Namen der ESX Server bzw. der NetApp Storage System müssen aufgelöst werden können (am besten über DNS)
Die Option options trusted.hosts muss gesetzt werden
Die ESX Server müssen in der Datei /etc/hosts.equivgelistet sein und zusätzlich muss die Option httpd.admin.hostsequiv gesetzt werden
9. Anbindung der ESX Server - SAN
NetQuest GmbH Seite 9-51
Installation der NetApp Host Utilities
1. Entpacken der Host Utilities:
tar -zxf netapp_esx_host_utilities_5_1.tar.gz
2. Wechseln in das Verzeichnis:
netapp_esx_host_utilities_5_1
3. Start der Installation:
./install [-expert]
4. Nach der Installation muss der ESX Server neu gestartet werden
9. Anbindung der ESX Server - SAN
NetQuest GmbH Seite 9-52
9.6 Speicherung der virtuellen Platten im SAN
Eigenschaften und Verwendung des VMFS Dateisystems bzw. des RDM.
9.6.1 Eigenschaften des VMFS Dateisystem
VMFS
Das VMFS (Virtual Machine File System) ist ein von VMware speziell entworfenes File System zur Speicherung der Virtuellen Maschinen
9. Anbindung der ESX Server - SAN
NetQuest GmbH Seite 9-53
Was wird in VMFS gespeichert?
Dateien der Virtuellen Maschinen
Snapshot Dateien der Virtuellen Maschinen
Swapfile(s) der VMs
Konfigurationsdateien der VMs
usw.
9. Anbindung der ESX Server - SAN
NetQuest GmbH Seite 9-54
Der ESX Server ab Version 3 kann alte VMFS v2 Volumes lesen aber nicht ändern.
Eigenschaften von VMFS v3
Spanning von VMFS Volumes
Mehrere ESX Server können auf die Dateien des Volumes gleichzeitig zugreifen
Maximal 256 VMFS Volumes pro ESX Server
Maximale Größe von 64 TByte (2 TByte * 32 Extents) pro VMFS Volume
Maximale Dateigröße von 2 TByte (bei 8 MByteBlockgröße)
9. Anbindung der ESX Server - SAN
NetQuest GmbH Seite 9-55
9.6.2 Anlegen eines VMFS Volumes
Zugriff: vSphere Client -> Inventory -> Configuration -> Storage -> Add Storage
Das Anlegen eines VMFS Volumes und der Partition kann im Virtual Infrastructure Client oder alternativ über Kommandozeile erfolgen.
Anlegen eines VMFS Volume (1)
9. Anbindung der ESX Server - SAN
NetQuest GmbH Seite 9-56
In dieser Ansicht werden alle zur Verfügung stehenden Storages angezeigt, die noch freie Bereiche enthalten.
Anlegen eines VMFS Volume (2)
9. Anbindung der ESX Server - SAN
NetQuest GmbH Seite 9-57
Nach der Auswahl des Storage werden alle Informationen zusammengefasst.
Anlegen eines VMFS Volume (3)
9. Anbindung der ESX Server - SAN
NetQuest GmbH Seite 9-58
Angeben des Alias-Namens des Volumes.
Anlegen eines VMFS Volume (4)
9. Anbindung der ESX Server - SAN
NetQuest GmbH Seite 9-59
Die Blockgröße bestimmt die maximale Dateigröße. Z.B. bei 1 MByte Blockgröße ist die maximale Dateigröße 256 GByte.
Anlegen eines VMFS Volume (5)
9. Anbindung der ESX Server - SAN
NetQuest GmbH Seite 9-60
In der letzten Maske wird eine Zusammenfassung der eingegebenen Informationen dargestellt.
Anlegen eines VMFS Volume (6)
9. Anbindung der ESX Server - SAN
NetQuest GmbH Seite 9-61
9.6.3 Mountpunkt der VMFS Volumes
Mountpunkt der VMFS Volumes
Im Verzeichnis /vmfs/volumes sind alle VMFS Volumesmit einem Link eingebunden
Im Verzeichnis /vmfs/devices/disks werden die IDs der Storages (LUNs) angezeigt vml…
9. Anbindung der ESX Server - SAN
NetQuest GmbH Seite 9-62
9.6.4 Erstellen eines VMFS Volume (Console)
Mit dem fdisk Befehl wird eine Partition angelegt. Um später ein VMFS Dateisystem in dieser Partition verwenden zu können, muss der Partitionstyp fb eingestellt werden. Mit dem Befehl esxcfg-scsidevs –l -c können Informationen über die Zuordnung zwischen den LUNs und den Linux Namenskonventionen für den fdisk Befehl ausgegeben werden.
Anlegen einer Partition
Partitionierung der Platte/LUN: fdisk /dev/sda
Als Partitionstyp bei fdisk muss fb angegeben werden.
9. Anbindung der ESX Server - SAN
NetQuest GmbH Seite 9-63
Optionen des fdisk Befehls:
Option Erklärung
n Erstellen einer neuen Partition (entweder Primär oder Erweitert).
d Löschen einer Partition.
p Anzeigen der Partitionstabelle.
t Änderung der ID der Partition (fb für vmfs Partitionen).
w Schreiben der Partitionstabelle.
9. Anbindung der ESX Server - SAN
NetQuest GmbH Seite 9-64
Mit dem Befehl vmkfstools –C … wird die Partition formatiert. Für die Angabe der LUN muss die vml oder naa der LUN verwendet werden. Mit folgendem Befehl können Informationen über Storages und dem physikalischen Partitionen und Geräten ausgegeben werden: [root@esxhost] vmkfstools –P –h /vmfs/volumes/san00
Anlegen eines VMFS Vol. (Konsole)
vmkfstools –C vmfs3 –b 1m –S storage4 /vmfs/devices/disks/vml.<vml_id>:1
b - Blocksize
S – Name des Dateisystems
9. Anbindung der ESX Server - SAN
NetQuest GmbH Seite 9-65
Mit dem Befehl vmkfstools –Z … kann ein bestehendes VMFS Volume vergrößert (gespannt) werden. Nach der Option –Z steht als erstes die leere Partition die an das vorhandene VMFS Volume (zweites Feld) angehängt wird. Die Option –G vergrößert ein Dateisystem ohne ein zusätzliches Extend anzuhängen. Vorher muss die Partition vergrößert werden.
Vergrößerung eines VMFS Volumes
Vergrößerung durch Hinzufügen eines Extends (wobei <vml_id_1> das zu vergrößernde Volume ist):
vmkfstools –Z /vmfs/devices/disks /vml.<vml_id_2>:1 /vmfs/devices/disks /vml.<vml_id_1>:1
Vergrößerung des VMFS Dateisystem (vorher muss die Partition mit fdisk vergrößert werden): vmkfstools –G /vmfs/devices/disks /vml.<vml_id>:1
9. Anbindung der ESX Server - SAN
NetQuest GmbH Seite 9-66
9.6.5 Konfiguration des Raw Device Mapping (RDM)
Konfiguration des RDM
Beim Erstellen einer neuen virtuellen Platte kann Optional statt einer VMDK Datei ein Raw Device Mapping (RDM) verwendet werden
Für die Erstellung wird eine leere (nicht partitionierte) LUN benötigt
Die virtuelle Platte ist so groß wird die LUN
9. Anbindung der ESX Server - SAN
NetQuest GmbH Seite 9-67
9.6.6 Alignment der Partition
Alignment der Partition
Bei Windows Rechner sollten die Partitionen aus Performancegründen mit den Blöcken des „darunter“ liegenden Dateisystems ausgerichtet werden
Dies ist z.B. bei Verwendung eines NetApp Storage wichtig
9. Anbindung der ESX Server - SAN
NetQuest GmbH Seite 9-68
Befehl: Start > All Programs > Accessories > System Tools > System Information Mit dem Tool Msinfo32 kann der aktuelle Offset der Partition überprüft werden.
Msinfo32
9. Anbindung der ESX Server - SAN
NetQuest GmbH Seite 9-69
Mit dem diskpart-Befehl kann eine Partition mit einem definierten Offset wie im Beispiel mit 32 KByte erzeugt werden.
diskpart-Befehl
9. Anbindung der ESX Server - SAN
NetQuest GmbH Seite 9-70
9.6.7 Thin Provisioning
Thin Provisioning
Thin Provisioning (TP) (zu dt. schlanke Speicherzuweisung), bezeichnet ein Kosten sparendes Verfahren zur Bereitstellung von Speicherkapazität in virtualisierten Speicherumgebungen (Storage Virtualisierung). Klassische Speicherzuweisung
Wenn Administratoren ein Speichersystem erstmalig in Betrieb nehmen, müssen sie die Festplatte für ein oder mehrere Betriebssysteme partitionieren, logische Laufwerke (z. B. C:) anlegen und diese dann mit den jeweiligen Betriebssystem-Werkzeugen formatieren. Bei diesem klassischen Verfahren, das auch Hard, Fat oder Exact Provisioning genannt wird, wird Anwendern und Anwendungsprogrammen Speicherkapazität zugeteilt. Ein weiterer Begriff, dedicate-on-allocation (bei der Zuweisung reservieren), umschreibt den tatsächlichen Vorgang.
Thin Provisioning
Thin Provisioning (Definition) Thin Provisioning (TP) (zu dt. schlanke Speicherzuweisung),
bezeichnet ein Kosten sparendes Verfahren zur Bereitstellung von Speicherkapazität in virtualisierten Speicherumgebungen (Storage-Virtualisierung)
Bei VMware (anlegen einer Virtuellen Platte mit der thin Option) – Default ist thick vmkfstools –c 100G –d thin –a lsilogic
“/vmfs/volumes/san01/vm01/vm01_2.vmdk“
9. Anbindung der ESX Server - SAN
NetQuest GmbH Seite 9-71
So definierte Partitionen und logische Festplatten sind mit Betriebssystemfunktionen nicht mehr änderbar. Ist die zugeteilte Speicherkapazität erschöpft – das ist meist schon bei 80 Prozent Nutzungsgrad der Fall, da z. B. bei der Reorganisation von Datenbanken zusätzlicher Platz benötigt wird – so müssen alle Daten zuerst auf ein anderes Medium kopiert und anschließend die LUN gelöscht und neu angelegt werden. Mit speziellen Software-Werkzeugen können erfahrene Anwender aber auch Offline die Größe einer LUN inklusive aller Daten korrigieren. Auf eine Datensicherung sollte aus Sicherheitsgründen nicht verzichtet werden. Während es für private Anwender kein Problem darstellt, die gesamte Speicherkapazität einer Festplatte für ihre Bedürfnisse zu reservieren, müssen Storage-Administratoren in größeren Betrieben umsichtiger mit den Ressourcen umgehen. Sie teilen den Benutzern nur den voraussichtlich benötigten Speicherplatz über die Lebensdauer eines Projektes zu. Um Änderungen an diesen Vorgaben und damit kostspielige Verwaltungsarbeiten zu vermeiden, werden die zugeteilten Kapazitäten sicherheitshalber großzügig bemessen. Ein Teil des häufig bejammerten Datenwachstums ist dieser fixen Reservierung zuzuordnen. Die tatsächlich gespeicherte Datenmenge beträgt oft nur einen Bruchteil der reservierten Kapazität. Moderne Speicherzuweisung (Dedication-on-write)
Thin Provisioning kann man vergleichen mit dem von einem Elektritzitätswerk zur Verfügung gestelltem Strom. Das E-Werk garantiert dem Kunden eine maximale Leistung die dieser beziehen kann. Trotzdem kann das E-Werk nur einen Teil dieser Maximalleistung allen Kunden gleichzeitig bereitstellen. Da aber niemals alle gleichzeitig die Maximalleistung beziehen, kommt es zu keinen Problemen. Im IT Bereich wird der Begriff häufig auch als Überprovisionierung (overcommitment) oder Überquotierung bezeichnet. Das Thin Provisioning macht sich zunutze, dass moderne Speichersysteme virtuelle Festplatten zur Verfügung stellen. Dem Abnehmer (Server) wird dabei mehr Kapazität zur Verfügung gestellt, als im Speichersystem dafür vorgehalten wird. Sobald die vom Server genutzte Kapazität einen bestimmten Schwellenwert überschreitet, wird aus einem vorhandenen Speicherpool freie Kapazität zusätzlich für den Abnehmer bereitgestellt.
9. Anbindung der ESX Server - SAN
NetQuest GmbH Seite 9-72
Vorteile
Der Vorteil des Verfahrens liegt auf der Hand: Es wird weniger Speicherkapazität benötigt - was direkten Einfluss auf Preis, Stellfläche, Klimaverbrauch, Stromverbrauch etc. hat. Das Risiko ist, dass ein sehr detailliertes Monitoring implementiert werden muss. Wie beim Elektrizitätswerk muss notfalls schnell Kapazität neu bereitgestellt werden. Das E-Werk erreicht dies z.B. über Zukauf im Ausland bei Überlasten – im Speicherbereich müssen physikalisch Platten hinzugekauft werden. Steigt die Nutzung stärker als neue Kapazität bereitgestellt werden kann, so führt dies zum Stillstand der Anwendung. Thin Provioning bei VMware
Bei VMware könne virtuelle Platten mit der thin Option angelegt werden, d.h. der Speicher wird erst zugewiesen wenn Daten in virtuelle Platte geschrieben werden. Syntax: vmkfstools –c 100G –d thin –a lsilogic “/vmfs/volumes/san01/vm01/vm01_2.vmdk“
9. Anbindung der ESX Server - SAN
NetQuest GmbH Seite 9-73
9.7 Übung – SAN
9.7.1 Übung – SAN Übersicht
In der Übung soll die Anbindung des Storage Systems an eine iSCSI und/oder Fibre Channel Netzwerk durchgeführt werden.
Übung – SAN
9. Anbindung der ESX Server - SAN
NetQuest GmbH Seite 9-74
9.7.2 Übung - Konfiguration einer LUN mit iSCSI
1. Im ersten Schritt soll ein neues Aggregat, ein Volume und in diesem Volume ein
Qtree erzeugt werden.
2. In diesem Qtree muss als nächstes eine LUN erzeugt und gemappt weden.
3. Für den Zugriff muss unter Windows 2003 der Microsoft iSCSI Initiator installiert werden.
4. Die iqn des iSCSI Initiator muss auf die LUN gemappt werden.
In der Übung soll der Zugriff auf ein Fibre Channel bzw. iSCSI Storage für den ESX Server konfiguriert werden.
9.7.3 Übung – Konfiguration des Software iSCSI Initiator
1. Für den Verbindungsaufbau zum iSCSI Storage kann der Switch der letzten Übung
(NAS) verwendet werden.
2. Als nächstes erfolgt die Konfiguration des iSCSI Software Initiator. Der Trainer muss dabei auch den Zugriff für den iSCSI Adapter konfigurieren!
3. Nach einem Rescan sollten die LUNs des iSCSI Storage angezeigt werden.
4. Nach dem Test der Konfiguration sollte der Software iSCSI Initiator deaktiviert und
der Server neu gestartet werden.
9. Anbindung der ESX Server - SAN
NetQuest GmbH Seite 9-75
9.7.4 Übung – Anlegen eines VMFS Volume
1. Im ersten Schritt soll ein VMFS Volume mit 10 GByte im SAN erzeugt werden (über
Kommandozeilenbefehle).
9.7.5 Übung – Vergrößern eines VMFS Volume
1. Im nächsten Schritt soll das Volume auf die maximal mögliche Größe eingestellt
werden.
9. Anbindung der ESX Server - SAN
NetQuest GmbH Seite 9-76
Notizen: