www.regioit-aachen.de
ENERGIEMONITORING IN RECHENZENTREN
HERAUSFORDERUNGEN & ERFAHRUNGEN
Berlin, Green-IT-Tag, 24.10.2012
2
GGC-Lab: Die Projektpartner
Technische Universität Berlin
Fachgebiet Informations- undKommunikationsmanagement
4
Agenda
1. Monitoring im Rechenzentrum – Status und Trends
2. Energiemonitoring für Rechenzentren – Herausforderungen
3. Praxisbeispiel GGC-Lab:
Aufbau eines Energie- und Performance-Monitorings
� Planung� Umsetzung� Ergebnisse
4. Empfehlungen
5
1. Monitoring: Ein Rechenzentrum – Zwei Welten
USV NSUV
Server
Speicher
Netzwerke
Kühlsystem
Kälteanlagen
Umluftkühler
Leitungsnetze (Pumpen…)
Eigenerzeugung
IKT-Systeme
Beleuchtung
Sonstiges
Brand- & Gefahrenschutz
Stromversorgung
MSR
Netzersatzanlage
R-NSUV
Rück-/Freikühler
Splitgeräte
Sonstiges
NSUV
NSUV
NSHVTransformator
Gebäudetechnik IKT
Legende
Stromleitung
Systemgrenzen
Abkürzungen:
EVU = Energieversorgungsunternehmen
NSHV = Niederspannungshauptverteilung
R-NSUV = Rack-Niederspannungsunterverteilung
USV = Unterbrechungsfreie Stromversorgung
MSR = Mess-, Steuer- und Regelungstechnik
EVU
7
1. Monitoring: Standards und Trends im RZ-Monitorin g
IKT-Systeme
» Oft IP-basiertes Monitoring (SNMP) mit Fokus auf Performance und Verfügbarkeit
» Häufig werden Agenten auf Zielsystem benötigt
» Neuer Trend: Agentenloses Monitoring durch IPMI (z.B.: HP-ILO und WMI)
Gebäudetechnik
» Viele verschiedene Feldbusse (MODBUS, Profibus)
» Trend zu IP-basiertem Monitoring (BACNet)
8
Agenda
1. Monitoring im Rechenzentrum – Status und Trends
2. Energiemonitoring für Rechenzentren – Herausforderunge n
3. Praxisbeispiel GGC-Lab:
Aufbau eines Energie- und Performance-Monitorings
� Planung� Umsetzung� Ergebnisse
4. Empfehlungen
9
2. Energiemonitoring für Rechenzentren
An
bin
du
ng
IT
An
bin
du
ng
GT
Ko
ste
ntr
an
spa
ren
z
Me
ssse
nso
ren
Ar
t
Me
ssse
nso
ren
He
rst
ell
er
Da
ten
ex
po
rt
Sc
hn
itts
tell
en
Da
ten
ex
po
rt-
KP
I
Da
ten
ex
po
rt-
Ze
ita
ufl
ösu
ng
Da
ten
qu
ali
tät
Au
swe
rtu
ng
Vis
ua
lisi
eru
ng
Avocent
CA Tech.
deZem
IBM
IT-Backbone
JouleX
Nimsoft
Cob-Web (proRZ)
Paessler PRTG
Raritan - Power IQ
Raritan - DC Track
RiZone (Rittal)
Speedikon DAMS
Referenz
0% 25% 50% 75% 100%
Analyse von ausgewählten Systemen zum RZ-Monitoring
Achtung: die Systeme sind nur bedingt vergleichbar.
Quelle: Drenkelfort et al, 2012, GreenIT Cockpit
Herausforderung: übergreifende Lösungen
für IT und GT
10
2. Fazit: Energiemonitoring im Rechenzentrum
» Die Qualität des Energiemonitorings hängt sehr stark vom umgesetzten Datenerhebungskonzept ab
» Viele Anbieter von Energiemonitoringsystemen sind derzeit dabei, ihre Systeme zu erweitern und insbesondere die einfache Integration von Komponenten anderer Hersteller zu ermöglichen
» Die große Herausforderung:
Energieverbrauchsdaten und Performancedaten zusammenbringen !
11
Agenda
1. Monitoring im Rechenzentrum – Status und Trends
2. Energiemonitoring für Rechenzentren – Herausforderungen
3. Praxisbeispiel GGC-Lab:
Aufbau eines Energie- und Performance-Monitorings
� Planung� Umsetzung� Ergebnisse
4. Empfehlungen
12
Data Center – DCePIT-Services / Energyall DC
HVAC – HVAC -EEPEnergyel IT / Energyall HVACin
Chiller (CH) – CH-EEP Energyth CHout / Energyel CHin
Re/Freecooler (RFC) – RFC-EEPEnergyth RFC / Energyel RFCin
Cooling Cycles (CC) – CC-EEPEnergyth CCout / Energyth CCin
CRAC/H – CRAC/H- EEPEnergyth CRAC/Hout / Energyel CRAC/Hin
Power Provisioning – PP-EE1- Energyel PP/ Energyel DC
UPS – UPS-SEEnergyel UPSout/ Energyel UPSin
Transformator – Trafo-EEPEnergyel Trafoout/ Energyel Trafoin
EPS – EPS-EEPmax Energyel EPSout/ Energyel EPSin
Power Distribut. (PD) – PD-EEP1 - Energyel PD/ Energyel PP
On-Site Generation – OSG-EEPEnergyel OSGout/ Energyfuel OSGin
IT – IT-PEWIT Services / Energyel IT
Server - Serv-EEPtasks/ Energyel Server
Storage – Stor-EEPIO or GB/ Energyel Storage
Network – Net-EEPGb/ Energyel Network
Facility – DCiEEnergyel ITin/ Energytotal DC
3.1 Planung: Definition der Zielgrößen
Green Performance Indicator Framework (GPIF)
Energieeffizienz und
Produktivität
Source: Schödwell et al 2012
13
3.1 Planung: Messkonzept
USV PDU
Server
Speicher
NetzwerkTransformator
Kühlsystem
Be-/Entfeuchter
Kälteanlagen
Kontinuierliche Messung für jeden Messpunkt:
• Qel = elektr. Energie
• Pel = elektr. Wirklasten
Umluftklimagerät
Pumpen & Ventile
Eigenerzeugung
MPKS
IKT-System
Beleuchtung
Sonstiges
Brand- und
Gefahrenschutz
Stromversorgung
Mess-, Steuer- und
Regelungstechnik
Notstromaggregat
NSHV
Legende
Stromleitung
Systemgrenzen
MesspunktMP
Abkürzungen
EVU = Energieversorgungsunternehmen
NSHV = Niederspannungshauptverteilung
PDU = Power Distribution Unit
USV = Unterbrechungsfreie Stromversorgung
Telekommunikation
Rück-/Freikühler
MPSo
MPIT2
Kleinverbraucher
MPIT1MPUSV
MPEE
MPEVUEVU
Zielgrößen:
Top-Down planen
14
3.1 Planung: Bestandsaufnahme Messtechnik
i.d.R. sind Messgeräte im RZ vorhanden …
diese gilt es zu finden und zuzuordnen !!!
Was wird bereits gemessen?
15
3.1 Planung: Raumbelegungsplan
Was
soll zusätzlich gemessen werden?
Wo
finde ich das, was zusätzlich gemessen
werden soll?
17
80 Server EEServ = Transactions/ Qel, serv [Tran/kWhel] [%]
82 - CPU EECPU = CyclesCPU/Qel, CPU [Cycles/kWhel] AuslRAM = SpaceRAM, used/SpaceRAM, rated [%]
83 - RAM EERAM = IORAM/Qel, RAM [IO/kWhel] AuslDisk = IOdisk, used/IOdisk, rated [%]
88 - Fan EEAFR = AFRserv, fan/Qel, serv, fan [m³/kWhel] - [%]
90 Storage EEStor = IOstorage/Qel, storage [IO/kWhel] Auslstorage = IOstorage, used/IOstorage, rated [%]
93 Network EENet = IOnet/Qel, net [Tb/kWhel] AuslNet = IOnet, used/IOnet, rated [%]
3.2 Umsetzung: Messkonzept Bsp. GGC-Lab
Nr. Messkategorie
Messpunkt
(phys. Messgröße) Symbol Einheit
Mess-
intervall
Messstelle (Ort
des Messgeräts)
Raum
Messstelle (Ort des Messgeräts)
- Bezeichnung Messgerät
1 Stromversorg. Wirkleistung Pwirk,Rzges W 2 min
Gebäude RZ2,
(NSHV-Raum) NSHV Feld 4 (Trafo1)
Janitza UMG 507E
(Nr.1)
2 Stromversorg. Wirkleistung Pwirk,Rzges W 2 min
Gebäude RZ2,
(NSHV-Raum) NSHV Feld 7 (Trafo2)
Janitza UMG 507E
(Nr.2)
3 Stromversorg. Wirkleistung Phase 1
Kompressor Kälteanlage 1 RZ2
Phase1 W 2 min
Gebäude RZ2,
(NSHV-Raum)
Schaltschrank NSHV Feld 9,
Abgang Q26 Wandler 300 A
3 Stromversorg. Wirkleistung Phase 2
Kompressor Kälteanlage 1 RZ2
Phase2 W 2 min
Gebäude RZ2,
(NSHV-Raum)
Schaltschrank NSHV Feld 9,
Abgang Q26 Wandler 300 A
3 Stromversorg. Wirkleistung Phase 3
Kompressor Kälteanlage 1 RZ2
Phase3 W 2 min
Gebäude RZ2,
(NSHV-Raum)
Schaltschrank NSHV Feld 9,
Abgang Q26 Wandler 300 A
… … … … … … … … …
79 Stromversorg. Wirkleistung Phase 1
Gesamtstrom USV-A-
Versorgung für Raum 105 W 2 min
Gebäude RZ2,
(USV-A-Raum) Installation am 26.07 Wandler 150 A
79 Stromversorg. Wirkleistung Phase 2
Gesamtstrom USV-A-
Versorgung für Raum 105 W 2 min
Gebäude RZ2,
(USV-A-Raum) Installation am 26.07 Wandler 150 A
79 Stromversorg. Wirkleistung Phase 3
Gesamtstrom USV-A-
Versorgung für Raum 105 W 2 min
Gebäude RZ2,
(USV-A-Raum) Installation am 26.07 Wandler 150 A
… genug Zeit einplanen !
Lasten-/Pflichtenheft erarbeiten …
und für die Detailplanung der Messstellen …
18
3.2 Ergebnisse: Lösung im GGC-Lab
Unsere Lösung:Integration von
IT und GT mit einem übergeordneten Tool
19
3.2 Ergebnisse: Effizienzmaßnahmen regio iT
1
1
3a
45
Power-Management bei Servern
Abschalten einzelner Server
Einhausung Kaltgang für einen Serverraum
Abschalten einzelner Server4
5 Umzug von Servern in neues RZ
Virtualisierung und Konsolidierung Virtualisierung und neue Server
ca. 400 phys. Serverca. 120 virt. Server
ca. 500 phys. Serverca. 750 virt. Server
3b
3b
Serverraumtemperatur u. Blindplatten
2a2b
2b2a
kWel.
26 kW wurden eingespart:
- über 100 neue physische Server und - 800 zusätzliche virtuelle Maschinen
Einsparpotenzial von 15% bei den Energiekosten
20
Agenda
1. Monitoring im Rechenzentrum – Status und Trends
2. Energiemonitoring für Rechenzentren – Herausforderungen
3. Praxisbeispiel GGC-Lab:
Aufbau eines Energie- und Performance-Monitorings
� Planung� Umsetzung� Ergebnisse
4. Empfehlungen
21
4. Empfehlungen
(1) Geschäftsleitung, IT-Abteilung und Gebäudemanagement müssen von Beginn an zusammenarbeiten
(2) Die passende Lösung suchen
» Skalierbarkeit
» Offene Schnittstellen
» Professioneller Support : z.B. Expertise für IT und GT
(3) Kostentransparenz schaffen
» Lasten- und Pflichtenheft erstellen !!!
(4) Top-Down-Vorgehen bei der Planung Messstellen
» Klein anfangen – groß einsparen
Nicht bei der
Ist-Analyse
sparen !!!
22
Dipl.-Ing. Marc Wilkens
• Wiss. Mitarbeiter TU Berlin, FG IuK-Management
• Experte für die Energieeffizienz in RZ
Tel.: +49 (0) 30 / 314 28571
Fax: +49 (0) 30 / 314 78702
E-Mail: [email protected]
Web: www.ikm.tu-berlin.de
Vielen Dank für Ihre Aufmerksamkeit
23
4. Empfehlungen: Literatur
» „Rechenzentren und Cloud Computing – Ein aktuelles Handbuch für die Öffentliche Verwaltung“, Hrsg. Zarnekow, Rehfeld, Wilkens; Loseblattwerk Heise Zeitschriften Verlag, 2012
» „Bewertung von Kennzahlen und Kennzahlensystemen zur Beschreibung der Energieeffizienz von Rechenzentren“; Wilkens, Drenkelfort, Dittmar, IZE Schriftenreihe Nr.3, 2012
» “Towards a holistic Multi-Level Green Performance Indicator Framework (GPIF) to improve the Energy Efficiency of Data Center Operation – A Resource Usage-Based Approach”; Schödwell, Drenkelfort et al, Electronics Goes Green, 2012
» „Orientierungshilfe zur Leistungsdichte und Lastermittlung von Servern, Datenschränken und Rechenzentren“; Terrahe, Wilkens, Whitepaper eco Datacenter Expert Group, 2012
» APC White Paper Reihe: http://www.apc.com/go/promo/whitepapers/index.cfm
» “Classification of Data Center Management Software Tools”, White Paper 104
» “Avoiding Common Pitfalls of Evaluating and Implementing DCIM Solutions”, White Paper 170
25
Level Metrics Energy Efficiency (EE) Active Capacity Utilization (ACU)
Name, Metric Unit Source Unit Source
Data Center (DC) DCeP = IT-Services/Qel, DC
DCiE = Qel, IT/Qel, DC ERF = Qth, Re-Use/Qel, DC
[ITS/kWhel] [-]
[kWhth/kWhel]
b.o. [62] [60, 61]
[64] ACUDC = Ø(ACUIT+ACUPS+ACUCS) [%] b.o. [65]
IT
Total IT DCeP = IT-Services/Qel, IT, in [ITS/kWhel] b.o. [62] ACUIT = Ø(ACUServ+ACUStor+ACUNet) [%] b.o. [66]
Server* - CPU** - RAM** - Disk*,** - NIC** - PSU** - Fan** - Board**
EEServ = OPS/ Qel, serv
EEServ = Transactions/ Qel, serv
EEServ = FLOPS/ Qel, serv
EECPU = CyclesCPU/Qel, CPU EERAM = IORAM/Qel, RAM
EEDisk = IOserv, disk/Qel, serv, disk
EEDisk = Spaceserv, disk/Qel, serv, disk EENIC = IONIC/Qel, NIC
EEPSU = Qel, PSU, out/Qel, PSU, in EEAFR = AFRserv, fan/Qel, serv, fan
EEBoard = 1- Qel, board/Qel, serv
[OPS/kWhel] [Tran/kWhel] [Flops/kWhel] [Cycles/kWhel]
[IO/kWhel] [IO/kWhel] [GB/kWhel] [Gb/kWhel]
[-] [m³/kWhel]
[-]
[42-44] [50] [45] o.p. o.p.
b.o. [46] b.o. [47] b.o. [48] b.o. [66]
o.p. o.p.
ACUServ = Ø(ACUCPU + ACURAM + ACUdisk + ACUNIC)
ACUCPU = CPU-Timeused/CPU-Timetotal ACURAM = SpaceRAM, used/SpaceRAM, rated
ACUDisk = IOdisk, used/IOdisk, rated ACUDisk = Spacedisk, used/Spacedisk, rated
ACUNIC = IONIC, used/IONIC, rated ACUPSU = Qel, PSU, out/Qel, PSU, rated
ACUFans = Speedfan, used/Speedfan, rated
-
[%]
[%] [%] [%] [%] [%] [%] [%]
-
[42-44] [50] [45] o.p. o.p.
b.o. [46] b.o. [47] b.o. [48] b.o. [66]
o.p. -
Storage* EEStor = IOstorage/Qel, storage
EEStor = Spacestorage/Qel, storage [IO/kWhel] [TB/kWhel]
[46] [47]
ACUstorage = IOstorage, used/IOstorage, rated ACUstorage = Spacestorage, used/Spacestorage, rated
[%] [46] [47]
Network EENet = IOnet/Qel, net [Tb/kWhel] [48,49] ACUNet = IOnet, used/IOnet, rated [%] [48,49]
Po
we
r Sys
tem
(P
S) Total PS EEPS = 1- (Qel, PS, in/Qel, DC, in) [-] o.p. ACUIT = Qel, dc, in/Qel, trafo, rated [%] o.p.
UPS EEUPS = Qel, UPS, out/Qel, UPS, in [-] [58] ACUUPS = Qel, UPS, out/Qel, UPS, rated [%] [58]
PDU EEPDU = Qel,, PDU, out/Qel, PDU, in [-] [58] ACUPDU = Qel, PDU, out/Qel, PDU, rated [%] [58]
EPS EEEPS = Qel, EPS, in/Qel, PS [-] o.p. - - -
Trafo EETrafo = Qel,, trafo, out/Qel, trafo, in [-] o.p. ACUTrafo = Qel, trafo, out/Qel, trafo, rated [%] [58]
OSG EEOSG = Qel, OSG, out/QOSG, in [-] [67] ACUOSG = Qel, OSG, out/Qel, OSG, rated [%] [67]
Co
olin
g S
yste
m (C
S)
Total CS EERCS = Qth, CS, out/Qel, CS EECS = 1- Qel, CS/Qel, DC
[kWhth/kWhel] [-]
b.o. [58] o.p.
ACUCS = Qth, CS, used/Qth, CS, rated [%] [58]
Chillers - Airside - Compressor - Pumps - Fans - Waterside - Compressor - Pumps
EERchil = Qth, chil/Qel, chil
EERchil includes Re-Cooling EERcomp = Qth, chil, comp/Qel, chil, comp
EELFR = LFR/Qel, pump EEAFR = AFRchil fan/Qel, chil, fan
EERChil without Re-Cooling EERcomp = Qth, comp/Qel, comp
EELFR = LFRchiller, pump/Qel, pump
[kWhth/kWhel]
[kWhth/kWhel] [m³/kWhel] [m³/kWhel]
[kWhth/kWhel]
[m³/kWhel]
[58]
[58] [58] [58]
[58] [58]
ACUchil = Qth, chil, out/Qth, chil, rated
ACUcomp = Qth, chil, comp, out/Qth, chil, comp, rated
ACUpump = Speedpump,chil,used/Speedpump,chil,rated
ACUfan = Speedfan, chil, used/Speedfan, chil, rated
ACUcomp = Qth, chil, comp, out/Qth, chil, comp, rated
ACUpump = Speedpump, used /Speedpump, rated
[%]
[%] [%] [%]
[%] [%]
[58]
[58] [58] [58]
[58] [58]
Re-/Free Cool. RC/FC - airside - Fans - waterside - Fans - Pumps
EERRC/FC = Qth, RC/FC/Qel, RC/FC
EEAFR = AFRRC/FC, fan/Qel, RC/FC, fan
EEAFR = AFRRC/FC/Qel, RC/FC, fan
EELFR = LFRRC/FC/Qel, RC/FC, pump
[kWhth/kWhel]
[m³/kWhel]
[m³/kWhel] [m³/kWhel]
[58]
[58]
[58] [58]
Special for Free Cooling: ACUEC, full = hoursused/8756 h ACUEC, part = hoursused/8756 h
ACUfan = Speedfan, used/Speedfan, rated
ACUfan = Speedfan, used/Speedfan, rated
ACUpump = Speedpump, used/Speedpump, rated
[%] [%] [%]
[%] [%]
[59] [59] [58]
[58] [58]
Cool. Cycles*** - Pumps
EERCC = Qth, CC/Qel, CC
EELFR = LFR/Qel, pump [kWhth/kWhel]
[m³kWhel] [58] [58]
- ACUpump = Speedpump, used/Speedpump, rated
- [%]
- [58]
CRAH**** - Fans - Humidifier
EERcrah = Qth, crah/Qel, crah
EEAFR = AFRcrah/Qel, crah, fan
EEHum = water quantity/Qel, hum
[kWhth/kWhel] [m³/kWhel] [l/kWhel]
[58] [58] o.p.
ACUcrah = Qth, crah, out/Qth, crah, rated
ACUfan = Speedfan, used/Speedfan, rated
-
[%] [%] [%]
[58] [58]
- CRAC**** - DXcomp. - Pumps - Fans - Humidifier
EERcrac = Qth, crac, out/Qel, crac
EERDX = Qth, crac, comp/Qel, crac, comp
EELFR = LFRcrac, pump/Qel, pump EEAFR = AFRcrac, fan/Qel, crac, fan
EEHum = water quantity/Qel, hum
[kWhth/kWhel] [kWhth/kWhel]
[m³/kWhel] [m³/kWhel] [l/kWhel]
[58] [58] [58] [58] o.p.
ACUcrac = Qth, crac, out/Qth, crac, rated
ACUcomp = Qth, comp, used/Qth, comp, rated
ACUpump = Speedpump, used/Speedpump, rated
ACUfan = Speedfan, used/Speedfan, rated
-
[%] [%] [%] [%]
-
[58] [58] [58] [58]
- Th. Stor. (TS) EETS = Qth, TS, out/Qth, TS, in [kWhth/kWhth] o.p. EETS = Qth, TS, used/Qth, TS, rated [%] o.p.
Humidifier RHD = Hummax - Hummin [%] [58] - - -
Air Management
EEAM = Tcrac/h, in - Tcrac/h, out EEAM, zu = 1/(Tcrac/h, out -TServ, in) EEAM, ab =1/( Tserv, out –Tcrac/h, in)
[°C] [-] [-]
b.o. [68] b.o. [68] b.o. [68]
- - -
- - -
- - -
SS Total Sup. (SS) EESS= 1- QSS/QDC [kWhel/kWhel] o.p. - - -
Lightning EELights = AreaDC/Qel, lights [m²/kWh] b.o. [58] - - -
50 Kennwerte für das GPIF
Quelle: Schödwell et al, Electronics Goes Green, 2012
26
2. Energiemonitoring für Rechenzentren
» Übergreifende Energiemonitoring-Lösungen erfassen vor allem den Strombedarf von IKT und Gebäudetechnik
» Dabei erfassen Sie diesen direkt (Messtechnik) oder indirekt (Energieverbrauchsprofile)
» Momentan: Energiemonitoringsystem schaffen, das Daten von Anlagen/Geräten/Komponenten verschiedener Hersteller aggregiert
» Zukunft: Zusätzlich noch Performancemonitoring, d.h. Energiebedarfe mit Performance-Größen verknüpfen