KI IN IHRE BESTEHENDE HPC-UMGEBUNG EINBINDEN UND SKALIEREN

Die heutigen Fortschritte im High Performance Computing (HPC) bieten neue Möglichkeiten zur Bewältigung höchst komplexer Workflows. HPC hat sich als zentrales Element im Bereich Advanced Computing etabliert. Zahlreiche akademische Forscher, Behörden und Unternehmen haben bereits HPC-Lösungen eingesetzt, die zu bahnbrechenden Entdeckungen in Bereichen wie Astrophysik, Meteorologie, Seismologie, Technik, Genomik, Medizin und Nuklearsimulation geführt haben.

Der rasante technologische Fortschritt fordert von Forschungseinrichtungen, ihre HPC-fähigen Ansätze ständig neu zu bewerten. Eine der disruptivsten Technologien unserer Zeit ist die künstliche Intelligenz (KI). Sie bietet Wissenschaftlern und Regierungseinrichtungen vollkommen neue Möglichkeiten, das Potenzial von HPC für die Lösung spezifischer Probleme nutzbar zu machen. Diejenigen, die auf KI-Fähigkeit setzen, werden weiter ihre führende Position in der Wissenschaft behaupten. Diejenigen, die das Potenzial von KI nicht erkennen, laufen Gefahr, hinter den Entwicklungen zurückzubleiben.

In diesem eGuide bieten wir praktische Überlegungen für HPC-Manager an, um KI in ihre HPC-Umgebung zu integrieren und zu skalieren, um neue Workloads und die steigende Nachfrage von Endanwendern zu bewältigen.

Einleitung 2

Entwicklung bei HPC- und KI-WorkloadsStaatliche Institutionen und akademische Forscher erweitern die Grenzen von HPC-Lösungen für moderne Problemlösungen. Deep Learning und fortschrittliche neuronale Netze können Herausforderungen bewältigen, die noch vor wenigen Jahrzehnten unvorstellbar waren. Häufig verwendete HPC-Workloads wie Analytics werden von der KI ergänzt oder verdrängt, um aus Daten aussagekräftigere Erkenntnisse zu gewinnen.

Im Gegensatz zu bisherigen Lösungen bereichert KI die HPC-Systeme um weit mehr als einfache regelbasierte Anweisungen. Der Befehlssatz, mit dem die KI Daten auswertet, beruht auf „Theorien“ und Algorithmen. Die KI lernt von diesen Theorien und ist in der Lage, fehlende Daten durch Deduktion zu ergänzen und Kontext besser vorherzusehen und zu verstehen. KI-Modelle versetzen die traditionellere HPC-Technologie in die Lage, Daten schneller und umfassender auszuwerten als es auf Datenverarbeitung und Analytics basierte Anwendungen für sich selbst jemals könnten.

Im gleichen Maße wie sich KI und HPC-gestützte Vorgänge wie Simulation, Modellieren und Big-Data-Analytics immer weiter annähern, werden hybride Workloads immer gängiger. Während ein Schritt eines hybriden Workloads beispielsweise das Modellieren und Simulieren von Prozessen vorsieht, erfordert der nächste Schritt Deep-Learning-Fähigkeit. Traditionelle HPC-Anwendungsfälle wie Modellerstellung und Simulation sind rechenintensiver, während neuere Workloads wie KI datenintensiver sind. Die unterschiedliche Beschaffenheit dieser Arbeitsabläufe kann für nicht-optimierte HPC-Systeme eine große Herausforderung darstellen. Ein gut ausbalanciertes Multi-Node-System, in dem beide optimal zum Einsatz kommen, birgt wiederum eine Fülle an neuen Möglichkeiten, was die automatisierte Erkennung und den Nutzen für den Menschen betrifft.

Skalierbare Lösungen für HPC implementieren und optimierenWenn Ihr Unternehmen plant, die aktuelle HPC-Infrastruktur zu erneuern, um fortschrittliche KI-Workloads einbinden zu können, werden Ihnen die folgenden Schritte bei der Planung helfen.

Einleitung 3

1. ERFASSEN SIE DIE ANFORDERUNGEN IHRER STAKEHOLDER UND DER HPC-UMGEBUNG GANZHEITLICH

HPC-Systeme sind mehr als die Summe ihrer Einzelteile. Um eine HPC-Infrastruktur auf- und auszubauen, die die Bedürfnisse Ihres Unternehmens bestmöglich abdeckt, müssen Hardware, Software und menschliches Know-how aufeinander abgestimmt sein. Nur so kann eine ganzheitliche und Erfolg versprechende Strategie zur Implementierung von HPC und KI entwickelt werden. Schließlich ist es als HPC-Manager Ihr Ziel, Ihren Anwendern die HPC-Infrastruktur, den Support und die Tools bereitzustellen, die diese für erfolgreiche Projekte benötigen.

Während Wirtschaftsunternehmen ihre HPC-Systeme regelmäßig an klar definierte Workloads anpassen, stehen Wissenschaftler und staatliche Institutionen vor einer ganz anderen Herausforderung. Im Regierungs- und Wissenschaftskontext stellen Anwender eines HPC-Systems dagegen oft eine heterogene Gruppe dar. Jedes der Mitglieder dieser Gruppe beschäftigt sich mit einer eigenen Fragestellung und hat daher spezifische Bedürfnisse. Ein HPC-System, das eine große Anzahl unterschiedlicher Workloads unterstützt, muss in hohem Maße skalierbar, leistungsstark, anpassungs- und zukunftsfähig sein. Nur so kann eine hohe QoS (Quality of Service; Dienstgüte) für Stakeholder gewährleistet werden. Als HPC-

Manager müssen Sie die Bedürfnisse Ihrer Anwender verstehen, damit Ihre HPC-Investition optimal von den Stakeholdern genutzt wird.

KI löst Probleme, indem sie von überwachten und unüberwachten Beispielen „lernt“, anstatt auf formalisierte Gleichungen und Regeln zurückzugreifen. Deshalb bietet die Kombination aus HPC- und KI-Lösungen neue Fähigkeiten und Möglichkeiten. Machen Sie eine Aufstellung der HPC- und KI-Anforderungen Ihres Unternehmens und vergleichen Sie diese mit den Anwendungsfällen und Anforderungen Ihrer Stakeholder. So können Sie feststellen, ob Ihre aktuelle HPC-Implementierung den Anforderungen entspricht und welche Upgrades oder Anpassungen eventuell priorisiert werden müssen, um in Zukunft komplexere und anspruchsvollere Szenarien mit KI zu ermöglichen.

Erkenntnisse und Ergebnisse:• Die HPC-Technologie muss auf die Bedürfnisse der

Anwender abgestimmt sein.

• Ergründen Sie die Bedürfnisse Ihrer Anwender jetzt, um für die Zukunft gerüstet zu sein.

4

2. DENKEN SIE GANZHEITLICH ÜBER IHRE HPC-LÖSUNG NACH

Software-AuswahlDie Erfahrung des Nutzers steht an erster Stelle. Wenn die Anforderungen Ihres Unternehmens wachsen, muss die Software-Fähigkeit mitwachsen. Verschiedene wissenschaftliche Aufgaben wie Modellierung, Simulation, Visualisierung und KI profitieren von Anwendungen, wenn sie für diese Aufgaben entwickelt und optimiert wurden. Wenn Sie sich nicht sicher sind, wo Sie mit der Suche nach der idealen Softwarelösung beginnen sollen, sollten Sie erforschen, welche Softwarelösungen am besten für andere Experten geeignet sind, die ähnliche Workloads erfolgreich umsetzen.

Abhängig von der beabsichtigten HPC-Nutzung können Software-Ressourcen von Intel, unabhängigen Software-Anbietern und der Open-Source-Community die Richtung zu KI-fähigen Systemen weisen. Durch Berücksichtigung der benötigten Softwarelösungen ist es einfacher, eine physische Infrastruktur zu planen, die die ideale Grundlage für Anwendungen bietet.

5

Anwendungs- und Entwicklungsumgebung für Software:Wenn Standardanwendungen für Ihre speziellen Anwendungsszenarien nicht ausreichen, benötigen Sie entsprechende Entwicklerkenntnisse, um sie anzupassen oder zu erstellen. Für wissenschaftliches Rechnen bietet die HPC-Community eine Vielzahl von Hochleistungsbibliotheken für HPC-Systeme aller Größen an.

Die Optimierung einiger Open-Source-Optionen erfordert jedoch Entwickler mit Kenntnissen und Erfahrung in parallelen Berechnungen oder mathematischen Algorithmen. Viele HPC- und KI-Anwendungen werden mit Fortran*, C/C++*, Java* und Python* kodiert. Das interoperable HPC-Framework von Intel unterstützt alle diese Sprachen und beschleunigt den Entwicklungsprozess. Es unterstützt auch ein gemeinsames Entwicklungsmodell für eine verbesserte Code-Portabilität sowie Software-Tools zur Beschleunigung von HPC-Anwendungsmodernisierungsinitiativen.

HPC Big Data (Hadoop/Spark) KI

Hauptsprachen C/C++/Fortran Java/Python/Scala/R Python/C++/R

Skalierung Stark Schwach Beides

Cluster-Stack-Management Benutzerdefiniert

Cloudera Manager/ Apache/ Ambari/ MapR

Control System—

Planer Slurm, PBS YARN, Mesos —

Dateisysteme Leistungsstarkes verteiltes POSIX

Lokaler Speicher für verteilte Nodes - HDFS Posix oder HDFS

Betriebssystem RedHat/CentOS SuSE RedHat/CentOS SuSE Ubuntu

2. DENKEN SIE GANZHEITLICH ÜBER IHRE HPC-LÖSUNG NACH

6

Deep Learning Frameworks spielen bei der Maximierung des KI-Potenzials auf HPC-Systemen eine zentrale Rolle. Beliebte Frameworks wie TensorFlow* und Caffe* sind für die Leistung auf Intel® Architektur-basierten Plattformen optimiert und beschleunigen sowohl das Training als auch Inferenz-Workflows. Durch Nutzung der Intel® MKL (Math Kernel Library) und Intel® MKL-DNN (Math Kernel Library for Deep Neural Networks) ermöglicht TensorFlow erhebliche Leistungssteigerungen. Ähnliche Vorteile ergeben sich aus der Kombination von Intel® Distribution of Caffe* mit Intel® Xeon® Prozessoren.

Physische Infrastruktur

Bevor Sie auf Ihrer bestehenden HPC-Infrastruktur aufbauen, sollten Sie zunächst prüfen, welche Komponenten auf optimalem Niveau arbeiten und welche Engpässe die erweiterten Arbeitsabläufe behindern. Eine Plattform auf Basis von skalierbaren Intel® Xeon® Prozessoren und anderen innovativen Intel® Technologien für HPC bietet die Grundlage für anspruchsvollste Workloads. Elemente wie Prozessoren, Arbeitsspeicher, Speicher und Fabric fließen in die Gleichung ein.

Wo immer möglich, sollten Sie Ihre bestehenden Infrastrukturinvestitionen erhalten. Wenn jedoch die zu erwartende Nutzung die Hardwarefähigkeiten Ihres HPC-Systems übersteigen, können Upgrades erforderlich sein. Budgetieren Sie die benötigten Komponenten und priorisieren Sie deren Implementierung im Laufe der Zeit, wenn es die Workloads erfordern. Mit einem stufenweisen Ansatz können Sie Ihre bestehende HPC-Infrastruktur weiterentwickeln und mit der Zeit skalieren.

Erkenntnisse und Ergebnisse:

• Ermitteln Sie, ob die aktuelle Daten- und Recheninfrastruktur die gewünschten Erkenntnisse liefert.

• Vergleichen Sie die technologischen Anforderungen mit den heutigen Geschäftsmöglichkeiten.

• Bewerten Sie Software und wichtige KI-Frameworks frühzeitig.

• Wählen Sie eine flexible, skalierbare HPC-Plattform, die für komplexe KI-Workloads ausgelegt ist.

2. DENKEN SIE GANZHEITLICH ÜBER IHRE HPC-LÖSUNG NACH

7

Flexible HPC-Systeme für den akademischen Bereich

Das HPC-System des TACC (Texas Advanced Computing Center) Stampede2² hilft Tausenden von Wissenschaftlern und Forschern, Durchbrüche unter anderem bei der KI, Modellerstellung und bei Simulationen zu erzielen. Um der Vielfalt der Projekte gerecht zu werden, unterstützt die flexible und skalierbare HPC-Infrastruktur von Stampede neben Tausenden von Anwendungen, die von kleinen Gruppen oder einzelnen Forschern genutzt werden, zu jeder Zeit mehr als 40 wichtige wissenschaftliche und technische Anwendungen. Die aktuelle Version Stampede2 rangiert auf Platz 12 der Top500.org ³ Liste der schnellsten Supercomputer der Welt.

3. PRÜFEN SIE ZUERST IHRE HPC-TECHNOLOGIE, SKALIEREN SIE SIE DANN ANSCHLIESSEND

Jede Organisation hat andere Anforderungen an HPC und KI, so dass es nicht den einen, für alle passenden Prozess gibt. Einige Supercomputer, die in Regierungs- und akademischen Umgebungen zum Einsatz kommen, werden von vielen internen Mitarbeitern unterstützt, die über das nötige Fachwissen verfügen, um ihre HPC-Umgebung zu verwalten und zu erweitern. Unternehmen, denen es an Personal und Fachwissen mangelt, sollten die Zusammenarbeit mit Intel, einem OEM (Original Equipment Manufacturer; Erstausrüster) oder einem Berater in Betracht ziehen, der ihnen helfen kann, die Systembereitstellung zu beschleunigen.

Prüfen Sie mit einem geeigneten Team Ihr System, bevor Sie eine vollständige Implementierung durchführen. Der Prüfprozess hilft dabei, viele Faktoren zu ermitteln, darunter die Angemessenheit der Leistung für anspruchsvolle Workloads, das Vorhandensein von Engpässen und der Wert der gewonnenen Datenerkenntnisse. Wenn das System die Anforderungen Ihres Unternehmens nicht erfüllen kann, gruppieren Sie sich neu, um alternative, effektivere Lösungen zu finden.

Wenn die gewählte Technologie alle gewünschten Ergebnisse erzielt, ist ein vollständiger Rollout der nächste Schritt. Unabhängig davon, ob ein internes Team oder ein Drittanbieter Ihre HPC-Implementierung durchführt, müssen Sie auch Experten für die laufende Wartung und Verwaltung einsetzen. Nur mit dem richtigen Team und den benötigten Fähigkeiten werden erstklassige Ergebnisse aus längerfristigen HPC-Investitionen erzielt.

HPC-Einsatz ermöglicht Extremwetter-Modellerstellung⁴

Eine Organisation zur Wetterbeobachtung hat in einem sorgfältigen Bewertungsprozess eine HPC-Infrastruktur definiert, und die Software muss das große Problem der Vorhersage gefährlicher Wetterlagen lösen. Ihre Aufgabe - im wahrsten Sinne des Wortes - kann eine Frage von Leben und Tod sein. Durch die Notwendigkeit, den Weg zerstörerischer Wirbelstürme rechtzeitig vor Erreichen der Küste vorherzusagen, haben Forscher ihre HPC-Systeme für diese wichtige Aufgabe optimiert. Mit ihren schnellen Analysen der verfügbaren meteorologischen Daten können die Forscher die lokalen Behörden jetzt rechtzeitig alarmieren, wenn die Wetterbedingungen eine Evakuierung erforderlich machen.

Erkenntnisse und Ergebnisse:

• Stellen Sie Ihr Einsatzteam zusammen.

• Führen Sie Tests und Bewertungen durch, um die Systemtauglichkeit vor dem Rollout zu bestätigen.

• Finden Sie Experten für laufende Administration, Wartung und Systemwachstum.

8

Zusammenfassung

Weitere InformationenUm mehr über die HPC-Technologien von Intel zu erfahren und wie diese den Betrieb und die Skalierbarkeit Ihres Unternehmens verbessern können, um den Anforderungen immer komplexerer Workloads wie KI gerecht zu werden, sprechen Sie mit Ihrem Systemanbieter oder erfahren Sie mehr unter intel.com/hpc>.

Andere RessourcenIntel® Omni-Path-Architektur (Whitepaper).

KI-HPC passiert jetzt (Whitepaper).

Skalierbare Intel® Xeon® Prozessoren für HPC (Business-Briefing).

Beschleunigte KI mit Intel® Omni-Path-Architektur (Webinar).

Drei praktische Schritte können Ihnen helfen, die ideale Infrastruktur für ein zukunftssicheres HPC-System zu ermitteln:

1. Erfassen Sie die Anforderungen Ihrer Stakeholder und der HPC-Umgebung ganzheitlich.

2. Denken Sie ganzheitlich über Ihre HPC-Lösung nach.

3. Prüfen Sie zuerst Ihre HPC-Technologie und skalieren Sie sie anschließend.

9

Die ständig wachsenden Anforderungen heutiger umfangreicher und komplexer HPC-Workloads erfordern leistungsfähige Basistechnologien, die Folgendes ermöglichen:

• Höhere Leistung• Systemstabilität• Energieeffizienz• Flexibilität in der Nutzung• Code-Portabilität

Potenzielle Engpässe wie Prozessorgeschwindigkeit, Arbeitsspeicher und Speicher müssen in einem ganzheitlichen HPC-System beseitigt werden, um den größten Nutzen aus jeder Komponente zu ziehen. Bei umfangreichen Multi-Rack-HPC-Systemen kann sich die Latenz der Kommunikation zwischen den Nodes auch auf die Gesamtsystemgeschwindigkeit auswirken. Auch die Fabric-Struktur kann den Gesamtdurchsatz des Systems stark beeinflussen.

Die führende Position von Intel bei Plattforminnovationen mit breitem Software-Ökosystem ebnet den Weg für zukünftige KI-Funktionen. Die HPC-Technologien von Intel bieten zahlreiche Innovationen, um Unternehmen dabei zu helfen, das Beste aus ihren anspruchsvollsten Workloads herauszuholen:

• Skalierbare Intel® Xeon® Prozessoren und Intel® Xeon PhiTM Prozessoren

• Intel® Omni-Path-Architektur• Intel® FPGAs• Intel® Optane™ Technik• Intel® 3D-NAND-SSDs• Intel® Advanced Vector Extensions 512

(Intel® AVX-512)

Intel® Technologien ermöglichen die modernen KI-Workloads von heute

10

Empfehlen Sie diesen eGuide weiter

¹ https://newsroom.intel.com/editorials/one-simple-truth-artificial-intelligence-healthcare-its-already-here/

² https://www.nextplatform.com/2017/07/25/texas-advanced-supercomputing-center-taps-latest-hpc-tech/

³ https://www.top500.org/list/2017/06/

⁴ https://www.hpcwire.com/2017/08/28/nersc-scales-deep-learning15-pflops/

Die Funktionsmerkmale und Vorteile von Intel-Technologien hängen von der Systemkonfiguration ab und können entsprechend geeignete Hardware, Software oder die Aktivierung von Diensten erfordern. Die Leistungsmerkmale variieren je nach Systemkonfiguration.

Kein Computersystem bietet absolute Sicherheit. Informieren Sie sich beim Systemhersteller oder Fachhändler oder auf www.intel.de.

Alle hierin gemachten Angaben können sich jederzeit ohne besondere Mitteilung ändern. Wenden Sie sich an Ihren Ansprechpartner bei Intel, um die neuesten Produktspezifikationen und Roadmaps zu erhalten.

Intel, Xeon, Phi, Optane und das Intel-Logo sind Marken der Intel Corporation in den USA und/oder anderen Ländern.

*Andere Marken oder Produktnamen sind Eigentum der jeweiligen Inhaber.

© IntelCorporation 0418/JO/CAT/PDF 337479-001DE