Wie wählen Sie die besten Kombinationen von Rechenressourcen aus, um komplexe HPC-Simulationen zu optimieren?

KI-Empfehlungen zeigen uns den Weg nach vorne!

Komplexe Simulationen mit High-Performance-Computing (HPC) werden aufgrund der zunehmenden Hardware- und Software-Optionalität immer komplexer. Für viele von uns können Cloud-Dienste die Infrastruktur vereinfachen, doch die schiere Anzahl an Optionen macht es extrem schwierig, die beste Kombination aus Preis und Leistung zu finden. 

Früher war das Leben einfach; HPC vor Ort bot relativ wenige Möglichkeiten. Kerne, E/A-Bandbreite, Arbeitsspeicher und Speicherplatz waren alle festgelegt.

Mit meinem Hintergrund in CFD für die Automobilindustrieund Motorsport-Engineering, denke ich bei On-Premises-HPC eher an den Besitz eines Autos als an die Miete eines Autos. Nur wenige Wochen, nachdem Sie das beste Auto gekauft haben, das Sie sich leisten können, bringt jemand ein besseres, schnelleres und funktionsreicheres Modell auf den Markt. Dasselbe gilt für On-Premises-HPC: Sie wählen Prozessoren, Speicher und mehr aus, um den Stack mit der höchsten Kapazität zu erstellen, den Sie sich leisten können … und am nächsten Tag kommt ein neuer Chipsatz auf den Markt.

Im Gegensatz dazu profitiert HPC in der Cloud von kontinuierlichen Verbesserungen. Im Gegensatz zu lokalen Lösungen, die alle drei bis fünf Jahre aktualisiert werden, konkurrieren Cloud-Anbieter darum, die neuesten und besten Funktionen mithilfe der neuesten Chipsätze auf dem Markt bereitzustellen. Zurück zum Motorsport: HPC in der Cloud zu betreiben ist wie ein Auto zu fahren, das ständig optimiert und verbessert wird. Neues Triebwerk? Sicher! Verbesserter Kraftstoffverbrauch? Selbstverständlich!

Doch wie wählen Sie in dieser turbulenten Welt die besten Lösungen zur Optimierung Ihres Simulationsaufwands aus? Sie führen möglicherweise einen Standard-Workflow aus, der gute Ergebnisse liefert, aber kennen Sie die gerade eingeführten neuen Chipsätze, die die Laufzeiten verkürzen könnten? Die Herausforderung besteht darin, Workflow-Optimierung ist derzeit eines der heißesten Themen auf HPC-Konferenzen und das aus gutem Grund.

Verwenden von KI zur Optimierung Ihrer HPC-Simulationen

Hier kommt KI ins Spiel. Beim Ausführen einer Simulation werden riesige Mengen an Metadaten über die Art und Weise generiert, wie Jobs ausgeführt werden – Kernauslastung, Speicherverbrauch, E/A-Leistung und mehr – und die Daten aus Tausenden von Simulationen bieten den perfekten Ressourcenpool für KI-Technik Modelle. Gestützt auf Ergebnisse aus der Ausführung von HPC-Simulationen in der Cloud in den letzten zehn Jahren kann KI intelligente Empfehlungen und Optimierungen für vorgeschlagene Arbeitsabläufe abgeben.

Da zudem immer mehr neue und hochspezialisierte Chipsätze auf den Markt kommen, ist es nahezu unmöglich geworden, die neuesten Optionen im Auge zu behalten. Wenn Cloud-Anbieter diese Angebote zu ihren Diensten hinzufügen, kann KI die angegebenen Funktionen prüfen und potenzielle neue Optionen vorschlagen.

Das Ergebnis ist, dass Ingenieure wie ich nicht mit den neuesten Chipsätzen, GPUs oder Beschleunigerkarten Schritt halten müssen. KI empfiehlt neue Kerntypen, die für die jeweilige Aufgabe geeignet sind. Beispielsweise kann KI vorschlagen, dass eine bestimmte Workload- und Softwarekombination auf einem bestimmten Kerntyp tendenziell schnellere Ergebnisse liefert. Sie können diesem Vorschlag folgen, wenn er Ihnen zusagt.

Bei Simulationen im Motorsport ist Zeit der entscheidende Faktor: Die Schlüsselfrage ist immer, wie schnell Ergebnisse geliefert werden können, denn das Rennen wartet nicht noch zwei Tage. Langsame Simulationen können zu unerwünschten Verzögerungen führen, einfach weil so viele Fertigungsschritte abgeschlossen werden müssen, bevor die vorgeschlagenen Änderungen am physischen Fahrzeug umgesetzt werden. In der Vergangenheit bestand die Lösung oft darin, die Simulation durch Kompromisse bei der Anzahl der Datenpunkte zu beschleunigen, was sich wiederum negativ auf die Designentscheidungen auswirken konnte.

Mithilfe der KI-Optimierung können Simulationen mehr Datenpunkte verarbeiten oder schneller laufen – und oft beides. Wenn ich Jobs schneller ausführen kann, nutze ich die Zeit, um mehr Jobs auszuführen. Meine gesamten Rechen- und Softwarekosten bleiben wahrscheinlich in etwa gleich, aber durch eine bessere Optimierung konnte ich den Durchsatz steigern.

Verwenden von Rescale zum Automatisieren der Ausführung beliebiger HPC-Workloads

Offenlegungshinweis: Rescale, wo ich als Solutions Architect arbeite, hat eine Cloud-basierte Plattform entwickelt, die KI zur Automatisierung der Ausführung beliebiger HPC-Workloads auf die bestmögliche Hardware-Software-Konfiguration. Rescale automatisiert die Job-Orchestrierung und das Ressourcenmanagement über mehrere Cloud-Anbieter hinweg und ermöglicht es IT- und HPC-Managern, mit wenigen Klicks optimale Workload-Konfigurationen basierend auf ihren Geschäftszielen (z. B. Zeit- oder Kosteneinsparungen) zu prüfen und auszuwählen. Anstatt sich mit den Feinheiten der Angebote der einzelnen Anbieter vertraut zu machen, bietet Rescale KI-gestützte Empfehlungen für eine Vielzahl von Technologien. So können sich Ingenieure und Wissenschaftler auf ihre eigentliche Arbeit konzentrieren, anstatt sich mit der Einrichtung von Jobs, Benchmarking und Fehlerbehebung herumschlagen zu müssen.

Die Auswahl optimaler Konfigurationen wird mit der Diversifizierung und Spezialisierung des Marktes zunehmend anspruchsvoller. Beispielsweise gibt es derzeit neue GPU- und CPU-kombinierte Chipsätze, die einen extrem hohen Durchsatz versprechen, doch derzeit gibt es relativ wenige Software-Benchmark-Daten. Jeder Cloud-Anbieter wird diese neuen Technologien einführen und so neue, attraktive Angebote schaffen. 

Zusätzlich zu den Vorteilen der KI, die diese optimalen Konfigurationspunkte findet und empfiehlt, ermöglicht die Intelligenz von Rescale eine globale Verwaltung von Cloud-Ressourcen, indem sie Ihren Job automatisch ausbalanciert, sodass Benutzer schnelle Jobstartzeiten erleben, fehlgeschlagene Jobs minimiert und Workloads dorthin umleitet, wo der ausgewählte Cloud-Anbieter die größte verfügbare Kapazität für die Geschäftskontinuität hat. 

Auf dieser Grundlage wird deutlich, dass es nicht ausreicht, Workloads einfach in die Cloud zu verlagern. KI-gestützte Optimierungsfunktionen sind eine notwendige Voraussetzung, um das Beste aus der Cloud herauszuholen, insbesondere da Ingenieure immer komplexere Simulationen erstellen.

Wenn Sie daran interessiert sind, die KI-Optimierung von Rescale anzuwenden auf Wir koordinieren den Versand Arbeitslasten können Sie Kontaktieren Sie unser Team für eine Demo hier.