Innovativ, auf dem neuesten Stand KI-Technik Und die Forschung ist zunehmend auf Rechenleistung angewiesen, um die digitale Erforschung unserer physischen Welt voranzutreiben. Von der Genomik bis zur Aerodynamik nutzen Ingenieure und Wissenschaftler hochentwickelte Simulationen, generatives Design, maschinelles Lernen und digitale Zwillinge um ihre Designs zu entwickeln.

Um diese Rechenleistung heute nutzen zu können, muss man sich in der zunehmend reichhaltigen und komplexen Welt spezialisierter und domänenspezifischer Computerarchitekturen zurechtfinden. Dabei ist die Wahl der richtigen Infrastruktur Konfigurationen können dazu führen, dass Probleme dreimal schneller gelöst werden oder nur ein Drittel der Kosten oder Energie verbraucht wird.  

Um dieser Herausforderung zu begegnen, hat Rescale eine neue Technologie entwickelt, die wir Compute Recommendation Engine (CRE) nennen. Die CRE von Rescale nutzt KI, um die optimale Lösung zu finden. Rechenarchitektur für jede Arbeitslast die uns zur Verfügung stehende Multi-Cloud-Infrastruktur optimal nutzen, um die nächste Ära im Ingenieurwesen und im wissenschaftlichen Rechnen voranzutreiben.

Durch die Befolgung der Empfehlungen des CRE von Rescale konnten unsere Kunden Verbesserungen feststellen, die die Simulationsgeschwindigkeit um über 200 Prozent beschleunigten und die Kosten für wichtige Benchmarks um über 60 Prozent senkten.

Der Aufstieg spezialisierter und domänenspezifischer Computerarchitekturen

Jahrzehntelang folgte die Rechenleistung konsequent dem Mooreschen Gesetz. Dieses besagt, dass sich die Rechenleistung von Computern etwa alle zwei Jahre verdoppelt, da die Chiphersteller immer mehr Transistoren in integrierte Schaltkreise packen. Doch dieser Trend stößt an physikalische Grenzen, da die Prozessoren nicht viel dichter gepackt werden können als heute.  

Dieses Ende des Mooreschen Gesetzes bedeutet, dass rechenintensive Software wie Simulationen nicht mehr im gleichen Maße von Leistungssteigerungen profitieren kann, ohne dass es zu einem unverhältnismäßigen Anstieg der Kosten und des Energieverbrauchs kommt.

Dieser Engpass eröffnet die Möglichkeit für domänenspezifische Architekturen bzw. beschleunigtes Computing, die für die Ausführung spezifischer Workloads optimiert sind. Unternehmen wie NVIDIA konnten Leistungssteigerungen nachweisen, die bei GPU-beschleunigten Workloads wie Grafikverarbeitung und maschinellem Lernen das Mooresche Gesetz übertreffen.

Darüber hinaus bauen Cloud-Anbieter wie Amazon AWS, Microsoft Azure und Google Cloud ihre eigenen Chips, während Arm-basierte IP das Chipdesign für Startups und neue Marktteilnehmer in diesem Bereich demokratisiert.

Wir befinden uns inmitten einer explosionsartigen Entwicklung von Computerarchitekturen. Die Zahl spezialisierter Prozessoren und Hardware-Architekturkonfigurationen hat dramatisch zugenommen. Allein im Jahr 2022 führten Cloud-Service-Anbieter fast 400 neue Hardwareoptionen ein. Unternehmen können derzeit aus über 1,500 einzigartigen Architekturen wählen. 

Diese Entscheidungen hinsichtlich der spezialisierten Computerarchitektur haben bei Workloads, die diese Funktionen nutzen, zu unglaublichen Leistungsverbesserungen geführt und in den letzten zehn Jahren zu einer tausendfachen Leistungssteigerung geführt.

Die Notwendigkeit einer Computer-Empfehlungsmaschine

Um die Vorteile domänenspezifischer Architekturen voll auszuschöpfen, muss jeder Workload mit der optimalen Computerarchitekturkonfiguration abgeglichen werden. Rescale verfügt über mehr als ein Jahrzehnt Erfahrung im Aufbau von Fachwissen und unterstützt Unternehmen bei der Auswahl der richtigen Hardwarearchitekturen, Betriebssysteme, Software, Speicher- und Netzwerktechnologien für ihre Forschungs- und Entwicklungsaktivitäten.  

Zwischen mehreren hundert Computerarchitekturen sowie zusätzlichen möglichen Konfigurationen für Speicher, Netzwerke, Middleware, Anwendungen und Modelle müssen Unternehmen aus über 50 Millionen möglichen Kombinationen auswählen, um einen optimalen Computerstapel bereitzustellen.

Durch mehrere Weiterentwicklungen haben wir nun das entwickelt, was wir für einen der wichtigsten Durchbrüche im Full-Stack-Computing seit dem Aufkommen des Cloud-Computing halten: eine KI-basierte Compute Recommendation Engine.

Der Ansatz von Rescale besteht darin, eine datengesteuerte Automatisierung zu entwickeln, indem die Fülle proprietärer Telemetriedaten aus Nutzungsmustern und Hardwareleistung bei realen Kunden-Workloads sowie eine beeindruckende Sammlung von Intelligenz, Werkzeugen und Automatisierung für technische und wissenschaftliche Computerhardware genutzt werden. Software., Netzwerke und Speicher. 

Funktionsweise der Rescale Compute-Empfehlungs-Engine

Im Kern identifiziert die Compute Recommendation Engine die bestmögliche Infrastruktur-Rechenarchitektur und -Skalierung, die für die Ausführung einer bestimmten Arbeitslast verwendet werden sollte. Diese Empfehlung kann implementiert werden, wenn ein Benutzer einen Batch-Job ausführt, oder als eine Reihe von Benchmarks in Leistungsprofile, beispielsweise.

Um diese Intelligenz zu entwickeln, hat Rescale unsere umfangreiche Datenbank mit historischen Benchmarks, erweiterten Metadatenmetriken und detaillierten Zeitreihen-Telemetriedaten zur Infrastrukturleistung genutzt. Dann, durch die Verwendung wiederkehrende neuronale Netze Wir konnten eine Reihe von Tags ausgeben, die dabei helfen, den Hardwaretyp abzuleiten, der der Arbeitslast am besten gewachsen ist.

Das CRE von Rescale nutzt diesen umfangreichen und aktuellen Datensatz mit vielen Millionen Metadatenpunkten, um KI-gestützte Empfehlungen zur optimalen Hardware zu geben, die den Anforderungen des Benutzers an ein ausgewogenes Verhältnis von Leistung und Kosten für die Ausführung einer bestimmten Arbeitslast gerecht wird. Durch KI-gestütztes Filtern und Bewerten ermittelt das CRE, welche Chips und Architekturen für eine bestimmte Anwendung und Rechenaufgabe am effektivsten sind. Dies liefert einen nahezu sofortigen prädiktiven Benchmark und eine KI-gestützte Empfehlung, die es Unternehmen erleichtert, die richtige HPC-Architektur für ihre individuellen Anforderungen auszuwählen.

Leistung der Compute Recommendation Engine neu skalieren

Interne Tests und Validierungen haben gezeigt, dass das CRE mit einer Genauigkeit von über 95 Prozent die optimalen Chips und Full-Stack-Konfigurationen für eine bestimmte Rechenaufgabe identifiziert und so die effizienteste Skalierung und Kosteneinsparungen gewährleistet. Das Empfehlungssystem kann zudem genutzt werden, um wichtige Engpässe (einschließlich Netzwerknachrichtenübermittlung, Speicher- und Arbeitsspeicherleistung) in der gesamten HPC-Architektur datengesteuert und automatisiert zu identifizieren. Ein weiterer Vorteil: Dieses Feedback des Empfehlungssystems kann Anwendungsentwicklern als wichtiges Feedback für mögliche Verbesserungen ihrer Codearchitektur zur Leistungssteigerung dienen.

Durch die Befolgung der Empfehlungen des CRE konnten unsere Kunden Verbesserungen erzielen, die die Simulationsgeschwindigkeit um über 200 Prozent erhöhen und die Kosten für wichtige Benchmarks um über 60 Prozent senken. Diese Vorteile sind nicht nur sofort spürbar, sondern die Nutzung des CRE hilft Kunden auch, stets über die optimalen Empfehlungen informiert zu sein, sobald neue Technologien und Optimierungen im Stack möglich werden.  

Das CRE gibt eine erste Empfehlung zur Chiparchitektur basierend auf der vom Kunden gewünschten Anwendung und weiteren Metadaten aus dem Workflow. Anschließend trainiert das CRE anhand der Leistung des Jobs während der Laufzeit mit diesem Metadatensatz und optimiert seine Empfehlungen. Entscheidend ist, dass das CRE die Jobs kontinuierlich überwacht und zusätzliche Empfehlungen abgibt. Außerdem beobachtet es den Markt kontinuierlich, um zu wissen, wann neue Chiparchitekturen verfügbar werden.

Die Empfehlungen bieten zahlreiche Hinweise zur Optimierung der Workload-Leistung. Beispielsweise kann eine Empfehlung darin bestehen, die Anzahl der verwendeten Computerkerne zu reduzieren, da Job-Metadaten auf eine ineffiziente Skalierung des Jobs hinweisen. Alternative Hardwarearchitekturen mit geringerer Verbindungslatenz können empfohlen werden, wenn die Metadaten der Nachrichtenübermittlung auf einen Netzwerkengpass hinweisen.

Verwenden der Rescale Compute-Empfehlungs-Engine 

Die Intelligenz der CRE-Technologie steht allen Rescale-Kunden bereits heute über AI-Recommended-Hardwarearchitekturen als Teil der Compute-Optimierer Funktion und eingebettete Empfehlungen kommen zu Leistungsprofile bald.

Compute Optimizer macht Benchmarking überflüssig und aktualisiert die Empfehlungen für Workloads automatisch und dynamisch. Dies bietet erhebliche Produktivitäts-, Kosten- und Zeitvorteile. Diese automatisierten Empfehlungen stehen jedem Benutzer der Rescale-Plattform jederzeit zur Verfügung.

Mit nur wenigen Klicks im Performance Profiles-Dashboard können Benutzer die Leistung jeder Chiparchitektur mit ihrer spezifischen Rechenlast vergleichen. Performance Profiles erleichtert Kunden die detaillierte Bewertung von Kosten, Leistung und Energieverbrauch jeder HPC-Architektur, die auf eine bestimmte Arbeitslast zugeschnitten ist.

Leistungsprofile und Compute Optimizer sind nur zwei Beispiele dafür, wie Elemente des CRE es Unternehmen erheblich erleichtern, ihre technischen und wissenschaftlichen Computerressourcen zu verwalten.

Im Laufe der Zeit werden wir die CRE-Funktionalität kontinuierlich verbessern, indem wir umfangreichere Datenanalysen durchführen und den Empfehlungsprozess stärker automatisieren. Beispielsweise könnte die CRE genutzt werden, um sofort ein Audit über mehrere Monate hinweg historische Daten durchzuführen und Verbesserungsmöglichkeiten zu ermitteln. Oder sie könnte genutzt werden, um Verbesserungen der Technologiekurve (basierend auf historischen Trends) vorherzusagen und so zukünftige Entscheidungen zur Infrastrukturplanung zu steuern.

Die Metadaten, die die CRE informieren, werden dynamisch aktualisiert, wenn neue Hardwarearchitekturen, Softwareanwendungen, Middleware-Konfigurationen und Workload-Anwendungsfälle hinzugefügt und auf der Plattform ausgeführt werden. Neue Datenformen, wie Metadaten zum Energieverbrauch, zum CO2-Fußabdruck und andere Nachhaltigkeitskennzahlen, können hinzugefügt werden, um Unternehmen dabei zu unterstützen, ganzheitlichere Entscheidungen zur Rechenarchitektur zu treffen.

Beschleunigtes Computing ermöglicht bahnbrechende Fortschritte in Technik und Wissenschaft

Die Compute Recommendation Engine von Rescale entstand aus unserer Erkenntnis, dass die Optimierung des Computing-Stacks tiefgreifende Auswirkungen auf die digitale Forschung und Entwicklung hat. Mit dem exponentiellen Wachstum spezialisierter Halbleiter und der zunehmenden Auswahl an Computern können Unternehmen beispiellose und anhaltende Vorteile aus Cloud-basiertem Engineering und wissenschaftlichem Computing ziehen.

Rescale hat sich zum Ziel gesetzt, die Intelligenz unserer Plattform weiterzuentwickeln, um unseren Kunden die besten Rechenkapazitäten bereitzustellen und Ingenieur- und Wissenschaftsteams bei der Gestaltung der Zukunft zu unterstützen.