Public Cloud MPI-Netzwerk-Benchmark-Zusammenfassung

Wir haben im Laufe der Jahre zahlreiche Blogbeiträge veröffentlicht, in denen wir MPI-Mikrobenchmarks mit den Angeboten der großen Public-Cloud-Anbieter verglichen haben. Alle diese Anbieter haben in dieser Zeit zahlreiche Netzwerkverbesserungen vorgenommen, daher hielten wir es für sinnvoll, diese Mikrobenchmarks mit der neuesten VM-Generation erneut durchzuführen. AWS hat insbesondere eine neue Version von „Enhanced Networking“ veröffentlicht, die bis zu 20 Gbit/s unterstützt, und Azure hat die VM-Familie der H-Serie veröffentlicht, die virtualisiertes FDR InfiniBand bietet.

Meine Kollegin Irwen hat kürzlich die Punkt-zu-Punkt-Latenz (osu_latency) und die Bisektionsbandbreite (osu_bibw) aus der OSU Microbenchmarks-Bibliothek (Version 5.3.2) mit verschiedenen VM-Typen der Google Compute Engine getestet. Aus Gründen der Konsistenz verwenden wir hier dieselbe Bibliothek für Azure und AWS. Die folgende Tabelle enthält die leistungsstärkste Maschine aus Irwens Beitrag: die n1-highmem-32. Die c4.8xlarge repräsentiert einen AWS-VM-Typ der vorherigen Enhanced Networking-Generation, und die neuere VM m4.32xlarge läuft mit der neueren Version von Enhanced Networking.

In der folgenden Tabelle sind die gemittelten Ergebnisse aus drei Versuchen aufgeführt. Für jeden Versuch wurde ein neues VM-Paar von Grund auf bereitgestellt:

Wie zu erwarten, übertreffen die VMs der Azure H-Serie in diesen Tests die Konkurrenz ohne InfiniBand deutlich. Ein häufiger Kritikpunkt an der Nutzung der Public Cloud für HPC ist, dass die Netzwerkleistung für die Ausführung eng gekoppelter Workloads nicht ausreicht. Microsoft Azure hat gezeigt, dass es möglich ist, ein virtualisiertes Hochleistungsnetzwerk im Hyperscale-Bereich zu betreiben.

Obwohl dies aus Sicht der reinen Netzwerkleistung interessant ist, sollte man synthetischen Benchmarks wie diesen nicht zu viel Bedeutung beimessen. Anwendungsbenchmarks bilden die tatsächliche Leistung im Allgemeinen deutlich besser ab. Mit einigen CFD-Solvern und virtualisiertem 10GigE ist eine starke Skalierung durchaus möglich. AWS hat veröffentlicht STAR-CCM + Benchmarks zeigen eine nahezu lineare Skalierung auf einem 16M-Zellenmodell bei Läufen mit bis zu 700 MPI-Prozessen. Microsoft hat auch veröffentlicht Einige STAR-CCM+-Benchmarks zeigen eine nahezu lineare Skalierung von bis zu 1,024 MPI-Prozessen mit einer älteren Generation von InfiniBand-ausgestatteten VMs (beachten Sie, dass dies kein direkter Vergleich ist, da Microsoft in seinen Tests ein größeres 100-M-Zellenmodell verwendet hat). Es ist auch wichtig hervorzuheben, dass spezialisierte Netzwerkstrukturen in der Regel teurer sind. Bedenken Sie außerdem, dass die Netzwerkgeschwindigkeit nur eine Dimension der Leistung ist. Festplatten-E/A, RAM, Anzahl und Generation der CPU-Kerne sowie die Art der Simulation und die Modellgröße müssen bei der Entscheidung über die zu verwendenden Hardwareprofile berücksichtigt werden. Einer der Vorteile einer Multi-Cloud-Plattform wie der von Rescale ScaleX-Plattform ist, dass es das Ausführen von Benchmarks erleichtert und außerdem HPC für Unternehmen Arbeitslasten über eine Vielzahl von Hardwarekonfigurationen hinweg, indem Sie einfach den Kerntyp in Ihrer Job-Übermittlungsanforderung ändern.

Schließlich ist es beeindruckend festzustellen, wie weit sich die Dinge seit dem Original entwickelt haben Magellan Bericht. Derzeit tobt ein erbitterter Kampf zwischen den Schwergewichten der Public Cloud, und wir sehen erste Hardware-Aktualisierungszyklen, die nicht nur Hochleistungsverbindungen, sondern auch moderne CPU-Generationen (Skylake) sowie GPU- und FPGA-Verfügbarkeit in großem Maßstab umfassen. Die „Commodity“-Public-Cloud wird für eine wachsende Zahl von HPC-Workloads zunehmend rentabel.