Comment choisir les meilleures combinaisons de ressources de calcul pour optimiser les simulations HPC complexes ?

Les recommandations de l’IA nous montrent la voie à suivre !

Les simulations complexes qui utilisent le calcul haute performance (HPC) deviennent encore plus complexes à exécuter en raison de la prolifération des options matérielles et logicielles. Pour beaucoup d’entre nous, les services cloud peuvent simplifier la pile d’infrastructure, mais le grand nombre d’options possibles rend extrêmement compliqué la recherche de la meilleure combinaison en termes de prix et de performances. 

Dans le passé, la vie était simple ; Le HPC sur site offrait relativement peu de choix. Les cœurs, la bande passante d’E/S, la mémoire et le stockage ont tous été corrigés.

Avec mon expérience dans CFD automobile, et l'ingénierie du sport automobile, j'ai tendance à considérer le HPC sur site de la même manière que la possession, plutôt que la location, d'une voiture. Quelques semaines seulement après avoir acheté la meilleure voiture que vous puissiez vous permettre, quelqu'un présente un modèle meilleur, plus rapide et plus riche en fonctionnalités. C'est la même chose avec le HPC sur site : vous sélectionnez des processeurs, de la mémoire et bien plus encore pour créer la pile de la plus haute capacité que vous puissiez vous permettre… et le lendemain, un nouveau chipset arrive sur le marché.

En contrepoint, le HPC dans le cloud profite de l’amélioration continue. Contrairement aux solutions sur site qui sont actualisées tous les trois à cinq ans, les fournisseurs de cloud sont tous en concurrence pour offrir les fonctionnalités les plus récentes et les plus performantes, via les derniers chipsets du marché. Revenons au sport automobile : exécuter le HPC dans le cloud, c'est comme conduire une voiture constamment peaufinée et mise à niveau. Un nouveau groupe motopropulseur ? Bien sûr! Un débit de carburant amélioré ? Bien sûr!

Mais dans ce monde bouleversé, comment sélectionner les meilleures solutions pour optimiser votre charge de travail de simulation ? Vous pouvez exécuter un flux de travail standard qui donne de bons résultats, mais connaissez-vous les nouveaux chipsets qui viennent d'être lancés qui pourraient réduire les temps d'exécution ? Le défi de optimisation du workflow est l'un des sujets les plus brûlants des conférences HPC en ce moment, et pour cause.

Utiliser l'IA pour optimiser vos simulations HPC

C'est ici que l'IA entre en jeu. L'exécution d'une simulation génère d'énormes quantités de métadonnées sur la façon dont les tâches sont exécutées (utilisation du cœur, consommation de mémoire, performances d'E/S et bien plus encore) et les données de milliers de simulations constituent le pool de ressources idéal pour Ingénierie IA des modèles. Alimentée par les résultats passés, issus des 10 dernières années d’exécution de simulations HPC dans le cloud, l’IA peut faire des recommandations et des optimisations intelligentes pour les flux de travail proposés.

De plus, avec l’arrivée sur le marché de nombreux chipsets nouveaux et hautement spécialisés, il est devenu presque impossible de surveiller les dernières options. À mesure que les fournisseurs de cloud ajoutent ces offres à leurs services, l’IA peut examiner les capacités revendiquées et proposer de nouvelles options potentielles.

Le résultat est que les ingénieurs comme moi n’ont pas besoin de suivre les versions des chipsets, des GPU ou des cartes accélératrices. L'IA recommandera de nouveaux types de noyaux adaptés au travail que vous exécutez. Par exemple, l’IA peut suggérer qu’une combinaison de charge de travail et de logiciel spécifique aura tendance à produire des résultats plus rapides sur un type de cœur spécifique, et vous pouvez choisir de suivre cette suggestion si elle vous intéresse.

Désormais, dans les simulations de sport automobile, le temps est le facteur critique : la question clé est toujours de savoir à quelle vitesse vous pouvez obtenir des résultats, car la course n'attendra pas encore deux jours. Des simulations lentes peuvent imposer des retards très indésirables, simplement parce qu'il y a de nombreuses étapes de fabrication à réaliser avant que les modifications proposées n'atteignent le véhicule physique. Dans le passé, la solution consistait souvent à accélérer la simulation en faisant des compromis sur le nombre de points de données, ce qui pouvait à son tour affecter négativement les décisions de conception.

Grâce à l’assistance à l’optimisation de l’IA, les simulations peuvent exécuter davantage de points de données ou s’exécuter plus rapidement – ​​et souvent les deux. Si je peux exécuter des tâches plus rapidement, j'utiliserai ce temps pour exécuter davantage de tâches. Mes dépenses totales en calcul et en logiciels seront probablement à peu près les mêmes, mais une meilleure optimisation m'a permis d'augmenter le débit.

Utiliser Rescale pour automatiser l'exécution de n'importe quelle charge de travail HPC

Alerte de divulgation : Rescale, où je travaille en tant qu'architecte de solutions, a construit une plate-forme basée sur le cloud qui utilise L'IA pour automatiser l'exécution de n'importe quelle charge de travail HPC sur la meilleure configuration matériel-logiciel possible. Rescale automatise l'orchestration des tâches et la gestion des ressources entre plusieurs fournisseurs de cloud, et permet aux responsables informatiques et HPC d'examiner et de sélectionner les configurations de charge de travail optimales en quelques clics en fonction de leurs objectifs commerciaux (par exemple, résoudre des économies de temps ou de coûts). Plutôt que d'apprendre les subtilités des offres de chaque fournisseur, Rescale propose des recommandations basées sur l'IA pour une vaste gamme de technologies, permettant ainsi aux ingénieurs et aux scientifiques de se concentrer sur leur travail quotidien plutôt que sur la configuration, l'analyse comparative et le dépannage des tâches.

La tâche de sélection des configurations optimales deviendra progressivement plus difficile à mesure que le marché se diversifiera et se spécialisera. Par exemple, au moment de la rédaction de cet article, il existe de nouveaux chipsets combinant GPU et CPU qui promettent un débit très élevé, mais à l'heure actuelle, il existe relativement peu de données de référence logicielles. Chaque fournisseur de cloud intégrera ces nouvelles technologies, créant ainsi un nouveau point idéal à ajouter au mix. 

En plus des avantages de l'IA qui recherche et recommande ces points de configuration idéaux, l'intelligence de Rescale permet une gestion globale des ressources cloud, en équilibrant automatiquement la charge de votre tâche afin que les utilisateurs bénéficient de temps de lancement de tâche rapides, en minimisant les tâches échouées et en dirigeant les charges de travail vers l'endroit où le cloud sélectionné Le fournisseur dispose de la plus grande capacité disponible pour la continuité des activités. 

Sur cette base, nous pouvons voir que le simple déplacement des charges de travail vers le cloud ne suffit pas. Les capacités d’optimisation basées sur l’IA seront un ingrédient nécessaire pour tirer le meilleur parti du cloud, d’autant plus que les ingénieurs créent des simulations toujours plus complexes.

Si vous souhaitez voir l'optimisation de l'IA de Rescale appliquée à votre charges de travail, vous pouvez contactez notre équipe pour une démo ici.