En pointe Ingénierie IA et la recherche dépend de plus en plus de la puissance de calcul pour piloter l’exploration numérique de notre monde physique. De la génomique à l'aérodynamique, les ingénieurs et les scientifiques utilisent des simulations, conception générative, apprentissage automatique et jumeaux numériques pour développer leurs créations.

Aujourd'hui, pour exploiter cette puissance de calcul, il faut naviguer dans le monde de plus en plus riche et complexe des architectures informatiques spécialisées et spécifiques à un domaine, où choisir la bonne infrastructure les configurations peuvent signifier résoudre des problèmes trois fois plus rapidement, ou utiliser un tiers du coût ou de l'énergie.  

Pour relever ce défi, Rescale a développé une nouvelle technologie appelée moteur de recommandation de calcul (CRE). Le CRE de Rescale utilise l'IA pour trouver la solution optimale. pile informatique pour toute charge de travail afin d'utiliser au mieux l'infrastructure multicloud dont nous disposons pour alimenter la prochaine ère du calcul scientifique et d'ingénierie.

Suite aux recommandations du CRE de Rescale, nos clients ont constaté des améliorations accélérant les vitesses de simulation de plus de 200 % et réduisant les coûts de plus de 60 % pour les tests de référence clés.

L'essor des architectures informatiques spécialisées et spécifiques à un domaine

Pendant des décennies, la puissance de calcul a systématiquement suivi la loi de Moore, qui stipule que la puissance de traitement des ordinateurs double environ tous les deux ans, à mesure que les fabricants de puces intègrent toujours plus de transistors dans les circuits intégrés. Mais cette tendance se heurte à des limites physiques, car les processeurs ne peuvent tout simplement pas être beaucoup plus denses qu'ils ne le sont actuellement.  

Cette fin de la loi de Moore signifie que les logiciels gourmands en calcul comme les simulations ne peuvent plus bénéficier de gains de performances au même rythme sans une augmentation disproportionnée du coût et de la consommation d'énergie.

Ce goulot d'étranglement a créé une opportunité pour des architectures spécifiques à un domaine, ou un calcul accéléré, optimisé pour l'exécution de charges de travail spécifiques. Des entreprises comme NVIDIA ont pu démontrer des gains de performances qui dépassent la loi de Moore pour les charges de travail accélérées par GPU telles que le traitement graphique et l'apprentissage automatique.

De plus, les fournisseurs de cloud tels qu'Amazon AWS, Microsoft Azure et Google Cloud construisent leurs propres puces, tandis que l'IP basé sur Arm démocratise la conception de puces pour les startups et les nouveaux entrants dans le domaine.

Nous sommes désormais au milieu d’une explosion cambrienne des architectures informatiques. Le rythme du nombre de processeurs spécialisés et de configurations d'architecture matérielle a considérablement augmenté. Rien qu’en 2022, près de 400 nouvelles options matérielles ont été introduites par les fournisseurs de services cloud. Actuellement, les organisations peuvent choisir parmi plus de 1,500 XNUMX architectures uniques. 

Ces choix en matière d'architecture informatique spécialisée ont apporté des améliorations de performances incroyables pour les charges de travail qui ont adopté ces capacités, offrant des gains de performances multipliés par 1,000 10 au cours des XNUMX dernières années seulement.

La nécessité d'un moteur de recommandation de calcul

Pour profiter des gains rendus possibles par les architectures spécifiques à un domaine, chaque charge de travail doit être adaptée à la configuration optimale de l'architecture informatique. Rescale a passé plus d'une décennie à développer son expertise et à aider les organisations à faire les bons choix concernant les architectures matérielles, les systèmes d'exploitation, les logiciels, le stockage et les technologies de réseau qui alimentent leurs efforts de R&D.  

Entre plusieurs centaines d'architectures informatiques, ainsi que des configurations supplémentaires possibles pour le stockage, la mise en réseau, les middlewares, les applications et les modèles, les organisations doivent choisir parmi plus de 50 millions de combinaisons possibles pour fournir une pile informatique optimale.

Grâce à plusieurs évolutions, nous avons développé ce que nous pensons être l'une des avancées les plus importantes dans le domaine de l'informatique full-stack depuis l'avènement du cloud computing, un moteur de recommandation informatique basé sur l'IA.

L'approche de Rescale a consisté à développer une automatisation basée sur les données en exploitant la richesse de la télémétrie propriétaire à partir des modèles d'utilisation et des performances matérielles sur les charges de travail réelles des clients, ainsi qu'une formidable collection d'intelligence, d'outils et d'automatisation pour le matériel d'ingénierie et de calcul scientifique. software, les réseaux et le stockage. 

Fonctionnement du moteur de recommandation Rescale Compute

À la base, le Compute Recommendation Engine identifie la meilleure architecture de calcul d'infrastructure et la meilleure échelle possibles qui doivent être utilisées pour exécuter une charge de travail donnée. Cette recommandation peut être mise en œuvre lorsqu'un utilisateur est sur le point d'exécuter un travail par lots ou d'exécuter une série de tests dans Profils de performance, Par exemple.

Pour développer cette intelligence, Rescale a tiré parti de notre vaste base de données de références historiques, de mesures de métadonnées améliorées et de données télémétriques détaillées sur les performances de l'infrastructure. Ensuite, en utilisant réseaux de neurones récurrents nous avons pu générer une série de balises permettant de déduire le type de matériel qui fonctionnerait le mieux face à la charge de travail.

Le CRE de Rescale utilise cet ensemble de données riche et actuel de plusieurs millions de points de métadonnées pour fournir des recommandations basées sur l'IA sur le meilleur matériel pour répondre au besoin de l'utilisateur d'équilibrer les performances et les coûts pour exécuter un type de charge de travail donné. Grâce à un processus de filtrage et de notation basé sur l'IA, le CRE évalue quelles puces et architectures sont les plus efficaces pour une application et une tâche informatique données. Cela fournit une référence prédictive quasi instantanée et des recommandations basées sur l'IA qui permettent aux organisations de choisir facilement l'architecture HPC adaptée à leurs besoins particuliers.

Redimensionner les performances du moteur de recommandation de calcul

Le CRE a prouvé, grâce à des tests et validations internes, qu'il était précis à plus de 95 % dans l'identification des puces optimales et des configurations full-stack pour une tâche de calcul donnée, garantissant ainsi la mise à l'échelle et les coûts les plus efficaces. Le système de recommandation peut également être exploité pour identifier les principaux goulots d'étranglement (notamment la transmission des messages réseau, le stockage et les performances de la mémoire) dans l'architecture HPC globale, de manière automatisée et basée sur les données. Comme avantage supplémentaire, ces commentaires du système de recommandation peuvent être utilisés comme commentaires clés pour les développeurs d'applications concernant les améliorations potentielles de leur architecture de code afin d'améliorer les performances.

Suite aux recommandations du CRE, nos clients ont constaté des améliorations accélérant les vitesses de simulation de plus de 200 % et réduisant les coûts de plus de 60 % pour les tests de référence clés. Non seulement ces avantages sont ressentis immédiatement, mais tirer parti du CRE aidera les clients à rester continuellement informés des recommandations optimales à mesure que de nouvelles technologies et optimisations dans la pile deviennent possibles.  

Le CRE fournit une recommandation initiale d'architecture de puce basée sur l'application que le client souhaite exécuter et d'autres métadonnées du flux de travail. Ensuite, en fonction des performances du travail pendant l'exécution, la CRE s'entraînera sur cet ensemble de métadonnées et affinera ses recommandations. Il est essentiel que la CRE supervisera les travaux en permanence et fournira des recommandations supplémentaires, en surveillant le marché en permanence pour savoir quand de nouvelles architectures de puces seront disponibles.

Les recommandations fournissent des conseils de nombreuses manières sur la manière d’optimiser les performances des charges de travail. Par exemple, une recommandation peut être de réduire le nombre de cœurs d’ordinateur utilisés, car les mesures des métadonnées du travail indiquent une mise à l’échelle inefficace du travail. Des architectures matérielles alternatives avec une latence d'interconnexion plus faible peuvent être recommandées lorsque le message transmettant des métadonnées indique un goulot d'étranglement du réseau.

Utilisation du moteur de recommandation Rescale Compute 

L'intelligence de la technologie CRE est déjà disponible aujourd'hui pour tous les clients de Rescale via les architectures matérielles recommandées par l'IA dans le cadre du Optimiseur de calcul les fonctionnalités et les recommandations intégrées arrivent Profils de performance bientôt.

Compute Optimizer élimine le besoin d'analyse comparative et maintient automatiquement à jour les recommandations pour les charges de travail de manière dynamique, offrant ainsi des avantages significatifs en termes de productivité, de coûts et de temps. Ces recommandations automatisées sont toujours disponibles pour chaque utilisateur sur la plateforme Rescale.

En quelques clics dans le tableau de bord Profils de performances, les utilisateurs peuvent comparer les performances de n'importe quelle architecture de puce avec leur propre charge de travail informatique spécifique. Les profils de performances permettent aux clients d'évaluer facilement le coût détaillé, les performances et la consommation d'énergie de toute architecture HPC personnalisée pour une charge de travail spécifique.

Les profils de performance et Compute Optimizer ne sont que deux exemples de la façon dont les éléments du CRE permettent aux organisations de gérer beaucoup plus facilement leurs ressources d'ingénierie et de calcul scientifique.

Au fil du temps, nous améliorerons continuellement la fonctionnalité CRE avec une analyse de données plus riche et une plus grande automatisation du processus de recommandation. Par exemple, le CRE pourrait être utilisé pour effectuer instantanément un audit sur des mois de données historiques afin de mesurer les opportunités d'amélioration. Il pourrait également être utilisé pour prévoir les améliorations de la courbe technologique (sur la base des tendances historiques) afin d’orienter les futurs choix de planification des infrastructures.

Les métadonnées qui informent le CRE sont mises à jour de manière dynamique à mesure que de nouvelles architectures matérielles, applications logicielles, configurations middleware et cas d'utilisation de charge de travail sont ajoutés et exécutés sur la plate-forme. De nouvelles formes de données, telles que des métadonnées liées à la consommation d'énergie, à l'empreinte carbone et à d'autres mesures de durabilité, peuvent être ajoutées pour aider les organisations à prendre des décisions plus globales en matière d'architecture informatique.

Le calcul accéléré alimente les percées techniques et scientifiques

Le moteur de recommandation informatique de Rescale est né de notre reconnaissance du fait que l'optimisation de la pile informatique a de profondes implications pour la R&D numérique. Avec la croissance exponentielle des semi-conducteurs spécialisés et l’accélération des choix informatiques, les organisations peuvent tirer des avantages continus et sans précédent de l’ingénierie et du calcul scientifique basés sur le cloud.

Rescale s'engage à faire évoluer l'intelligence de notre plateforme afin de fournir les meilleures capacités informatiques à nos clients et de permettre aux équipes d'ingénierie et scientifiques de les aider à inventer l'avenir.