Dans ce nouvel article concernant notre nouveau projet Gros calcul Épisode de podcast, Gabriel Broner accueille Dave Turek, vice-président du HPC et des systèmes cognitifs chez IBM, pour discuter de la manière dont l'IA permet d'accélérer les flux de travail HPC.
Inscrivez-vous aux futurs épisodes du Big Compute Podcast
Aperçu et commentaires clés
Le HPC s'appuie traditionnellement sur la simulation pour représenter le monde réel. Au cours des dernières années, l’IA a connu une croissance significative en raison de l’innovation, de la croissance de la capacité de calcul et des nouvelles architectures qui l’ont permis. Le HPC peut bénéficier des techniques d’IA. L’un des domaines d’opportunité consiste à accroître les capacités des individus à préparer des simulations, à analyser les résultats et à décider quelle simulation exécuter ensuite. Une autre opportunité existe lorsque nous prenons du recul et analysons si nous pouvons utiliser des techniques d’IA plutôt que des simulations pour résoudre le problème. Nous devrions considérer l’IA comme une extension de la boîte à outils dont disposent les utilisateurs du HPC. Nous devrions les connaître et les intégrer, car à l’avenir, la séparation entre le HPC et l’IA pourrait tout simplement ne plus exister.
HPC + AI accélèrent les flux de travail
Concernant la manière dont le HPC et l’IA peuvent aider à mieux résoudre les problèmes, Dave Turek déclare :
« Nous parlons du HPC et de l’IA comme s’il s’agissait de deux choses différentes. J'aime parler de la fusion de ces deux domaines. Il faut les rassembler sous un même toit. D’une manière ou d’une autre, nous avons perdu de vue la différence entre les algorithmes et les flux de travail. D'un point de vue commercial, il est important de s'attaquer au flux de travail, et non à certaines parties du flux de travail, sinon vous risquez de travailler à la marge. Il y a quelques années, je travaillais dans une entreprise du secteur pétrolier. Après une journée de discussion sur les algorithmes, nous avons réalisé que le plus gros problème auquel ils étaient confrontés était de savoir comment trier les données plus rapidement. Ils avaient une perspective de flux de travail du problème. Si j'avais résolu la simulation en un temps nul, j'aurais réduit seulement 5 à 8 % du temps total. Si j'avais trié les données plus rapidement d'un facteur 10, j'aurais réduit le temps de 40 à 50 %. Une fois que vous avez adopté la notion de flux de travail, vous découvrez de nombreux domaines supplémentaires dans lesquels l’IA peut vous aider.
Croissance de l'IA
« L’innovation stimule l’adoption de l’IA. Nous sommes dans un état embryonnaire. Sur une échelle de temps, nous sommes à t=0.001. Les gens effectuent des travaux expérimentaux, mais les déploiements vont bientôt s'intensifier. Certains domaines soulèvent une série de problèmes éthiques, comme la conduite autonome, tandis que d’autres, comme la fabrication, sont dépourvus de considérations éthiques, il y a donc moins d’obstacles à l’acceptation et nous assisterons à une croissance significative.
Simulation intelligente
« La simulation intelligente consiste à intégrer des méthodologies d’IA pour améliorer la simulation. Si vous réfléchissez au problème de l'exécution de simulations : vous avez une hypothèse, exécutez des simulations, analysez les résultats et recalibrez les simulations pour les réexécuter avec quelques améliorations. Vous faites cela pour exécuter le nombre minimum de simulations. Ce processus humain peut être augmenté avec l’introduction de l’IA pour analyser les résultats et décider quelles seront les prochaines simulations. L’IA peut devenir un directeur efficace de ce travail.
Résultats
« Nous avons vu des résultats époustouflants. Nous avons des clients qui font des millions de simulations par jour. Avec l’intégration de l’IA, nous avons vu des exemples où nous avons pu réduire de plus des ⅔ le nombre de simulations à exécuter. Ces résultats sont reproductibles bien qu’ils ne soient pas, à ce stade, généralisables à différents types de problèmes. Nous avons obtenu des résultats allant jusqu’à une réduction de 95 %, mais cela ne devrait pas être l’attente globale.
« Dans le domaine pharmaceutique, nous avons utilisé cette approche pour examiner l'efficacité de composés médicamenteux potentiels contre les vecteurs de maladies, et nous avons pu réduire de 20000 1000 composés à évaluer à 60 XNUMX. Dans le domaine de la formulation chimique, lors de l'analyse de combinaisons de composés à produire un résultat moléculaire, nous avons réduit la quantité de calcul de plus de XNUMX %. Ces approches sont désormais mises en œuvre de manière opérationnelle par les clients avec lesquels nous travaillons.
Découverte cognitive
« 80 % du flux de travail concerne les données : comment vous obtenez les données, comment vous les organisez, quelle est l'architecture des données. La simulation intelligente est une stratégie d’augmentation. La découverte cognitive est une stratégie de remplacement. Oublions l'idée de simulation et utilisons l'IA pour résoudre les problèmes HPC. Pourrais-je résoudre les mêmes problèmes sans simulation ? »
« Nous avons développé des outils qui ingèrent des données, créent des informations, les architecturent et génèrent automatiquement des réseaux neuronaux. Nous utilisons ces outils pour créer un accès à l’information publique qui va au-delà de ce que les humains sont capables d’analyser. À titre d’exemple, en 2018, il y avait 450,000 XNUMX articles scientifiques uniquement dans le domaine des sciences des matériaux.
L’IA uniformise les règles du jeu
« Les data scientists travaillent dans les zones urbaines des États-Unis. Si je me trouve ailleurs, c'est un problème. Comment gérez-vous le manque de compétences ? Dans quelle mesure pouvons-nous automatiser cette activité pour rendre l’accessibilité de l’IA plus égalitaire ? »
« En automatisant le processus depuis les données jusqu’à l’inférence et en donnant accès à la connaissance collective du savoir-faire, les petites entreprises peuvent se comporter comme les grandes entreprises. Historiquement, les marchés et les milieux économiques ont parlé des avantages de l’échelle. Grâce à l’IA, tout le monde peut rivaliser sur un pied d’égalité, dans lequel les petites et moyennes entreprises font plus que leur part : une entreprise de 100 personnes peut désormais rivaliser avec une entreprise de 10,000 XNUMX personnes.
Accès dans le cloud
« Grâce au partenariat d'IBM avec Rescale pour le HPC dans le cloud, toutes les techniques dont nous avons parlé sont disponibles dans le cloud : IBM Q offre un accès à l'informatique quantique ; IBM React/IBM RXN offre l'accès à un système de découverte cognitive construit à Zurich pour évaluer les résultats des réactions chimiques.
L'avenir et comment nos emplois vont changer
« Dans 5 à 10 ans, cela constituera un élément important de la boîte à outils des analystes. Pour nous, il s’agit d’adopter un nouvel ensemble d’outils. En HPC, les gens ont développé de nouveaux outils au fil du temps. Par exemple, le développement de MPI a facilité l’utilisation de la programmation parallèle. Ce n'est ni différent ni plus difficile ici. Les frameworks émergents nous ont permis d’utiliser ces nouveaux outils. Étudiez, apprenez-les, participez. Cela donnera lieu à de nouvelles opportunités.
Dave Turek
Dave est vice-président du HPC et des systèmes cognitifs chez IBM. Au fil des années chez IBM, Dave a été responsable des systèmes Exascale, de la stratégie de calcul haute performance, a contribué au lancement de l'activité Grid Computing d'IBM, et a lancé et dirigé l'activité Linux Cluster d'IBM. En tant que responsable du développement, il était responsable du programme de supercalculateur SP d'IBM ainsi que de la version mainframe d'AIX et d'autres logiciels Unix. À ce titre, il a orchestré l'effort initial de développement d'IBM à l'appui de l'Initiative américaine de calcul stratégique accéléré au Lawrence Livermore National Laboratory.
Gabriel Broner
Gabriel Broner est vice-président et directeur général du HPC chez Rescale. Avant de rejoindre Rescale en juillet 2017, Gabriel a passé 25 ans dans l'industrie en tant qu'architecte de système d'exploitation chez Cray, directeur général chez Microsoft, responsable de l'innovation chez Ericsson et vice-président et directeur général du HPC chez SGI/HPE.
