Exécutez des centaines d'applications IA et HPC gratuites dans le catalogue NVIDIA NGC accélérées lors du rescale

Marché

Le catalogue NVIDIA GPU Cloud (NCC) est un ensemble organisé de logiciels gratuits et open source optimisés par GPU pour l'IA, HPCL'utilisation du traitement parallèle pour exécuter des applications avancées... Autres et VisualisationLa visualisation est la représentation de données scientifiques ou... AutresL’ Catalogue MBAC se compose d'applications conteneurisées, de modèles pré-entraînés, de graphiques Helm pour KubernetesUne plateforme d'orchestration de conteneurs open source qui automatise... Autres Déploiements et boîtes à outils d'IA sectorielles avec kits de développement logiciel (SDK). Le déploiement de NGC on Resale permet aux ingénieurs et aux scientifiques de se lancer plus facilement dans une variété de nouveaux cas d'utilisation pour la recherche et le développement sur une plateforme unique. Rescale automatise l'infrastructure matérielle, les logiciels et les étapes de workflow nécessaires pour rendre les outils de calcul les plus récents plus accessibles et plus rapides.

Dans ce didacticiel, nous allons vous montrer comment exécuter facilement NGC Catalog sur Rescale. NGC peut être exécuté soit par une tâche par lots à l'aide de la ligne de commande Rescale, soit de manière interactive à l'aide de Rescale Workstations.

Travail par lots

Didacticiel vidéo sur les tâches par lots

Exemple de travail et résultats

Vous pouvez accéder et lancer directement l'exemple de travail en cliquant sur le bouton Configuration du travail d'importation ou affichez les résultats en cliquant sur le bouton Obtenez des résultats de travail bouton ci-dessous. 

Dans l'exemple de travail ci-dessus, nous exécutons un script Python créant un machine learning TensorFlow. modèleUne représentation numérique, symbolique ou logique d'un système... Autres avec l'ensemble de données MNIST. (Lien de référence).

Pour soumettre le travail par lots, la première étape consiste à choisir Fonction Plug & Play Type d'emploi.

Contributions

Téléchargez les scripts en cours d'exécution en tant que fichiers d'entrée. Dans l'exemple de travail, les scripts Python se trouvent dans le fichier d'archive compressé test.zip.

Logiciels

Choisissez ensuite NVIDIA Catalogue MBAC tuile.

Dans l' Command Dans la boîte de dialogue, nous fournissons la commande pré-remplie pour vous connecter à votre compte NGC et extraire et exécuter les conteneurs Docker.

Les utilisateurs peuvent extraire des conteneurs de Catalogue MBAC. Ici, nous utilisons le TensorFlow CONTENANTUn ensemble d'applications et de systèmes d'exploitation autonomes... Autres par exemple.

Pour tirer le Conteneur Tensorflow, accédez au catalogue NGC et cliquez sur l'icône Étiquette à tirer pour copier le docker pull cmd.

Dans la zone de commande, collez la commande pull tag et saisissez les commandes suivantes pour exécuter le conteneur, comme dans le exemple de travail.

docker pull nvcr.io/nvidia/tensorflow:22.06-tf1-py3
docker run --gpus all -v ${PWD}/test:/test nvcr.io/nvidia/tensorflow:22.06-tf1-py3 
bash -c 'cd /test;  python test.py'

Les utilisateurs peuvent se connecter à leur compte NGC Catalog via la plateforme Rescale. Vérifiez le Utiliser la licence existante sur la case Rescale dans les options de licence. Saisissez votre clé API et votre code d'organisation ici, comme indiqué dans la figure ci-dessous.

Pour obtenir votre clé API et votre code d'organisation, les utilisateurs doivent se connecter à votre compte NGC Catalog et générer votre propre clé API et votre propre code d'organisation.

Nous fournissons une commande préremplie pour vous connecter au compte NGC. Les utilisateurs doivent simplement spécifier leur conteneur à extraire et la commande à exécuter dans la zone de commande. 

Hardware

Nous avons fourni une variété d'architectures pour votre travail, comme différents CPU et GPU coreune unité de traitement individuelle au sein d'un processeur multicœur o... Autres les types. Ici, nous en choisissons 4 GPULes GPU (Graphics Processing Units) sont des unités électroniques spécialisées... Autres pour la formation TensorFlow.

Statut

Cliquez sur Soumettre bouton pour soumettre le travail. Une fois le travail exécuté, vous pouvez vérifier process_output.log pour la sortie.

Résultats

Vous pouvez également ouvrir un terminal en cliquant sur le Ouvrir dans une nouvelle fenetre bouton pour déboguer votre script ou exécuter Nvidia-smi pour vérifier l'utilisation du GPU et les résultats pendant l'exécution du travail.

Une fois le travail terminé, tous les fichiers de données de résultats seront enregistrés dans le Résultats languette. Nous pouvons également ouvrir le fichier et vérifier les résultats.

Dans le fichier process_output.log, nous pouvons voir que le compte NGC Catalog est connecté avec succès.

Voici le résultat final et les résultats de l’exemple de travail.

Autres cas d'utilisation

Module NVIDIA

Le fichier d'entrée est un exemple de téléchargement .zip à partir de Site officiel du module. Pour ce cas d'utilisation, l'exemple de tâche peut être chargé via ce lien et résultats ici. 

Cmd (extrait la dernière version de NVIDIA Modulus de NGC. Exécutez le cas de flux de cavité pilotée par couvercle (LDC) dans le conteneur Modulus avec docker run ). Pour ce conteneur, la clé NGC_API n'est pas requise.

docker pull nvcr.io/nvidia/modulus/modulus:22.03.1
docker run --shm-size=1g --ulimit memlock=-1 --ulimit stack=67108864            
--runtime nvidia -v ${PWD}/examples:/examples nvcr.io/nvidia/modulus/modulus:22.03.1 
bash -c 'cd ldc;python ldc_2d.py'

Surveillez le process_output.log et vérifiez les sorties.

Postes de travail

Exemple de poste de travail

Sur la plateforme Rescale, les utilisateurs peuvent également travailler de manière interactive avec Postes de travail . Pour soumettre un travail, cliquez sur le NOUVEAU poste de travailUn poste de travail est un système informatique puissant conçu pour les pro... Autres bouton. Voici une exemple de travail pour référence.

Configuration

Pour l'entrée, téléchargez les scripts que vous devez exécuter. Ensuite, choisissez Flux de travail interactif du catalogue MBAC tuile en tant que logiciel. Contrairement à travaux par lotsLes travaux par lots sont des tâches automatisées soumises à un système informatique... Autres, nous n'avons pas besoin de spécifier un script de commande pour exécuter une station de travail ; au lieu de cela, vous interagirez avec lui à l'aide d'une interface graphique. 

Vérifiez la Utiliser la licence existante dans les options de licence pour vous connecter au compte NGC. Saisissez ici votre clé API NGC et votre code d’organisation. Les étapes de génération de la clé API NGC et des paramètres matériels sont les mêmes que celles des tâches par lots et ne sont pas répétées ici. 

Une fois le poste de travail prêt, cliquez sur le bouton Connexion en haut ou Connectez-vous à l'aide du client local (Télécharger et installer le client NiceDCV) pour vous connecter au poste de travail.

Dans le poste de travail, nous pouvons ouvrir une fenêtre de terminal en cliquant sur Activités dans le coin supérieur gauche, recherchez le terminal et lancez-le.

Dans le terminal ouvert, nous pouvons faire un travail interactif. Dans une fenêtre de terminal, exécutez les deux lignes suivantes cmd pour vous connecter au compte NGC.

$ echo -e "\n \n $(echo $NGC_ORG_ID) \n \n \n" | ngc config set
$ docker login -u '$oauthtoken' --password-stdin nvcr.io <<< $(echo $NGC_CLI_API_KEY)

Nous sommes alors prêts à retirer les conteneurs de Catalogue MBAC.

Conteneur Tensorflow

Dans cet exemple, nous extrayons le conteneur Tensorflow :

$ docker pull nvcr.io/nvidia/tensorflow:22.06-tf1-py3

Démarrez le conteneur Tensorflow en :

$ docker run --gpus all -it --rm -v ${PWD}/test:/test nvcr.io/nvidia/tensorflow:22.06-tf1-py3 bash

Exécutez le cas simple suivant dans le conteneur (Lien de référence):

$ python3
$ import tensorflow as tf
$ tf.enable_eager_execution()
$ mnist = tf.keras.datasets.mnist
$ (x_train, y_train), (x_test, y_test) = mnist.load_data()
$ x_train, x_test = x_train / 255.0, x_test / 255.0
$ model = tf.keras.models.Sequential([
  tf.keras.layers.Flatten(input_shape=(28, 28)),
  tf.keras.layers.Dense(128, activation='relu'),
  tf.keras.layers.Dropout(0.2),
  tf.keras.layers.Dense(10)
])
$ predictions = model(x_train[:1]).numpy()
$ predictions

Si tout fonctionne bien, nous pouvons vérifier les résultats prévus sur le terminal.

Conteneur de module

Extrayez la dernière version de NVIDIA Modulus de NGC.

$ docker pull nvcr.io/nvidia/modulus/modulus:22.03.1

Démarrez le conteneur Modulus par le répertoire :

$ docker run --shm-size=1g --ulimit memlock=-1 --ulimit stack=67108864
--runtime nvidia -it -v ${PWD}/examples:/examples
nvcr.io/nvidia/modulus/modulus:22.03.1 bash 

Chargez avec succès le dernier module.

Faites fonctionner le boîtier à cavité entraînée par le couvercle dans le conteneur en :

$ cd ldc
$ python ldc_2d.py

Comme ci-dessus simulationLa simulation, c'est expérimenter, tester des scénarios et créer... Autres est en cours d'exécution, nous pouvons extraire le conteneur Paraview GUI à des fins de visualisation.

Conteneur d'interface graphique ParaView

Ouvrez une nouvelle fenêtre de terminal et extrayez le conteneur Docker Paraview de NGC.

$ docker pull nvcr.io/nvidia-hpcvis/paraview:egl-py3-5.9.0
$ docker run --gpus all -p 8080:8080 -v ${PWD}:/ldc     
nvcr.io/nvidia-hpcvis/paraview:egl-py3-5.9.0         ./bin/pvpython 
share/paraview-5.9/web/visualizer/server/pvw-visualizer.py         --content 
share/paraview-5.9/web/visualizer/www/         --port 8080         --data /ldc

Ouvrez ParaView dans le navigateur Web DCV (comme Firefox Web) en https://localhost:8080/

Ensuite, vous pouvez ouvrir l'interface graphique et visualiser les fichiers de résultats.

Conclusion

Nous espérons que ce didacticiel vous a aidé à démarrer avec l'exécution de NGC Catalog sur Rescale. Comme vous pouvez le voir, vous pouvez extraire et exécuter tous les conteneurs disponibles sur le catalogue NGC avec plusieurs GPU via une tâche par lots de redimensionnement. Vous pouvez également exécuter et lancer des conteneurs de manière interactive sur une station de travail Rescale, pour développer du code, surveiller la formation et post-traiter les résultats avec plusieurs GPU. Notre plate-forme propose différentes architectures GPU parmi lesquelles choisir et tous les actifs dont vous avez besoin pour créer votre flux de travail d'IA. Pour plus d'informations, vous pouvez visiter le Page de documentation NVIDIA pour NGC ici.