Gestion des résultats de tâches

Dernière mise à jour: Décembre 1, 2022

Marché

Cette page vous montre comment gérer tous les fichiers de sortie générés à partir de vos tâches. Une gestion efficace de vos fichiers de sortie présente de nombreux avantages, notamment une taille de fichier réduite (et donc une vitesse de transfert), une gestion efficace des données et un accès facile aux fichiers sur Rescale Cloud Files.

Lors de l'exécution d'un travail sur Rescale, le répertoire de travail se trouve à l'emplacement $HOME/work/. C'est ici que le logiciel en cours d'exécution stocke tous ses fichiers de sortie, ainsi que le répertoire de travail de l'invite de ligne de commande à laquelle vous êtes exposé par défaut.

Une fois le travail terminé, la plateforme Rescale enregistre et transfère tout ce qui se trouve dans le répertoire de travail susmentionné vers Redimensionner les fichiersFonction de redimensionnement pour la gestion des données avec des regroupements de résultats... Autres. Il s'agit généralement de la dernière étape d'un travail et le temps nécessaire dépend de la taille totale du fichier et du nombre de fichiers.

Limitations du nom de fichier et du chemin de fichier

Les noms de fichiers, y compris les chemins d'accès aux fichiers (par exemple '/folder/sub-folder/example-file.txt), ont une limite de 200 octets, ce qui équivaut à 200 caractères en codage ASCII ou à 100 caractères en codage Unicode pour des langues telles que le japonais. ou coréen. Si le chemin et le nom d'un fichier dépassent cette limite, ce fichier ne peut pas être enregistré et une perte de données peut survenir. Veuillez vous assurer que tous les fichiers de sortie des tâches respectent cette limite.

Bonne pratique : supprimer les fichiers indésirables

Une façon de gérer efficacement vos fichiers consiste à supprimer les fichiers indésirables à la fin de votre travail. Vous pouvez le faire en ajoutant des commandes supplémentaires sous votre simulationLa simulation, c'est expérimenter, tester des scénarios et créer... Autres commander.

Vous pouvez aussi vous utilisez le caractère générique * pour faire correspondre n'importe quel caractère et supprimer plusieurs fichiers en une seule commande.

Un exemple de commande à inclure dans la page des paramètres de votre logiciel est présenté ci-dessous :

Prudence : Les fichiers supprimés ne peut pas être récupéré. De plus, les commandes de nettoyage pas être exécuté si le travail atteint son heure d'affichage.

Bonne pratique : utilisez des fichiers compressés pour accélérer les temps de transfert de fichiers

La compression de vos fichiers présente de nombreux avantages. Premièrement, cela réduit la taille et le nombre de fichiers, accélérant ainsi le processus de téléchargement. Ceci est particulièrement important lorsque vos fichiers de sortie devraient être très volumineux (> 10 Go).

Deuxièmement, la compression de votre répertoire de travail dans un seul dossier compressé permet de préserver la structure de vos répertoires. Si vous gérez vos fichiers sur Rescale Cloud Files, nous vous recommandons de stocker les fichiers zip si vous souhaitez conserver la structure des répertoires.

Rescale prend en charge les types de compression suivants :

• .zip
• .tar, .tar.gz, .tgz, .gz

Par exemple, si vous souhaitez archiver tous vos fichiers d3plot, vous pouvez utiliser une commande similaire à :

tar -czf archive.tar.gz *d3plot*

rm *d3plot

Filtres de fichiers de sortie

La fonctionnalité de filtres de fichiers de sortie facilite le téléchargement d'un sous-ensemble de vos fichiers de résultats de tâches en archivant séparément les fichiers correspondant à un filtre. Les filtres sur Rescale utilisent des expressions régulières (regex) pour faire correspondre et renvoyer une sortie.

Configuration des sélecteurs

Vous pouvez accéder à la Filtres bouton depuis n'importe où dans le Configuration du travail tant que votre travail n'a pas encore été soumis. Clique le Filtres bouton. Un Filtres d'archives de fichiers de sortie La fenêtre apparaîtra comme indiqué dans la figure ci-dessous :

Écrivez votre filtre dans le Sélecteur boîte et cliquez Ajouter pour appliquer le sélecteur. Le filtre appliqué sera affiché dans le Sélecteur(s) liste. Vous pouvez ajouter autant de filtres de fichiers que nécessaire. Pour plusieurs filtres, toutes les correspondances seront prises en compte et placées dans une seule archive. Si vous devez supprimer le sélecteur, cliquez sur le bouton X clé sous le Action colonne. Vous trouverez ci-dessous plusieurs exemples qui peuvent être utiles pour votre cas.

Exemple de filtres de fichiers partout pour tous les répertoires :

• **/**

Ce sélecteur va compresser tous les fichiers dans les répertoires de résultats

• **/velocity.jpeg

Ce sélecteur compressera tous les fichiers qui sont nommé exactement velocity.jpeg partout dans les répertoires de résultats

• **/*.out

Ce sélecteur compressera tous les fichiers qui se terminer par a .out l'extension de partout dans les répertoires de résultats

• **/residual*

Ce sélecteur compressera tous les fichiers qui commencer avec residual partout dans les répertoires de résultats

• **/*plot*

Ce sélecteur compressera tous les fichiers qui contenir la chaîne plot dans le nom du fichier partout dans les répertoires de résultats

Exemples de filtres de fichiers pour un répertoire spécifique :

• **.jpeg

Ce sélecteur compressera tous les fichiers qui se terminer par .jpeg extension dans le répertoire racine des résultats (niveau supérieur)

• Airfoil/**

Ce sélecteur compressera tous les fichiers du répertoire Airfoil

• Airfoil/*.out

Ce sélecteur compressera tous les fichiers du répertoire Airfoil qui se terminer par .out l'extension de

Recherche de sélecteurs zippés

Une fois votre travail terminé, rendez-vous dans Résultats page. Tous les filtres de fichiers de sortie seront archivés dans un fichier zip et nommés output-archive.zip. Ce fichier se trouve dans le répertoire racine (niveau supérieur) des fichiers de résultats, comme indiqué dans l'exemple d'image ci-dessous.

Prochaines étapes

Après avoir géré vos fichiers de résultats de travail, vous pouvez également utiliser des scripts de post-traitement pour exécuter des commandes de nettoyage et de post-traitement plus complexes. Ce script ne sera exécuté qu'une fois toutes vos commandes sur le Paramètres du logiciel la page a été exécutée. Vous pouvez utiliser cette fonctionnalité/script pour nettoyer le résultat de votre travail ou analyser les variables pour une visualisation facile sur le Résultats .

Vous pouvez en savoir plus sur l'utilisation de notre fonctionnalité de post-traitement ici.