Verwalten von Jobergebnissen

Zuletzt aktualisiert: December 1, 2022

Übersicht

Auf dieser Seite erfahren Sie, wie Sie alle generierten Ausgabedateien Ihrer Aufträge verwalten. Die effektive Verwaltung Ihrer Ausgabedateien bietet zahlreiche Vorteile, darunter eine geringere Dateigröße (und damit eine geringere Übertragungsgeschwindigkeit), eine effektive Datenverwaltung und einen einfachen Zugriff auf Dateien in Rescale Cloud Files.

Beim Ausführen eines Jobs auf Rescale befindet sich das Arbeitsverzeichnis unter $HOME/work/. Hier speichert die laufende Software alle ihre Ausgabedateien sowie das Arbeitsverzeichnis der Eingabeaufforderung, die Ihnen standardmäßig angezeigt wird.

Sobald der Job abgeschlossen ist, speichert und überträgt die Rescale-Plattform alles, was sich im oben genannten Arbeitsverzeichnis befindet, an Dateien neu skalierenSkalierungsfunktion für die Datenverwaltung mit Ergebnisgruppierungen ... MehrDies ist normalerweise der letzte Schritt in einem Auftrag und die dafür benötigte Zeit hängt von der Gesamtdateigröße und der Anzahl der Dateien ab.

Einschränkungen für Dateinamen und Dateipfade

Dateinamen, einschließlich Dateipfade (z. B. „/Ordner/Unterordner/Beispieldatei.txt“), sind auf 200 Byte begrenzt. Dies entspricht 200 Zeichen in ASCII-Kodierung oder 100 Zeichen in Unicode-Kodierung für Sprachen wie Japanisch oder Koreanisch. Wenn Pfad und Name einer Datei diese Begrenzung überschreiten, kann die Datei nicht gespeichert werden, und es kann zu Datenverlust kommen. Stellen Sie sicher, dass alle Job-Ausgabedateien diese Begrenzung einhalten.

Best Practice: Entfernen unerwünschter Dateien

Eine Möglichkeit, Ihre Dateien effektiv zu verwalten, besteht darin, unerwünschte Dateien am Ende Ihres Jobs zu entfernen. Sie können dies tun, indem Sie zusätzliche Befehle unter Ihrem SimulationSimulation ist Experimentieren, Testen von Szenarien und Erstellen von … Mehr Befehl.

Du kannst auch Verwenden Sie das Platzhalterzeichen *, um ein beliebiges Zeichen zu finden und mehrere Dateien mit einem Befehl zu löschen.

Nachfolgend sehen Sie einen Beispielbefehl, den Sie in Ihre Software-Einstellungsseite einfügen können:

Vorsicht: Gelöschte Dateien kann keine wiederhergestellt werden. Zusätzlich werden Bereinigungsbefehle kein Frontalunterricht. ausgeführt werden, wenn der Job seine Walltime erreicht.

Best Practice: Verwenden Sie komprimierte Dateien, um die Dateiübertragungszeiten zu beschleunigen

Das Komprimieren Ihrer Dateien bietet zahlreiche Vorteile. Erstens verringert es die Dateigröße und die Anzahl der Dateien und beschleunigt so den Upload- und Download-Prozess. Dies ist besonders wichtig, wenn Ihre Ausgabedateien voraussichtlich sehr groß sein werden (> 10 GB).

Zweitens hilft das Komprimieren Ihres Arbeitsverzeichnisses in einen einzigen komprimierten Ordner dabei, Ihre Verzeichnisstruktur beizubehalten. Wenn Sie Ihre Dateien in Rescale Cloud Files verwalten, empfehlen wir Ihnen, ZIP-Dateien zu speichern, wenn Sie die Verzeichnisstruktur beibehalten möchten.

Rescale unterstützt die folgenden Komprimierungstypen:

• .zip
• .tar, .tar.gz, .tgz, .gz

Wenn Sie beispielsweise alle Ihre d3plot-Dateien archivieren möchten, können Sie einen Befehl ähnlich dem folgenden verwenden:

tar -czf archive.tar.gz *d3plot*

rm *d3plot

Ausgabedateifilter

Die Funktion „Ausgabedateifilter“ vereinfacht das Herunterladen einer Teilmenge Ihrer Jobergebnisdateien, indem Dateien, die einem Filter entsprechen, separat archiviert werden. Filter in Rescale verwenden reguläre Ausdrücke (Regex), um eine Ausgabe abzugleichen und zurückzugeben.

Selektor(en) einrichten

Sie können auf die Filter Schaltfläche von überall im Job-Setup solange Ihr Auftrag noch nicht übermittelt wurde. Klicken Sie auf das Filter Taste. Ein Ausgabedatei-Archivfilter Das Fenster wird wie in der folgenden Abbildung angezeigt:

Schreiben Sie Ihren Filter in die Wähler Box und klicken Sie auf Speichern , um den Selektor anzuwenden. Der angewendete Filter wird im Selektor(en) Liste. Sie können beliebig viele Dateifilter hinzufügen. Bei mehreren Filtern werden alle Treffer in einem einzigen Archiv abgelegt. Wenn Sie den Selektor entfernen möchten, klicken Sie auf das X Schlüssel unter dem Action Spalte. Nachfolgend finden Sie einige Beispiele, die für Ihren Fall nützlich sein können.

Beispieldateifilter überall für alle Verzeichnisse:

• **/**

Dieser Selektor wird zippen alle Dateien in den Ergebnisverzeichnissen

• **/velocity.jpeg

Dieser Selektor komprimiert alle Dateien, die genau benannt velocity.jpeg überall in den Ergebnisverzeichnissen

• **/*.out

Dieser Selektor komprimiert alle Dateien, die ende mit a .out Erweiterung überall in den Ergebnisverzeichnissen

• **/residual*

Dieser Selektor komprimiert alle Dateien, die anfangen mit residual überall in den Ergebnisverzeichnissen

• **/*plot*

Dieser Selektor komprimiert alle Dateien, die enthalten die Zeichenfolge plot im Dateinamen überall in den Ergebnisverzeichnissen

Beispieldateifilter für ein bestimmtes Verzeichnis:

• **.jpeg

Dieser Selektor komprimiert alle Dateien, die ende mit .jpeg Erweiterung im Stammverzeichnis (oberste Ebene) der Ergebnisse

• Airfoil/**

Dieser Selektor komprimiert alle Dateien im Airfoil-Verzeichnis

• Airfoil/*.out

Dieser Selektor komprimiert alle Dateien im Airfoil-Verzeichnis, die ende mit .out Erweiterung

Gezippte Selektor(en) suchen

Sobald Ihr Auftrag abgeschlossen ist, gehen Sie zu Ergebnisse Seite. Alle Ausgabedateifilter werden in einer ZIP-Datei archiviert und benannt output-archive.zip. Diese Datei befindet sich im Stammverzeichnis (oberste Ebene) der Ergebnisdateien, wie im Beispielbild unten gezeigt.

Nächste Schritte

Nach der Verwaltung Ihrer Job-Ergebnisdateien können Sie auch Nachbearbeitungsskripte verwenden, um komplexere Bereinigungs- und Nachbearbeitungsbefehle auszuführen. Dieses Skript wird erst ausgeführt, wenn alle Ihre Befehle auf dem Softwareeinstellungen Seite ausgeführt wurden. Sie können diese Funktion/Skript verwenden, um Ihre Job-Ausgabe zu bereinigen oder Variablen für eine einfache Anzeige auf der Ergebnisse

Weitere Informationen zur Verwendung unserer Nachbearbeitungsfunktion finden Sie hier werden auf dieser Seite erläutert.