基本ジョブの実行
2022年8月4日更新
概要
このトピックでは、Rescaleプラットフォームで基本的なジョブを実行する方法について説明します。
ジョブについて
ジョブは、Rescaleプラットフォームにおけるコンピューティングの基本単位であり、クラウド上でハイパフォーマンス・コンピューティング（HPC）ジョブを迅速にセットアップして実行することができます。
ジョブの設定には、実行するアプリケーションの設定、実行するハードウェアの種類の決定、実行時間の指定が必要です。また、オプションで入力ファイルの追加や、スクリプトによる後処理の設定、ジョブ終了後に不要なファイルをフィルタリングする設定も可能です。
ジョブを送信すると、Rescaleは選択したハードウェアを起動し、アプリケーションを実行し、終了後にすべてをクリーンアップします。その後、結果を確認し、分析することができます。
本シミュレーション例について
この例では、Emerald coretype上で動作するOpenFOAM simpleFOAMソルバーを使用しています。
これは非圧縮性乱流の定常ソルバーで、過渡解析のための妥当な初期条件を見つけるために使用することができます。この翼周りの定常流の2次元モデル例は、OpenFOAM Codeリポジトリにあるチュートリアルから直接引用したものです。
下のImport Job Setupボタンをクリックすると、必要な入力ファイルにアクセスし、ダウンロードすることができます。
お困りの方はRescale Supportにご連絡ください。
サインアップとログイン
アカウントをお持ちでない方は、Rescaleのアカウント登録が必要です。
無料トライアルに登録すると、プラットフォームサイトへのリンクが記載された認証メールが届きます。その後、Rescaleのサイトへログインしてください。
新しいジョブを開始するには、Jobs > Create New Jobを選択します。
このサンプルに必要な入力ファイルは、圧縮されたアーカイブairfoil2D.zipの中に入っています。
入力ファイル
基本的なジョブを実行するには、以下のハイライトされたフィールドを設定します。
- ジョブに名前を付けます。 ここでは、Basic Job:Airfoil2Dとします。(1)
- サンプルジョブファイルセットを追加します。このサンプルに必要な入力ファイルは、圧縮アーカイブairfoil2D.zipに含まれています。(2)
- ジョブタイプがBasicであることを確認します (3).
ベストプラクティス：ファイル転送時間を短縮するために圧縮ファイルを使用する
ご自身のジョブで作業される場合、入力ファイルを圧縮アーカイブ/ファイルとしてアップロードすることで、ジョブ用の入力ファイルのコレクションを一度にアップロードすることを検討されるとよいでしょう。利点は以下の通りです。
- ストレージの使用量削減
- アップロードの高速化
クラスタ起動時に圧縮アーカイブ/ファイルがジョブの入力ファイルとして含まれている場合、ジョブが実行される前にzipファイル内のファイルは自動的にジョブの作業ディレクトリに解凍されます。コマンドラインやスクリプトでzipアーカイブから展開されたファイルを参照する場合、ファイルへの相対パスに注意してください。
ZIPファイル自体はお客様のために保管され、お客様が選択された場合、後続のジョブの入力として再び使用することができます。対応する圧縮形式は以下の通りです。
- .zip
- .tar, .tar.gz, .tgz, .gz
入力ファイルの設定が完了すると、Input Filesの設定ページは以下の例のように表示されます。設定作業を続けるには、Nextをクリックします。
ソフトウェア設定
入力ファイルを添付した後、ジョブの実行に必要なソフトウェアを選択します。
検索フィールドにOpenFOAMと入力してOpenFOAMを選択し、OpenFOAMのアイコンをクリックします。
次に、選択した解析コードのバージョン番号を選択し（1）、シミュレーションの実行に使用するコマンドラインを定義するCommandテキストフィールドを指定します（2）。
この例では、OpenFOAM バージョン v1712+ (Intel MPI) を選択し、Command フィールドを以下のように編集する必要があります。
cd airfoil2D ./Allrun
Rescaleプラットフォームは、シミュレーションを開始する前に、圧縮アーカイブairfoil2D.zipに含まれる他のランタイムファイルとAllrunスクリプトを自動的に抽出します。
ソフトウェアの設定が終了したら、Nextを選択してハードウェアの設定に進みます。
既存のライセンスを利用する
一部のジョブを実行する際、選択したソフトウェアについて組織の既存のライセンスを使用したいと思うかもしれません。Rescaleでは、既に購入した従来のソフトウェア・ライセンス（既存のISVのライセンス）を、プラットフォーム上に配置された様々なシミュレーション・ツールと組み合わせて使用することができます。
初めてジョブを実行するときは、既存のライセンスに対する設定を入力する必要があります。同じソフトウェアを使用する後続のジョブでは、既存のライセンスがドロップダウンで表示されます。後で管理ページにログインして、これらのエントリを追加および編集することができます。
また、オプションでライセンス機能の使用状況を指定することもできます。これは、アプリケーションの実行に十分なライセンス利用可能性があるかどうかを判断するために使用されます。そうでない場合は、ライセンス機能が利用可能になるまでジョブがキューに入れられます。
ハードウェアの設定
ソフトウェアの設定を選択した後は、ジョブを実行するハードウェアの設定が必要です。
基本的なジョブの場合、編集するハードウェアの設定は、Coretype, Number of Cores, Walltimeの3つです。
この場合、Number of Cores (1) は 1、Walltime (2) は 1 Hrs、Coretype は Emerald を選択しています。RescaleにはOn-Demand EconomyとOn-Demand Priorityのコアタイプオプションがあります。これらのオプションの詳細については、こちらをご覧ください。
CoreやWalltimeの設定については、こちらで詳しく解説しています。
ベストプラクティス: Rescaleでは、一部のコアタイプでOn-Demand PriorityとOn-Demand Economy coreのコアタイプオプションを提供しており、ジョブサービスレベルと価格帯を選択することができます。これらのオプションの詳細については、こちらをご覧ください。
ハードウェアの設定が終了したら、Nextを選択して、後処理画面に進みます。
注：この基本的なジョブ例では、オプションのポスト処理ステップを省略していますが、ポスト処理についてはこちらで詳しく説明しています。Rescaleプラットフォームの後処理機能により、データをローカルマシンに転送することなく、Rescaleプラットフォーム上で直接、出力ファイルから選択したデータを抽出、処理、表示することができます。
Reviewに進むには、ポスト処理画面から再度Nextをクリックします。
レビュー
レビューのステップでは、提出前のジョブの概要が表示されます。
入力、ソフトウェア、ハードウェアの設定が終了したら、Submitを選択してジョブの実行を開始します。
ステータス
ジョブが送信されると、Rescaleはステータスパネルを表示し、新しいジョブの進行状況を確認することができます。
Statusページでは、Rescaleが管理するジョブのあらゆる側面を監視することができます。ジョブが実行されると、5つの段階を経て正常に完了します。キューイング、入力の検証、クラスタの起動、ジョブの実行、そしてクラスタの停止です。
これらのジョブステート中にエラーが発生した場合、実行後にチェックマークアイコンの代わりに赤いXが表示されます。これらのジョブステート中にエラーが発生した場合は、弊社までご連絡ください。
また、Statusページでは、出力ファイルの内容をリアルタイムで確認することができます。これは、ファイルのライブテーリングと呼ばれています。これは、ジョブの進行状況を監視するのに役立ちます。この場合、特に注目すべき出力ファイルは次の2つです。
process_output.logairfoil2D/log.simpleFoam
process_output.logファイルは、Rescaleジョブごとに作成され、コマンド実行時のすべての端末出力（Linuxで言うところのstdout）が格納されます。
log.simpleFoamファイルはOpenFOAMの計算に特化したファイルで、シミュレーションの進捗に関する情報が含まれています。ファイルをライブテールするには、表示したいファイル名、例えば、airfoil2D/log.simpleFoamなどをクリックします。ジョブの実行には数分しかかかりません。
ステータスの監視については、こちらで詳しく説明しています。
結果
ジョブが完了すると、ログファイル、図化ファイル、グラフなど、生成されたファイルのリストが表示されるResultsページが開きます。
このページから以下のことができます：
- Download Jobボタンを使って、すべてのファイルを.zipファイルにダウンロードします(1).
- 選択したファイルに対してアクションを実行するには、Actionsアイコン（2）を使用します。
- View – 1MB以下のファイルは、ブラウザで直接ご覧ください。1MBを超えるファイルは、Download Actionをご利用ください。
- Download – 選択したファイルをダウンロードする。
- Make selected files available as input files – ジョブ全体を再実行することなく、ジョブの特定の部分を再実行したり、End-to-End デスクトップでの後処理に使用することができます。
- Delete – 選択したファイルを削除する。
Rescaleプラットフォームでファイルをダウンロードし操作する方法の詳細については、データのダウンロードのトピックを参照してください。
また、ジョブ結果の管理については、こちらで詳しく解説しています。
次のステップ
おめでとうございます。あなたはRescaleプラットフォーム上で最初のサンプルジョブを実行しました。次のトピックでは、ジョブ結果の利用方法や更なる最適化について説明します。
- ジョブの共有とクローンの使い方
- 結果のポスト処理の使い方
- End-to-Endデスクトップを使い方、解析結果の処理やダウンロード時間の省略。
- ジョブコメントの使い方、他のチームメンバーと協力するために仕ジョブコメントを残す方法