演奏するとき クラウド上の HPC、一 ワークフロー タスク エンジニアと科学者 対処しなければならないのは、大量の データエンジニアが頻繁に尋ねる質問は、「自分にとって役立つデータは何か、それを機能的な形で提示するにはどうすればよいか」です。すべてのデータがクラウドに保存されている場合、データの生成から実際に使用できるようになるまでの時間を最小限に抑えることが重要です。ギガバイト単位のデータを単にダウンロードすることは、好ましい方法でも最も効率的な方法でもありません。

もちろん、アプリケーションによって目指す目標は異なります。エンジニアは、出力データをすべてローカルに保存してすぐにアクセスできるようにしたい場合があります。また、クラウドはプロジェクトのデータを保存する便利な方法であることがわかり、エンジニアはいつでも数か月前に実行したジョブのサブセットをダウンロードできます。ただし、HPC ジョブのターンアラウンド時間は重要です。データ集約型ジョブのターンアラウンド時間を最小限に抑える方法はいくつかあります。以下に、実際の方法をいくつか示します。 Rescale AI Physics 顧客はデータの処理方法を最適化することで時間を最小限に抑えます。

LS-DYNA プレ/ポスト
LS-DYNA ジョブは大規模なデータ出力を生成する可能性があります。 ジョブによってどのようなデータが生成されるかはユーザー次第です。 実行によってハードドライブに書き込まれる頻度と、書き込まれるデータはユーザーが設定できます。 ただし、平均的なエ​​ンジニアは、どのようなデータが必要になるかを 100% 確信しているわけではありませんが、最終的に何を使用するかについては十分に理解していると考えています。 このエンジニアは、できる限り多くのデータをバイナリ ファイルに保存することを決定し、Rescale の便利なラッパー スクリプトを使用して LS-DYNA ジョブを実行する方法を知っています。

ls-dyna -n -s ; -i -p

ただし、エンジニアは、Rescale の組み込みコマンドライン後処理オプションを使用し、「-d」フラグを使用して入力ファイルを XNUMX つの .db ファイルに後処理することで、ダウンロード帯域幅を節約しています。

ls-dyna -n 16 -s 4 -i big-model.k -p single -d create_postdb.inp

彼はおそらく必要となる情報 (変位、塑性ひずみ、フォンミーゼス応力、厚さ) を知っているため、create_postdb.inp ファイルは次のようになります。

d3plot Output.db state_on = 10、20、30、40、50、60、70、80、90、100 変位 Plastic_strain von_mises_stress 厚さ

エンジニアは、必要な情報がすべて含まれているoutput.dbをダウンロードするだけで済みます。 つまり、35 GB のデータの代わりに、単一の 1 GB ファイルをダウンロードしていることになります。 ファイルをダウンロードするのに XNUMX 時間半待つのではなく、必要なデータをすべてダウンロードするのにかかる時間はわずか数分に短縮されます。

クラスター上の後処理
別のエンジニアが実行中 コンバージCFD。 彼女の仕事はちょうど完了し、40 GB のデータが生成されました。 幸いなことに、彼女は Rescale 設定ページで ssh 認証情報を設定しました。

彼女は公開キー (Rescale がすべての Rescale ノードに設定したもの) を入力し、ノードがネットワークからのみアクセスできるように CIDR ルールを設定しました。 ジョブ ログには、クラスターへの接続方法が通知されています。

彼女は、ターミナルにコマンドをコピーして貼り付けるか、Windows で putty を使用することで、簡単にクラスターに ssh 接続できるようになりました。 ノードにログインすると、次のコマンドを実行するだけです。

post_convert

これにより、Converge CFD の便利な後処理ツールが起動し、選択したデータ セットを Tecplot、Ensight、またはその他のプロット可能な形式に変換できるようになります。 彼女は scp または sftp を使用して、これらの小さなプロット ファイルをローカル ハード ドライブにダウンロードできるようになりました。

すべてのデータのダウンロードについて「同期」したくない
最初のエンジニアは Rescale で多くのジョブを実行していますが、毎朝オフィスに来ると、多くのジョブが一晩で完了していることに気づきました。 幸いなことに、彼はすべての出力ファイルを手動でダウンロードする代わりに、Rescale の便利な Java ベースのコマンドライン ユーティリティを実行して、ジョブが終了するたびにファイルをハード ドライブにダウンロードしました。

Rescale から API キーをリクエストした後、彼は次の簡単なコマンドを使用して、職場のコンピューターからコマンド ライン ユーティリティを起動しました。

java -jar rescale.jar sync -p abcdef1234567890 -d 600

このコマンドは Rescale の API を使用して、新しく完了したジョブがあるかどうかを 10 分ごとにチェックします。 存在する場合、Rescale はファイルをローカル ドライブに自動的にダウンロードします。 コマンドライン ユーティリティは、出力データを効率的にダウンロードして復号化 (マルチスレッド) します。 そのため、エンジニアが眠っている間、彼の社内ネットワークは、彼が次の日をより生産的に過ごせるように、完了したすべてのジョブを職場のコンピュータにダウンロードする作業に熱心に取り組んでいました。

近日提供予定: GUI ベースの後処理
11 人目のエンジニアはすでに ssh 経由の XXNUMX 転送を使用して、クラウドで基本的な GUI ベースの後処理を実行できますが、パフォーマンスが向上すれば非常に便利になると考えています。 幸いなことに、Rescale は GUI ベースの後処理を実行するためのリモート デスクトップ ソリューションに積極的に取り組んでいるため、彼女は長く待つ必要はありません。

データを賢く扱う
クラウド内のデータに関して言えば、重要なのは、利用可能なツールを可能な限り効率的に使用することです。 LS-DYNA (NAIST) と コンバージCFD 使いやすいコマンドライン後処理ツールを提供するソフトウェアはこれだけではありません。Rescale で利用できる他の多くのツールも同様の機能を提供します。

「クラウドで何が行われ、ローカルで何が行われるのか?」という問題。 Rescale が既存のエンジニアリング プロセスにどのように最適に適合するかを判断することによってのみ答えが得られます。 すべてのデータをオンプレミスに置きながら、すべての後処理もオンプレミスで行うと便利な場合があります。 ただし、両方のエンジニアリング ケースで実証されているように、多くの場合、このエンジニアリング作業の多くをクラウドに移行できます。

このため、Rescale の目標は、データの処理の問題を可能な限り最小限に抑えるために必要なツールをすべて提供することです。