リスケール: データの課題を最小限に抑える
クラウドで HPC を実行する場合、エンジニアや科学者が対処しなければならないワークフロー タスクの XNUMX つは、大量のデータの処理です。 エンジニアがよく尋ねる質問は、「どのようなデータが私にとって有益でしょうか? それを機能的な形式でどのように表示できるでしょうか?」です。 すべてのデータをクラウドに保存する場合、データの生成から実際にデータを使用できるようになるまでの時間を最小限に抑えることが重要です。 単にギガバイトのデータをダウンロードすることは、推奨または最も効率的な方法ではありません。
もちろん、アプリケーションが異なれば、目指す目標も異なります。 エンジニアは、すべての出力データをローカルに保存してすぐにアクセスできるようにしたい場合があります。 また、クラウドはプロジェクトのデータを保存するのに便利な方法であることが判明し、エンジニアはいつでも数か月前に実行されたジョブのサブセットをダウンロードできます。 ただし、HPC ジョブの所要時間は非常に重要です。 データ集約型のジョブの所要時間を最小限に抑える方法がいくつかあります。 以下は、Rescale の顧客がデータの処理方法を最適化することで時間を最小限に抑える実際の方法をいくつか示しています。
LS-DYNA プレ/ポスト
LS-DYNA ジョブは大規模なデータ出力を生成する可能性があります。 ジョブによってどのようなデータが生成されるかはユーザー次第です。 実行によってハードドライブに書き込まれる頻度と、書き込まれるデータはユーザーが設定できます。 ただし、平均的なエンジニアは、どのようなデータが必要になるかを 100% 確信しているわけではありませんが、最終的に何を使用するかについては十分に理解していると考えています。 このエンジニアは、できる限り多くのデータをバイナリ ファイルに保存することを決定し、Rescale の便利なラッパー スクリプトを使用して LS-DYNA ジョブを実行する方法を知っています。
ls-dyna -n -s ; -i -p
ただし、エンジニアは、Rescale の組み込みコマンドライン後処理オプションを使用し、「-d」フラグを使用して入力ファイルを XNUMX つの .db ファイルに後処理することで、ダウンロード帯域幅を節約しています。
ls-dyna -n 16 -s 4 -i big-model.k -p single -d create_postdb.inp
彼はおそらく必要となる情報 (変位、塑性ひずみ、フォンミーゼス応力、厚さ) を知っているため、create_postdb.inp ファイルは次のようになります。
d3plot Output.db state_on = 10、20、30、40、50、60、70、80、90、100 変位 Plastic_strain von_mises_stress 厚さ
エンジニアは、必要な情報がすべて含まれているoutput.dbをダウンロードするだけで済みます。 つまり、35 GB のデータの代わりに、単一の 1 GB ファイルをダウンロードしていることになります。 ファイルをダウンロードするのに XNUMX 時間半待つのではなく、必要なデータをすべてダウンロードするのにかかる時間はわずか数分に短縮されます。
クラスター上の後処理
別のエンジニアが実行中 コンバージCFD。 彼女の仕事はちょうど完了し、40 GB のデータが生成されました。 幸いなことに、彼女は Rescale 設定ページで ssh 認証情報を設定しました。
彼女は公開キー (Rescale がすべての Rescale ノードに設定したもの) を入力し、ノードがネットワークからのみアクセスできるように CIDR ルールを設定しました。 ジョブ ログには、クラスターへの接続方法が通知されています。
彼女は、ターミナルにコマンドをコピーして貼り付けるか、Windows で putty を使用することで、簡単にクラスターに ssh 接続できるようになりました。 ノードにログインすると、次のコマンドを実行するだけです。
post_convert
これにより、Converge CFD の便利な後処理ツールが起動し、選択したデータ セットを Tecplot、Ensight、またはその他のプロット可能な形式に変換できるようになります。 彼女は scp または sftp を使用して、これらの小さなプロット ファイルをローカル ハード ドライブにダウンロードできるようになりました。
すべてのデータのダウンロードについて「同期」したくない
最初のエンジニアは Rescale で多くのジョブを実行していますが、毎朝オフィスに来ると、多くのジョブが一晩で完了していることに気づきました。 幸いなことに、彼はすべての出力ファイルを手動でダウンロードする代わりに、Rescale の便利な Java ベースのコマンドライン ユーティリティを実行して、ジョブが終了するたびにファイルをハード ドライブにダウンロードしました。
Rescale から API キーをリクエストした後、彼は次の簡単なコマンドを使用して、職場のコンピューターからコマンド ライン ユーティリティを起動しました。
java -jar rescale.jar sync -p abcdef1234567890 -d 600
このコマンドは Rescale の API を使用して、新しく完了したジョブがあるかどうかを 10 分ごとにチェックします。 存在する場合、Rescale はファイルをローカル ドライブに自動的にダウンロードします。 コマンドライン ユーティリティは、出力データを効率的にダウンロードして復号化 (マルチスレッド) します。 そのため、エンジニアが眠っている間、彼の社内ネットワークは、彼が次の日をより生産的に過ごせるように、完了したすべてのジョブを職場のコンピュータにダウンロードする作業に熱心に取り組んでいました。
近日提供予定: GUI ベースの後処理
11 人目のエンジニアはすでに ssh 経由の XXNUMX 転送を使用して、クラウドで基本的な GUI ベースの後処理を実行できますが、パフォーマンスが向上すれば非常に便利になると考えています。 幸いなことに、Rescale は GUI ベースの後処理を実行するためのリモート デスクトップ ソリューションに積極的に取り組んでいるため、彼女は長く待つ必要はありません。
データを賢く扱う
クラウド内のデータに関して言えば、肝心なのは、自由に使えるツールを可能な限り効率的に使用することです。 使いやすいコマンドライン後処理ツールを提供するソフトウェアは、LS-DYNA と Converge CFD だけではありません。 Rescale で利用できる他の多くのツールは、これと同じ機能を提供します。
「クラウドで何が行われ、ローカルで何が行われるのか?」という問題。 Rescale が既存のエンジニアリング プロセスにどのように最適に適合するかを判断することによってのみ答えが得られます。 すべてのデータをオンプレミスに置きながら、すべての後処理もオンプレミスで行うと便利な場合があります。 ただし、両方のエンジニアリング ケースで実証されているように、多くの場合、このエンジニアリング作業の多くをクラウドに移行できます。
このため、Rescale の目標は、データの処理の問題を可能な限り最小限に抑えるために必要なツールをすべて提供することです。
