複数ジョブ実行時の時間と経費を節約する新機能：Persistent Clusters (永続クラスター)
RescaleのRahul Vergheseが、2017年1月19日に記載したBlog記事の翻訳です。
元記事はIntroducing Persistent Clusters: a New Feature to Save Time & Money with Multiple Jobsをご覧ください。
Rescaleは、最新のデプロイメントで新機能のPersistent Clusters （以下、「永続クラスター」：マニュアルで起動/削除可能なクラスター）をリリースしました。この機能を有効にすることで、複数のインスタンスを起動してクラスタを構築し、シャットダウン（訳注：Rescaleシステムではシャットダウン後インスタンスは削除されます）することなく、Rescaleワークフロー（Web UI）を使用して複数のジョブを順番に同じクラスターへ投入できます。以前は、各ジョブ毎にクラスターが稼働し、ジョブの完了後は自動的にシャットダウンされるため、複数の小さなジョブを実行すると遅延が発生する可能性がありました。この新しい機能により、繰り返し処理の高速化が可能になります。これは、テストや同じハードウェア構成を必要とする複数のジョブに特に便利です。
時間とお金を節約
一般に、各クラスターがスピンアップしてシャットダウンするまでには数分かかります。永続的クラスターを有効にしておくと、クラスターに追加する各ジョブの時間とコストを節約できます。
なぜ？
標準のクラスターは、ジョブが完了すると自動的にシャットダウンし、後続のジョブも同じように起動してシャットダウンするため、別々のクラスターとしてそれぞれ課金されます。（訳注：通常、たとえ10分の計算であっても1時間分の課金となるため、10分で完了する連続する2つのジョブを実行した場合、2時間分が課金されます）一方で、永続クラスターを使用すると、クラスターはすぐに次のジョブの実行に使用できるようになるため、ジョブ間で別のクラスターをシャットダウンして起動させる時間を無駄にしません。それによって、同様のジョブを多数立ち上げるユーザーにとって、時間とコストを大幅に節約することになります。（訳注：上記の例だとちょうど10分の計算を待ち時間なく2つ連続的に実施できることになり、1時間分の課金で収まることになります。）
永続的クラスターは、設定した新しいスクリプトをテストしたり、シミュレーションの問題点をデバッグするなどのテスト環境でも役に立ちます。通常、ソフトウェアを終了させるエラーによってジョブが完了したとマークされ、クラスターの早期のシャットダウンが発生します。ただし、永続的クラスターでは、引き続き同じクラスターにジョブを投入して、コードを変更して繰り返し処理することができます。
永続的クラスターの有益な副産物は、ジョブをキューに入れる機能です。同じクラスターに複数のジョブをサブミットすることで、ユーザーはそれらを「キュー」することができます。Rescaleバックエンドは、クラスターが解放されるとサブミットされた順序でジョブを実行します。これは、当社の一部のお客様にとって有用なワークフローになる可能性があります。
いくつかのヒント
- 最初にすべてのソフトウェアをアタッチしておく：付随のソフトウェアはクラスターが初期化されたときにVMにインストールされるため、起動後は永続的クラスターのソフトウェア構成を変更することはできません。他にもソフトウェアを実行する必要がある場合は、最初にクラスターを起動するときに必要な各ソフトウェアをすべてインストールしておくことをお勧めします。ソフトウェアはプログラムの実行時にのみライセンスをチェックアウトするため、クラスターがアイドル状態のときではなく、ソフトウェア実行時に課金されます。
- 必要な最大コア数でクラスターを起動する：必要な最大コア数で永続的クラスターを起動することをお勧めします。ジョブごとにコア数を変えたい場合は、特定のジョブに使用されるコア数を制限するコマンドラインフラグ（「RESOUCES (https://support.rescale.com/)」の「Software Example / FAQ」セクションを参照）を使用できます。ただし、コアが使用されているかどうかにかかわらず、クラスター全体に対してユーザーへ課金されることに注意してください。今後、クラスターのリアルタイム拡張と縮小機能を追加する予定があります。Rescaleプラットフォームで今後のアップデートをご参照ください！
- クラスターをシャットダウンすることを忘れないように：最後に、処理が完了したら永続的クラスターを手動で終了することを忘れないでください。クラスターがアイドル状態であっても、クラスターがシャットダウンするまで料金が請求されます。
