クラウド ファイルシステム (CFS) の再スケール

注: CFSはベータ版です。アカウント担当者または [メール保護] CFS の使用に興味がある場合。

複雑なシミュレーションにおけるサイロ化されたデータセットの管理は、研究開発における一般的なボトルネックです。Rescaleのクラウドファイルシステム（CFS）は、高性能で集中化された永続的なストレージリポジトリを提供することで、この問題を解決します。これは、すべての重要なデータに対する唯一の真実のソースとして機能します。 (HPC) データの並列ファイル共有を強化し、一般的な ワークロード またはチーム固有のストレージ ソリューション。

CFS内のデータはファイルシステムベースの階層構造で保存され、直感的な情報整理とアクセスを実現します。Rescaleのジョブやワークステーションに直接接続するネットワークドライブのように機能することで、CFSはワークフローを効率化し、コラボレーションを強化し、ストレージコストの抑制に役立ちます。 すべてのユーザーが共有できるストレージリソース 組織内エンジニア、科学者、研究者が共通のファイル、ライブラリ、プロジェクトデータを一箇所で簡単に整理、管理、アクセスできるようにすることで、 全員が同じ情報を使って作業している.

主なメリットとユースケース

CFSは、データのアクセス性と管理性を向上させることで、研究開発サイクルを加速するように設計されています。安全で、共同作業が可能で、費用対効果の高い方法でデータを管理することを必要とする組織に最適です。 データ。

公式サイト限定

  • 簡素化されたデータ管理: すべてのファイルをプロジェクトごとに 1 か所に集中管理し、データ サイロを排除して重複コピーを削減します。
  • ワークフローの加速: 各ジョブの長時間かかるデータアップロードを回避し、高スループットストレージでワークロードを高速化します。CFSをマウントすれば、テラバイト単位のデータに瞬時にアクセスでき、シミュレーション間の移動が数時間ではなく数分で完了します。
  • コラボレーションの強化 ユーザーとRescale Projects間でシームレスかつ安全にデータを共有できます。全員が同じファイルリポジトリにアクセスするため、一貫性を保ち、チームワークを向上させることができます。
  • 費用 最適化: 重複ファイルを排除することでストレージ容量を削減します。データはファイルシステムストレージに保存され、アクティブに使用でき、 Rescale Files 長期保存用。
  • データの永続性: CFS に保存されたファイルは、削除するまで無期限に利用可能であり、複数のジョブや分析にわたるすべての重要なプロジェクト データの永続的な保存場所を提供します。

一般的な使用例

  • 大規模なマルチジョブシミュレーション: 一連の関連するシミュレーション（実験計画法やパラメータスイープなど）を実行するチームは、ベースライン入力ファイルをCFSに保存できます。これにより、各ジョブは再アップロードすることなく、これらのファイルに即座にアクセスできます。
  • 共同エンジニアリングプロジェクト: 自動車設計チームはCFSを使用して共通の CAD ファイル、 ライブラリ、シミュレーション結果など、世界中のエンジニアがこの中央リポジトリにアクセスして情報を追加できるため、全員が最新の設計イテレーションで作業できるようになります。
  • 後処理と 可視化: 大規模シミュレーションの実行中または実行後に、出力ファイルはCFSに直接保存されます。その後、ユーザーはRescaleを起動できます。 同じCFSを添付し、すぐに後処理や結果の視覚化を開始できます。 データ転送 遅延。

Functionality

CFSは強力でありながら直感的に操作できるように設計されています。その仕組みは以下のとおりです。 機能は動作します。

CFS マウントされたジョブとワークステーションのデータフロー

ジョブまたはワークステーションがCFSにマウントされると、ワークロードの実行中はCFSの高性能ファイルシステムの特性が活用されます。ユーザーはCFSから直接出力にアクセスできます。ジョブが完了すると、出力データは標準のRescale Filesストレージに書き込まれるため、長期的なアクセスが確保されます。同様に、ワークステーションにアタッチされたファイルやジョブも、CFSにアタッチされるとすぐにアクセスできるようになります。

クラウドファイルシステムにおけるデータフロー

直接ファイルのアップロード

シミュレーションファイルの管理効率を向上させるため、ファイルをクラウドファイルシステムに直接アップロードすることで、中間ステップを省くことができます。これによりデータ整理が効率化され、ワー​​クロードやプロジェクトでファイルをすぐに利用できるようになります。

ファイルを直接アップロードすると、一意の CFS ID を含む次のパスに配置されます。 /enc/{username}/storage_ext_{cfs_id}/users/{username}/library/file.

Rescale CLI または API を使用して、CFS にファイルを直接追加できます。

  • CLI コマンド: rescale-cli upload -p -f --copy-to-cfs詳しくは CLIドキュメント.
  • APIエンドポイント： https://{platform-url}/api/v3/folders/copy-to-device/詳しくは APIドキュメント.

データの保存と整理

各CFSは一意のIDで識別され、ジョブまたはワークステーションに直接マウントされます。マウントポイントは、IDに基づいた名前のディレクトリとして表示されます。例： storage_ext_{cfs_id}このディレクトリ内で、Rescaleは自動的にデータを構造化された階層に整理し、各ユーザーのジョブ専用のディレクトリ（users/{username}/）、共有ライブラリスペース（library/）、そして共有プロジェクトのための共同作業エリア（projects/）。Rescale プラットフォームはデフォルトでこの組織を作成し、データをクリーンかつ予測可能な構造に整理します。

ユーザーは、この構造の上に独自のサブフォルダーを作成して、データを論理的に整理することもできます。

  • マウントポイント: storage_ext_{cfs_id}
  • ユーザーが作成した構造の例 (マウント ポイント内):
    • {user_name}/library/common_inputs/
    • {user_name}/library/2025/january/file_01.dat/

ファイルとフォルダは、標準のコマンドラインツール（例： cp, mv, mkdir) または Rescale Workstation デスクトップ セッションのファイル エクスプローラーからアクセスできます。

ジョブとワークステーションへのCFSのマウント

CFSがプロビジョニングされ、ワークスペース用に構成されると、デフォルトでRescaleジョブまたはワークステーションに自動的にマウントされ、 入力 ページで見やすくするために変数を解析したりすることができます。

ジョブマウントクラウドファイルシステム

CFSをアンマウントするには、 X アクションボタン。

ジョブまたはワークステーションが起動すると、CFSは storage_ext_{cfs_id} ディレクトリです。このディレクトリはローカルディスクのように読み書きできます。

もしあなた 　 ジョブで CFS を自動マウントする場合は、以下の手順に従ってください。

方法自動マウントを無効にする方法自動マウントを有効にする方法（デフォルト）
UI入力ファイルページで CFS の選択を解除します。CFS が [入力ファイル] ページに表示されていることを確認します。
CLI設定された環境は次のとおりです: #RESCALE_AUTO_ATTACH_CLOUDFILESYSTEM=falseこれはデフォルトなので、リクエスト本文ではこれをスキップします。
OR
リクエスト本文には以下を含めます。 "autoAttachCloudfilesystem": true
APIリクエスト本文には以下を含めます。 "autoAttachCloudfilesystem": falseこれはデフォルトなので、リクエスト本文ではこれをスキップします。
OR
リクエスト本文には以下を含めます。 "autoAttachCloudfilesystem": true

データの分割と共有

デフォルトでは、データはユーザー固有のディレクトリに整理され、データ所有者には読み取り/書き込み権限が与えられます。ただし、CFS には追加のディレクトリが用意されており、データの共有や共同作業が可能になります。

共有データを管理する主な方法は、 プロジェクトの再スケールプロジェクトにジョブを割り当てると、RescaleプラットフォームはCFS内にそのプロジェクト専用のディレクトリを作成します（例： storage_ext_{cfs_id}/projects/Project_Name-{project_id}/ジョブのデータにアクセスできるようにするため、このプロジェクトフォルダ内にジョブの実際の作業ディレクトリ（例えば、 storage_ext_{cfs_id}/users/{username}/…).

この強力なメカニズムにより、プロジェクトメンバー全員が共有プロジェクトフォルダを介してジョブのファイルにアクセスできます。データが直接そこに保存されているかのように、重複コピーを作成することなくアクセスできます。これにより、すべての共同作業者が単一の信頼できる情報源に基づいて作業できるようになります。

同様に、ワークステーションがプロジェクトに割り当てられている場合、ユーザーは自分が属するすべてのプロジェクト ディレクトリにアクセスでき、ワークステーションから直接プロジェクト ファイルを読み書きできます。

使用状況の監視とアラート

クラウド ファイル システム (CFS) を利用するワークスペースの場合、ワークスペース管理者には、ユーザー レベルでストレージ消費量を追跡するための専用のダッシュボードがあります。

クラウドファイルシステム使用状況ダッシュボード
  • きめ細かな可視性: 管理者は、特定の各ユーザーが消費している CFS ストレージの量を正確に確認できます。
  • プロアクティブな管理: 使用率の高いユーザーを素早く特定して、クォータを管理したり、制限に達する前にクリーンアップを促したりします。

ストレージ容量の管理を支援するために、ファイルシステムが次のレベルに達すると、CFS使用状況アラートがワークスペース管理者に自動的に送信されます。 60% and 90% 総ストレージ使用率の。

データの削除

CFSに保存されたデータは 永続性つまり、ユーザーが明示的に削除するまで残ります。ファイルやフォルダの削除は、主に以下の2つの方法で行うことができます。

  1. ライブワークステーションから: CFSがマウントされているワークステーションを使用して、ファイルの操作と削除を行います。ファイルは、ワークステーションのグラフィカルインターフェースまたはターミナルコマンド（例： rm) を内蔵ターミナルまたは SSH 接続経由で実行します。
  2. （近日公開！） ジョブをアーカイブする場合: CFSがマウントされているジョブまたはワークステーションがアーカイブされると、CFS内のデータは削除されます。ジョブのアーカイブプロセスは、Rescale UI、CLI、またはAPIから開始できます。
ジョブがアーカイブされたときに CFS からファイルを削除する

⚠️ 注意： CFSからデータを削除すると、元に戻すことはできません。重要なデータを削除する前に、必ずバックアップを取ってください。

サポートされているファイルシステム: Lustre

Rescale CFSは、 Lustre ファイルシステム大規模システム向けに設計されたオープンソースの並列ファイルシステム クラスターコンピューティング 高性能コンピューティング (HPC) に必要です。

HPC における Lustre の利点

  • 高スループット： Lustre は非常に高いデータレートに対応できるように構築されているため、大量のデータを高速に読み書きする必要があるアプリケーションに最適です。これは、データアクセス速度が大きなボトルネックとなる可能性のある、I/O 集約型のシミュレーションにとって非常に重要です。
  • 拡張性: Lustreは、数千のクライアント、ペタバイト規模のストレージ、そして数百ギガバイト/秒のI/Oスループットまで拡張できるように設計されています。コンピューティングニーズの増大に合わせて、Lustreは拡張可能です。
  • パラレルI/O: Lustreは、複数のクライアントが同じファイルに同時に並列書き込みを行うことを可能にします。この機能は、多数のノードにまたがって実行される大規模なHPCジョブにとって不可欠です。データアクセスがシリアル化によるボトルネックとなるのを防ぎ、計算時間を大幅に短縮します。

その他のファイルシステム オプションについては、Rescale の担当者にお問い合わせください。

構成とオプション

  • ワークスペースの制限: Rescale ワークスペースごとにプロビジョニングできるクラウド ファイルシステムは 1 つだけです。
  • サイジング： CFSは固定のストレージ容量でプロビジョニングされます。ストレージ要件がプロビジョニングされたサイズを超える場合は、Rescaleの担当者にご連絡いただき、追加容量のオプションについてご相談ください。
  • オプションのバックアップ: データ保護を強化するために、CFSデータを2時間ごとにミラーリングするバックアップを有効にすることができます。これにより、万が一ファイルシステムに問題が発生した場合でも、ビジネスクリティカルなデータを復元するためのフォールバックオプションが提供されます。

よくある質問（FAQ）

1. CFS と Rescale Files の違いは何ですか?

Rescale Filesは、低パフォーマンスで拡張性の高いストレージをベースにデータを長期保存しますが、CFSは、独立して存在し、接続可能な高パフォーマンスで永続的な集中型ストレージスペースです。 どれか ジョブまたはワークステーションの数に制限がないため、複数の実行にわたって必要なファイルに最適です。

2. CFS ではどのようなパフォーマンスが期待できますか?

CFSはバルクデータアクセスとスループットに最適化されており、大規模な入力デッキの読み取りや結果ファイルの書き込みに最適です。HPC R&Dなど、I/O負荷の高い計算のための高性能な並列ファイルシステムを必要とするワークロードに最適化されています。また、一般的な用途においても優れたインタラクティブパフォーマンスを提供します。パフォーマンスティアの詳細については、Rescaleの担当者にお問い合わせください。

3. CFS に保存されるデータは安全ですか?

はい。CFS内のすべてのデータは、業界標準のAES-256を使用して転送中および保存時に暗号化されます。 暗号化アクセスは、Rescaleアカウントの安全な認証情報によって制御されます。CFSが設定されたユーザーのみがファイルシステムをマウントできるため、他のプラットフォームユーザーからのアクセスは防止されます。これにより、ワークスペースが分離され、信頼できるチームメンバーのみが各チームのCFSデータにアクセスできるようになるため、保護レイヤーがさらに強化されます。

×