Rescale のコンピューティング レコメンデーション エンジン: フルスタック コンピューティングのための AI 主導のインテリジェンス

最先端 AIエンジニアリング そして研究は、物理世界のデジタル探索を推進するために、コンピューティング能力への依存度を高めています。 ゲノミクスから空気力学に至るまで、エンジニアや科学者は洗練された技術を使用しています。 シミュレーション、ジェネレーティブ デザイン、機械学習、および デジタル双子 デザインを開発するために。

今日、このコンピューティング能力を活用するには、ますます豊かで複雑になる専門化されたドメイン固有のコンピューティング アーキテクチャの世界をナビゲートする必要があります。 インフラ 構成により、問題を XNUMX 倍速く解決したり、コストやエネルギーを XNUMX 分の XNUMX に抑えたりすることができます。  

この課題に対処するために、Rescale は Compute Recommendation Engine (CRE) と呼ぶ新しいテクノロジーを開発しました。 Rescale の CRE は、AI を適用してあらゆるワークロードに最適なコンピューティング スタックを見つけ、当社が自由に使えるマルチクラウド インフラストラクチャを最大限に活用して、エンジニアリングおよび科学コンピューティングの次の時代を推進します。

Rescale の CRE の推奨事項に従って、当社のお客様は、主要なベンチマークでシミュレーション速度が 200 パーセント以上高速化され、コストが 60 パーセント以上削減される改善を確認しています。

特化されたドメイン固有のコンピューティング アーキテクチャの台頭

何十年もの間、計算能力は一貫してムーアの法則に従ってきました。ムーアの法則は、チップメーカーが集積回路にさらに多くのトランジスタを詰め込むにつれて、コンピュータの処理能力が約 XNUMX 年ごとに XNUMX 倍になると規定しています。 しかし、プロセッサーを現在以上に高密度に実装することはできないため、この傾向は物理的な限界に達しつつあります。  

ムーアの法則のこの終焉は、シミュレーションのような計算集約型のソフトウェアは、コストとエネルギー消費が不当に増加することなく、同じ割合でパフォーマンス向上の恩恵を受けることができなくなることを意味します。

このボトルネックにより、特定のワークロードを実行するために最適化されたドメイン固有のアーキテクチャ、つまりアクセラレーション コンピューティングの機会が生まれました。 NVIDIA のような企業は、グラフィックス処理や機械学習などの GPU 高速化ワークロードに関して、ムーアの法則を上回るパフォーマンスの向上を実証することができました。

さらに、Amazon AWS、Microsoft Azure、Google Cloud などのクラウド プロバイダーは独自のチップを構築しており、Arm ベースの IP はこの分野の新興企業や新規参入者向けのチップ設計を民主化しています。

私たちは現在、コンピューティング アーキテクチャのカンブリア紀の爆発の真っ只中にいます。 特殊なプロセッサとハードウェア アーキテクチャ構成の数のペースは劇的に増加しています。 2022 年だけでも、約 400 の新しいハードウェア オプションがクラウド サービス プロバイダーによって導入されました。 現在、組織は 1,500 を超える独自のアーキテクチャから選択できます。 

特殊なコンピューティング アーキテクチャにおけるこれらの選択により、これらの機能を組み込んだワークロードのパフォーマンスが大幅に向上し、過去 1,000 年間で 10 倍のパフォーマンス向上が実現しました。

コンピューティング レコメンデーション エンジンの必要性

ドメイン固有のアーキテクチャによって可能になる利益を得るには、各ワークロードを最適なコンピューティング アーキテクチャ構成と照合する必要があります。 Rescale は XNUMX 年以上かけて専門知識を構築し、組織が研究開発の取り組みを強化するハードウェア アーキテクチャ、オペレーティング システム、ソフトウェア、ストレージ、ネットワーキング テクノロジに関して正しい選択を行えるよう支援してきました。  

組織は、最適なコンピューティング スタックを提供するために、数百のコンピューティング アーキテクチャと、ストレージ、ネットワーキング、ミドルウェア、アプリケーション、モデルの追加の構成を 50 万以上の可能な組み合わせから選択する必要があります。

いくつかの進化を経て、私たちは現在、クラウド コンピューティングの出現以来、フルスタック コンピューティングにおける最も重要なブレークスルーの XNUMX つであると考えられる、AI ベースのコンピューティング レコメンデーション エンジンを開発しました。

Rescale のアプローチは、実際の顧客のワークロードにおける使用パターンとハードウェア パフォーマンスからの豊富な独自のテレメトリと、エンジニアリングおよび科学コンピューティング ハードウェア向けのインテリジェンス、ツール、および自動化の強力なコレクションを利用することで、データ駆動型の自動化を開発することでした。 ソフトウェア、ネットワーク、ストレージ。 

Rescale Compute Recommendation Engine の仕組み

その中核となる Compute Recommendation Engine は、特定のワークロードを実行するために使用する必要がある、可能な限り最適なインフラストラクチャ コンピューティング アーキテクチャとスケールを特定します。 この推奨事項は、ユーザーがバッチ ジョブを実行しようとしているときに実装することも、一連のベンチマークとして実行することもできます。 パフォーマンスプロファイル例えば。

このインテリジェンスを開発するために、Rescale は過去のベンチマークの広範なデータベース、強化されたメタデータ メトリクス、および詳細なインフラストラクチャ パフォーマンスの時系列テレメトリ データを活用しました。 次に、を使用して、 リカレントニューラルネットワーク ワークロードに対して最適なパフォーマンスを発揮するハードウェアのタイプを推測するのに役立つ一連のタグを出力することができました。

Rescale の CRE は、数百万のメタデータ ポイントからなるこの豊富な最新のデータセットを使用して、特定の種類のワークロードを実行するためにパフォーマンスとコストのバランスを取るというユーザーのニーズを満たす最適なハードウェアに関する AI 主導の推奨事項を提供します。 CRE は、AI 主導のフィルタリングとスコアリングのプロセスを通じて、特定のアプリケーションとコンピューティング タスクに対してどのチップとアーキテクチャが最も効果的かを評価します。 これにより、ほぼ瞬時の予測ベンチマークと AI を活用した推奨事項が提供され、組織が特定のニーズに適した HPC アーキテクチャを簡単に選択できるようになります。

コンピューティング レコメンデーション エンジンのパフォーマンスを再スケールする

CRE は、内部テストと検証を通じて、特定の計算タスクに最適なチップとフルスタック構成を 95% 以上正確に特定し、最も効率的なスケーリングとコストを保証することが証明されています。 レコメンダー システムを利用して、HPC アーキテクチャ全体における主要なボトルネック (ネットワーク メッセージ パッシング、ストレージ、メモリ パフォーマンスなど) をデータ駆動型かつ自動化された方法で特定することもできます。 追加の利点として、レコメンダー システムからのこのフィードバックは、パフォーマンスを向上させるためにコード アーキテクチャを改善する可能性があるアプリケーション開発者への重要なフィードバックとして使用できます。

CRE の推奨に従って、当社のお客様は、主要なベンチマークでシミュレーション速度が 200 パーセント以上高速化され、コストが 60 パーセント以上削減される改善を確認しています。 これらのメリットをすぐに実感できるだけでなく、CRE を活用することで、新しいテクノロジーやスタックの最適化が可能になるにつれて、顧客は常に最適な推奨事項を最新の状態に保つことができます。  

CRE は、顧客が実行したいアプリケーションとワークフローからのその他のメタデータに基づいて、最初のチップ アーキテクチャの推奨事項を提供します。 次に、実行時のジョブのパフォーマンスに基づいて、CRE はこのメタデータ セットでトレーニングし、推奨事項を微調整します。 重要なことは、CRE が継続的に雇用を監視し、追加の推奨事項を提供し、新しいチップ アーキテクチャがいつ利用可能になるかを知るために継続的に市場を監視することです。

この推奨事項は、ワークロードのパフォーマンスを最適化する方法についてさまざまな方法でガイダンスを提供します。 たとえば、ジョブのメタデータ メトリックがジョブのスケーリングが非効率であることを示しているため、使用するコンピューター コアの数を減らすことが推奨される場合があります。 メッセージ パッシング メタデータがネットワークのボトルネックを示している場合は、相互接続の遅延が短い代替ハードウェア アーキテクチャが推奨される場合があります。

Rescale Compute Recommendation Engine の使用 

CRE テクノロジーのインテリジェンスは、現在、AI 推奨ハードウェア アーキテクチャを通じて、Rescale のすべての顧客に提供されています。 コンピューティングオプティマイザー 機能と埋め込まれた推奨事項が提供される予定です パフォーマンスプロファイル お早めに。

Compute Optimizer はベンチマークの必要性を排除し、ワークロードの推奨事項を自動的に動的に更新し続けるため、生産性、コスト、時間の大幅なメリットが得られます。 これらの自動推奨事項は、Rescale プラットフォーム上のすべてのユーザーがいつでも利用できます。

パフォーマンス プロファイル ダッシュボードで数回クリックするだけで、ユーザーは独自のコンピューティング ワークロードを使用して、任意のチップ アーキテクチャのパフォーマンスをベンチマークできます。 パフォーマンス プロファイルを使用すると、特定のワークロードに合わせてカスタマイズされた HPC アーキテクチャの詳細なコスト、パフォーマンス、エネルギー消費を簡単に評価できます。

パフォーマンス プロファイルとコンピューティング オプティマイザーは、CRE の要素によって組織がエンジニアリングおよび科学コンピューティング リソースの管理をいかに容易にするかを示す XNUMX つの例にすぎません。

時間の経過とともに、より豊富なデータ分析と推奨プロセスの自動化を強化することで、CRE 機能を継続的に改善していきます。 たとえば、CRE を使用すると、数か月にわたる履歴データにわたる監査を即座に実施し、改善の機会を測定できます。 あるいは、（過去の傾向に基づいて）テクノロジー曲線の改善を予測し、将来のインフラストラクチャ計画の選択をガイドするために使用することもできます。

CRE に通知するメタデータは、新しいハードウェア アーキテクチャ、ソフトウェア アプリケーション、ミドルウェア構成、ワークロードのユースケースが追加され、プラットフォーム上で実行されると動的に更新されます。 エネルギー使用、二酸化炭素排出量、その他の持続可能性指標に関連するメタデータなどの新しい形式のデータを追加して、組織がより包括的なコンピューティング アーキテクチャの決定を行うのに役立ちます。

アクセラレーテッド コンピューティングはエンジニアリングと科学のブレークスルーを促進します

Rescale の Compute Recommendation Engine は、コンピューティング スタックの最適化がデジタル R&D に重大な影響を与えるという認識から生まれました。 特殊な半導体の急激な成長とコンピューティングの選択肢の加速により、組織はクラウドベースのエンジニアリングと科学コンピューティングから前例のない継続的な利益を得ることができます。

Rescale は、お客様に最高のコンピューティング機能を提供し、エンジニアリングおよびサイエンス チームが未来の発明を支援できるよう、プラットフォームのインテリジェンスを進化させることに取り組んでいます。