Rescale におけるディープラーニング

ディープラーニングは機械学習のサブ分野であり、多数のパラメーターを持つ予測モデルに焦点を当てており、通常は階層化された計算グラフとして構成されます。 急速に好まれてきています 多くの特徴を持つサンプルを含む大規模なデータセットに最適です。

Rescale は GPU ベースを提供します (HPC) クラウドで深層学習モデルをトレーニングするためのノードとクラスター。 Rescale は、モデルのバッチ トレーニングと、Rescale Desktop を介したインタラクティブなデータ分析をサポートしています。 低コストの前世代の K80 から NVLink を備えた最新のマルチ GPU P100 まで、幅広い GPU 構成が利用可能 相互接続。 クラスターは、最も一般的な深層学習フレームワークから選択して事前構成できます。

このページでは、XNUMX つの異なるアプリケーションに対するさまざまな Rescale ジョブの例を紹介します。 クリックしてください Import Job Setup ボタンをクリックしてサンプル ジョブのクローンをアカウントに作成し、送信できるようにします。 クリックしてください Get Job Results ボタンをクリックして、完全なセットアップと完成した例の結果を確認します。

設定および送信方法の詳細については、 基本的なジョブ、チュートリアルを参照してください ここから.

セットアップと起動方法の詳細については、 デスクトップセッション、チュートリアルを参照してください ここから.

サポートされているフレームワークとアプリケーション

ケラス は、上に構築された高レベルのニューラル ネットワーク Python フレームワークです。 TensorFlow, CNTKテアノ。 特に畳み込みニューラル ネットワークおよびリカレント ニューラル ネットワーク向けの高次プリミティブをサポートします。

これは、古典的な分類モデルをトレーニングする例です。 MNIST 手書き数字データセット。 この入力トレーニング スクリプトを使用して、単純な多層パーセプトロン モデルをトレーニングします。

パイトーチ の Python ポートです。 トーチ 深層学習フレームワーク。 PyTorch は、動的ニューラル ネットワークの構築と強化学習の実行に対する優れたサポートで知られています。

超解像度の例

最初の例は、トレーニングし、モデルを使用して実行します。 「超解像」 ノイズを最小限に抑えながら画像を拡大します。

元の画像

超解像度画像
スケーリングされた超解像度画像

LSTM DOE の例

これまでの例では、モデルを構築するユーザーが選択した一連のパラメーターを使用して、タスク用の単一モデルをトレーニングすることに焦点を当ててきました。 ここでの例は次のようになります。   これは、XNUMX つ以上のパラメーターの感度分析です。 を使用した例を次に示します。 DOE フレームワークを再スケールする モデルを定義するハイパーパラメータをランダムにサンプリングして、多くのモデルを構築します。 このケースでは、単語レベルの処理を実行する LSTM モデルを構築します。 モデリング.

この場合、次の LSTM モデル パラメーターのモンテカルロ サンプリングを実行しています。


LSTM DOE 並列設定

また, embed _size や n_hidden パラメータは、ネットワーク内のノードの数に影響します。 の dropout パラメーターは、入力データへのオーバーフィッティングを制御するために使用されます。 ついに、 batch_size は、一度に XNUMX つずつトレーニングするサンプルの数を決定します。

LSTM DOE チャートの結果