Conda パッケージ管理

舞台裏では、多くの機械学習アルゴリズムは信じられないほど並列化可能であり、 GPUGPU (グラフィックス プロセッシング ユニット) は、特殊な電子プロセッサです。 その他 これらの並列ワークロードを非常にうまく処理できるため、よく使用されます。 GPU も魅力的で、論理的には XNUMX つの GPU を使用するよりも XNUMX つの GPU を使用する方が簡単です。 (HPC)高度なアプリケーションを実行するための並列処理の使用 その他 数百のコアを持つクラスター。 しかし、Rescaleを使用するとリソースの制約がなくなり、CPUの並列化も可能になります。 これは、一般に CPU 並列化がより良い選択肢であることを示唆しているわけではありません。GPU が多くの場合良い選択肢であることは確かですが、何が可能であるかを知っておくことは役に立ちます。 には多くの機能があります scikit-learn CPU 並列化のサポートが組み込まれているツール セット。 これにより、並列環境が正しく構成されていれば、これらのモデルのスケールアウトが非常に簡単になります。 幸いなことに、上記で概説した手順に従った場合は、数行のコードをうまく挿入し、必要なだけ大きな Rescale クラスターでこれらのモデルの実行を開始できるはずです。 これは次のようになります。

... rc = Client() bview = rc.load_balance_view() register_Parallel_backend('ipyParallel', ラムダ: IPythonParallelBackend(view=bview)) withParallel_backend('ipyParallel'): search.fit(digits.data, Digits.target) ...

サポート ベクター分類 (SVC) アルゴリズムを古典的な MNIST の例に適用した例。計算集約的な部分の大部分は、 ipcluster 以下に示します。

from sklearn.externals.joblib import Parallel, parallel_backend, register_parallel_backend
from sklearn.model_selection import RandomizedSearchCV
from sklearn.datasets import load_digits
from sklearn.svm import SVC
import numpy as np
from ipyparallel import Client
from ipyparallel.joblib import IPythonParallelBackend 

digits = load_digits() 

rc = Client()
bview = rc.load_balanced_view()
register_parallel_backend('ipyparallel', lambda: IPythonParallelBackend(view=bview)) 
param_space = {     
'C': np.logspace(-6, 6, 300),     
'gamma': np.logspace(-8, 8, 300),     
'tol': np.logspace(-4, -1, 300),     
'class_weight': [None, 'balanced'], 
} 

model = SVC(kernel='rbf')
search = RandomizedSearchCV(model, param_space, cv=10, n_iter=1000, verbose=1, n_jobs=-1)

with parallel_backend('ipyparallel'):    
search.fit(digits.data, digits.target)  
  
rc.shutdown()

この問題の場合、フィット時間は、使用される CPU の数に応じて信じられないほどよく調整されます。 ipcluster 複数のノードにまたがる場合でも。

コア数	フィットするまでの時間
4コア	27.4分
9コア	11.7分
18コア	6.0分
36コア*	3.1分

*複数のノードで実行

スクリプトを作成することをお勧めします ipcluster セットアッププロセスを実行してから、Python スクリプトを個別に呼び出します。 以下にリンクされているジョブの例には、プロセス全体がスクリプト化されている例が含まれています。

---

---

mpi4py を使用して初歩的な MPI 呼び出しを Python スクリプトに追加する

Rescale で大規模なクラスターを起動する機能を活用するもう XNUMX つの方法は、次の関数を使用して Python コードを構築することです。 mpi4py。 これには、最初からこれらの呼び出しを使用してコードを構築する必要があります。 これは、プラグ アンド プレイ タイプのソリューションというよりも、 ipcluster、ただし、特定のシナリオでは良いオプションになる可能性があります。 繰り返しますが、複数のノードを持つクラスターで使用する場合は、Conda 環境のクローン作成の手順に従う必要があります。 ここから.

from mpi4py import MPI import numpy as np comm = MPI.COMM_WORLD Rank = comm.Get_rank() # ポイントツーポイント通信 if Rank == 0: data = np.arange(1000, dtype='i') comm.Send ([データ, MPI.INT], dest=1, タグ=77) elif ランク == 1: データ = np.empty(1000, dtype='i') comm.Recv([データ, MPI.INT], ソース=0, tag=77) # MPI ブロードキャスト if ランク == 0: data = np.arange(100, dtype='i') else: data = np.empty(100, dtype='i') comm.Bcast( data, root=0) for i in range(100):assert data[i] == i # NumPy 配列による集団 I/O amode = MPI.MODE_WRONLY|MPI.MODE_CREATE fh = MPI.File.Open(comm, " ./datafile.contig", amode) バッファ = np.empty(10, dtype=np.int) バッファ[:] = comm.Get_rank() offset = comm.Get_rank()*buffer.nbytes fh.Write_at_all(offset,バッファ) fh.Close()

ここでは基本的な例のみを紹介しますが、詳細については次のサイトを参照してください。 mpi4py ドキュメントと基本的なチュートリアル

スクリプトを実行するには、 mpirun or mpiexec このように呼び出します:

mpiexec -n 4 python script_with_mpi4py.py