Condaパッケージの管理

裏側では、多くの機械学習アルゴリズムが非常に並列化されており、GPUはこれらの並列ワークロードを非常にうまく処理できるため、しばしば使用されます。また、GPUは、何百ものコアを持つHPCクラスタよりも、1つのGPUを利用する方が論理的に簡単であることも魅力的です。しかし、Rescaleを使えば、リソースの制約がなくなり、CPU並列化も可能になります。これは、CPU並列化が一般的に良い選択肢であると言うことではなく、GPUは確かに良い選択であることが多いですが、何が可能であるかを知っておくことは有用です。scikit-learnのツールセットには、CPU並列化のサポートが組み込まれた関数が多数あります。これにより、モデルのスケールアウトが非常に簡単になります…ただし、並列環境を正しく設定することが条件です。幸いなことに、上記のステップを踏んでいれば、数行のコードをプラグインするだけで、好きなだけ大規模なRescaleクラスタでモデルの実行を開始することができるはずです。これは次のようなものです。

...
rc = Client()
bview = rc.load_balanced_view()
register_parallel_backend('ipyparallel', lambda: IPythonParallelBackend(view=bview))
with parallel_backend('ipyparallel'):    
search.fit(digits.data, digits.target)
...

サポートベクトル分類（SVC）アルゴリズムを古典的なMNISTの例に適用し、計算集約的な部分の大部分をipclusterを用いて実行した例を以下に示す。

from sklearn.externals.joblib import Parallel, parallel_backend, register_parallel_backend
from sklearn.model_selection import RandomizedSearchCV
from sklearn.datasets import load_digits
from sklearn.svm import SVC
import numpy as np
from ipyparallel import Client
from ipyparallel.joblib import IPythonParallelBackend 

digits = load_digits() 

rc = Client()
bview = rc.load_balanced_view()
register_parallel_backend('ipyparallel', lambda: IPythonParallelBackend(view=bview)) 
param_space = {     
'C': np.logspace(-6, 6, 300),     
'gamma': np.logspace(-8, 8, 300),     
'tol': np.logspace(-4, -1, 300),     
'class_weight': [None, 'balanced'], 
} 

model = SVC(kernel='rbf')
search = RandomizedSearchCV(model, param_space, cv=10, n_iter=1000, verbose=1, n_jobs=-1)

with parallel_backend('ipyparallel'):    
search.fit(digits.data, digits.target)  
  
rc.shutdown()

この問題では、フィット時間は、複数ノードにまたがる場合でも、ipclusterに使用されるCPUの数に対して驚くほどよくスケールします。

Number of Cores	Time to Fit
4 cores	27.4 min
9 cores	11.7 min
18 cores	6.0 min
36 cores*	3.1 min

*run on multiple nodes

ipcluster のセットアッププロセスをスクリプト化し、python スクリプトを別途呼び出すことをお勧めします。下記のリンク先のジョブ例では、プロセス全体がスクリプト化されている例を取り上げています。

---

---

mpi4py を使って Python スクリプトに初歩的な MPI 呼び出しを追加する

Rescaleで大規模なクラスタを起動する機能を利用するもう一つの方法は、mpi4pyの関数を使ってPythonのコードを構築することです。これは、最初からこれらの呼び出しでコードを構築する必要があります。ipclusterよりもプラグアンドプレイタイプのソリューションではありませんが、特定のシナリオでは良いオプションになります。繰り返しになりますが、複数のノードを持つクラスタに使用する場合は、ここにあるConda環境のクローンに関する説明に従う必要があります。

from mpi4py import MPI
import numpy as np
 
comm = MPI.COMM_WORLD
rank = comm.Get_rank()
 
# Point-to-Point Communication 
if rank == 0:
    data = np.arange(1000, dtype='i')
    comm.Send([data, MPI.INT], dest=1, tag=77)
elif rank == 1:
    data = np.empty(1000, dtype='i')
    comm.Recv([data, MPI.INT], source=0, tag=77)
    
# MPI Broadcast      
if rank == 0:
    data = np.arange(100, dtype='i')
else:
    data = np.empty(100, dtype='i')
comm.Bcast(data, root=0)
for i in range(100):
    assert data[i] == i    
 
# Collective I/O with NumPy arrays 
amode = MPI.MODE_WRONLY|MPI.MODE_CREATE
fh = MPI.File.Open(comm, "./datafile.contig", amode)
 
buffer = np.empty(10, dtype=np.int)
buffer[:] = comm.Get_rank()
 
offset = comm.Get_rank()*buffer.nbytes
fh.Write_at_all(offset, buffer)
 
fh.Close()

ここでは基本的な例のみを紹介しますが、より詳しい情報は以下のサイトを参照してください: mpi4py docs and basic tutorials

スクリプトを実行するには、このように mpirun または mpiexec を呼び出す必要があります。

mpiexec -n 4 python script_with_mpi4py.py