귀하에게 적합한 클라우드에서 딥 러닝 실행


딥러닝은 아직 초기 단계이지만 이미 자율주행, 로봇 제어, 기계번역, 안면인식 등의 분야를 상당히 발전시켰습니다. 대량의 데이터를 추상화하고, 패턴을 인식하고, 모델링하고 분류할 수 있는 딥 러닝은 앞으로 몇 년 동안 파괴와 혁신을 주도할 준비가 되어 있는 것으로 보입니다. 그렇다면 딥 러닝과 심층 신경망이 복잡한 작업에 적합한 솔루션인지 평가하려면 어떤 질문을 해야 할까요?
데이터가 충분합니까? 다양한 딥 러닝 모델 유형과 아키텍처가 있지만 모든 모델의 공통 주제는 심층 계층 구조입니다. Deep은 상호 의존적인 모델 매개변수가 많다는 것을 의미합니다. 옵티마이저가 이러한 모든 매개변수의 좋은 값을 찾아내려면 수행하려는 작업에 대한 여러 교육 예제가 필요합니다. 다음의 경우에는 일부 예외가 적용됩니다. 전학 학습, 데이터 양이 많지 않거나 많은 수의 예를 신속하게 생성할 수 없는 경우 더 작고 "얕은" 모델을 교육하는 것이 좋습니다.
감독됨, 준감독됨, 감독되지 않음? 수집한 데이터에 원하는 작업 결과가 표시되어 있습니까? 데이터에 모두 레이블이 지정되어 있으면 지도 학습 기술을 활용할 수 있습니다. 이는 심층 신경망을 위한 "전통적인" 애플리케이션이며 이미지 인식, 자연어 번역, 음성 인식과 같은 작업에 사용됩니다. 컨벌루션 네트워크 일반적으로 이미지 기반 작업에 사용되는 반면 순환 네트워크 언어 기반 작업에 사용됩니다.
데이터에 레이블이 지정되지 않은 경우에도 비지도 학습을 활용하여 데이터 내의 숨겨진 기능과 구조를 학습할 수 있습니다. 노이즈 제거 자동 인코더 비지도 딥러닝 모델의 예입니다.
마지막 범주인 준지도 또는 강화 딥 러닝은 이 분야에서 가장 최근에 개발된 것으로, Deepmind. 이 경우 데이터에는 레이블이 거의 지정되지 않으며 모델은 피드백을 얻기 위해 시스템에 대한 새로운 입력을 테스트할 수 있습니다. 결정적인 예는 다음과 같습니다. Atari 게임 배우기, 그러나 그 이후로 로봇공학과 자율주행차에 적용이 이루어졌습니다.
시스템이 자신의 결정을 설명해야 합니까? 딥 러닝 모델은 전통적으로 예측과 관련하여 블랙박스로 간주되어 왔습니다. 딥 모델에서 훈련된 매개변수의 수를 고려하면 일반적으로 모델이 제공하는 답변 뒤에 있는 "추론"을 재구성하는 것은 불가능합니다. “왜?”를 제공해야 하는 경우 "무엇?"이라는 질문과 함께 특정 답을 제공하기 위해 일련의 결정을 내리는 의사결정 트리나 랜덤 포레스트 같은 모델을 선택하는 것이 더 좋습니다.
딥 러닝 모델이 올바른 선택이라면 이제 다음과 같은 새로운 과제에 직면하게 됩니다.

  • 딥 러닝에는 특수 GPU 하드웨어와 그 많은 하드웨어가 필요합니다. 기계 학습을 처음 접하는 많은 IT 조직은 아직 온프레미스에 적절한 GPU 리소스를 확보하기 위한 자본 투자를 하지 않았습니다.
  • 딥 러닝 라이브러리는 매우 빠르게 발전하고 있으므로 최신 상태를 유지하려면 자주 업데이트해야 합니다. 딥 러닝 파이프라인은 동기화를 유지하기 어려운 상호 의존적인 소프트웨어 패키지의 스택이 될 수 있습니다.
  • 대규모 데이터 세트를 어떻게 관리합니까? 그 데이터는 모두 어디에 있나요?

Rescale의 Deep Learning Cloud는 IBM과의 파트너십을 통해 위의 문제를 해결하기 위한 통합 플랫폼을 제공합니다. IBM Cloud의 베어메탈 NVIDIA K80 서버를 활용하는 Rescale의 대화형 데스크탑은 대규모 데이터 세트를 시각화 및 탐색하고 심층 신경망 모델을 설계할 수 있는 강력한 하드웨어를 제공합니다. 대규모 데이터 세트를 확장하고 교육할 준비가 되면 GPU 컴퓨팅 클러스터에 즉시 액세스하고 시간당 가격으로 사용한 만큼만 비용을 지불할 수 있습니다.
Deep Learning Cloud는 TensorFlow 및 Torch와 같은 인기 있는 딥 러닝 소프트웨어의 최신 버전은 물론 SPSS와 같은 IBM 라이센스 분석 제품으로 구성되어 있습니다. 모든 소프트웨어는 이미 CUDA 및 cuDNN을 통해 NVIDIA GPU를 최대한 활용하도록 구성되어 있습니다.
마지막으로, IBM 스토리지 및 데이터 전송 기술과 결합된 Rescale의 워크플로우 관리 및 협업 도구는 대규모 데이터 세트를 클라우드로 마이그레이션하고 클라우드에 있는 데이터를 관리하는 부담을 덜어줍니다.
그렇다면 Rescale에서 딥러닝 작업을 실행하는 것은 어떤 모습일까요? 다음은 사용자가 새로운 심층 신경망을 처음부터 훈련하기 위해 수행하는 단계입니다.데이터 세트: 최적화된 데이터 전송 도구를 사용하여 이미지 데이터세트를 업로드하거나, 데이터가 이미 IBM Cloud에 호스팅된 경우 직접 연결할 수 있습니다.

  • 구성: Rescale 웹 인터페이스를 통해 클러스터를 설정하고 훈련할 IBM Cloud GPU 수, 사용할 딥 러닝 소프트웨어, 실행할 훈련 스크립트를 구성합니다.
  • 실행: 30분 이내에 교육 클러스터를 사용할 수 있고 교육 스크립트가 실행됩니다.
  • 모니터: 웹 또는 직접 SSH 액세스를 통해 교육 진행 상황을 확인하고, TensorBoard(TensorFlow의 일부)와 같은 GUI에 연결하고, 원할 때마다 교육 클러스터를 중지하세요.
  • 검토: 훈련 결과는 자동으로 영구 저장소에 다시 동기화됩니다. Rescale 포털에서 결과를 검토하고, 사용할 모델을 다운로드하고, 자신의 IBM Cloud 스토리지 계정에 다시 동기화하거나, Rescale을 사용하여 기존 모델에 대한 추가 추론 및 교육을 실행할 수 있습니다.

지금 IBM Cloud에서 제공하는 Rescale을 무료로 사용해 보세요. https://rescale.com/ibm/

저자

  • 마크 휘트니

    Mark Whitney는 Rescale의 엔지니어링 이사입니다. 그의 전문 분야에는 고성능 컴퓨팅 아키텍처, 양자 정보 연구, 클라우드 컴퓨팅이 포함됩니다. 그는 캘리포니아 대학교 버클리 캠퍼스에서 컴퓨터 과학 박사 학위를 취득했습니다.

비슷한 게시물