고처리량 컴퓨팅(HTC)

이 기능은 현재 베타 버전이며 기본적으로 활성화되어 있지 않습니다. 액세스를 활성화하려면 조직의 솔루션 설계자 또는 계정 담당자에게 문의하세요.

살펴보기

Rescale 고처리량 컴퓨팅(HTC) 다수(예: 수억에서 수백만)의 동시 소규모 및 분리된 작업(예: 한 자리 코어에서 한 자리 인스턴스로, 다중 노드 MPI 없음)을 실행하기 위한 API 기반 Rescale 제품입니다.

고성능 컴퓨팅(HPC)는 클러스터를 사용하여 고급 계산 작업을 해결합니다. 대규모 작업은 하위 작업으로 분할되어 다중 노드에서 병렬로 해결됩니다. 클러스터. HPC 클러스터 동질적이고 상호 연결된 기계(노드)의 집합입니다. 각 노드 작업의 일부를 나타내는 데이터에 대해 작업하는 사전 설치된 프로그램의 복사본을 실행합니다. 글로벌 솔루션에 도달하려면 HPC 클러스터의 노드는 서로 통신해야 하므로 근접해 있어야 합니다(동일한 데이터 센터, 동일한 랙). HPC 계산은 긴밀하게 결합되어 있으며 개별 노드가 실패하면 실패합니다.

HPC의 목표는 개별 계산의 결과를 얻는 시간을 줄이고 초당 작업을 최대화하는 것입니다. 주문형 클라우드 HPC 클러스터의 수명은 최대한 짧습니다.

고처리량 컴퓨팅(HTC) 여러 컴퓨팅 작업을 해결하기 위해 장기간에 걸쳐 여러 노드를 사용합니다. 각 작업은 다음에 포함된 프로그램을 실행합니다. 컨테이너 레지스트리에 저장된 이미지입니다. HPC와 유사하게 컴퓨팅 작업은 여러 작업으로 분할됩니다. HPC와 달리 HTC는 단일 사용자를 위한 작업입니다. 작업량 1,000초에서 10,000초 정도일 수 있습니다.

HTC의 컴퓨팅 조직

HTC 작업은 다음과 같은 계층 구조로 구성됩니다. 작업 공간 HTC를 사용하는 경우 계층 구조는 아래 다이어그램에 표시되며 다음과 같습니다.

프로젝트: 작업공간에는 하나 이상의 프로젝트가 포함될 수 있습니다. 요구 사항은 아니지만 프로젝트는 일반적으로 한 명 이상의 사용자 작업 부하에 대한 다양한 인스턴스화를 구성하는 준장기 엔터티입니다.

태스크: 프로젝트에는 하나 이상의 작업이 포함될 수 있습니다. 작업은 일반적으로 임시적일 것으로 예상되며 사용자 작업 부하의 한 번의 "실행"을 캡슐화합니다.

일: 태스크에는 많은 작업이 포함됩니다. 직업은 일의 기본 단위이다. 작업은 서로 독립적입니다.

HTC의 목표는 단일 작업에 소요되는 시간을 최적화하는 것이 아니라 일주일 또는 한 달 안에 완료되는 작업 수를 최대화하는 것입니다. 이것이 HTC의 "처리량" 부분입니다.

HTC의 데이터 구성

각 프로젝트에는 모든 작업이 액세스할 수 있는 "공유" 저장소가 있습니다. 각 작업에는 작업 전용으로 할당된 스토리지도 있습니다. 특정 작업 내의 작업은 해당 작업의 저장소에 있는 데이터에만 액세스할 수 있으며 다른 작업과 연결된 저장소에는 액세스할 수 없습니다. 마찬가지로 특정 프로젝트의 작업은 해당 작업이 있는 프로젝트의 공유 데이터에만 액세스할 수 있습니다.

일반적으로 사용자는 작업 전체에서 공유되는 입력 파일에 대해 프로젝트 저장소를 사용하는 경향이 있습니다. 태스크 스토리지는 일반적으로 태스크별 입력 파일과 해당 태스크 작업의 출력 파일에 사용됩니다.

프로젝트와 작업 저장소는 모두 현재 지원됩니다. 객체 저장. 여러 클라우드 제공업체 및 지역의 개체 스토리지는 HTC API를 통해 제공되므로 데이터를 소비하고 생성하는 컴퓨팅 근처에 데이터를 함께 배치할 수 있습니다.

리스케일 HTC API

다음 다이어그램은 Rescale HTC API에 의해 노출된 모든 리소스를 나타냅니다. 후속 섹션에서는 이에 대해 더 자세히 설명합니다. 전체 베타 HTC API 문서를 찾을 수 있습니다. 여기에서 지금 확인해 보세요..

HTC API에 액세스

HTC API에 대한 액세스는 먼저 Rescale 솔루션 설계자가 특정 Rescale 작업 공간에서 활성화해야 합니다. 액세스 권한이 부여되면 Rescale API 키를 사용하여 인증해야 합니다. API 키를 생성하거나 액세스하려면 여기를 참조하세요. HTC 지원 작업 공간에서.

HTC API로 인증

이 Rescale API 키는 Rescale Public API를 통해 Rescale 플랫폼의 HTC API에 액세스하는 데 사용되는 API 키입니다. 이 키를 사용하면 HTC API 사용자 베어러 토큰을 생성할 수 있으며, 이 베어러 토큰은 나머지 HTC API에 액세스하는 데 사용됩니다. 다음과 같은 방식으로 HTTPS 요청의 인증 헤더에 Rescale API 키를 지정하여 다음을 통해 전달자 토큰을 얻습니다. /auth/token/ 엔드포인트:

컬 -H “권한 부여: 토큰 ” https://htc.rescale.com/api/v1/auth/token

페이로드에는 임시 베어러 tokenValue가 제공됩니다. 이 토큰은 이후의 모든 HTC API 액세스에 사용됩니다. 각 전달자 토큰은 발행 후 6시간 후에 만료되므로 만료 시 Rescale API 키를 사용하여 새 전달자 토큰을 검색해야 합니다.

Bearer 토큰을 사용하여 HTC API 호출을 인증하려면 헤더에 이를 지정합니다.

컬 -H “권한: 전달자 ” https://htc.rescale.com/api/v1/htc/…

프로젝트 관리

HTC 프로젝트는 여러 워크로드에서 컴퓨팅과 데이터를 관리하는 데 사용됩니다. 프로젝트를 생성하고, 새로운 사용 가능한 지역 및 제한으로 업데이트하고, 프로젝트 저장소로 파일을 받을 수 있습니다. 다양한 프로젝트 관련 API 엔드포인트가 문서화되어 있습니다. 여기에서 지금 확인해 보세요..

프로젝트는 작업 공간 관리자가 생성하며 일반적으로 관리 액세스 권한이 있는 HTC 사용자가 관리할 수 없습니다.

프로젝트 컨테이너 레지스트리

각 프로젝트에는 고유한 컨테이너 기재. 프로젝트 컨테이너 레지스트리의 이미지는 해당 프로젝트의 작업에서 실행되는 모든 HTC 작업에서 액세스됩니다. 컨테이너 레지스트리는 사실상 해당 프로젝트에 사용할 수 있는 애플리케이션 카탈로그입니다.

프로젝트에는 고유한 태그가 있는 한 각 저장소에 여러 컨테이너 이미지가 포함될 수 있는 여러 저장소가 있을 수 있습니다. 작업은 정의에 리포지토리 이름과 원하는 이미지 태그를 지정하여 작업에 대해 실행해야 하는 컨테이너를 지정합니다.

현재는 프로젝트 전체의 레지스트리에서 컨테이너 이미지를 공유할 수 없습니다.

작업 관리

HTC 작업은 일반적으로 단일 사용자의 작업 부하를 보유합니다. 작업공간 내의 모든 사용자는 문서화된 대로 특정 프로젝트에서 작업을 생성할 수 있습니다. 여기에서 지금 확인해 보세요..

작업 제출 및 관리

HTC 작업은 이를 사용하여 작업에 "일괄"로 제출됩니다. API 엔드 포인트. 각 작업 배치는 다음과 같은 상위 수준 구성 요소로 구성됩니다.

직업 이름: 이 작업 배치에서 공유하는 이름
배치 크기: 이 배치의 작업 수입니다. 일괄 처리의 모든 작업은 동일한 작업 정의를 공유합니다.
htcJob정의: 이 배치 내의 작업 간에 공유되는 모든 매개변수는 다음으로 구성됩니다.
이미지 이름: 사용할 컨테이너 이미지. 여기에는 지정된 컨테이너 이미지 저장소에 대한 태그도 포함될 수 있습니다.
maxVcpus: 각 작업에서 사용할 것으로 예상되는 최대 vCPU 수 
최대 메모리: 각 작업에서 사용할 수 있는 DRAM 메모리의 최대 MiB
최대DiskGiB: 각 작업에서 사용할 수 있는 임시 디스크 공간의 최대 GiB
명령: 컨테이너가 실행될 때 실행할 명령
execTimeout초: 강제로 종료되기 전에 컨테이너가 실행되도록 허용되는 최대 시간(초)입니다.
아키텍처: 작업을 실행하는 데 사용되는 CPU 아키텍처, 현재 옵션은 다음과 같습니다. X86 또는 AARCH64
우선: 작업이 온디맨드 우선순위로 실행되어야 하는지 아니면 온디맨드 경제로 실행되어야 하는지 여부