Rescale의 컴퓨팅 추천 엔진: 풀 스택 컴퓨팅을 위한 AI 기반 인텔리전스

최첨단 AI 엔지니어링 그리고 연구는 물리적 세계의 디지털 탐험을 주도하기 위해 컴퓨팅 성능에 점점 더 의존하고 있습니다. 유전체학에서 공기역학에 이르기까지 엔지니어와 과학자들은 정교한 기술을 사용하고 있습니다. 시뮬레이션, 제너레이티브 디자인, 머신러닝, 디지털 쌍둥이 그들의 디자인을 개발하기 위해.

오늘날 이러한 컴퓨팅 성능을 활용하려면 점점 더 풍부해지고 복잡해지는 전문화되고 도메인별 컴퓨팅 아키텍처의 세계를 탐색해야 합니다. 인프라 구성을 통해 문제를 XNUMX배 더 빠르게 해결하거나 비용이나 에너지를 XNUMX/XNUMX만 사용하는 것을 의미할 수 있습니다.  

이러한 문제를 해결하기 위해 Rescale은 CRE(Compute Recommendation Engine)라는 새로운 기술을 개발했습니다. Rescale의 CRE는 AI를 적용하여 모든 워크로드에 대한 최적의 컴퓨팅 스택을 찾아 우리가 보유하고 있는 멀티 클라우드 인프라를 최대한 활용하여 엔지니어링 및 과학 컴퓨팅의 차세대 시대를 주도합니다.

Rescale의 CRE 권장 사항에 따라 고객은 주요 벤치마크에서 시뮬레이션 속도를 200% 이상 가속화하고 비용을 60% 이상 절감하는 개선을 경험했습니다.

전문화된 도메인별 컴퓨팅 아키텍처의 부상

수십 년 동안 컴퓨팅 성능은 칩 제조업체가 집적 회로에 더 많은 트랜지스터를 삽입함에 따라 컴퓨터 처리 성능이 약 XNUMX년마다 두 배로 증가한다는 무어의 법칙을 일관되게 따랐습니다. 그러나 이러한 추세는 프로세서가 지금보다 훨씬 더 조밀하게 포장될 수 없기 때문에 물리적 한계에 직면하고 있습니다.  

무어의 법칙이 끝났다는 것은 시뮬레이션과 같은 컴퓨팅 집약적인 소프트웨어가 비용과 에너지 소비의 불균형한 증가 없이는 더 이상 동일한 속도로 성능 향상의 이점을 누릴 수 없음을 의미합니다.

이러한 병목 현상으로 인해 특정 워크로드 실행에 최적화된 도메인별 아키텍처 또는 가속화된 컴퓨팅에 대한 기회가 생겼습니다. NVIDIA와 같은 회사는 그래픽 처리 및 기계 학습과 같은 GPU 가속 워크로드에 대해 무어의 법칙을 능가하는 성능 향상을 입증할 수 있었습니다.

또한 Amazon AWS, Microsoft Azure 및 Google Cloud와 같은 클라우드 제공업체는 자체 칩을 구축하고 있으며 Arm 기반 IP는 스타트업 및 해당 분야의 신규 진입자를 위한 칩 설계를 민주화하고 있습니다.

우리는 지금 컴퓨팅 아키텍처의 캄브리아기 폭발의 한가운데에 있습니다. 특수 프로세서 수와 하드웨어 아키텍처 구성의 속도가 급격히 증가했습니다. 2022년에만 클라우드 서비스 제공업체가 거의 400개의 새로운 하드웨어 옵션을 도입했습니다. 현재 조직에서는 1,500개 이상의 고유한 아키텍처 중에서 선택할 수 있습니다. 

특수 컴퓨팅 아키텍처에서의 이러한 선택은 이러한 기능을 수용한 워크로드에 대해 놀라운 성능 향상을 제공하여 지난 1,000년 동안 10배의 성능 향상을 제공했습니다.

컴퓨팅 추천 엔진의 필요성

도메인별 아키텍처를 통해 얻을 수 있는 이점을 포착하려면 각 워크로드를 최적의 컴퓨팅 아키텍처 구성과 일치시켜야 합니다. Rescale은 XNUMX년 이상 전문 지식을 구축하고 조직이 R&D 노력에 힘을 실어주는 하드웨어 아키텍처, 운영 체제, 소프트웨어, 스토리지 및 네트워킹 기술과 관련하여 올바른 선택을 할 수 있도록 지원해 왔습니다.  

수백 개의 컴퓨팅 아키텍처와 스토리지, 네트워킹, 미들웨어, 애플리케이션 및 모델에 대한 추가 구성 중에서 조직은 최적의 컴퓨팅 스택을 제공하기 위해 50천만 개가 넘는 가능한 조합 중에서 선택해야 합니다.

몇 가지 발전을 통해 우리는 이제 AI 기반 컴퓨팅 추천 엔진인 클라우드 컴퓨팅의 출현 이후 풀 스택 컴퓨팅에서 가장 중요한 혁신 중 하나라고 믿는 것을 개발했습니다.

Rescale의 접근 방식은 실제 고객 워크로드에 대한 사용 패턴 및 하드웨어 성능뿐만 아니라 엔지니어링 및 과학 컴퓨팅 하드웨어를 위한 엄청난 양의 인텔리전스, 툴링 및 자동화 모음에서 얻은 풍부한 독점 원격 측정을 활용하여 데이터 기반 자동화를 개발하는 것이었습니다. 소프트웨어, 네트워크 및 스토리지. 

Rescale 컴퓨팅 추천 엔진의 작동 방식

기본적으로 컴퓨팅 권장 사항 엔진은 주어진 워크로드를 실행하는 데 사용해야 하는 최상의 인프라 컴퓨팅 아키텍처와 규모를 식별합니다. 이 권장 사항은 사용자가 일괄 작업을 실행하려고 할 때 구현되거나 다음에서 일련의 벤치마크로 실행될 수 있습니다. 성능 프로파일예를 들어.

이러한 인텔리전스를 개발하기 위해 Rescale은 과거 벤치마크, 향상된 메타데이터 지표 및 상세한 인프라 성능 시계열 원격 측정 데이터로 구성된 광범위한 데이터베이스를 활용했습니다. 그런 다음 순환 신경망 워크로드에 가장 적합한 하드웨어 유형을 추론하는 데 도움이 되는 일련의 태그를 출력할 수 있었습니다.

Rescale의 CRE는 수백만 개의 메타데이터 포인트로 구성된 풍부한 최신 데이터 세트를 사용하여 주어진 유형의 워크로드를 실행하기 위한 성능과 비용의 균형을 맞추려는 사용자의 요구를 충족하는 최고의 하드웨어에 대한 AI 기반 권장 사항을 제공합니다. AI 기반 필터링 및 채점 프로세스를 통해 CRE는 특정 애플리케이션 및 컴퓨팅 작업에 어떤 칩과 아키텍처가 가장 효과적인지 평가합니다. 이는 조직이 특정 요구 사항에 적합한 HPC 아키텍처를 쉽게 선택할 수 있도록 거의 즉각적인 예측 벤치마크와 AI 기반 권장 사항을 제공합니다.

컴퓨팅 추천 엔진 성능 재조정

CRE는 내부 테스트 및 검증을 통해 특정 컴퓨팅 작업에 대한 최적의 칩 및 전체 스택 구성을 식별하는 데 95% 이상의 정확성이 입증되어 가장 효율적인 확장 및 비용을 보장합니다. 또한 추천 시스템을 활용하여 데이터 중심의 자동화된 방식으로 전체 HPC 아키텍처의 주요 병목 현상(네트워크 메시지 전달, 저장 및 메모리 성능 포함)을 식별할 수 있습니다. 추가 이점으로 추천 시스템의 피드백은 애플리케이션 개발자에게 코드 아키텍처의 잠재적 개선을 위한 주요 피드백으로 사용되어 성능을 향상시킬 수 있습니다.

CRE의 권장 사항에 따라 고객은 주요 벤치마크에서 시뮬레이션 속도를 200% 이상 가속화하고 비용을 60% 이상 절감하는 개선을 경험했습니다. 이러한 이점을 즉시 경험할 수 있을 뿐만 아니라 CRE를 활용하면 스택의 새로운 기술과 최적화가 가능해짐에 따라 고객이 최적의 권장 사항에 대한 최신 정보를 지속적으로 업데이트하는 데 도움이 됩니다.  

CRE는 고객이 실행하려는 애플리케이션과 워크플로의 기타 메타데이터를 기반으로 초기 칩 아키텍처 권장 사항을 제공합니다. 그런 다음 런타임 중 작업 성능을 기반으로 CRE는 이 메타데이터 세트를 학습하고 권장 사항을 미세 조정합니다. 중요한 점은 CRE가 지속적으로 작업을 감독하고 추가 권장 사항을 제공하며 새로운 칩 아키텍처가 언제 출시되는지 알기 위해 지속적으로 시장을 모니터링한다는 것입니다.

권장 사항은 워크로드 성능을 최적화하는 방법에 대한 다양한 방법의 지침을 제공합니다. 예를 들어, 작업 메타데이터 메트릭은 작업 확장이 비효율적임을 나타내므로 사용되는 컴퓨터 코어 수를 줄이는 것이 권장될 수 있습니다. 메시지 전달 메타데이터가 네트워킹 병목 현상을 나타내는 경우 상호 연결 대기 시간이 더 낮은 대체 하드웨어 아키텍처가 권장될 수 있습니다.

Rescale 컴퓨팅 추천 엔진 사용 

CRE 기술의 인텔리전스는 이미 AI 권장 하드웨어 아키텍처를 통해 모든 Rescale 고객에게 제공되고 있습니다. 컴퓨팅 최적화 도구 기능 및 내장된 권장 사항이 곧 제공될 예정입니다. 성능 프로파일 곧.

Compute Optimizer는 벤치마킹의 필요성을 없애고 워크로드에 대한 권장 사항을 자동으로 동적으로 업데이트하여 상당한 생산성, 비용 및 시간 이점을 제공합니다. 이러한 자동화된 추천은 Rescale 플랫폼의 모든 사용자가 항상 사용할 수 있습니다.

성능 프로필 대시보드에서 몇 번의 클릭만으로 사용자는 자신의 특정 컴퓨팅 작업 부하에 따라 모든 칩 아키텍처의 성능을 벤치마킹할 수 있습니다. 성능 프로필을 사용하면 고객이 특정 워크로드에 맞게 맞춤화된 HPC 아키텍처의 세부 비용, 성능 및 에너지 소비를 쉽게 평가할 수 있습니다.

성능 프로필과 Compute Optimizer는 CRE 요소가 어떻게 조직의 엔지니어링 및 과학 컴퓨팅 리소스 관리를 훨씬 쉽게 만들어 주는지를 보여주는 두 가지 예일 뿐입니다.

시간이 지남에 따라 우리는 더욱 풍부한 데이터 분석과 추천 프로세스의 자동화를 통해 CRE 기능을 지속적으로 개선할 것입니다. 예를 들어 CRE를 사용하면 수개월 간의 기록 데이터에 대한 감사를 즉시 수행하여 개선 기회를 측정할 수 있습니다. 또는 미래의 인프라 계획 선택을 안내하기 위해 기술 곡선 개선(과거 추세를 기반으로)을 예측하는 데 사용될 수도 있습니다.

새로운 하드웨어 아키텍처, 소프트웨어 애플리케이션, 미들웨어 구성 및 워크로드 사용 사례가 플랫폼에 추가되고 실행됨에 따라 CRE 업데이트를 동적으로 알리는 메타데이터입니다. 에너지 사용, 탄소 배출량, 기타 지속 가능성 지표와 관련된 메타데이터와 같은 새로운 형태의 데이터를 추가하면 조직이 보다 전체적인 컴퓨팅 아키텍처 결정을 내리는 데 도움이 될 수 있습니다.

가속 컴퓨팅은 엔지니어링 및 과학적 혁신을 촉진합니다.

Rescale의 컴퓨팅 추천 엔진은 컴퓨팅 스택 최적화가 디지털 R&D에 깊은 영향을 미친다는 인식에서 탄생했습니다. 특수 반도체의 기하급수적인 성장과 컴퓨팅 선택의 가속화로 인해 조직은 클라우드 기반 엔지니어링 및 과학 컴퓨팅을 통해 전례 없는 지속적인 이점을 얻을 수 있습니다.

Rescale은 고객에게 최고의 컴퓨팅 기능을 제공하고 엔지니어링 및 과학 팀이 미래를 창조할 수 있도록 지원하기 위해 플랫폼의 인텔리전스를 발전시키기 위해 최선을 다하고 있습니다.