Rescale의 컴퓨팅 추천 엔진
| | | | 워크플로우 자동화

Rescale의 컴퓨팅 추천 엔진: 풀 스택 컴퓨팅을 위한 AI 기반 인텔리전스

전체 컴퓨팅 스택에 걸쳐 수백만 개의 매개변수에 대한 자동 평가를 통해 가장 비용 효율적이고 성능이 뛰어난 클라우드 서비스에 최적화된 워크로드를 보장합니다.

최첨단 AI 엔지니어링 그리고 연구는 물리적 세계의 디지털 탐험을 주도하기 위해 컴퓨팅 성능에 점점 더 의존하고 있습니다. 유전체학에서 공기역학에 이르기까지 엔지니어와 과학자들은 정교한 기술을 사용하고 있습니다. 시뮬레이션, 제너레이티브 디자인, 머신러닝, 디지털 쌍둥이 그들의 디자인을 개발하기 위해.

오늘날 이러한 컴퓨팅 성능을 활용하려면 점점 더 풍부해지고 복잡해지는 전문화되고 도메인별 컴퓨팅 아키텍처의 세계를 탐색해야 합니다. 인프라 구성을 통해 문제를 XNUMX배 더 빠르게 해결하거나 비용이나 에너지를 XNUMX/XNUMX만 사용하는 것을 의미할 수 있습니다.  

이러한 문제를 해결하기 위해 Rescale은 CRE(Compute Recommendation Engine)라는 새로운 기술을 개발했습니다. Rescale의 CRE는 AI를 적용하여 모든 워크로드에 대한 최적의 컴퓨팅 스택을 찾아 우리가 보유하고 있는 멀티 클라우드 인프라를 최대한 활용하여 엔지니어링 및 과학 컴퓨팅의 차세대 시대를 주도합니다.

Rescale의 CRE 권장 사항에 따라 고객은 주요 벤치마크에서 시뮬레이션 속도를 200% 이상 가속화하고 비용을 60% 이상 절감하는 개선을 경험했습니다.

전문화된 도메인별 컴퓨팅 아키텍처의 부상

수십 년 동안 컴퓨팅 성능은 칩 제조업체가 집적 회로에 더 많은 트랜지스터를 삽입함에 따라 컴퓨터 처리 성능이 약 XNUMX년마다 두 배로 증가한다는 무어의 법칙을 일관되게 따랐습니다. 그러나 이러한 추세는 프로세서가 지금보다 훨씬 더 조밀하게 포장될 수 없기 때문에 물리적 한계에 직면하고 있습니다.  

무어의 법칙이 끝났다는 것은 시뮬레이션과 같은 컴퓨팅 집약적인 소프트웨어가 비용과 에너지 소비의 불균형한 증가 없이는 더 이상 동일한 속도로 성능 향상의 이점을 누릴 수 없음을 의미합니다.

이러한 병목 현상으로 인해 특정 워크로드 실행에 최적화된 도메인별 아키텍처 또는 가속화된 컴퓨팅에 대한 기회가 생겼습니다. NVIDIA와 같은 회사는 그래픽 처리 및 기계 학습과 같은 GPU 가속 워크로드에 대해 무어의 법칙을 능가하는 성능 향상을 입증할 수 있었습니다.

또한 Amazon AWS, Microsoft Azure 및 Google Cloud와 같은 클라우드 제공업체는 자체 칩을 구축하고 있으며 Arm 기반 IP는 스타트업 및 해당 분야의 신규 진입자를 위한 칩 설계를 민주화하고 있습니다.

무어의 법칙이 둔화됨에 따라 특수 칩 아키텍처가 폭발적으로 증가하여 성능이 더 향상되었지만 HPC 선택도 더욱 복잡해졌습니다.

우리는 지금 컴퓨팅 아키텍처의 캄브리아기 폭발의 한가운데에 있습니다. 특수 프로세서 수와 하드웨어 아키텍처 구성의 속도가 급격히 증가했습니다. 2022년에만 클라우드 서비스 제공업체가 거의 400개의 새로운 하드웨어 옵션을 도입했습니다. 현재 조직에서는 1,500개 이상의 고유한 아키텍처 중에서 선택할 수 있습니다. 

특수 컴퓨팅 아키텍처에서의 이러한 선택은 이러한 기능을 수용한 워크로드에 대해 놀라운 성능 향상을 제공하여 지난 1,000년 동안 10배의 성능 향상을 제공했습니다.

컴퓨팅 추천 엔진의 필요성

도메인별 아키텍처를 통해 얻을 수 있는 이점을 포착하려면 각 워크로드를 최적의 컴퓨팅 아키텍처 구성과 일치시켜야 합니다. Rescale은 XNUMX년 이상 전문 지식을 구축하고 조직이 R&D 노력에 힘을 실어주는 하드웨어 아키텍처, 운영 체제, 소프트웨어, 스토리지 및 네트워킹 기술과 관련하여 올바른 선택을 할 수 있도록 지원해 왔습니다.  

수백 개의 컴퓨팅 아키텍처와 스토리지, 네트워킹, 미들웨어, 애플리케이션 및 모델에 대한 추가 구성 중에서 조직은 최적의 컴퓨팅 스택을 제공하기 위해 50천만 개가 넘는 가능한 조합 중에서 선택해야 합니다.

몇 가지 발전을 통해 우리는 이제 AI 기반 컴퓨팅 추천 엔진인 클라우드 컴퓨팅의 출현 이후 풀 스택 컴퓨팅에서 가장 중요한 혁신 중 하나라고 믿는 것을 개발했습니다.

Rescale의 접근 방식은 실제 고객 워크로드에 대한 사용 패턴 및 하드웨어 성능뿐만 아니라 엔지니어링 및 과학 컴퓨팅 하드웨어를 위한 엄청난 양의 인텔리전스, 툴링 및 자동화 모음에서 얻은 풍부한 독점 원격 측정을 활용하여 데이터 기반 자동화를 개발하는 것이었습니다. 소프트웨어, 네트워크 및 스토리지. 

Rescale 컴퓨팅 추천 엔진의 작동 방식

기본적으로 컴퓨팅 권장 사항 엔진은 주어진 워크로드를 실행하는 데 사용해야 하는 최상의 인프라 컴퓨팅 아키텍처와 규모를 식별합니다. 이 권장 사항은 사용자가 일괄 작업을 실행하려고 할 때 구현되거나 다음에서 일련의 벤치마크로 실행될 수 있습니다. 성능 프로파일예를 들어.

이러한 인텔리전스를 개발하기 위해 Rescale은 과거 벤치마크, 향상된 메타데이터 지표 및 상세한 인프라 성능 시계열 원격 측정 데이터로 구성된 광범위한 데이터베이스를 활용했습니다. 그런 다음 순환 신경망 워크로드에 가장 적합한 하드웨어 유형을 추론하는 데 도움이 되는 일련의 태그를 출력할 수 있었습니다.

Rescale의 CRE는 수백만 개의 메타데이터 포인트로 구성된 풍부한 최신 데이터 세트를 사용하여 주어진 유형의 워크로드를 실행하기 위한 성능과 비용의 균형을 맞추려는 사용자의 요구를 충족하는 최고의 하드웨어에 대한 AI 기반 권장 사항을 제공합니다. AI 기반 필터링 및 채점 프로세스를 통해 CRE는 특정 애플리케이션 및 컴퓨팅 작업에 어떤 칩과 아키텍처가 가장 효과적인지 평가합니다. 이는 조직이 특정 요구 사항에 적합한 HPC 아키텍처를 쉽게 선택할 수 있도록 거의 즉각적인 예측 벤치마크와 AI 기반 권장 사항을 제공합니다.


Rescale의 컴퓨팅 추천 엔진은 풀 스택 클라우드 플랫폼 데이터의 인텔리전스를 사용하여 조직이 비용을 제어하고 엔지니어링 생산성을 높이며 혁신을 가속화할 수 있도록 자동화된 지침과 통찰력을 제공합니다. 

컴퓨팅 추천 엔진 성능 재조정

CRE는 내부 테스트 및 검증을 통해 특정 컴퓨팅 작업에 대한 최적의 칩 및 전체 스택 구성을 식별하는 데 95% 이상의 정확성이 입증되어 가장 효율적인 확장 및 비용을 보장합니다. 또한 추천 시스템을 활용하여 데이터 중심의 자동화된 방식으로 전체 HPC 아키텍처의 주요 병목 현상(네트워크 메시지 전달, 저장 및 메모리 성능 포함)을 식별할 수 있습니다. 추가 이점으로 추천 시스템의 피드백은 애플리케이션 개발자에게 코드 아키텍처의 잠재적 개선을 위한 주요 피드백으로 사용되어 성능을 향상시킬 수 있습니다.

CRE의 권장 사항에 따라 고객은 주요 벤치마크에서 시뮬레이션 속도를 200% 이상 가속화하고 비용을 60% 이상 절감하는 개선을 경험했습니다. 이러한 이점을 즉시 경험할 수 있을 뿐만 아니라 CRE를 활용하면 스택의 새로운 기술과 최적화가 가능해짐에 따라 고객이 최적의 권장 사항에 대한 최신 정보를 지속적으로 업데이트하는 데 도움이 됩니다.  

CRE는 고객이 실행하려는 애플리케이션과 워크플로의 기타 메타데이터를 기반으로 초기 칩 아키텍처 권장 사항을 제공합니다. 그런 다음 런타임 중 작업 성능을 기반으로 CRE는 이 메타데이터 세트를 학습하고 권장 사항을 미세 조정합니다. 중요한 점은 CRE가 지속적으로 작업을 감독하고 추가 권장 사항을 제공하며 새로운 칩 아키텍처가 언제 출시되는지 알기 위해 지속적으로 시장을 모니터링한다는 것입니다.

권장 사항은 워크로드 성능을 최적화하는 방법에 대한 다양한 방법의 지침을 제공합니다. 예를 들어, 작업 메타데이터 메트릭은 작업 확장이 비효율적임을 나타내므로 사용되는 컴퓨터 코어 수를 줄이는 것이 권장될 수 있습니다. 메시지 전달 메타데이터가 네트워킹 병목 현상을 나타내는 경우 상호 연결 대기 시간이 더 낮은 대체 하드웨어 아키텍처가 권장될 수 있습니다.

Rescale 컴퓨팅 추천 엔진 사용 

CRE 기술의 인텔리전스는 이미 AI 권장 하드웨어 아키텍처를 통해 모든 Rescale 고객에게 제공되고 있습니다. 컴퓨팅 최적화 도구 기능 및 내장된 권장 사항이 곧 제공될 예정입니다. 성능 프로파일 곧.

Compute Optimizer는 벤치마킹의 필요성을 없애고 워크로드에 대한 권장 사항을 자동으로 동적으로 업데이트하여 상당한 생산성, 비용 및 시간 이점을 제공합니다. 이러한 자동화된 추천은 Rescale 플랫폼의 모든 사용자가 항상 사용할 수 있습니다.

성능 프로필 대시보드에서 몇 번의 클릭만으로 사용자는 자신의 특정 컴퓨팅 작업 부하에 따라 모든 칩 아키텍처의 성능을 벤치마킹할 수 있습니다. 성능 프로필을 사용하면 고객이 특정 워크로드에 맞게 맞춤화된 HPC 아키텍처의 세부 비용, 성능 및 에너지 소비를 쉽게 평가할 수 있습니다.

성능 프로필과 Compute Optimizer는 CRE 요소가 어떻게 조직의 엔지니어링 및 과학 컴퓨팅 리소스 관리를 훨씬 쉽게 만들어 주는지를 보여주는 두 가지 예일 뿐입니다.

시간이 지남에 따라 우리는 더욱 풍부한 데이터 분석과 추천 프로세스의 자동화를 통해 CRE 기능을 지속적으로 개선할 것입니다. 예를 들어 CRE를 사용하면 수개월 간의 기록 데이터에 대한 감사를 즉시 수행하여 개선 기회를 측정할 수 있습니다. 또는 미래의 인프라 계획 선택을 안내하기 위해 기술 곡선 개선(과거 추세를 기반으로)을 예측하는 데 사용될 수도 있습니다.

새로운 하드웨어 아키텍처, 소프트웨어 애플리케이션, 미들웨어 구성 및 워크로드 사용 사례가 플랫폼에 추가되고 실행됨에 따라 CRE 업데이트를 동적으로 알리는 메타데이터입니다. 에너지 사용, 탄소 배출량, 기타 지속 가능성 지표와 관련된 메타데이터와 같은 새로운 형태의 데이터를 추가하면 조직이 보다 전체적인 컴퓨팅 아키텍처 결정을 내리는 데 도움이 될 수 있습니다.

가속 컴퓨팅은 엔지니어링 및 과학적 혁신을 촉진합니다.

Rescale의 컴퓨팅 추천 엔진은 컴퓨팅 스택 최적화가 디지털 R&D에 깊은 영향을 미친다는 인식에서 탄생했습니다. 특수 반도체의 기하급수적인 성장과 컴퓨팅 선택의 가속화로 인해 조직은 클라우드 기반 엔지니어링 및 과학 컴퓨팅을 통해 전례 없는 지속적인 이점을 얻을 수 있습니다.

Rescale은 고객에게 최고의 컴퓨팅 기능을 제공하고 엔지니어링 및 과학 팀이 미래를 창조할 수 있도록 지원하기 위해 플랫폼의 인텔리전스를 발전시키기 위해 최선을 다하고 있습니다.

방법에 대해 자세히 알아보십시오. Rescale 플랫폼의 고유한 인텔리전스 연구 및 엔지니어링 팀이 혁신 노력을 강화하는 데 도움이 될 수 있습니다.

저자

  • 요리스 푸어트

    Joris는 CEO이며 Rescale의 경영팀을 이끄는 책임을 맡고 있습니다. Rescale을 설립하기 전에 Joris는 McKinsey & Company에서 하이테크 부문의 제품 개발 업무를 담당했습니다. Joris는 보잉에서 경력을 시작하여 787년 동안 XNUMX 프로그램의 구조 및 소프트웨어 엔지니어로 일하면서 꼬리와 날개 설계를 최적화했습니다. Joris는 Harvard Business School에서 우수한 성적으로 MBA를 취득했고, 워싱턴 대학교에서 항공우주학 석사 학위를 우등으로 취득했으며, 미시간 대학교에서 기계 공학 학사 학위와 응용 수학 부전공을 우등으로 취득했습니다.

  • 애덤 매켄지

    CTO로서 Adam은 HPC 및 고객 성공 팀을 관리하는 책임을 맡고 있습니다. Adam은 Boeing에서 경력을 시작하여 787년 동안 XNUMX을 작업하면서 구조 및 소프트웨어 엔지니어링 프로젝트를 관리하고 날개를 설계, 분석 및 최적화했습니다. Adam은 오레곤 주립대학교에서 우등으로 기계공학 학사학위를 취득했습니다.

  • 크리스 랭글

    Chris Langel(크리스 랭글)은 Rescale의 선임 HPC 엔지니어링 매니저로 다양한 클라우드 아키텍처에 걸친 CAE 애플리케이션 성능 관련 업무를 맡고 있습니다. 앞서 크리스는 Siemens Gamesa Renewable Energy의 공기역학 그룹에서 풍력 터빈 블레이드의 CFD 분석 및 최적화에 관한 업무를 담당한 바 있습니다. 그는 캘리포니아대학교 데이비스 캠퍼스에서 기계 및 항공우주 공학박사 학위를, 캘리포니아 대학교 버클리 캠퍼스에서 기계공학 학사학위를 취득했습니다.

비슷한 게시물