AI의 성능을 이용한 클라우드 기반 엔지니어링 시뮬레이션의 최적화
복잡한 HPC 시뮬레이션을 최적화하기 위해 최적의 컴퓨팅 리소스 조합을 어떻게 선택합니까?
AI 추천은 우리에게 앞으로 나아갈 길을 보여줍니다!
고성능 컴퓨팅(HPC)을 활용하는 복잡한 시뮬레이션은 하드웨어 및 소프트웨어 옵션의 확산으로 인해 실행하기가 훨씬 더 복잡해지고 있습니다. 우리 중 많은 사람들에게 클라우드 서비스는 인프라 스택을 단순화할 수 있지만 가능한 옵션의 수가 너무 많아서 가격과 성능에 대한 최상의 조합을 찾는 것이 엄청나게 복잡합니다.
과거에는 삶이 단순했습니다. 온프레미스 HPC는 상대적으로 선택의 폭이 적었습니다. 코어, I/O 대역폭, 메모리, 스토리지가 모두 수정되었습니다.
내 배경으로는 자동차 CFD, 모터스포츠 엔지니어링 분야에서 저는 온프레미스 HPC를 자동차를 임대하는 것이 아니라 소유하는 것과 같은 방식으로 생각하는 경향이 있습니다. 당신이 감당할 수 있는 최고의 자동차를 구입한 지 불과 몇 주 만에 누군가가 더 좋고, 더 빠르고, 더 많은 기능을 갖춘 모델을 내놓습니다. 온프레미스 HPC에서도 마찬가지입니다. 프로세서, 메모리 등을 선택하여 감당할 수 있는 최대 용량 스택을 생성하면 다음 날 새로운 칩셋이 시장에 출시됩니다.
이에 반해 클라우드의 HPC는 지속적인 개선을 활용합니다. XNUMX~XNUMX년마다 업데이트되는 온프레미스 솔루션과 달리 클라우드 제공업체는 모두 시장에 출시된 최신 칩셋을 통해 최고의 최신 기능을 제공하기 위해 경쟁합니다. 모터스포츠로 돌아가서, 클라우드에서 HPC를 실행하는 것은 끊임없이 수정되고 업그레이드되는 자동차를 운전하는 것과 같습니다. 새로운 동력 장치? 확신하는! 향상된 연료 흐름? 물론!
하지만 이 혼란스러운 세상에서 시뮬레이션 워크로드를 최적화하기 위한 최고의 솔루션을 어떻게 선택합니까? 좋은 결과를 제공하는 표준 워크플로를 실행할 수 있지만 런타임을 단축할 수 있는 최근 출시된 새로운 칩셋을 알고 계십니까? 도전 워크 플로우 최적화 현재 HPC 컨퍼런스에서 가장 뜨거운 주제 중 하나이며 그럴 만한 이유가 있습니다.
AI를 사용하여 HPC 시뮬레이션 최적화
여기에 AI가 개입합니다. 시뮬레이션을 실행하면 작업 실행 방식(코어 활용도, 메모리 소비, I/O 성능 등)에 대한 엄청난 양의 메타데이터가 생성되며, 수천 개의 시뮬레이션에서 얻은 데이터는 완벽한 리소스 풀을 제공합니다. AI 엔지니어링 모델. 지난 10년간 클라우드에서 HPC 시뮬레이션을 실행한 결과를 바탕으로 AI는 제안된 워크플로에 대해 지능적인 권장 사항과 최적화를 제공할 수 있습니다.
또한, 새롭고 고도로 전문화된 여러 칩셋이 시장에 출시되면서 최신 옵션을 모니터링하는 것이 거의 불가능해졌습니다. 클라우드 제공업체가 이러한 서비스를 서비스에 추가하면 AI는 주장된 기능을 검토하고 잠재적인 새로운 옵션을 제안할 수 있습니다.
결과적으로 나와 같은 엔지니어는 칩셋, GPU 또는 가속기 카드 릴리스를 따라잡을 필요가 없습니다. AI는 실행 중인 작업에 적합한 새로운 코어 유형을 추천합니다. 예를 들어, AI는 특정 워크로드와 소프트웨어 조합이 특정 핵심 유형에서 더 빠른 결과를 생성하는 경향이 있음을 제안할 수 있으며, 원하는 경우 해당 제안을 따르도록 선택할 수 있습니다.
이제 모터스포츠 시뮬레이션에서는 시간이 중요한 요소입니다. 경주가 이틀을 더 기다리지 않기 때문에 중요한 질문은 항상 결과를 얼마나 빨리 전달할 수 있는지에 관한 것입니다. 제안된 수정 사항이 실제 차량에 도달하기 전에 완료해야 할 제조 단계가 너무 많기 때문에 시뮬레이션이 느리면 매우 바람직하지 않은 지연이 발생할 수 있습니다. 과거에는 데이터 포인트 수를 타협하여 시뮬레이션을 가속화하는 것이 답이었고, 이는 결과적으로 설계 결정에 부정적인 영향을 미칠 수 있었습니다.
AI 최적화 지원을 통해 시뮬레이션은 더 많은 데이터 포인트를 실행하거나 더 빠르게 실행할 수 있으며, 종종 두 가지 모두를 수행할 수 있습니다. 작업을 더 빨리 실행할 수 있다면 그 시간을 더 많은 작업을 실행하는 데 사용할 것입니다. 총 컴퓨팅 및 소프트웨어 비용은 거의 비슷할 것 같지만 최적화가 향상되어 처리량을 늘릴 수 있었습니다.
Rescale을 사용하여 모든 HPC 워크로드 실행 자동화
공개 알림: 제가 솔루션스 아키텍트로 일하고 있는 Rescale은 다음을 사용하는 클라우드 기반 플랫폼을 구축했습니다. 모든 HPC 워크로드 실행을 자동화하는 AI 가능한 최상의 하드웨어-소프트웨어 구성을 따릅니다. Rescale은 여러 클라우드 공급업체에 걸쳐 작업 조정 및 리소스 관리를 자동화하고 IT 및 HPC 관리자가 비즈니스 목표(예: 시간 또는 비용 절감 해결)에 따라 몇 번의 클릭만으로 최적의 워크로드 구성을 검토하고 선택할 수 있도록 합니다. Rescale은 각 제공업체가 제공하는 복잡성을 학습하는 대신 광범위한 기술에 대한 AI 기반 권장 사항을 제공하여 엔지니어와 과학자가 작업 설정, 벤치마킹 및 문제 해결보다는 본업에 집중할 수 있도록 합니다.
시장이 다양화되고 전문화됨에 따라 최적의 구성을 선택하는 작업은 점점 더 어려워질 것입니다. 예를 들어, 이 글을 쓰는 시점에는 초고속 처리량을 약속하는 새로운 GPU 및 CPU 결합 칩셋이 있지만 현재로서는 소프트웨어 벤치마크 데이터가 상대적으로 적습니다. 모든 클라우드 제공업체는 이러한 새로운 기술을 도입하여 혼합에 추가할 수 있는 새로운 최적의 장소를 만들 것입니다.
AI가 이러한 구성 최적 지점을 찾아 추천하는 이점 외에도 Rescale의 인텔리전스는 글로벌 클라우드 리소스 관리를 가능하게 하고, 사용자가 빠른 작업 시작 시간을 경험할 수 있도록 자동으로 작업 로드 밸런싱을 수행하고, 실패한 작업을 최소화하며, 워크로드를 선택한 클라우드가 있는 곳으로 보냅니다. 공급자는 비즈니스 연속성을 위해 가장 큰 가용 용량을 보유하고 있습니다.
이를 바탕으로 단순히 워크로드를 클라우드로 이동하는 것만으로는 충분하지 않다는 것을 알 수 있습니다. 특히 엔지니어가 더욱 복잡한 시뮬레이션을 생성함에 따라 AI 기반 최적화 기능은 클라우드를 최대한 활용하는 데 필요한 요소가 될 것입니다.
Rescale의 AI 최적화가 적용된 모습을 보고 싶으시다면 your 워크로드를 수행하면 다음과 같은 작업을 수행할 수 있습니다. 여기에서 우리 팀에 데모를 요청하세요.
