개요

클라우드 HPC 현대화에서 벤치마킹의 필요성

새롭고 더욱 발전된 제품을 개발하는 연구 개발 및 엔지니어링 팀은 연산 집약적인 애플리케이션을 구동하기 위해 더욱 높은 성능의 컴퓨팅(HPC) 자원을 요구하고 있습니다. 동시에 클라우드 환경에서 특수 HPC 하드웨어가 폭발적으로 증가하면서 많은 조직들이 연구 개발 효율성과 혁신을 극대화하기 위해 새로운 기술과 기법을 도입하는 새로운 방법을 모색하고 있습니다. 

많은 조직이 클라우드 전략을 수립하고 선호하는 클라우드 서비스 제공업체(CSP)를 보유하고 있지만, IT 및 HPC 실무자들은 다음과 같은 요인으로 인해 새로운 도전과 기회의 환경에 직면하고 있습니다. 

1. 클라우드 환경에서 특수 HPC 하드웨어 옵션의 폭발적인 증가 

2. 더 광범위하고 계산 집약적인 응용 프로그램 

3. HPC 효율성에 대한 비즈니스 가시성 및 통제력 부족 

이러한 조건으로 인해 조직은 자사의 인재와 하드웨어 및 소프트웨어 투자 효과를 극대화하기 위해 HPC 운영을 최적화하는 것이 점점 더 복잡해지고 중요해지고 있습니다. 

이 가이드에서 배우게 될데이터 기반 프레임워크를 활용하여 최신 클라우드 HPC 기술로부터 더 큰 가치를 창출하는 방법을 소개합니다. 일반적으로 사용되는 컴퓨터 지원 엔지니어링(CAE) 애플리케이션을 벤치마킹하여 특정 비즈니스 목표에 가장 적합한 하드웨어 및 소프트웨어 구성을 파악할 수 있습니다. 

IT 및 HPC 책임자를 위한 주요 고려 사항

❏ 현재 특정 워크로드에 최적화된 비용, 속도 또는 확장성을 갖춘 최고의 클라우드 아키텍처를 사용하고 계십니까? 

❏ 여러 공급업체에서 제공하는 모든 최신 기술을 따라잡기 위한 전략을 가지고 계십니까?

 ❏ HPC 및 엔지니어링 리소스의 성능과 효율성을 극대화하기 위해 어떤 지표와 데이터 소스를 활용하고 있습니까?

기업은 클라우드에서 제공되는 최적의 하드웨어를 선택하기만 해도 평균적으로 워크로드 성능을 30% 높이고 전체 시뮬레이션 비용을 20% 절감할 수 있습니다.

고성능 컴퓨팅(HPC) 혁신가를 위한 클라우드 옵션이 본격적으로 등장하고 있습니다. 

멀티 클라우드, 하이브리드, 이기종 하드웨어 도입에 대한 투자 수익률(ROI)에 대해 회의적이신가요? 지금이야말로 이러한 트렌드에 주목하고 기업에 맞는 최신 IT 전략을 수립하는 것이 그 어느 때보다 중요합니다. 오늘날 IT 현대화는 단순히 새로운 기술을 도입하는 것 이상의 의미를 지닙니다. 언제 어떻게 기술을 활용해야 최대의 효과를 낼 수 있는지에 대한 통찰력을 갖추는 것이 핵심입니다. 

클라우드 기반 고성능 컴퓨팅(HPC)에 대한 회의적인 시각은 초기에는 선택지가 제한적이었다는 데서 비롯되었지만, 지난 몇 년 동안 상황은 극적으로 변화했습니다. 클라우드는 기업이 비즈니스 핵심 인프라를 조달하고 관리하는 방식을 근본적으로 바꾸어 놓았습니다. 특히 지난 10년 동안 퍼블릭 클라우드는 HPC(예: 시뮬레이션 및 모델링) 분야에서 상당한 성장을 이루었고, 이에 따라 퍼블릭 클라우드 제공업체들은 인텔, AMD, 엔비디아와 같은 하드웨어 공급업체들에게 더욱 특화된 아키텍처에 대한 수요를 충족하도록 요구해 왔습니다. 

점점 더 많은 기업들이 고성능 컴퓨팅(HPC)을 다른 엔터프라이즈 애플리케이션과 함께 클라우드로 도입함에 따라, IT 및 HPC 책임자들은 최신 x86, GPU, ARM, RISC-5, FPGA 칩 유형의 혁신 속도를 활용할 기회를 모색하고 있습니다. 다른 엔터프라이즈 애플리케이션과 달리, HPC 애플리케이션은 특히 데이터 이동이 중요하지 않은 경우 다양한 멀티 클라우드 아키텍처를 활용할 때 이점을 얻는 경우가 많습니다. 이러한 이유로 HPC 담당자들은 애플리케이션을 최적화하기 위해 최신 하드웨어 및 소프트웨어 버전을 지속적으로 업데이트하려고 노력하지만, 변화의 속도와 복잡성 때문에 실질적인 비즈니스 성과를 내기 어려운 경우가 많습니다. 

오늘날 엔지니어와 과학자들은 실행하는 각 특정 워크로드에 맞춰 클라우드 기반 하드웨어를 유연하게 선택할 수 있습니다. 그러나 기업들은 이제 선택의 딜레마에 직면해 있으며, 다양한 애플리케이션과 하드웨어 구성에 걸친 벤치마킹 데이터를 기반으로 최적의 결정을 내리는 데 필요한 정보와 도구가 부족합니다. 

고객 영향력 재조정:

선도적인 eVTOL 제조업체인 Vertical Aerospace는 Rescale에서 엔지니어링 워크로드를 최적화하여 시뮬레이션 성능을 4300% 향상시키고 작업당 비용을 75% 절감함으로써 시장 출시 시간을 단축하고 효율성을 높였습니다.

응용 프로그램의 다양성과 복잡성이 증가하고 있습니다. 

2020년에는 HPC를 사용하는 대다수 조직이 3개 이상의 디지털 R&D 및 엔지니어링 애플리케이션을 사용했습니다.* IT, HPC 및 엔지니어링 관리자가 증가하는 HPC 포트폴리오의 복잡성을 관리하기 위해 Rescale을 선택하는 주요 이유는 조직의 특정 기준에 따라 정보에 입각한 의사 결정을 내릴 수 있다는 점입니다. 아래 그림 1은 고객이 이 데이터를 사용하여 다양한 워크로드와 CSP에 걸쳐 최적의 하드웨어를 보유한 CSP를 결정하는 방법을 보여줍니다.

고성능 컴퓨팅(HPC) 기술을 흔히 사용하는 여러 산업 분야에서 컴퓨터 응용 엔지니어링(CAE) 활동 비용은 라이선스 및 컴퓨팅 비용 측면에서 상당한 부담이 될 수 있으며, 매년 수백만 달러씩 증가하고 있습니다. 평균적으로 기업은 퍼블릭 클라우드 제공업체(CSP)에서 제공하는 최적의 하드웨어를 선택함으로써 전체 시뮬레이션 비용을 20% 절감하고 애플리케이션 성능을 30% 향상시킬 수 있습니다. CSP의 서비스는 분기별로 업데이트되므로 워크로드를 지속적으로 최적화하면 상당한 비용 절감 효과를 얻을 수 있습니다.

고객 영향력 재조정:

혁신적인 기술 기업인 Arrival은 지속 가능한 자동차 제조를 선도하기 위해 CFD 및 FEA 전반에 걸쳐 최대 400%의 성능 향상을 달성하는 다양한 연구 개발 애플리케이션을 최적화했습니다.

성능 인텔리전스 활용하기 

고성능 컴퓨팅(HPC) 관련 중요한 결정을 내릴 때는 특정 요구 사항과 가능한 모든 구성에 기반한 최신 벤치마킹 데이터에 접근하기 어려워집니다. Rescale은 이러한 분석을 쉽고 유용하게 만들기 위해 성능 인텔리전스를 수집하여 최적화 결정을 신속하고 프로그래밍 방식으로 내릴 수 있도록 지원합니다. 

그림 2에서 볼 수 있듯이, 각 서비스는 CSP(클라우드 서비스 제공업체)별로 다를 뿐만 아니라, 각 제공업체의 하드웨어 유형별로도 차이가 있습니다. 이 예시에서는 널리 사용되는 CAE 애플리케이션인 STAR-CCM+를 사용하여 최근 약 20개의 서로 다른 클라우드 HPC 아키텍처에 대한 벤치마킹 결과를 보여줍니다. STAR-CCM+ 워크로드는 자동차 업계에서 흔히 사용되며, 인프라 성능을 비교하는 데 유용한 애플리케이션입니다. 

이 예시를 통해 특정 클라우드 하드웨어가 더 나은 확장성을 제공한다는 것을 알 수 있습니다. 즉, 조직이 적절한 하드웨어를 선택한다면 워크로드 효율성, 솔루션 구현 시간, 그리고 전반적인 투자 수익률을 향상시킬 수 있습니다. 

HPC 워크로드의 다양성과 규모, 그리고 하드웨어 선택의 폭이 넓어짐에 따라 이러한 벤치마킹 방식은 비즈니스에 더욱 큰 영향을 미치게 됩니다. 하지만 이러한 데이터는 일반적으로 쉽게 구할 수 없기 때문에 기업들은 클라우드 서비스 제공업체(CSP)와 협력할 수 있습니다. 그러나 예상대로 이러한 벤치마크는 CSP에 특화되어 있어 범위가 제한적일 수밖에 없습니다.

고객 영향력 재조정:

닛산은 Rescale 플랫폼을 활용하여 연구 개발 작업량을 최적화함으로써 비용을 50% 절감하고 엔지니어링 애플리케이션 및 생산성을 18% 향상시켰습니다.

비용 대비 성능 향상 실현

특정 시점에 사용 가능한 하드웨어 벤치마킹(그림 2)은 당시의 의사 결정에 유용할 수 있지만, 그림 3(아래 참조)은 지속적인 벤치마킹의 중요성을 보여줍니다. 여기서는 또 다른 인기 있는 자동차 애플리케이션인 LS-Dyna를 사용하여 일정 기간(2017~2021년) 동안의 비용 대비 성능을 비교합니다. 

그래프에 나타난 세 클라우드 제공업체의 하드웨어별 비용 효율성은 다양하지만, 전반적으로 비용 효율성이 향상되는 추세를 보입니다. 이러한 클라우드 인프라의 꾸준한 개선은 최종 고객에게 매우 유리합니다. 기업은 단일 클라우드 플랫폼만으로도 더 낮은 비용으로 더 높은 컴퓨팅 성능을 기대할 수 있습니다. 

하지만 기업들이 여러 CSP(클라우드 서비스 제공업체)의 솔루션을 활용할 수 있다면 경쟁에서 상당한 이점을 얻을 수 있습니다. 새로운 하드웨어 출시 속도가 빨라지고 있으며, 비용 대비 성능 면에서 CSP 선두주자가 자주 바뀌는 것을 확인할 수 있습니다. 

하드웨어 성능 향상과 최적의 비용 대비 성능은 앞으로도 계속될 것으로 예상되지만, 이 차트에서 볼 수 있듯이 기업은 하드웨어가 출시될 때 이러한 이점을 실현하기 위해 멀티 클라우드 환경에 대한 이해와 유연성을 모두 갖춰야 합니다.

더 나은 비즈니스 의사결정을 위한 프레임워크

일반적인 HPC(고성능 컴퓨팅) 운영에는 컴퓨팅 인프라부터 상당한 소프트웨어 라이선스 비용, 심지어 작업 실패 및 예산 초과로 인한 예상치 못한 비용까지 다양한 비용이 발생합니다. 연구 개발 및 엔지니어링 팀에서 컴퓨팅 집약적인 HPC 애플리케이션 사용이 증가함에 따라, 현대의 IT 및 HPC 팀은 이러한 모든 비용을 전체적으로 관리하는 방안을 고려해야 합니다. 

Rescale은 수백 가지의 HPC 소프트웨어 및 하드웨어를 통합 관리하고 고객과 직접 협력하여 복잡한 워크플로우를 구현하고 최적화합니다. 이를 위해 당사는 스택 전반에 걸쳐 다양한 비용 및 비효율성 요인을 고려한 플랫폼을 구축하고 최적화합니다. 이러한 개념을 "풀스택 최적화"라고 부르며, 다양한 애플리케이션 및 컴퓨팅 아키텍처에 걸쳐 여러 데이터 포인트를 지속적으로 벤치마킹함으로써 가능해집니다. 

이 모든 데이터를 종합하여 성능, 성숙도 및 가치를 추적하는 세 가지 주요 지표로 구성된 프레임워크(그림 4)를 도출했습니다. 이 프레임워크는 HPC 관리자와 실무자가 비용 최소화, 성능 극대화 또는 대규모 프로젝트의 성공적인 확장 보장 등 목표에 따라 가장 적합한 하드웨어를 쉽게 평가하는 데 사용할 수 있습니다. 

이 모델은 비즈니스 의사 결정을 지원하고 프로젝트 비용을 극대화하며 신규 사용자에게 최적의 리소스를 제공하기 위한 정책을 수립하는 데 활용될 수 있습니다. 기업들은 Rescale을 사용하여 이러한 의사 결정을 자동화함으로써 최적화되지 않은 하드웨어 선택으로 인한 비용 초과 또는 작업 실패를 방지하고 있으며, 관리자는 특정 아키텍처에 필요한 용량이 일시적으로 부족할 경우를 대비하여 장애 조치 규칙을 설정할 수도 있습니다.

벤치마크 인텔리전스를 활용하기

그림 5는 이러한 벤치마킹 데이터를 활용하여 더 나은 비즈니스 성과를 달성하는 방법을 보여줍니다. 생명 과학 분야에서 흔히 볼 수 있는 분자 동역학 애플리케이션을 예로 들어, 성능, 성숙도 및 가치 프로필이 서로 다른 세 가지 하드웨어 옵션을 비교합니다. 

상용 소프트웨어를 사용하는 많은 조직의 경우, 사용 가능한 라이선스를 최대한 활용하는 것이 중요한 고려 사항이므로 성능이 뛰어난 하드웨어를 선택하는 것이 바람직합니다. 반면, 라이선스가 필요 없는 오픈 소스 애플리케이션의 경우, 솔루션 구현 시간보다 비용 절감이 더 중요하다면 가성비를 최적화하는 것이 좋을 수 있습니다. 

따라서 유료 라이선스 없이 사용 가능한 NAMD를 예로 들면, 그림 5의 파란색 삼각형은 하드웨어 2가 가격 대비 성능이 가장 우수하면서도 상대적으로 뛰어난 성능을 제공한다는 것을 나타냅니다. 조직에서 컴퓨팅 요구 사항을 확장하거나 새로 출시된 하드웨어를 테스트하기 시작하면, 특정 하드웨어 옵션이 작업을 성공적으로 완료하는 데 필요한 충분한 용량과 안정성을 갖추고 있는지 확인하기 위해 성숙도 점수가 더욱 중요해집니다. 

Rescale 플랫폼은 이러한 인텔리전스를 통합하여 기업이 리소스를 신속하고 효율적으로 배포할 수 있도록 지원합니다. 새로운 기술이 출시되면 엔지니어와 과학자는 더 빨리 이를 활용할 수 있으며, IT 및 HPC 관리자는 비즈니스 위험을 최소화할 수 있습니다. 

Rescale에서 지능형 컴퓨팅의 새로운 가능성 탐구 

Rescale의 데이터 기반 의사결정을 위한 벤치마킹 인텔리전스를 활용하면 자동화부터 최적화에 이르기까지 다양한 새로운 전략을 구현할 수 있습니다! 

HPC(고성능 컴퓨팅) 분야에서 어떤 이점을 누릴 수 있는지 알아보려면 저희에게 연락하세요. 

❏ 사용자가 대기열 없이 필요한 소프트웨어 및 하드웨어에 즉시 액세스할 수 있도록 지원합니다. 

❏ 클라우드 제공업체와 관계없이, 최상의 클라우드 인프라가 제공되는 즉시 활용하십시오.

❏ 각 사용자, 프로젝트 또는 애플리케이션이 최적의 아키텍처에서 실행되도록 자동 구성되었는지 확인합니다. 

❏ 엔지니어와 과학자들이 지속적으로 혁신할 수 있도록 소프트웨어 및 하드웨어 스택을 지속적으로 업데이트하고 최적화하십시오. 

❏ 최종 사용자의 리소스 수요 변동에 맞춰 적응할 수 있으며, 리소스 활용률 저하에 대한 걱정 없이 사용할 수 있습니다. 

❏ 컴퓨팅 효율성에 대한 완벽한 가시성을 제공하고 더 나은 리소스를 사용할 수 있게 되면 알림을 보냅니다.