클라우드의 HPC 스크립트가 뒤집어졌습니다.
클라우드: 비즈니스 연속성에서 경쟁 우위로
전 세계 IT 전문가들이 추구하는 클라우드 우선 이니셔티브, 직장의 전례 없는 변화와 클라우드 기술의 발전으로 인해 가속화되었습니다. 마이그레이션의 긴급성이 더욱 높아지면서 비즈니스 측면의 이해관계자들은 새로운 사용 사례를 수용하기 위해 용량 및 최신 기술에 대한 수요를 점점 더 늘리고 있습니다. 일자리 증가와 함께 (컴퓨터 월드) 및 고용(포브스)가 2021년에 다시 활기를 띠게 되면서 많은 업계에서 흥미로운 이정표와 공격적인 출시 로드맵을 내세우는 것은 놀라운 일이 아닙니다. 육로와 항공 여행에서 일어나는 심층적인 기술 혁신부터 혁신을 뒷받침하는 컴퓨팅 능력에 이르기까지 우리는 과학 및 산업 R&D 분야에서 흥미로운 붐을 일으키고 있습니다.
많은 조직이 업무와 협업의 미래를 재정의하면서 클라우드 지원 팀과 도구가 점점 더 비즈니스 연속성의 생명선이 되고 있습니다. 제품 혁신을 추진하기 위해 고성능 컴퓨팅(HPC)을 사용하는 IT 및 R&D 팀은 HPC 워크로드의 73%가 향후 5년 내에 클라우드에 있을 것으로 믿고 있다고 밝혔습니다.
역사적으로 비용, 보안 및 전문적인 사용 사례에 대한 우려로 인해 일부 조직은 클라우드로 도약하거나 격리된 워크로드 또는 버스트 컴퓨팅 요구에 대한 배포를 제한하지 못했습니다. 그러나 이러한 클라우드 수용은 많은 사람들이 예상했던 것보다 빨리 이루어졌습니다. 2020년에는 HPC 클라우드 부문에서 78.8%의 '매우 높은 성장'을 기록하여 기대치를 크게 웃돌았습니다(Intersect360).
증가하는 수요를 충족하기 위해 AMD EPYC™ 프로세서를 탑재한 Rescale on Azure와 같은 최첨단 클라우드 HPC 제품은 스크립트를 뒤집어 이러한 이전 우려 사항을 차별화 지점으로 바꾸고 있습니다.
일반적인 클라우드 HPC 오해에 도전
“Cloud HPC는 내 전문적인 사용 사례를 처리할 수 없습니다.”
Cloud HPC는 얼리 어답터들이 거의 XNUMX년 전에 클라우드에서 실행되는 배치 워크로드를 실험하기 시작한 이래로 큰 발전을 이루었습니다. 오늘날 클라우드는 일부 특정 워크로드가 여전히 온프레미스에 남아 있는 현대 기업을 거의 변화시켰습니다. 과학 및 공학 연구 개발 영역에서는 대규모 데이터 처리 능력과 전문적인 시뮬레이션 방법이 주요 차별화 요소였습니다. 따라서 경쟁 우위를 유지하기 위해 많은 주요 조직에서는 사용 사례에 맞게 특별히 맞춤화된 특수 슈퍼컴퓨터를 구축했습니다.
클라우드 컴퓨팅이 처음 도입되었을 때 엔지니어와 IT 전문가 모두 클라우드가 차량을 더 안전하게 만들고 비행기를 더 효율적으로 만드는 컴퓨팅을 위해 특별히 구축된 자체 개발 데이터 센터와 경쟁할 것이라고는 상상할 수 없었습니다. 클라우드 서비스 제공업체가 ERP(전사적 자원 관리) 애플리케이션이 갈망하는 범용 규모를 제공하기 위해 경쟁하면서 호기심 많은 HPC 엔지니어는 우연히 클라우드에서 기본 배치 워크로드를 테스트했습니다. 전산유체역학과 같은 다중 노드 HPC 클러스터와 항공우주 및 자동차 사용 사례에 사용되는 기타 일반적인 워크로드가 필요한 작업을 실행하는 데 문제가 발생했습니다.
클라우드 또는 온프레미스 배포에 관계없이 특정 사용 사례에 맞게 클러스터를 가동하려면 워크로드 요구 사항, 하드웨어 유형, 소프트웨어 라이선스 및 설치에 대한 숙련도, 명령줄 및 메시지 전달 인터페이스에 대한 이해가 필요합니다. 더욱이, 클라우드는 훈련받지 않은 사람에게는 클라우드에 최적의 보안 리소스를 배포하는 것이 부담스럽고 어려울 수 있는 수많은 하드웨어, 스토리지, 보안 및 네트워크 아키텍처를 제공합니다. 또한 초기 클라우드 인프라는 전산 화학, 날씨 예측, 지진 시뮬레이션과 같은 많은 워크로드의 높은 클럭 속도, 코어 수, 상호 연결 및 메모리 요구 사항을 충족할 수 없었습니다.
오늘날 선도적인 클라우드 제공업체는 다양한 HPC 워크로드 요구 사항에 맞게 특별히 제작된 다양한 하드웨어 유형을 제공합니다. 반도체 및 전자 설계 회사는 다양한 설계 검증 단계를 수용하기 위해 다양한 컴퓨팅 유형을 유지하는 경우가 많습니다. 마찬가지로, 생명 과학 조직은 클라우드 유연성과 GPU 및 CPU 리소스를 확장 및 전환하여 분자 역학 및 결정화와 같은 시뮬레이션을 통해 약물 발견을 수행할 수 있는 선택권을 활용합니다.
이제 우리는 HPC가 고유한 사용 사례 전반에 걸쳐 가능할 뿐만 아니라 실제로 새로운 사용 사례를 가능하게 하는 클라우드 성숙 단계에 있습니다. 필요한 정확한 리소스를 가동하고 즉시 전환할 수 있는 클라우드 기반 스타트업에서 새로운 발견과 혁신이 탄생하고 있습니다. 새로운 하드웨어 출시 비율이 기하급수적으로 증가하고 조직이 최신 하드웨어를 선호함에 따라(클라우드 HPC 보고서의 빅 컴퓨팅 현황), 기계 학습, 제너레이티브 디자인, 디지털 트윈과 같은 급증하는 사용 사례를 위해 업계 모든 분야의 HPC 실무자가 클라우드로 모여들 것으로 예상됩니다.
“클라우드 HPC는 경제적이지 않습니다.”
거의 30년 동안, Top500 목록에서는 주요 슈퍼컴퓨터를 추적했으며, 2021년에는 클라우드 네이티브 슈퍼컴퓨터가 처음으로 목록을 만들었어요 상위 10% 시스템에 속합니다. 이 중추적인 이정표는 클라우드 성능이 빅 리그에 대비할 준비가 되었음을 나타냅니다. 하지만 비용은 어떻습니까?
클라우드 컴퓨팅 비용은 "무한한 컴퓨팅"이라는 주장을 들을 때마다 움츠러드는 많은 IT 리더들에게 논쟁거리가 되어 왔습니다. HPC 애플리케이션은 리소스를 원합니다. 비즈니스 측면에서 처리되는 데이터가 많을수록 모델이 더 정확해지고 완제품이 더 좋아질 가능성이 높습니다. 기업은 항상 비즈니스 사용자의 요구와 할당된 R&D 자금의 균형을 맞추는 데 어려움을 겪어 왔습니다. HPC 인프라 결정을 담당하는 많은 HPC/IT 관리자는 온프레미스 외부가 코어 시간당 비용을 기준으로 클라우드를 수행한다는 개념에 의존해 왔습니다. 현대의 클라우드 하드웨어 경제성은 일반적으로 유지되는 비용 가정에 도전하고 있으며 클라우드 제공업체는 전반적인 지원 측면에서 크게 성숙하여 지출 효율성이 향상되었습니다.
우리가 논의한 것처럼 HPC 구매자 가이드, HPC 운영과 관련된 고정 비용과 소프트 비용을 계산할 때 고려해야 할 사항이 많지만 집중적인 논의를 위해 클라우드와 온프레미스 인프라의 비용 대비 성능을 비교할 수 있습니다.
인프라 결정의 경제성을 극대화하기 위해 Rescale은 조직에게 광범위하고 지속적인 비용 대비 성능 데이터에 대한 액세스를 제공합니다. 이 데이터는 지속적으로 성장하는 컴퓨팅 하드웨어 유형 포트폴리오를 비교하고 선택할 수 있는 인덱스인 RPI(Rescale Performance Index)를 제공합니다. 많은 고객이 온프레미스에서 마이그레이션함에 따라 Rescale은 해당 배포의 벤치마크 데이터도 보유하고 있습니다.
클라우드와 데이터 센터의 새로운 하드웨어 벤치마크 플롯에서 관찰할 수 있는 것은 새로운 클라우드 하드웨어의 성능/비용 지수(아래 그림의 '가치')가 완전히 로드된 하드웨어보다 더 빠르고 더 자주 증가한다는 것입니다. 데이터센터 설치. 지속적으로 최적화하거나 성능이 더 뛰어난 하드웨어로 전환할 수 있으면 조직은 컴퓨팅 인프라 비용의 20%를 회수하는 데 도움이 될 수 있습니다(디지털 R&D를 위한 지능형 컴퓨팅). Azure의 AMD CPU와 같은 HPC 하드웨어를 구체적으로 살펴보면 RPI의 긍정적인 추세를 확인할 수 있습니다. 이는 실무자가 비용을 일정하게 유지하면서 더 나은 성능을 기대할 수 있음을 의미합니다. 클라우드는 매년 동일한 비용으로 향상된 성능에 대한 액세스를 제공하므로 시간이 지남에 따라 클라우드의 고정 예산으로 제공되는 총 성능은 동일한 총 비용으로 고정된 온프레미스 클러스터의 성능을 초과합니다.
파운드당 파운드 비교 하드웨어 경제성을 살펴본 후 이제 HPC 비용을 부풀릴 수 있는 다른 요소, 즉 대부분의 조직에서 하드웨어 비용보다 훨씬 큰 라이선스 및 인력을 고려할 수 있습니다. HPC 전문 지식과 공급이 부족한 인재에 대한 수요가 급격히 증가함에 따라 온프레미스 배포를 구축하고 유지 관리하는 타당성이 줄어들 것으로 예상되며, 클라우드 호스팅 솔루션을 선호하는 규모가 더욱 커질 것으로 예상됩니다.
“클라우드 HPC는 안전하지 않습니다.”
눈썹을 치켜세운 말에 따르면 Gartner가 최근 공유한 데이터 포인트, "퍼블릭 클라우드 IaaS 워크로드는 60년까지 기존 데이터 센터보다 보안 사고가 2020% 감소할 것입니다. 그리고 클라우드의 모든 보안 실패 중 최소 95%는 고객으로 인해 발생합니다."
클라우드에 취약점이 가득하다고 믿는 사람들에게는 이것이 놀라운 일이 될 수 있습니다. 역사적으로 퍼블릭 클라우드는 기업 IT 조직 사이에 우려와 추측을 불러일으켰으며 특히 준수해야 할 특정 데이터 규정이나 규정 준수 표준이 있는 기업의 경우 클라우드 HPC 마이그레이션을 차단하기에 충분한 경우가 많습니다. 이러한 우려는 물리적으로 IT 감독 하에 있지 않은 인프라와 전사적 방화벽 및 정책에 대한 합리적인 불신에서 비롯됩니다. 당연히 최첨단 HPC 워크로드에는 ITAR, FedRAMP, NIST와 같은 규정 준수 표준이 적용되는 중요한 지적 재산 및 데이터를 처리하는 작업이 포함됩니다.
그러나 클라우드 서비스 제공업체는 이러한 이야기를 바꾸기 위해 열심히 노력하고 있으며, 노력을 효과적으로 입증하고 고객 신뢰를 구축하기 위한 정책과 도구를 마련하고 있습니다. AMD EPYC™ 프로세서를 갖춘 Rescale on Azure는 전체 HPC 스택에 걸쳐 안정성, 규정 준수 및 보안을 위해 특별히 설계된 클라우드 고성능 컴퓨팅 솔루션을 제공합니다. Azure는 산업, 국가 및 지역 전반에 걸쳐 90개의 규정 준수 인증을 준수하여 원격 공동 작업을 염두에 두고 구축된 탄력적인 국제 기반을 제공합니다. 스택 위에서 Rescale의 소프트웨어 정의 보안은 적절한 IP 처리를 시행하고 고급 TLS를 통한 전송 암호화와 256비트 AES를 통한 다층 암호화를 제공합니다. 기존 클라우드 보안 표준을 강화하기 위해 Rescale은 엔드투엔드 워크플로우가 안전하고 SOC 2 Type-2, CSA, ITAR, HIPAA, FedRAMP 보통 및 GDPR을 준수하도록 추가 보호 장치를 구축합니다.
글로벌 인력이 더욱 분산되고 협업적이며 상호 의존적으로 성장함에 따라 HPC 이니셔티브와 팀이 IT 거버넌스에 새로운 복잡성을 창출할 것으로 예상됩니다. Rescale은 고객이 내부 부서와 분야 전반에 걸쳐, 그리고 합작 투자 및 연구 컨소시엄과 같은 파트너십을 통해 혁신의 경계를 넓히는 것을 보게 되어 기쁘게 생각합니다(코비드에 대항하는 기술). 이러한 목적을 위해 Rescale은 팀을 쉽게 관리하고 데이터를 깔끔하게 분할하여 새로운 통찰력을 얻고 민감한 데이터를 손상시키지 않으면서 원활한 협업을 가능하게 하는 도구를 조직에 제공합니다.
AMD EPYC을 갖춘 Azure에서 Rescale™ 프로세서
업계 데이터에 따르면 클라우드 HPC가 지속적으로 빠르게 채택됨에 따라 AMD EPYC™ 프로세서를 탑재한 Rescale on Azure 간의 파트너십은 최첨단 기술 혁신을 통해 클라우드 HPC에 대한 기존 사용자 우려를 해결하기 위해 계속 노력하고 있습니다. 채택을 통해 클라우드 HPC에 대한 오해에 도전하는 사람들은 역사적 조사와 인지된 위험보다 훨씬 더 큰 이점을 실현하고 있습니다.
AMD EPYC™ 프로세서를 탑재한 Rescale on Azure는 규모와 성능 면에서 새로운 차원을 달성하기 위해 단순성을 염두에 두고 구축된 클라우드 HPC 솔루션입니다. 자세한 내용이나 문의 사항은 sales@rescale.com으로 문의하세요.
이 블로그는 Garrett VanLee(제품 마케팅, Rescale), Andrew Jones(기업 Azure 엔지니어링 및 제품 계획), Sean Kerr(제품 마케팅, AMD)가 작성하고 검토했습니다.
