Google Compute Engine의 MPI 지연 시간

Google은 Google Compute Engine(GCE) 서비스에 대한 액세스를 일반 대중에게 공개함으로써 공식적으로 IaaS 클라우드 컴퓨팅 링에 도전장을 던졌습니다. Google이 선전하는 차별화 기능 중 하나는 성능 네트워킹 인프라의 일부입니다.

우리는 HPC 애플리케이션 도메인의 맥락에서 상호 연결 성능이 어떤지 확인하기 위해 서비스를 이용하기로 결정했습니다. 특히 우리는 MPI 클러스터에 있는 두 시스템 간의 대기 시간을 측정하는 데 관심이 있었습니다.

Google Compute Engine 테스트

테스트를 위해 두 개의 인스턴스를 가동하고 OpenMPI 클러스터를 설정한 다음 osu_latency 벤치마크를 실행했습니다. OSU 마이크로 벤치마크 핑퐁 방식으로 노드 간에 0바이트 메시지를 보내는 데 걸리는 시간을 측정하는 테스트 스위트입니다. 아래에 보고된 숫자는 3회 시도에 대한 평균 단방향 대기 시간 숫자입니다. 각 시험마다 새로운 기계 쌍이 출시되었습니다.

인스턴스 유형시험 #1시험 #2시험 #3평균
n1-표준-1183.12172.57169.90175.20
n1-표준-2192.27202.51196.20196.99
n1-표준-4169.97170.96177.03172.65
n1-하이 CPU-2176.34210.81192.04193.06
n1-하이 CPU-4205.00176.11159.95180.35
n1-highmem-2176.80177.73189.72181.42
n1-highmem-4173.78175.94185.85178.52

*모든 지연 시간은 마이크로초 단위로 측정됨

보고된 지연 시간 수치는 테스트한 모든 인스턴스 유형에서 거의 동일합니다. 테스트 간 차이는 컴퓨터의 다른 테넌트와의 경합으로 인해 발생할 수 있습니다. 클라우드 컴퓨팅 인스턴스를 벤치마킹하는 것은 매우 까다로운 문제입니다. 앞으로는 더 많은 인스턴스와 다양한 기간에 걸쳐 더욱 철저한 테스트를 실행할 예정입니다.

벤치마크 비교

비교하자면, Amazon EC70 인스턴스로 동일한 테스트를 실행할 때 90~2마이크로초 사이의 지연 시간이 나타납니다. 이것이 진정한 일대일 비교가 아니라는 점을 지적하는 것이 중요합니다. Amazon은 특별한 클러스터 컴퓨팅 인스턴스 유형과 배치 그룹을 제공합니다. 후자를 사용하면 동일한 그룹에 있는 시스템 간의 대역폭이 향상되고 대기 시간이 줄어듭니다. GCE 지연 시간 수치는 Edward Walker의 지연 시간 수치에 더 가까운 것으로 보입니다. 신고 EC2의 비클러스터 컴퓨팅 인스턴스용. Google은 현재 웹 서비스 호스팅의 보다 일반적인 작업 부하에 초점을 맞추고 있으며 결국에는 HPC와 같은 다른 도메인을 위한 인프라 조정에 초점을 돌릴 것으로 보입니다. 현재로서는 본질적으로 "당황스러울 정도로 병렬"적인 워크로드에 GCE가 더 적합한 것 같습니다.
이러한 유형의 마이크로 벤치마크가 실제 애플리케이션을 실행할 때 표시되는 성능을 반드시 나타내지는 않는다는 점에 유의해야 합니다. 우리는 사용자가 예상되는 성능을 실제로 파악하기 위해 거시적 수준의 애플리케이션별 테스트를 수행하도록 권장합니다. 지연 시간 페널티를 완화하는 방법에는 여러 가지가 있습니다.

  • 특정 종류의 시뮬레이션 문제의 경우 모델을 별도의 조각으로 분해하여 병렬로 평가할 수 있습니다. 퍼블릭 클라우드의 등장으로 사고의 전환이 필요합니다. 단일 온프레미스 클러스터를 보유하는 대신 분해된 조각에 대해 동시에 작동할 수 있는 여러 개의 작은 클러스터를 시작하는 것이 가능합니다.
  • 가능한 경우 하이브리드 Open MP/MPI 애플리케이션을 활용합니다. 클러스터 노드 간의 대화량을 줄이는 것은 대기 시간 비용을 완전히 방지할 수 있는 탁월한 접근 방식입니다.

우리는 다양한 클라우드 제공업체 간의 지속적인 군비 경쟁을 기대하며 HPC 성능이 지속적으로 향상될 것으로 기대합니다. 예를 들어, Microsoft는 최근 새로운 기능을 발표했습니다. Azure용 HPC 제품 이는 인스턴스 간의 Infiniband 연결을 약속합니다. 대부분의 경우와 마찬가지로 대규모 클라우드 컴퓨팅 제공업체 간의 경쟁은 최종 고객에게 매우 좋습니다. ~에 Rescale, 우리는 고객에게 가능한 최고의 성능을 계속 제공할 수 있는 기회를 갖게 되어 기쁘게 생각합니다.

데모 등록

Rescale이 HPC 클라우드 분야를 어떻게 혁신하고 있는지 자세히 알아보세요.

비슷한 게시물