빅 컴퓨팅 팟캐스트: AI로 HPC 워크플로 가속화


이번에 빅 컴퓨트 팟캐스트 에피소드인 Gabriel Broner는 IBM의 HPC 및 인지 시스템 담당 부사장인 Dave Turek을 호스트하여 AI가 어떻게 HPC 워크플로우를 가속화하는지 논의합니다.

향후 Big Compute Podcast 에피소드에 등록하세요.
개요 및 주요 의견
HPC는 전통적으로 실제 세계를 표현하기 위해 시뮬레이션에 의존해 왔습니다. 지난 몇 년 동안 AI는 혁신, 컴퓨팅 용량의 증가, 이를 가능하게 하는 새로운 아키텍처로 인해 상당한 성장을 이루었습니다. HPC는 AI 기술의 이점을 누릴 수 있습니다. 기회 중 하나는 시뮬레이션을 준비하고, 결과를 분석하고, 다음에 실행할 시뮬레이션을 결정하는 과정에서 사람들이 수행하는 작업을 확대하는 것입니다. 문제를 해결하기 위해 시뮬레이션 대신 AI 기술을 사용할 수 있는지 한발 물러서서 분석할 때 또 다른 기회가 존재합니다. AI는 HPC 사용자가 가지고 있는 도구 상자를 늘리는 것으로 생각해야 합니다. 미래에는 HPC와 AI의 분리가 존재하지 않을 수도 있으므로 이에 대해 배우고 통합해야 합니다.
HPC + AI로 워크플로 가속화
HPC와 AI가 어떻게 문제를 더 잘 해결하는 데 도움이 될 수 있는지에 대해 Dave Turek은 다음과 같이 말합니다.
“우리는 HPC와 AI가 서로 다른 것처럼 이야기합니다. 저는 이 두 분야의 융합에 대해 이야기하고 싶습니다. 그들은 하나의 우산 아래로 모아져야 합니다. 어쩐지 우리는 알고리즘과 작업 흐름의 차이를 간과하고 있습니다. 상업적인 관점에서 워크플로의 일부가 아닌 워크플로를 다루는 것이 중요합니다. 그렇지 않으면 한계를 두고 작업할 위험이 있습니다. 몇 년 전 저는 석유 업계의 한 회사에서 일하고 있었습니다. 하루 동안 알고리즘에 대해 논의한 후 우리는 그들이 직면한 가장 큰 문제는 데이터를 더 빨리 정렬하는 방법이라는 것을 깨달았습니다. 그들은 문제에 대한 작업흐름 관점을 갖고 있었습니다. 만약 제로타임에 시뮬레이션을 풀었다면 전체 시간의 5~8%만 단축되었을 것입니다. 데이터를 10배 더 빨리 정렬했다면 시간이 40~50% 단축되었을 것입니다. 워크플로우라는 개념을 받아들이면 AI가 도움이 될 수 있는 추가 영역이 많이 보입니다.”
AI의 성장
“혁신은 AI 활용을 촉진하고 있습니다. 우리는 배아 상태에 있습니다. 시간 척도에서 우리는 t=0.001에 있습니다. 사람들은 실험적인 작업을 하고 있지만 곧 배포가 급증할 것입니다. 일부 영역은 자율주행 등 일련의 윤리적 문제를 가져오는 반면, 제조와 같은 다른 영역은 윤리적 고려가 없어 수용 장벽이 적어 상당한 성장을 볼 수 있을 것입니다.”
지능형 시뮬레이션
“지능형 시뮬레이션은 시뮬레이션을 더 좋게 만들기 위해 AI 방법론을 통합한 것입니다. 시뮬레이션 실행의 문제에 대해 생각해 보면 가설이 있고, 시뮬레이션을 실행하고, 결과를 분석하고, 시뮬레이션을 재보정하여 몇 가지 개선을 거쳐 다시 실행할 수 있습니다. 최소한의 시뮬레이션 수를 실행하려면 그렇게 해야 합니다. 결과를 분석하고 다음 시뮬레이션이 무엇인지 결정하기 위해 AI를 도입하면 인간 프로세스가 강화될 수 있습니다. AI는 그 작업의 효과적인 감독이 될 수 있습니다.”
결과
“우리는 놀라운 결과를 보았습니다. 우리는 하루에 수백만 건의 시뮬레이션을 수행하는 고객을 보유하고 있습니다. AI를 통합함으로써 우리는 실행할 시뮬레이션 수를 95/XNUMX 이상 줄일 수 있는 사례를 보았습니다. 이러한 결과는 복제 가능하지만 현재로서는 다양한 문제 유형에 걸쳐 일반화할 수 없습니다. 우리는 XNUMX% 감소라는 좋은 결과를 얻었지만 이것이 전반적인 기대는 아닙니다.”
“의약 분야에서 우리는 질병 매개체에 대한 효능이 있는 잠재적인 약물 화합물을 조사하기 위해 이 접근 방식을 사용했으며, 평가할 화합물을 20000개에서 1000개로 줄일 수 있었습니다. 화학 제제 영역에서 화합물 조합을 분석할 때 분자적인 결과를 도출함으로써 컴퓨팅 양을 60% 이상 줄였습니다. 이러한 접근 방식은 이제 우리가 협력해 온 클라이언트에 의해 운영적으로 구현되고 있습니다.”
인지적 발견
“워크플로우의 80%는 데이터에 관한 것입니다. 데이터를 얻는 방법, 구성하는 방법, 데이터 아키텍처는 무엇입니까? 지능형 시뮬레이션은 증강 전략입니다. 인지적 발견은 대체 전략이다. 시뮬레이션 아이디어를 잊고 AI를 사용하여 HPC 문제를 해결합시다. 시뮬레이션 없이 동일한 문제를 해결할 수 있을까요?”
“우리는 데이터를 수집하고, 정보를 생성하고, 설계하고, 자동으로 신경망을 생성하는 도구를 개발했습니다. 우리는 인간이 분석할 수 있는 범위를 넘어서는 공개 정보에 대한 접근을 생성하기 위해 이러한 도구를 사용하고 있습니다. 예를 들어 2018년에는 재료과학 분야에만 450,000만 편의 과학 논문이 있었습니다.”
AI가 경쟁의 장을 평준화합니다
“데이터 과학자들은 미국 도시 지역에 있습니다. 내가 다른 곳에 있으면 문제가 된다. 부족한 실력은 어떻게 해결하시나요? AI의 접근성을 더욱 평등하게 만들기 위해 이 활동을 얼마나 자동화할 수 있습니까?”
“데이터에서 추론까지의 프로세스를 자동화하고 노하우에 대한 집단적 지식에 대한 접근을 제공함으로써 소규모 기업도 대기업처럼 행동할 수 있습니다. 역사적으로 시장과 경제학에서는 규모의 이점에 대해 이야기해 왔습니다. AI를 통해 모든 사람은 중소기업이 자신의 체중 이상으로 경쟁하는 공평한 경쟁의 장에서 경쟁할 수 있습니다. 이제 직원이 100명인 회사가 직원이 10,000명인 회사와 경쟁할 수 있습니다.”
클라우드에서 액세스
“IBM이 클라우드에서 HPC용 Rescale과 파트너십을 맺으면서 우리가 이야기한 모든 기술을 클라우드에서 사용할 수 있습니다. IBM Q는 Quantum 컴퓨팅에 대한 액세스를 제공합니다. IBM React/IBM RXN은 화학 반응의 결과를 평가하기 위해 취리히에 구축된 인지 발견 시스템에 대한 액세스를 제공합니다."
미래와 우리 직업은 어떻게 변할 것인가
“5~10년 안에 이는 분석 툴킷의 중요한 요소가 될 것입니다. 우리에게는 새로운 도구 세트를 수용하는 것이 중요합니다. HPC에서는 시간이 지남에 따라 사람들이 새로운 도구를 개발해 왔습니다. 예를 들어, MPI의 개발은 병렬 프로그래밍의 사용을 촉진했습니다. 여기서는 다르지도 더 어렵지도 않습니다. 새로운 프레임워크를 통해 우리는 이러한 새로운 도구를 사용할 수 있게 되었습니다. 공부하고, 배우고, 참여하세요. 이는 새로운 기회를 창출할 것입니다.”

데이브 투렉
Dave는 IBM의 HPC 및 인지 시스템 담당 부사장입니다. Dave는 수년 동안 IBM에서 고성능 컴퓨팅 전략인 Exascale Systems를 담당하고 IBM의 그리드 컴퓨팅 비즈니스 출시를 도왔으며 IBM의 Linux 클러스터 비즈니스를 시작 및 운영했습니다. 개발 임원으로서 그는 IBM의 SP 슈퍼컴퓨터 프로그램은 물론 AIX 및 기타 Unix 소프트웨어의 메인프레임 버전을 담당했습니다. 그 자격으로 그는 로렌스 리버모어 국립 연구소(Lawrence Livermore National Laboratory)의 미국 가속 전략 컴퓨팅 이니셔티브(US Accelerated Strategic Computing Initiative)를 지원하는 초기 IBM 개발 노력을 조율했습니다.

가브리엘 브로너
Gabriel Broner는 Rescale의 HPC 부사장 겸 GM입니다. 2017년 25월 Rescale에 합류하기 전에 Gabriel은 Cray의 OS 설계자, Microsoft의 GM, Ericsson의 혁신 책임자, SGI/HPE의 HPC VP 및 GM으로 업계에서 XNUMX년을 보냈습니다.

비슷한 게시물