시뮬레이션 데이터 자동화에 떠오르는 애자일 클라우드 네이티브 접근 방식

엔지니어링 및 과학 컴퓨팅 의 세계가 새로운 기술과 새로운 방법으로 계속 진화함에 따라, 시뮬레이션 데이터의 생성, 관리 및 사용 방식은 속도를 제한하는 요소의 하나로 작용하고 있습니다. 하지만 이 방식이 더 이상 지속 가능한 시나리오가 아님을 보여주는 몇 가지 신호가 있습니다. Rescale 역시 이 문제의 해결을 위해 최선의 노력을 기울이고 있습니다.

그 소식을 공유하게 되어 기뻐요 Rescale Data 시뮬레이션 데이터에서 가치를 포착하기 위한 새로운 접근 방식을 고려하는 데 관심이 있는 조직을 위한 비공개 베타 버전입니다.

현재 Rescale은 항공우주, 자동차, 생명과학, 산업 및 기타 여러 산업 분야의 상위 10대 기업 대부분에 서비스를 제공하고 있습니다. 산업별로 R&D 컴퓨팅 목표와 성숙도는 다르지만, 공통적인 추세는 있습니다. 일반적으로 제품 수명주기 관리(PLM) 시스템은 잘 도입된 상태이며 상당히 성숙해 있습니다. 부품 번호부터 가격 정보, 부품 사양에 이르기까지 회사의 제품 제조에 필수적인 정보가 든 중요한 제품 '자재 명세(BOM)' 데이터들이 PLM 시스템에 저장된다는 점을 생각하면 이는 놀라운 일이 아닙니다. PLM 시스템은 사용자 수가 많고 비즈니스 운영에 매우 중요하므로 각별한 관리가 필요합니다.

시뮬레이션 및 시뮬레이션 데이터의 관리 방식에 있어서는 오히려 정반대입니다. 비교적 적은 수의 사용자가 시뮬레이션을 실행하며, 가장 최신의 시뮬레이션 도구를 선호합니다. 시뮬레이션 데이터를 종종 트랜잭션의 차원에서 보기도 합니다. "시뮬레이션 결과가 PASS인가?"에 대한 답이 "아니오"라면 더 많은 반복을 수행하고, "예"라면 유용한 시각화 이미지와 함께 보고서(PPT, Word, PDF 등)에 성공적인 설계였다고 적은 후 다음 단계로 진행합니다. 거의 대부분의 경우, 이런 시뮬레이션은 그 결과값이나 사용한 메시와 직접적인 연결점이 없기 때문에 쉽게 복제가 불가능합니다.

시뮬레이션 데이터 및 프로세스 관리(SPDM)라는 개념 자체는 수년 전부터 존재해 왔지만, 아직은 쓰이는 곳이 대체로 많지 않습니다. 도입률이 높지 못한 대표적인 이유로는 1) 시뮬레이션의 컨텍스트와 결과를 발생 즉시 포착해야 하는 어려움, 2) SPDM 시스템의 복잡성과 경직성, 3) 엔지니어나 과학자의 작업 방식을 바꿔야 하는 데서 오는 사용자 참여의 어려움 등이 많이 회자됩니다.

결과적으로 기업들은 그 어느 때보다 많은 시뮬레이션을 실행하게 되면서, 사내 공유 드라이브에 그대로 쌓이기만 하는 폭발적인 양의 시뮬레이션 데이터를 만들어내고 있는 것입니다. 엔지니어와 과학자들이 매우 중요할지도 모르는 엄청난 양의 데이터를 생성하고 있음에도 불구하고, 정작 데이터에 레이블을 제대로 지정하지 않기 때문에 어떤 데이터가 중요한지는 영원히 아무도 모르게 됩니다.  

하지만 이와 같은 상황은 몇 가지 이유에서 장기간 지속이 어렵습니다.

첫째, 데이터 양이 증가하고 비용도 증가합니다. 스토리지 비용은 점점 낮아지지만, 데이터 증가 속도가 이보다 훨씬 빠릅니다. 때문에 사용할 수 없는 데이터에 지출하는 비용이 너무 커집니다.  

둘째, 기업들은 재작업의 부정적 영향은 인정하지만 시뮬레이션 활동에 대한 큰 그림은 보지 못하고 있습니다. 한 글로벌 자동차 회사의 임원은 시뮬레이션 활동의 30%가 업무 조율의 부족 탓에 낭비되는 것으로 보인다고 전한 바 있고, 선도적인 어느 에너지 기업의 임원은 설계 후보안에 대한 모든 관련 시뮬레이션 결과를 쉽게 파악할 수 있다면 설계 결정을 70% 더 빨리 내릴 수 있을 것이라고 말하기도 했습니다.

셋째, 선도적인 기업들은 AI 기반 대리 모델부터 물리 기반 신경망 사용에 이르기까지 엔지니어링 및 과학 연구에 AI의 도입을 원하고 있습니다. 우리 모두가 알다시피 AI는 학습된 데이터만큼만 성능이 향상됩니다. 그리고 이를 위해서는 데이터의 효과적인 관리가 필요합니다.

누구의 문제인가?

２년 전, Rescale의 제품 관리자들은 몇몇 Rescale 사용자가 스프레드시트를 사용해 우리 플랫폼에서 시뮬레이션을 실행하며 활동을 추적한다는 사실을 접했습니다. "무엇을 추적하고 계신가요?"라고 물었을 때, 한 시뮬레이션 엔지니어는 "그냥 어떤 시뮬레이션 실행이 제가 조사 중인 엔지니어링 문제의 해결에 도움이 되었는지 추적하고 있을 뿐입니다. 플랫폼에는 문제가 없어요. 여러분의 문제는 아닙니다"라고 답했습니다. 당연한 이야기지만, 이런 종류의 스프레드시트는 시간이 갈수록 낡아져 어떠한 팀원도 해당 정보를 활용할 수 없게 됩니다.  

위에 소개한 내용을 비롯한 몇몇 대화를 통해, '디지털 스레드'의 구성원으로서 우리는 고객들이 시뮬레이션 활동과 결과를 엔지니어링 결정에 연결할 수 있도록 돕는 역할을 다하지 못하고 있다는 사실을 알게 되었습니다. 어떤 측면에서 보면 이는 우리의 문제였고, 우리가 해결해야 할 문제라고 판단했습니다.

그해 말 우리는 리소스 태그를, 이후에는 사용자 지정 필드를 출시했습니다. 리소스 태그를 이용하면 사용자가 시뮬레이션 활동에 원하는 레이블을 추가할 수 있고, 사용자 지정 필드를 이용하면 엔지니어링 리더가 팀에 필요하다고 생각되는 정보를 캡처할 수 있습니다.

지금은 고유한 레이블을 사용해 자신이 수행하는 작업을 추적하는 개인 엔지니어부터, 특정 구성 요소에 대해 시뮬레이션을 수행할 때마다 올바른 부품 번호를 참조하고 주요 시뮬레이션 결과를 사용자 지정 필드에 푸시하는 대규모 조직에 이르기까지 다양한 사용 사례들이 나타나고 있습니다. 이는 향상된 작업 검색 기능(검색 저장 포함)과 결합되어 엔지니어링 팀이 엔지니어링 컴퓨팅 활동과 결과에 대한 가시성을 그 어느 때보다 쉽게 확보하도록 도와주고 있습니다. 이 중 어느 것도 복잡한 신규 시스템의 구현이나 사용자의 시뮬레이션 실행 방식 변경은 필요하지 않았습니다.

그러나 우리는 여기서 멈출 수는 없습니다.  

Rescale은 조직들이 더 민첩하고 데이터 중심적이 되기 위해 필요한, 디지털 스레드의 '더 나은 구성원'이 되어가고 있습니다. 여기서 더 큰 영향력을 발휘하려면 지금까지 이룬 진전을 어떻게 더 강화해야 할까요?

애자일 클라우드 네이티브 접근 방식

실행 중인 시뮬레이션의 컨텍스트와 결과를 실시간으로 포착할 수 있게 되면, 그러한 시뮬레이션과 그에 기반한 통찰력에 의존하는 엔지니어와 과학자들의 업무를 돕기 위해 또 무엇을 할 수 있을까요? 컴퓨팅 자동화를 위한 클라우드 기반 제어 플레인으로서, 우리는 어떻게 하면 Rescale의 경험을 데이터 자동화에 접목시킬 수 있을지 고민하게 되었습니다.

Rescale Data는 클라우드 고성능 컴퓨팅 분야의 회사로서 첫 13년 동안 Rescale이 구축한 기반을 기반으로 구축되어 모든 클라우드 공급자의 모든 아키텍처에서 모든 시뮬레이션 실행을 자동화합니다.

특히 Rescale Data의 목표는 다음과 같습니다.

• 어떤 데이터를 캡처할지에 대한 완전한 유연성 제공
• 시뮬레이션 활동의 진행에 따라 컨텍스트에 맞는 모든 데이터의 캡처
• 캡처한 모든 데이터에 대한 상시 액세스와 컨텍스트화 보장
• 모든 것의 자동화

캡처가 필요한 데이터에 대한 완전한 유연성을 제공하는 방법은 위에서 언급한 바 있습니다. 우리는 모든 데이터를 컨텍스트에 맞게 캡처할 수 있도록 '스터디(Studies)'의 개념을 Rescale에 도입했습니다.  

재조정 연구 시뮬레이션 수행 목적에 따라 사용자 경험을 구성합니다. 연구는 프로젝트 내에 존재하며 연구와 관련된 작업, 워크스테이션 및 파일을 포함할 수 있습니다. 사용자가 연구에서 시뮬레이션을 실행하기 때문에 모든 작업은 연구의 메타데이터를 상속하여 사용자가 수동으로 컨텍스트를 추가하는 부담을 줄입니다. Jira 에픽과 유사하게 연구는 조직 내의 모든 사람이 연구 결과로 이어진 결과, 근거 및 기본 시뮬레이션에 대한 가시성을 얻을 수 있도록 내부적으로 공유할 수 있습니다.

Rescale Data의 또 다른 핵심 구성 요소는 통합 데이터 레이크하우스입니다. 이 기능을 사용하면 Rescale 작업에서 나오는 모든 시뮬레이션 결과가 자동으로 레이크하우스로 푸시됩니다. 이는 스마트폰으로 사진을 찍고 클라우드에서 즉시 액세스하여 날짜, 위치, 심지어 피사체 이름까지 검색할 수 있는 것과 유사합니다. Jupyter 노트북을 사용하면 사용자는 연구에서 얻은 모든 결과 또는 특정 구성 요소를 다루는 사람이 수행한 모든 작업을 쿼리할 수 있습니다. 데이터 레이크하우스는 시뮬레이션 결과의 진실 소스가 되며 디지털 스레드에서 중요한 역할을 합니다.

마지막으로 Rescale Data에는 구축을 위한 투자도 포함됩니다. 계산 파이프라인. 자주 함께 실행되는 시뮬레이션을 자동화함으로써 우리는 엔지니어 반복적으로 시뮬레이션을 실행하는 대신 분석과 의사결정에 집중하세요.

시뮬레이션 데이터 및 프로세스 관리에 경험이 있는 분이라면, 우리가 어떤 조직이 가진 개별 엔지니어링 프로세스의 모델링에 중점을 두고 있는 것은 아님을 눈치채셨을 것입니다. 그 대신, 우리는 복잡성을 최소화함과 동시에 고객사들이 가장 유용하다고 말하는 다음과 같은 구성 요소에만 집중하고 있습니다. 1) 시뮬레이션이 실행 중일 때 컨텍스트를 캡처하는 기능, 2) 승인된 사용자라면 누구나 데이터를 쿼리하고 해석할 수 있게 지원하는 기능, 3) 시뮬레이션 데이터의 가치를 최대한 활용할 수 있게 하는 유연한 자동화 및 분석 도구 제공이 바로 여기에 해당합니다.

데이터 사용 사례 재조정

다음은 데이터 자동화에 대한 고객 논의에서 나온 몇 가지 사용 사례입니다. Rescale Data 비공개 베타에 대해 더 자세히 알고 싶으시면 등록하세요. 여기에서 확인하세요, 또는 Rescale 계정 담당자에게 문의하세요.

통합 기획 및 관리

프로젝트 스터디를 먼저 정의하고 시작하면 여러 분야의 팀이 각자 역할을 수행하며 긴밀하게 조율된 방식으로 작업할 수 있습니다. 이러한 접근법은 각 스터디의 진행 상황과 해당 스터디에 쓰이는 데이터에 대한 완전한 투명성을 제공합니다. 

데이터 거버넌스

엔지니어링 리더는 시뮬레이션 엔지니어의 작업 실행 시 자신들이 유지하고자 하는 중요한 컨텍스트 정보를 캡처할 수 있습니다. 필드는 실행 중인 프로젝트 또는 시뮬레이션에 따라 조정할 수 있으며, 데이터가 누락되지 않도록 요청할 수도 있습니다. 이러한 데이터는 시뮬레이션 데이터 레이크하우스에서 즉각적인 쿼리를 통해 데이터 품질을 보장할 수 있습니다.

모델 기반 협업

열 엔지니어가 방법론을 개발하고 열 시뮬레이션을 실행한 다음, 최상의 설계 후보안을 확정합니다. 그런 다음 구조 엔지니어가 최대 응력 분석을 실행해 또 다른 데이터 계층을 추가할 수 있습니다.

디지털 스레드

엔지니어링 리더는 각 분야 시뮬레이션 엔지니어들의 평가를 바탕으로 몇 가지 주요 설계 후보안에 대해 생성된 모든 데이터를 살펴본 후 최종 설계안을 결정합니다. 만약 결정된 사항을 조정해야 하는 경우라도 앞서 평가했던 다른 설계안들을 완벽히 추적할 수 있습니다. 설계 결정안을 수정하기 전에 새로운 데이터 계층을 추가하는 것도 가능합니다.

워크플로우 자동화

자동차에서 발생하는 삐걱거리는 소음을 이해하려면 먼저 브레이크 로터와 패드 사이의 접촉을 분석(비선형 접촉 분석)한 다음, 내재된 진동의 정체를 파악(복합 주파수 추출)해야 합니다. Rescale에서는 계산 파이프라인을 통해 이 과정을 고도로 자동화하고 반복 가능한 프로세스로 만들 수 있습니다.

Copilot을 통한 AI 지원 엔지니어링

Rescale 시뮬레이션 데이터 레이크하우스에 모인 시뮬레이션 데이터를 사용하면 공공 규제 지침을 포함한 요구사항 문서에 대해 특정 데이터 세트의 LLM(대규모 언어 모델)을 활용할 수 있습니다. 이 예시에서는 ACME 자동차 엔지니어가 LLM을 사용해 자신들의 설계가 유럽 NCAP 표준 대비 어떤 퍼포먼스를 보이는지 평가하고 있습니다.

AI Physics를 활용한 AI 엔지니어링

NVIDIA 기반의 Rescale AI Physics를 올해 초 NVIDIA GTC에서 발표한 바 있습니다. 실제 물리 모델링을 위해 빠르게 성장하고 있는 AI 도구 생태계 및 데이터 기반 역할을 하는 컴퓨터 시뮬레이션을 쉽게 결합할 수 있도록 지원하는 것이 AI Physics 데이터 자동화의 목표입니다. 주요 기능으로는 AI Physics 기법 개발을 위한 프로세스 자동화, 그리고 사용 중인 AI Physics 모델의 버전 관리를 위한 데이터 출처 증명 등이 있습니다.