클라우드 파일 시스템(CFS) 재조정

참고: CFS는 베타 제품입니다. 계정 담당자에게 문의해 주세요. support@rescale.com CFS 사용에 관심이 있다면.

복잡한 시뮬레이션 전반에 걸쳐 분산된 데이터 세트를 관리하는 것은 연구 개발에서 흔히 발생하는 병목 현상입니다. Rescale의 클라우드 파일 시스템(CFS)은 고성능의 중앙 집중식 영구 저장소를 제공하여 이 문제를 해결합니다. CFS는 모든 핵심 데이터에 대한 단일 정보 소스 역할을 합니다. HPC고급 애플리케이션 실행을 위한 병렬 처리 사용 더 보기 일반적인 데이터 공유를 능가하는 향상된 병렬 파일 공유를 제공합니다. 작업량작업량은 컴퓨팅 작업의 양과 유형을 의미합니다. 더 보기 또는 팀별 스토리지 솔루션.

CFS 내의 데이터는 파일 시스템 기반의 계층 구조로 저장되어 직관적인 방식으로 정보를 구성하고 액세스할 수 있습니다. Rescale 작업 및 워크스테이션에 직접 연결되는 네트워크 드라이브처럼 작동하는 CFS는 워크플로를 간소화하고 협업을 강화하며 스토리지 비용을 절감하는 데 도움을 줍니다. 모든 사용자를 위한 공유 가능한 저장 리소스 작업 공간작업 공간을 통해 Rescale 고객은 전담 팀을 만들 수 있습니다... 더 보기 조직 내에서이를 통해 엔지니어, 과학자 및 연구자는 공통 파일, 라이브러리 및 프로젝트 데이터를 한곳에서 쉽게 구성, 관리 및 액세스할 수 있습니다. 모두가 같은 정보로 작업하고 있습니다.

주요 이점 및 사용 사례

CFS는 데이터 접근성과 관리 용이성을 높여 R&D 주기를 단축하도록 설계되었습니다. 안전하고 협업적이며 비용 효율적인 데이터 관리 방식이 필요한 조직에 이상적입니다. 시뮬레이션시뮬레이션은 실험, 테스트 시나리오 및 제작입니다. 더 보기 데이터입니다.

장점

• 단순화된 데이터 관리: 프로젝트별 모든 파일을 단일 위치에 중앙 집중화하여 데이터 사일로를 제거하고 중복 사본을 줄입니다.
• 가속화된 워크플로: 각 작업에 대한 장시간 데이터 업로드를 피하고 처리량이 높은 스토리지를 통해 작업 부하를 가속화하세요. CFS를 마운트하면 테라바이트급 데이터에 즉시 액세스하여 몇 시간이 아닌 몇 분 만에 한 시뮬레이션에서 다음 시뮬레이션으로 이동할 수 있습니다.
• 협업의 향상: 사용자와 Rescale Projects 간에 데이터를 원활하고 안전하게 공유하세요. 모든 사용자가 동일한 파일 저장소에 접근하므로 일관성을 유지하고 팀워크를 향상시킬 수 있습니다.
• 비용 최적화최적화는 값을 결정하는 체계적인 방법입니다. 더 보기: 중복 파일을 제거하여 저장 공간 사용량을 줄이세요. 데이터는 활성 상태일 때만 파일 시스템 저장소에 보관되며, 필요에 따라 이동할 수 있습니다. 파일 크기 조정결과 그룹화로 데이터 관리를 위한 크기 조정 기능... 더 보기 장기 저장을 위해.
• 데이터 지속성: CFS에 저장된 파일은 삭제하기로 선택할 때까지 무기한으로 사용할 수 있으므로 여러 작업과 분석에 걸쳐 모든 중요 프로젝트 데이터를 보관할 수 있는 영구 저장소가 제공됩니다.

일반적인 사용 사례

• 대규모 다중 작업 시뮬레이션: 일련의 관련 시뮬레이션(예: 실험 계획법 또는 매개변수 스윕)을 실행하는 팀은 기준 입력 파일을 CFS에 저장할 수 있습니다. 그러면 각 작업에서 파일을 다시 업로드할 필요 없이 즉시 액세스할 수 있습니다.
• 협업 엔지니어링 프로젝트: 자동차 설계 팀은 CFS를 사용하여 공통적인 정보를 저장할 수 있습니다. CADCAD는 컴퓨터 지원 설계(Computer-Aided Design)를 의미합니다. 컴퓨터를 사용하는 것인데.. 더 보기 파일 솔버솔버는 수치 알고리즘 또는 소프트웨어 도구입니다. 더 보기 라이브러리 및 시뮬레이션 결과를 활용할 수 있습니다. 전 세계 엔지니어가 이 중앙 저장소에 접근하고 추가할 수 있으므로, 모두가 최신 설계 반복 작업에 집중할 수 있습니다.
• 후처리 및 시각화시각화는 복잡한 과학적 또는... 더 보기: 대규모 시뮬레이션 실행 중 또는 실행 후 출력 파일은 CFS에 직접 저장됩니다. 사용자는 Rescale을 실행할 수 있습니다. 워크 스테이션워크스테이션은 전문가용으로 설계된 강력한 컴퓨터 시스템입니다. 더 보기동일한 CFS를 첨부하고 즉시 후처리를 시작하거나 결과 시각화를 시작합니다. 데이터 전송서로 다른 저장 시스템 간의 데이터 이동... 더 보기 지연.

기능

CFS는 강력하면서도 직관적으로 설계되었습니다. 주요 기능 작동 방식은 다음과 같습니다.

CFS 마운트 작업 및 워크스테이션의 데이터 흐름

작업이나 워크스테이션이 CFS에 마운트되면, 워크로드가 진행되는 동안 CFS의 고성능 파일 시스템 특성을 활용합니다. 사용자는 CFS에서 직접 출력 결과에 접근할 수 있습니다. 작업이 완료되면 출력 데이터는 표준 Rescale Files 스토리지에 기록되어 장기간 접근이 가능합니다. 마찬가지로, 워크스테이션에 연결된 파일이나 작업도 연결되면 CFS에서 접근할 수 있게 됩니다.

직접 파일 업로드

시뮬레이션 파일 관리 효율성을 높이기 위해 중간 단계를 없애고 파일을 클라우드 파일 시스템에 직접 업로드할 수 있습니다. 이를 통해 데이터 구성이 간소화되어 워크로드 및 프로젝트에서 파일을 즉시 사용할 수 있습니다.

파일을 직접 업로드하면 해당 파일은 고유한 CFS ID를 포함하는 다음 경로에 저장됩니다. /enc/{username}/storage_ext_{cfs_id}/users/{username}/library/file.

Rescale CLI 또는 API를 사용하여 CFS에 직접 파일을 추가할 수 있습니다.

• CLI 명령: rescale-cli upload -p -f --copy-to-cfs. 자세한 내용은 당사에서 확인하세요. CLI 문서.
• API 끝점 : https://{platform-url}/api/v3/folders/copy-to-device/. 자세한 내용은 당사에서 확인하세요. API 문서.

데이터 저장 및 구성

각 CFS는 고유 ID로 식별되며 작업이나 워크스테이션에 직접 마운트됩니다. 마운트 지점은 ID 이름을 딴 디렉터리로 표시됩니다(예: storage_ext_{cfs_id}. 이 디렉토리 내에서 Rescale은 각 사용자의 작업에 대한 전용 디렉토리를 포함하여 데이터를 구조화된 계층 구조로 자동 구성합니다.users/{username}/), 공유 라이브러리 공간(library/), 그리고 공유 프로젝트를 위한 협업 공간(projects/). Rescale 플랫폼은 기본적으로 이러한 구성을 생성하여 데이터를 깔끔하고 예측 가능한 구조로 구성합니다.

사용자는 이 구조 위에 자신만의 하위 폴더를 만들어서 데이터를 논리적으로 구성할 수도 있습니다.

• 마운트 포인트: storage_ext_{cfs_id}
• 사용자가 생성한 구조의 예(마운트 지점 내부):
  • {user_name}/library/common_inputs/
  • {user_name}/library/2025/january/file_01.dat/

파일 및 폴더는 표준 명령줄 도구(예:)를 사용하여 생성, 이동 또는 편집할 수 있습니다. cp, mv, mkdir) 또는 Rescale Workstation 데스크톱 세션의 파일 탐색기를 통해서도 가능합니다.

작업 및 워크스테이션에 CFS 마운팅

CFS가 작업 공간에 대해 프로비저닝되고 구성되면 기본적으로 모든 Rescale 작업이나 워크스테이션에 자동으로 마운트되고 표시됩니다. 입력 페이지를 확인하시기 바랍니다.

다음을 클릭하여 CFS 마운트 해제를 선택할 수 있습니다. X 동작 버튼.

작업이나 워크스테이션이 시작되면 CFS가 마운트됩니다. storage_ext_{cfs_id} 디렉토리입니다. 이 디렉토리는 로컬 디스크처럼 읽고 쓸 수 있습니다.

만약 너라면 학생 결석으로 전화하지 마십시오 CFS를 자동으로 마운트하려면 아래 지침을 따르세요.

방법	자동 마운트를 비활성화하는 방법	자동 마운트를 활성화하는 방법(기본값)
UI	입력 파일 페이지에서 CFS를 선택 해제합니다.	CFS가 입력 파일 페이지에 나타나는지 확인하세요.
CLI	Env 설정은 다음과 같습니다. #RESCALE_AUTO_ATTACH_CLOUDFILESYSTEM=false	이것은 기본값이므로 요청 본문에서는 건너뜁니다. OR 요청 본문에는 다음을 포함합니다. "autoAttachCloudfilesystem": true
API	요청 본문에는 다음을 포함합니다. "autoAttachCloudfilesystem": false	이것은 기본값이므로 요청 본문에서는 건너뜁니다. OR 요청 본문에는 다음을 포함합니다. "autoAttachCloudfilesystem": true

데이터 분할 및 공유

기본적으로 데이터는 사용자별 디렉터리에 정리되며, 데이터 소유자는 읽기/쓰기 권한을 갖습니다. 그러나 CFS에 존재하는 추가 디렉터리를 통해 데이터를 공유하고 협업할 수 있습니다.

공유 데이터를 관리하는 기본 방법은 다음과 같습니다. 프로젝트 재조정. 프로젝트에 작업을 할당하면 Rescale 플랫폼은 CFS 내에 해당 프로젝트에 대한 전용 디렉토리를 생성합니다(예: storage_ext_{cfs_id}/projects/Project_Name-{project_id}/). 작업 데이터에 액세스할 수 있도록 이 프로젝트 폴더 내에 작업의 실제 작업 디렉토리(예: )를 직접 가리키는 심볼릭 링크(symlink)가 생성됩니다. storage_ext_{cfs_id}/users/{username}/…).

이 강력한 메커니즘을 통해 모든 프로젝트 구성원은 마치 데이터가 직접 존재하는 것처럼 공유 프로젝트 폴더를 통해 작업 파일에 접근할 수 있으며, 중복된 사본을 생성하지 않습니다. 이를 통해 모든 공동 작업자들이 단일 소스에서 작업할 수 있습니다.

마찬가지로, 워크스테이션이 프로젝트에 할당되면 사용자는 자신이 속한 모든 프로젝트 디렉토리에 액세스할 수 있으므로 워크스테이션에서 직접 프로젝트 파일을 읽고 쓸 수 있습니다.

사용 모니터링 및 알림

사용 대시보드

클라우드 파일 시스템(CFS)을 사용하는 워크스페이스의 경우, 워크스페이스 관리자는 사용자 수준에서 스토리지 사용량을 추적할 수 있는 전용 대시보드를 이용할 수 있습니다.

• 세부적인 가시성: 관리자는 각 사용자가 사용하고 있는 CFS 스토리지 용량을 정확하게 확인할 수 있습니다.
• 사전 예방적 관리: 사용량이 많은 사용자를 신속하게 파악하여 할당량을 관리하거나 한도에 도달하기 전에 정리를 유도하십시오.

스토리지 용량 관리를 돕기 위해 파일 시스템 사용량이 일정 수준에 도달하면 CFS 사용량 알림이 워크스페이스 관리자에게 자동으로 전송됩니다. 60% 90% 전체 저장 공간 활용도.

사용량 수동 확인

사용자는 파일 시스템이 마운트된 모든 작업 또는 워크스테이션에서 CFS 스토리지 사용량을 직접 확인할 수도 있습니다.

파일 시스템의 전체 사용률을 확인하세요

lfs df -h $HOME/storage_ext_<id>

이 표는 모든 스토리지 대상의 총 용량, 사용 공간 및 여유 공간을 보여줍니다.

전체 inode 사용률을 확인하세요

lfs df -h -i $HOME/storage_ext_<id>

개인 사용량을 확인하세요

lfs quota -h -u $(id -u) $HOME/storage_ext_<id>

이 화면에는 구성된 할당량 대비 스토리지 사용량 및 inode 개수가 표시됩니다.

특정 디렉토리에서의 사용량을 확인하세요

⚠️ 참고 : 이 명령은 파일 시스템을 재귀적으로 검사하며, 디렉터리 구조가 큰 경우 몇 분 정도 소요될 수 있습니다. 안전한 환경에서 실행하는 것을 권장합니다. tmux 세션이 실수로 인한 연결 끊김으로 중단되는 것을 방지하기 위해.

lfs find <path> -u $(id -u) -t f | xargs stat --format="%s" 2>/dev/null | awk '{sum+=$1} END {printf "%.2f GB\n", sum/1024/1024/1024}'

교체 <path> 측정하려는 디렉토리(예: $HOME/storage_ext_<id>/users/<your-username>/default/batch).

모든 CFS 최상위 디렉터리에서의 사용량을 확인하세요.

참고 : 이 작업은 전체 파일 시스템을 스캔하여 파일을 검색하므로 상당한 시간이 소요될 수 있습니다. 다른 방법을 사용하십시오. tmux 세션.

CFS_BASE_PATH=$HOME/storage_ext_<id>

for dir in users projects library; do
  SIZE=$(lfs find "$CFS_BASE_PATH/$dir" -u $(id -u) -t f | xargs stat --format="%s" 2>/dev/null | awk '{sum+=$1} END {printf "%.2f GB", sum/1024/1024/1024}')
  printf "%-60s %s\n" "$CFS_BASE_PATH/$dir ..." "${SIZE:-0.00 GB}"
done

사용량 모니터링 제한 사항

• 최근에 많은 파일을 삭제한 경우, 확보된 공간이 즉시 표시되지 않을 수 있습니다. Lustre 파일 시스템이 균형을 되찾는 데 시간이 걸리기 때문입니다.
• 공유 프로젝트 디렉터리, 숨겨진 시스템 파일 또는 사용자 지정 사용자 이름이 없는 사용자로 인해 개별 사용자 저장 공간의 합계가 전체 사용량과 정확히 일치하지 않을 수 있습니다.
• 전체 파일 시스템 사용량에는 Lustre가 자체적으로 예약한 공간도 포함됩니다. 메타 데이터메타데이터는 다른 데이터에 대한 정보를 제공하는 데이터입니다... 더 보기 서비스(MDS)는 특정 사용자에게 귀속되지 않습니다.
• 스토리지 대시보드 데이터는 6시간마다 업데이트됩니다. 더 최신 정보를 확인하려면 수동 명령어를 사용하여 사용량을 확인하세요.

데이터 삭제

CFS에 저장된 데이터는 지속즉, 사용자가 명시적으로 삭제할 때까지 그대로 유지됩니다. 파일이나 폴더를 삭제하는 방법은 크게 두 가지가 있습니다.

1. 라이브 워크스테이션에서: CFS가 마운트된 워크스테이션을 사용하여 파일을 탐색하고 삭제합니다. 파일은 워크스테이션의 그래픽 인터페이스 또는 터미널 명령(예: rm) 내장 터미널이나 SSH 연결을 통해.
2. (곧 출시!) 작업을 보관할 때: CFS가 마운트된 작업이나 워크스테이션이 보관되면 CFS의 데이터가 삭제됩니다. 작업 보관 프로세스는 Rescale UI, CLI 또는 API에서 시작할 수 있습니다.

⚠️ 참고 : CFS에서 데이터를 삭제하면 영구적으로 삭제되며 취소할 수 없습니다. 삭제하기 전에 중요한 데이터를 백업해 두십시오.

지원되는 파일 시스템: Lustre

Rescale CFS는 다음으로 구동됩니다. 러스터 파일 시스템대규모 처리를 위해 설계된 오픈 소스 병렬 파일 시스템입니다. 클러스터 컴퓨팅c라고 알려진 상호 연결된 컴퓨터나 서버를 사용합니다. 더 보기 고성능 컴퓨팅(HPC)에 필요합니다.

HPC를 위한 Lustre의 이점

• 높은 처리량 : Lustre는 매우 높은 데이터 속도를 처리하도록 설계되어 대량의 데이터를 빠르게 읽고 써야 하는 애플리케이션에 이상적입니다. 이는 데이터 액세스 속도가 주요 병목 현상이 될 수 있는 I/O 집약적인 시뮬레이션에 매우 중요합니다.
• 확장성...더욱 증가하는 양의 작업을 처리할 수 있는 시스템의 능력 더 보기: 수천 대의 클라이언트, 페타바이트급 스토리지, 그리고 초당 수백 기가바이트의 I/O 처리량으로 확장 가능하도록 설계되었습니다. 컴퓨팅 요구 사항이 증가함에 따라 Lustre도 함께 확장할 수 있습니다.
• 병렬 I/O: Lustre는 여러 클라이언트가 동일한 파일에 동시에 병렬로 쓸 수 있도록 합니다. 이 기능은 여러 노드에서 실행되는 대규모 HPC 작업에 필수적입니다. 데이터 액세스가 직렬화된 병목 현상이 되는 것을 방지하고 계산 시간을 크게 단축하기 때문입니다.

다른 파일 시스템 옵션에 대해서는 Rescale 담당자에게 문의하십시오.

구성 및 옵션

• 작업 공간 제한: Rescale 워크스페이스당 하나의 클라우드 파일 시스템만 프로비저닝할 수 있습니다.
• 크기 조정 : CFS는 고정된 저장 용량으로 제공됩니다. 저장 용량 요구 사항이 프로비저닝된 용량을 초과하는 경우, Rescale 담당자에게 문의하여 추가 용량 옵션에 대해 문의해 주세요.
• 선택적 백업: 데이터 보호를 강화하기 위해 2시간마다 CFS 데이터를 미러링하는 백업을 활성화할 수 있습니다. 이는 파일 시스템에 문제가 발생하는 드문 경우에 비즈니스에 중요한 데이터를 복원할 수 있는 백업 옵션을 제공합니다.

자주 묻는 질문

1. CFS는 Rescale 파일과 어떻게 다릅니까?

Rescale Files는 장기간 데이터를 저장하기 위한 저성능, 고확장성 스토리지를 기반으로 하는 반면, CFS는 독립적으로 존재하고 연결할 수 있는 고성능, 지속적, 중앙 집중식 스토리지 공간입니다. 어떤 여러 작업이나 워크스테이션이 필요하므로 여러 번 실행해야 하는 파일에 적합합니다.

2. CFS에서는 어떤 성과를 기대할 수 있나요?

CFS는 대용량 데이터 접근 및 처리량에 최적화되어 있어 대규모 입력 데이터셋을 읽고 결과 파일을 작성하는 데 탁월합니다. HPC 연구 개발과 같이 I/O 집약적인 연산을 위해 고성능 병렬 파일 시스템이 필요한 워크로드에 최적화되어 있으며, 일반적인 용도에서도 우수한 대화형 성능을 제공합니다. 성능 등급에 대한 자세한 내용은 Rescale 담당자에게 문의하십시오.

3. CFS에 저장된 데이터는 안전합니까?

네. CFS의 모든 데이터는 업계 표준인 AES-256을 사용하여 전송 중 및 저장 중에 암호화됩니다. 암호화데이터나 정보를 인코딩하여 현실과 다르게 만드는 과정. 더 보기. 액세스는 안전한 Rescale 계정 자격 증명을 통해 제어됩니다. CFS로 구성된 사용자만 파일 시스템을 마운트할 수 있으므로 다른 플랫폼 사용자의 접근을 차단할 수 있습니다. 이렇게 하면 신뢰할 수 있는 팀원만 각 팀의 CFS 데이터에 액세스할 수 있도록 작업 공간을 격리하여 보안을 한층 강화할 수 있습니다.