클라우드 3.0: 빅 컴퓨팅의 부상

클라우드 컴퓨팅의 100억 달러 이상의 차세대 기회와 최초의 킬러 앱: 딥 러닝

2017년에 들어서면서 엔터프라이즈 소프트웨어 산업은 4조 달러 규모의 엔터프라이즈 IT 시장 변화의 일환으로 유비쿼터스 클라우드 도입을 위한 변곡점에 있습니다. 기업 IT가 클라우드를 채택하는 이유는 설득력이 있으며 많은 사람들이 이러한 변화가 이미 발생했다고 가정합니다. 그러나 우리는 이러한 변화의 시작점에 있으며 그 영향은 IT의 모든 요소를 ​​근본적으로 변화시키고 있습니다. 업계 전문가들은 실제로 오늘날 엔터프라이즈 클라우드 보급률이 약 6%에 불과하다고 추정합니다. [1. 인프라의 동향과 미래]  대부분의 기업은 아직 이러한 변화의 전체 가치를 깨닫지 못하고 있습니다. 엔터프라이즈 하드웨어 및 소프트웨어 IT 플레이어가 핵심 비즈니스 활동에 클라우드를 채택하는 것이 비즈니스 성과 및 주주 가치 향상과 밀접한 관련이 있다는 것은 분명합니다.

예를 들어 지난 5년간 시가총액 변화를 살펴보면 클라우드를 전면적으로 도입한 기업(Amazon [AMZN], Adobe [ADBE], Salesforce [CRM])이 큰 성공을 거두었습니다. 마찬가지로, 최근 클라우드를 도입한 기업(Microsoft(MSFT))은 최근 강한 성장을 보이기 시작했으며, 클라우드를 수용하거나 실행하지 못한 기업(Oracle[ORCL], HP[HPQ], IBM[IBM])은 더 많은 비즈니스 가치를 창출하기 위해 고군분투하고 있습니다. 확실히 이들 회사의 시가총액 증가를 위한 다른 많은 동인이 있지만 클라우드 제품, 비즈니스 모델 및 전문 지식의 수준은 성공을 위한 확실한 원동력이었으며 클라우드 기능은 이제 모든 엔터프라이즈 소프트웨어 비즈니스의 주요 요소가 되었습니다.
수십 년에 걸쳐 엔터프라이즈 클라우드 채택으로 전환하는 동안 몇 가지 중요한 거시적 단계가 진행되어 기업에서 클라우드의 약속과 비즈니스 가치를 함께 제공합니다. 처음 두 가지 기본 단계는 제공 및 비즈니스 모델을 변화시키는 SaaS(클라우드 1.0)와 대규모 데이터 세트에서 가치를 창출하는 빅 데이터(클라우드 2.0)입니다. SaaS와 빅 데이터는 이미 기업에서 100억 달러 이상의 가치를 창출했습니다. 이제 이러한 중요한 기본 계층을 기반으로 구축된 빅 컴퓨팅은 변곡점에 있으며 세 번째가 될 준비가 되어 있습니다.
클라우드 인프라 및 서비스로서의 인프라(IaaS)는 기업 IT 클라우드 혁신을 가능하게 하는 중요한 기본 계층이었습니다.  Amazon Web Services, Microsoft Azure및 Google Cloud Platform SaaS, 빅 데이터, 그리고 이제는 빅 컴퓨팅을 위한 기술 및 인프라 백본을 제공하는 데 앞장섰습니다. SaaS 및 빅 데이터와 마찬가지로 Big Compute는 이 새로운 획기적인 카테고리에서 엄청난 기회를 추구하기 위해 카테고리를 정의하는 새로운 물결과 함께 기술 혁신을 주도할 것입니다. 또한, 기존 온프레미스 고성능 컴퓨팅에서 수십억 달러의 컴퓨팅 과중한 워크로드 수익을 창출하는 기존 카테고리 리더(HPC) 시장은 해당 분야에서 효과적인 빅 컴퓨팅 솔루션을 제공하기 위해 전체 비즈니스를 재창조해야 하는 혁신가의 딜레마에 직면해 있습니다. 이는 가장 혁신적인 기업이 카테고리 리더가 될 수 있는 독특한 기회를 제공합니다.

클라우드 1.0: SaaS

비즈니스 모델의 변화와 엔터프라이즈 소프트웨어 제공

다음과 같은 SaaS 기반 기업 세일즈 포스, 넷스위트및 작업 일 비즈니스 모델 혁신과 원활한 소프트웨어 제공을 통해 각각 CRM, ERP 및 HR을 위한 카테고리 정의 및 선도적인 SaaS 솔루션을 구축했습니다. 이러한 SaaS 리더들은 클라우드를 활용하여 역사적으로 이러한 엔터프라이즈 소프트웨어 범주를 지배해왔던 레거시 플레이어들을 혼란에 빠뜨렸습니다.
또한 레거시 플레이어는 비즈니스를 재창조하고 제품 라인에 SaaS를 구현할 기회를 얻었습니다. 예를 들어, 어도비 벽돌 전략을 재창조하고 조직을 SaaS 리더로 성공적으로 변화시켰습니다. 공개 회사로 운영된다는 제약 속에서도 Adobe는 기존 온프레미스 소프트웨어에서 클라우드 SaaS 구독 및 제공 모델로 성공적으로 전환했습니다.

Adobe는 주요 제품 라인의 비즈니스 모델을 연간 $2,500 라이선스에서 월 $50-100의 월 구독으로 전환했습니다..[4. Adobe는 Creative Suite를 종료하고 구독 전용으로 전환합니다.] 제품 팀은 또한 지속적인 업데이트를 통해 소프트웨어 제공 모델을 브라우저 기반 솔루션으로 전환했습니다. 간단히 말해서 고객은 매우 기뻐했습니다. Adobe는 의미 있는 단기 수익을 희생하면서도 훨씬 더 많은 미래 가치를 창출했습니다. SaaS 혁신을 통해 Adobe는 장기적으로 해당 가치를 포착할 수 있는 중요한 능력과 함께 더 나은 고객 가치로 인해 더 폭넓은 시장 매력과 향상된 지불 의향을 보여줌으로써 시장 기회를 확대했습니다.

클라우드 2.0: 빅데이터

전체 스택 데이터 계층을 위한 확장 및 연결 지원

SaaS 기업의 급속한 성장을 지원하기 위해 클라우드 인프라가 성숙해짐에 따라 IaaS(Infrastructure-as-a-Service)는 확장 가능하고 유비쿼터스적인 스토리지 및 데이터베이스의 기본 계층을 제공했습니다. 이러한 광범위한 인프라 기능은 데이터 계층에서 획기적인 혁신을 가능하게 했으며, 빅 데이터 변환.
등 빅데이터 분야의 선두주자 스플 렁크, 클라우 데라및 놈의 기업 데이터 세트를 확장, 조작 및 연결하여 과거로부터 통찰력을 추출하는 능력을 변화시켰습니다. 기본 수준에서 Splunk는 대규모의 서로 다른 엔터프라이즈 애플리케이션 로그에서 통찰력을 얻는 기능을 제공하고, Cloudera는 기업을 위한 분산 스토리지 및 처리 클러스터를 배포하는 기능을 통해 이를 한 단계 더 발전시켰으며, 마지막으로 Palantir는 연결을 위한 독점 스택을 개발했습니다. 공공 및 민간 부문의 사일로화되고 구조화되지 않은 데이터 세트. 기본적으로 빅 데이터는 기존 데이터 세트에서 통찰력을 추출하기 위해 기업 전체에 적용할 수 있는 수평적 기능입니다.

클라우드 3.0: 대규모 컴퓨팅

전체 스택 컴퓨팅 계층을 위한 확장 및 워크로드 지원

빅 컴퓨팅은 엔터프라이즈 클라우드 컴퓨팅의 차세대 혁신적 변화입니다. 빅 데이터가 데이터에 대한 제약을 제거하고 주요 엔터프라이즈 소프트웨어 범주를 변화시킨 것처럼, 빅 컴퓨팅은 컴퓨팅 하드웨어에 대한 제약을 제거하고 성능 저하 없이 워크로드에 최적화된 인프라 구성에서 컴퓨팅 워크로드를 원활하게 확장할 수 있는 기능을 제공합니다.

'주머니 속의 슈퍼컴퓨터' 오류

무어의 법칙 IaaS 클라우드 컴퓨팅은 "모든 사람이 주머니에 슈퍼컴퓨터를 가지고 있다"는 인식을 가져왔고 유비쿼터스 컴퓨팅 성능은 누구나 보편적으로 액세스할 수 있습니다. 그러나 컴퓨팅 기능이 기하급수적으로 증가하고 접근성이 훨씬 더 높아진 반면, 복잡한 차세대 알고리즘에 대한 만족할 수 없는 수요를 충족하기 위해 애플리케이션에 대한 컴퓨팅 요구 사항도 극적으로 증가했습니다. 사실, "주머니 속 슈퍼컴퓨터" iPhone은 실제로 25년 전의 슈퍼컴퓨터입니다.,[6. 처리 능력 비교] 동시에 소프트웨어 생태계에 대한 컴퓨팅 요구 사항은 무어의 법칙과 동등하거나 그 이상의 속도로 증가했습니다.

많은 중요한 기업 문제와 혁신은 여전히 ​​컴퓨팅에 국한되어 있습니다.

대중의 믿음에도 불구하고, 세계에서 가장 어려운 소프트웨어 문제 중 상당수는 여전히 컴퓨팅과 관련된 문제입니다. 엔터프라이즈 소프트웨어가 등장한 이후 컴퓨팅 제한으로 인해 엔터프라이즈에서 슈퍼컴퓨터와 고성능 컴퓨팅 시스템을 구현하는 데 필요한 수백만 달러의 비용과 전문 지식으로 인해 작업의 응용 프로그램과 범위가 크게 제한되었습니다.
고성능 컴퓨팅은 항공우주, 자동차, 에너지, 생명과학, 반도체 등 업종을 포함한 대부분의 주요 Fortune 500대 기업에서 많이 사용됩니다. 거의 모든 업종에서 기업은 컴퓨팅 용량에 있어 상당한 제약에 직면해 있습니다. 예를 들어, 항공우주 설계에서 대규모 문제에는 복잡한 전산 유체 역학(CFD) 대규모 고성능 컴퓨팅 클러스터에서 해결하는 데 며칠 또는 몇 주가 걸릴 수 있는 알고리즘입니다. 자동차 충돌 테스트 시뮬레이션 분석에서 스케일링 유한요소해석 (FEA) 수백만 개의 구성 요소와 상호 작용에 대한 물리학은 엄청난 계산 문제를 야기합니다. 그리고 생명 과학에서는 분자 역학의 엄청난 계산 요구 사항(MD) 시뮬레이션은 제약 회사에 있어 가장 큰 혼란의 기회 중 하나인 컴퓨터 기반 약물 발견을 제한합니다.
SaaS, 빅 데이터, IaaS와 같은 클라우드 컴퓨팅 혁신은 빅 컴퓨팅 범주를 가능하게 하는 구성 요소입니다. 이제 포괄적인 빅 컴퓨팅 스택을 통해 소프트웨어 개발자와 최종 사용자 모두에게 원활한 방식으로 원활한 확장, 애플리케이션 중심 컴퓨팅 하드웨어 전문화, 성능 최적화 워크로드가 가능해졌습니다. 특히 Big Compute는 특수 하드웨어 위에 있는 광범위한 풀 스택 소프트웨어 서비스 세트를 소프트웨어 정의 계층으로 변환합니다. 이를 통해 프로그래밍 방식의 고성능 컴퓨팅 기능을 손쉽게 사용할 수 있거나 소프트웨어의 백엔드 기능 평가 부분으로 사용할 수 있습니다. 너 맨날 만지잖아. 이 접근 방식은 광범위한 애플리케이션 세트에 대해 모든 용도에 적용되는 단일 컴퓨팅 클러스터의 레거시 접근 방식을 컴퓨팅 워크로드가 프로파일링되고 맞춤형 솔루션을 위한 최적의 특수 하드웨어 솔루션에 배포되는 개별 솔루션으로 전환합니다. 작업량에. Big Compute는 성능과 비용의 절충이 가능한 동종 클러스터를 타협 없는 이기종 솔루션으로 전환합니다.

빅컴퓨팅을 가능하게 하는 하드웨어 단편화 및 전문화

빅 컴퓨팅은 기업이 유연하고 전문화된 컴퓨팅 인프라에서 복잡한 알고리즘과 워크로드를 확장할 수 있도록 지원하는 수평적 기술입니다. 상용 인프라와 특수 서버 사이에는 여러 규모의 성능 격차가 있기 때문에 특수 컴퓨팅 인프라는 성공을 위한 중요한 요소입니다. 프로세서, 네트워킹, 메모리, 스토리지 등과 같은 서버의 많은 구성 요소는 전문화될 수 있습니다. Big Compute는 소프트웨어 정의 관점에서 이러한 수준의 특수 하드웨어에 대한 액세스를 민주화하여 시간당 단 몇 천 달러에 10만 달러 규모의 고성능 컴퓨팅 클러스터를 구축하고 이 기능을 모든 엔터프라이즈 소프트웨어 애플리케이션에 통합하는 동시에 가장 중요하게는 여전히 고급 애플리케이션에 대한 최첨단 성능 기대치를 충족합니다.
데이터 센터 내에는 물리적 랙부터 네트워킹, 특정 서버 구성 요소까지 조정 및 최적화가 가능한 다양한 영역이 있습니다. 예를 들어, 이미 점점 더 빠른 속도로 단편화되고 있는 광범위한 프로세서 기능이 있습니다. 이러한 프로세서의 특수 기능은 알고리즘 및 구현에 따라 올바른 아키텍처에 매핑되어야 하는 특정 빅 컴퓨팅 워크로드에 매우 중요합니다.

Big Compute를 사용하면 필요한 미들웨어 및 라이브러리를 이해하거나 배포할 필요 없이 사용자, 소프트웨어 애플리케이션 및 알고리즘이 이러한 기능을 원활하게 활용할 수 있습니다. 이는 IaaS 및 데이터 센터에서 특수 하드웨어 기능의 채택 주기 및 배포를 가속화하지만 더 중요한 것은 빅 컴퓨팅 엔터프라이즈 소프트웨어 애플리케이션 및 도구의 극적인 새로운 범주를 가능하게 한다는 것입니다.
기본적으로 빅 컴퓨팅은 기업에서 보다 애플리케이션 중심적인 컴퓨팅 접근 방식을 허용하는 소프트웨어 정의 컴퓨팅 계층을 제공하여 스택의 원활한 최적화 및 확장성을 제공하는 동시에 궁극적으로 개발자와 최종 사용자에게 빅 컴퓨팅 기능을 민주화합니다. 이 기능은 컴퓨팅 리소스에 대한 대규모 투자를 통해 지원되는 하드웨어, 미들웨어 및 도메인별 소프트웨어 알고리즘 분야에서 고도로 훈련된 전문가로 구성된 다분야 팀에서 평균을 허용하는 원활한 서비스에 이르기까지 기업 내에서 극적인 변화를 가져옵니다. 기업 사용자는 실행을 위해 매우 복잡하지만 원활한 빅 컴퓨팅 계층에 의존하면서 애플리케이션 계층에 집중할 수 있습니다. 이러한 변화를 통해 조직은 기본 하드웨어 기능을 충족하기 위한 워크로드 공식화에서부터 컴퓨팅 제약 없이 더 높은 수준의 문제 해결에 이르기까지 추상화 수준을 높일 수 있습니다.
빅 컴퓨팅의 부상은 모든 엔터프라이즈 소프트웨어 애플리케이션에 대한 근본적이고 새로운 기능일 뿐만 아니라, 과거 지향적 분석(빅 데이터의 일반적인 경우)에서 미래 지향적 분석 및 시뮬레이션으로 전환하여 예측적 통찰력을 얻을 수 있는 기회를 제공합니다. 그리고 미래 상태에 대한 예측. 실제로 빅 컴퓨팅은 빅 데이터 도구를 활용하여 시뮬레이션으로 생성된 미래 상태의 잠재적 품질을 평가하는 데이터 세트를 생성하는 시뮬레이션을 제공할 수 있습니다. 비동기식 프로세스는 가장 큰 문제에 대해 작동하지만 빅 컴퓨팅 스택이 필요한 응답 시간보다 빠르게 처리할 수 있는 실시간으로 이동합니다. 예를 들어, 딥 러닝 훈련(비동기)과 추론(실시간)은 둘 다 에지에 로컬로 있는 빅 컴퓨팅 기능 스택에서 실행되거나 지연 시간이 허용되는 경우 클라우드에 중앙 집중화됩니다.

최초의 빅 컴퓨팅 킬러 앱인 Deep Learning

빅컴퓨트의 첫 번째 실질적인 돌파구는 다음과 같은 범주였습니다. 깊은 학습 소프트웨어. 딥 러닝은 대규모 병렬 계산이 필요한 기계 학습 알고리즘의 하위 집합이므로 역사적으로 병렬 그래픽 스레드 처리용으로 설계된 GPU 하드웨어에 매우 적합합니다. 딥 러닝 알고리즘은 수십 년 동안 존재해 왔지만 최근의 성공은 이 워크로드에 맞춰진 고도로 전문화된 GPU 하드웨어와 전문가가 될 필요 없이 소프트웨어 알고리즘이 작동하는 턴키 풀 스택 솔루션을 스핀업할 수 있는 능력에 기인합니다. 특수 하드웨어에서 알고리즘의 구현, 병렬화 및 조정.

딥러닝 도구는 이제 기업에 꼭 필요한 수평적 솔루션으로 인식되고 있습니다. 이러한 도구는 이전에는 스택 전체에 대한 막대한 투자와 전문 지식 없이는 달성할 수 없었지만 이제는 특수 하드웨어, 미들웨어 및 통합 알고리즘으로 구성된 Big Compute 스택을 통해 보편적으로 액세스할 수 있는 분석, 통찰력 및 인텔리전스 기능을 제공합니다. 이러한 기계 학습 알고리즘은 이제 최신 세대의 특화된 확장 가능한 GPU에서 보편적으로 액세스할 수 있으며 기업 전체의 알고리즘 인텔리전스로 기존 소프트웨어 기능을 보완하여 내부 기능을 레벨업하는 솔루션으로 신속하게 구현될 수 있습니다. GPU 시장의 선두주자로서, NVIDIA 는 "골드러시 동안 곡괭이를 판매"해 왔으며 딥 러닝 도구를 사용하려는 모든 사람이 이러한 특수 하드웨어 기능에 빠르고 쉽게 액세스할 수 있도록 하는 빅 컴퓨팅 계층을 통해 엄청난 성장과 채택을 보였습니다.

Google (알파벳)는 딥 러닝을 검색 분야의 선두주자로 유지하기 위한 기본적인 역량으로 간주한 것으로 유명합니다. 이는 연구 및 개발 노력에 매우 중요한 도구로 간주되어 다음을 구현했습니다. TensorFlow 검색과 무관한 광범위한 노력 포트폴리오 전반에 걸쳐 알고리즘을 사용하고 있습니다. 매우 중요하여 표준 칩셋으로는 달성할 수 없는 수준으로 성능을 가속화하기 위해 자체 맞춤형 TPU(텐서 처리 장치) 칩을 개발하기도 했습니다. 이는 새로운 기능과 혁신을 추진하기 위한 최적의 알고리즘 성능을 위한 빅 컴퓨팅 스택의 특수 하드웨어의 중요성을 명확하게 보여줍니다.

2017년 초, 딥 러닝은 과대 광고 주기의 정점에 있을 가능성이 높지만, 분명하고 근본적인 장기적 가치가 창출되고 있습니다. 최소한 딥 러닝은 결정론적 알고리즘에 비해 데이터 세트가 너무 큰 매우 복잡한 상황을 최적화하기 위한 백엔드 프로세스로서 가치를 창출합니다. 예를 들어, Google은 데이터 센터 냉각을 개선하기 위한 기계 학습 도구의 단일 구현을 통해 DeepMind를 인수한 500억 달러를 회수했을 가능성이 높습니다.[9. DeepMind AI, Google 데이터 센터 냉각 비용 40 % 절감] 또한 딥 러닝이 새로운 기능을 제공하고 자율 주행, 신약 개발, 의료 영상, 로봇 공학 및 기타 여러 흥미로운 분야에서 추가적인 혁신을 가속화할 가능성이 높습니다. 딥 러닝은 빅 컴퓨팅 스택을 통해 지원되고 활성화되는 단일 소프트웨어 애플리케이션 범주입니다.

새롭게 떠오르는 빅 컴퓨팅 스택

빅 컴퓨팅 스택은 모든 소프트웨어 애플리케이션에 빅 컴퓨팅 기능을 제공하고 관리 오버헤드 복잡성을 처리하여 다양한 전문 인프라에서 워크로드를 원활하게 실행하는 데 중요한 지원 계층입니다. 빅 컴퓨팅 스택에는 아직 잠금 해제되지 않은 완전히 새로운 애플리케이션 범주가 있으며 딥 러닝과 유사하게 특수 하드웨어, 복잡한 미들웨어, 스택의 포괄적인 조정 및 최적화가 필요한 역사적으로 컴퓨팅 바인딩된 알고리즘이 있습니다. 기업에 상업적으로 실행 가능합니다.

빅컴퓨트는 빅데이터가 이미 갖고 있는 것보다 전체 경제 환경에 훨씬 더 큰 근본적인 영향을 미칠 수 있는 잠재력을 가지고 있습니다. 빅 컴퓨팅은 빅 데이터 분석 도구의 성능과 영향력을 증폭시키는 계산 및 알고리즘 기능을 제공할 뿐만 아니라 이전에는 불가능했던 완전히 새로운 범주의 기능을 주도할 것입니다.

최초의 빅 컴퓨팅 킬러 앱인 딥 러닝의 성공은 대규모 전문 컴퓨팅의 사용이 기하급수적으로 늘어나는 방향으로의 전환을 의미합니다. 빅 데이터와 마찬가지로 빅 컴퓨팅 스택 기능도 기업에 꼭 필요한 요소가 될 것입니다.
Rescale에서는 빅컴퓨트가 역사적으로 심층적인 전문지식과 막대한 초기 투자로 인해 큰 제약을 받았지만 이제는 빅컴퓨트 스택을 통해 구현된 알고리즘과 소프트웨어에 의해 주도되는 새로운 미래 혁신이 구축될 기반이라고 믿습니다. 우리는 기업에 빅 컴퓨팅 기능을 제공하기 위한 범용 플랫폼을 구축하고 있습니다. 이는 업계 전반에 걸쳐 주요 Fortune 500대 기업에서 가장 중요한 새로운 혁신을 추진하는 데 필요하다고 믿는 중요한 기능입니다. 우주 탐사부터 전기 자동차, 컴퓨터 신약 개발에 이르기까지 우리는 빅 컴퓨팅 스택을 각 분야의 경쟁 우위로 구현하는 업계 리더들과 협력하고 있습니다.

빅 컴퓨팅의 부상은 이전에 전문화된 하드웨어 기능, 접근성 및 확장성으로 제한되었던 기업에서 광범위한 혁신과 놀라운 비즈니스 가치를 열어줄 것입니다. 빅 컴퓨팅 기능을 늦게 채택하는 기업은 차별화되지 않은 기능을 놓고 더욱 치열한 경쟁에 직면하게 될 것이지만, 초기 리더는 조직의 기존 내부 전문 지식과 핵심 역량을 활용하고 이를 빅 컴퓨팅 기능으로 강화하여 조직을 변화시킬 미래 혁신을 창출할 수 있는 독특한 기회를 찾고 있습니다. 세계.

2017년과 그 이후에도 Big Compute의 매우 흥미로운 한 해가 되기를 기대합니다!

-Joris Poort, Rescale CEO
비디오보기 샌프란시스코의 리스케일 나이트! 가입하기 빅컴퓨트 커뮤니티를 위해.
자세히 알아보기 리스케일에 대해 우리를 따라 오세요 링크드인, 트위터, 페이스북및 유튜브.