클라우드는 현대 디지털 환경의 기본이 되어 비즈니스 운영 방식과 개인이 기술과 상호작용하는 방식을 근본적으로 변화시켰습니다. 하지만 어떻게 전통적인 웹 호스팅에서 오늘날의 복잡한 클라우드 생태계로 발전하게 되었을까요?
클라우드 컴퓨팅의 역사는 제한적이지만 저렴한 기능을 제공하던 초기 웹 호스팅 솔루션에서 시작되었습니다. 시간이 지나면서 인터넷 수요가 급증하고 새로운 기술이 등장하면서 Amazon과 같은 기업들은 대규모 온라인 서비스의 요구를 충족하기 위해 확장 가능한 온디맨드 인프라를 개척하기 시작했습니다. 이러한 변화는 최신 클라우드 플랫폼의 탄생으로 이어져 기업이 디지털 인프라에 접근하는 방식을 재정의하고 유연한 가상화 서비스를 향한 움직임을 촉발시켰습니다.
하지만 이제 클라우드는 또 다른 중요한 시점에 와 있습니다. 경제적 어려움, 오픈 소스 소프트웨어의 발전, 데이터 보안과 AI에 대한 새로운 요구로 인해 클라우드에 대한 관심이 다시 한 번 집중되고 있습니다. 이 글에서는 클라우드를 혁신과 성장의 필수 도구로 만든 요인과 대형 클라우드 서비스 공급자(CSP)의 지배력에 도전하고 혁신적인 분산형 클라우드 모델의 문을 여는 새로운 국면을 여는 경제적, 정치적, 기술적 동인을 강조하면서 클라우드의 진화에 대해 살펴봅니다.
클라우드노믹스: '클라우드'란 무엇인가요?
웹 호스팅에서 클라우드 서비스로의 진화는 초기 인터넷 인프라의 필요성에 의해 주도되었습니다. 초기 인터넷은 도메인 네임, 이메일, 공유 웹 호스팅과 같은 일부 호스팅 기능과 같은 많은 서비스를 제공했습니다. 이 공유 호스팅 모델 - 여러 고객에게 동일한 하드웨어 판매 - 는 수익성을 입증하고 최신 클라우드 컴퓨팅의 토대를 마련했습니다.
호스팅이 발전함에 따라 전용 물리적 서버는 보안이 강화되었지만 비용이 더 많이 들었고 온디맨드 프로비저닝이 어려웠습니다. 그러다가 베어메탈을 공유하면서 더 많은 제어와 보안을 제공하는 가상 프라이빗 서버(VPS)가 등장하여 클라우드 컴퓨팅이 존재하기 전에 서비스형 인프라(IaaS)라는 개념이 도입되었습니다.
그러던 중 웹/호스팅 회사가 아닌 최종 사용자의 요구에 의해 클라우드가 등장했습니다. 더 많은 사용자, 소비자를 위한 더 많은 제품, 더 많은 호스팅을 지원해야 웹 성장을 만족시킬 수 있었습니다. 아마존은 소매업의 폭발적인 성장과 그에 따른 컴퓨팅 인프라의 최전선에 있었습니다. 사용 가능한 오퍼링이 고객의 요구와 기대를 충족시키지 못하면 어떻게 해야 할까요? 내재화를 시작합니다. 초기 공장에서 자체적으로 전기를 생산했던 것처럼, Amazon은 변동하는 리소스 공급 수요를 처리하고 가용성에 따른 하드웨어 과잉 프로비저닝을 피하기 위해 자체 클라우드를 구축했습니다.
그 후 Amazon은 다양한 운영 체제, 인스턴스 유형, 스토리지 용량을 갖춘 온디맨드 가상 서버를 제공하여 초과 용량을 수익화했습니다. 2006년 8월, Amazon Web Services(AWS)는 Amazon Elastic Compute Cloud(EC2)를 출시한 데 이어 Simple Storage Service(S3), Simple Queue Service(SQS), Elastic Block Store(EBS), 가상 사설 클라우드(VPC), ID 및 액세스 관리(IAM) 같은 핵심 서비스를 출시했습니다. 이러한 서비스는 애플리케이션과 서비스 설계 방식을 재편하여 개발자들에게 클라우드에서는 장애가 발생하기 때문에 장애를 처리할 수 있는 복원력 있는 소프트웨어를 작성하는 방법을 가르쳤습니다.
클라우드의 디지털 혁신
이러한 AWS 서비스는 최신 클라우드 아키텍처의 기본 블록이며, 이후 개발자의 삶을 단순화하기 위해 방대한 양의 다른 서비스들이 합류했습니다. 진정한 클라우드 공급자는 이러한 기본 서비스를 제공해야 합니다: VPC, IAM, 블록 스토리지, 오브젝트 스토리지, 네트워킹, 가상 컴퓨팅 인스턴스.
신생 온라인 소매업체에서 대규모 분산형 클라우드 사업자로 전환하려면 단순히 장비를 판매하는 것 이상의 노력이 필요합니다. - 포괄적인 디지털 서비스를 제공할 것을 요구합니다. 디지털 기업도 클라우드 컴퓨팅에서 경쟁하기 위해서는 디지털 혁신에 투자해야 합니다.
시끄러운 공급자는 소프트웨어로 구현된 고밀도 배포를 통해 동일한 하드웨어를 여러 번 판매하여 수익을 극대화합니다. 모토는 더 많은 컴퓨팅 판매, 더 많은 수익 창출. 왜 컴퓨팅일까요? 스토리지보다 더 밀집되어 있고 더 활발하게 사용할 수 있기 때문입니다. 동일한 RAM 또는 디스크 공간을 여러 사람에게 동시에 판매할 수 없습니다. 클라우드에서는 스토리지와 컴퓨팅이 다르게 작동합니다. 스토리지는 클라우드에서 중력처럼 작용하여 상태 저장과 짧은 지연 시간이 필요한 컴퓨팅 워크로드를 끌어당깁니다. 이것이 바로 데이터베이스와 오브젝트 스토리지가 클라우드 공급자에게 매우 중요한 이유입니다. 이를 통해 더 많은 컴퓨팅을 활성화할 수 있기 때문입니다.
기업이 데이터 관련 솔루션이나 기타 데이터베이스/스토리지 기술을 판매하여 사람들이 AWS와 같은 클라우드 위에 배포할 수 있도록 하는 경우, CSP가 해당 데이터에 끌리는 더 많은 컴퓨팅을 판매할 수 있도록 돕는 것입니다. 데이터 공급업체가 CSP를 통해 얻는 네트워크 효과 때문에 고객이 CSP에 배포하도록 허용한다고 주장할 수도 있습니다. 이는 현재로서는 상호 이익이 되는 관계로 볼 수 있지만, 향후에는 바뀔 수 있습니다.
클라우드 제공업체는 기본 인프라를 넘어 더 높은 가치의 서비스를 제공하기 위해 확장해 왔습니다: 서비스형 데이터베이스(DBaaS), 서버리스 아키텍처, CDN, PaaS, CaaS, 통합 가시성 스택, 관리형 Kubernetes, CI/CD 파이프라인, 그리고 최근에는 머신 러닝과 AI 서비스까지. 일부는 패키지 제품을 직접 판매하여 오픈 소스 라이선스에 대한 논쟁을 불러일으키기도 합니다.
하지만 제공업체들은 현재 일부 서비스를 중단하고 있습니다. - 낮은 채택률 때문인지 아니면 비용 관리 때문인지는 아직 명확하지 않습니다. 한 가지 확실한 것은 데이터 중력이 컴퓨팅과 연결을 끌어당기고 컴퓨팅은 수익성이 있기 때문에 클라우드 제공업체가 데이터 관련 서비스를 중단하지 않을 것이라는 점입니다.
비용과 관련하여 대형 클라우드 제공업체의 고객 확보 전략은 고객이 쉽게 이탈할 정도로 비용이 많이 들 때까지 가능한 한 많은 무료 서비스를 제공하는 것이었습니다. 그런 다음 인보이스를 최대로 설정합니다. 이는 일정 기간 동안만 효과가 있을 수 있습니다. 그리고 우리는 많은 기업들이 주로 비용과 관련된 이유로 무료 티어를 중단하는 것을 보았습니다. 또한 해당 생태계에서 현금 흐름이 흑자가 되기 위해 많은 해고가 발생하는 것을 보았습니다. 2024년의 세계 경제 상황은 2010년과 마찬가지로 우호적이지 않습니다.
오픈 소스는 항상 따라잡기 마련입니다.
적합한 사용자 기반 또는 적합한 시장을 찾는 것은 어떨까요? 오픈 소스 생태계와 함께 고객의 요구 사항이 성숙하고 진화하는 상황에서 새로운 서비스를 계속 출시하는 것은 지속 가능하지 않다고 주장할 수도 있습니다.
그리고 이것은 아마도 해당 생태계에서 가장 흥미로운 진화 중 하나일 것입니다. 오픈 소스 소프트웨어(OSS)와 클라우드 네이티브 소프트웨어가 성숙해지면서 CSP의 기본 가치를 따라잡았습니다. 주요 클라우드 제공업체를 통해서만 가능했던 것을 이제 OSS를 통해 구현할 수 있게 되었습니다. 수익성 있는 서비스를 모두 OSS로 대체할 수 있다면 클라우드의 가치는 어디에 있을까요? 리테일과 소프트웨어가 함께 있는 상황에서 리테일만 있는 상황으로 가고 있는 것일까요?
이러한 변화는 사용자가 OSS와 클라우드 네이티브 솔루션을 효과적으로 사용할 수 있을 때만 가능합니다. 그리고 고객의 클라우드 요구 사항이 성숙해야 합니다. 클라우드 요구 사항이 성숙해지면서 많은 조직은 이제 Hetzner 또는 Equinix와 같은 "소매 클라우드" 제공업체와 오픈 소스 도구를 결합하는 것을 선호합니다. - 기존 CSP에 비해 저렴한 대안이 될 수 있습니다. 가장 큰 장벽은 숙련된 플랫폼 엔지니어를 찾는 것이지만, AI의 발전으로 곧 이 문제가 해결될 수 있습니다.
클라우드 정치
경제적인 문제 외에도 지정학적 요인이 클라우드 도입을 재편하고 있습니다. 특히 미국과 EU의 데이터 개인정보 보호 규정으로 인해 기업들은 자체 호스팅 또는 현지 공급업체를 선호하게 되었습니다. 이제 클라우드 제공업체가 된다는 것은 본질적으로 정치에 뛰어든다는 것을 의미합니다.
대규모 데이터 유출 사건으로 개인정보 보호에 대한 우려가 높아진 가운데, 개인 또는 독점 데이터에 대한 AI의 욕구가 커지면서 새로운 복잡성이 더해지고 있습니다. AI 산업의 다음 단계는 개인화, 맥락화, 고객 사용 환경에 맞춘 경험 제공을 위해 데이터를 사용하는 것이며, 이로 인해 데이터 보안과 소유권에 대한 압박이 더욱 커질 것입니다. 기업들은 데이터 제어를 유지하기 위해 점점 더 자체 호스팅 모델을 선호하게 될 것입니다.
우리는 또한 여러 지역에서 경제 보호주의가 확산되고 있는 시대에 살고 있습니다. 특히 클라우드의 성장이 AI의 하드웨어 수요와 맞물려 하드웨어 가격이 급격히 상승하면 어떻게 될까요? AI의 전력에 대한 욕구가 전 세계적인 병목 현상이 되어 지속 가능한 에너지를 위한 새로운 혁신을 강요할 것이라는 예측은 무수히 많습니다.
클라우드 주기 가속기
양자 컴퓨팅, GPU, TPU, FPGA, 5G, ARM 기반 칩 등 AI와 엣지 혁신을 형성하는 새로운 세대의 하드웨어가 등장하고 있습니다. AI 칩 시장과 함께 예상 2023년 1조 4,536억 달러에서 2024년 1조 4,713억 달러로 성장할 것으로 예상되는 가운데, 하드웨어 공급업체는 기존 CSP와 협력하거나 개인 데이터가 주로 저장되는 엣지 컴퓨팅을 모색해야 하는 선택에 직면해 있습니다.
더 나은 경험을 제공하는 데 사용되는 개인 데이터는 항상 그렇지는 않더라도 엣지에 있는 경우가 많기 때문에 AI 스타트업에게 이는 매우 중요한 의미를 갖습니다. 이 새로운 클라우드 사이클에서 약자는 글로벌 지점을 보유한 엣지 친화적인 클라우드 또는 CDN 제공업체일 수 있습니다.
동시에 하이브리드 환경에서는 '엣지'의 정의가 복잡해졌습니다. CSP 아키텍처의 온프레미스 머신도 엣지로 간주할 수 있나요, 아니면 엣지는 디바이스만을 의미할까요? 사실, 데이터를 엣지와 클라우드로 동기화하는 것이 그 어느 때보다 쉬워지면서 엣지의 경계가 모호해졌습니다. 또한 람다 기능과 같은 새로운 아키텍처 덕분에 워크로드를 엣지로 옮기는 것이 그 어느 때보다 쉬워졌습니다. 현재 이러한 시스템은 대부분 컨테이너화에 의존하고 있지만, 엣지를 더욱 단순하게 만드는 조용한 혁명이 일어나고 있습니다.
한편, 웹어셈블리(Wasm)는 배포에 조용한 혁명을 일으키고 있습니다. 컨테이너보다 가볍고 기존 코드와의 호환성이 높아진 Wasm은 더 쉬운 엣지 컴퓨팅과 더 높은 컴퓨팅 밀도를 가능하게 합니다. 이러한 효율성은 비용을 절감할 수 있으며, 이는 잠재적으로 CSP의 컴퓨팅 기반 수익 모델을 위협할 수 있습니다.
얼리어답터
클라우드 환경이 변화하고 있는 것은 분명하며, GenAI, 인프라 및 OSS가 계속 발전함에 따라 CSP의 미래 관련성에 대한 의문이 제기되고 있습니다.
일부 기업은 이미 이러한 변화에 대응하고 있습니다. 루비 온 레일스의 창시자이자 성공한 기업가인 데이비드 하이네마이어 한손은 기술 생태계에서 유명한 인물입니다. 그는 쓴 에서 2022년 말에 클라우드를 떠날 의향이 있다고 밝혔습니다. 이 기사는 소셜 네트워크에서 많은 화제를 불러일으켰고 후속 기사도 이어졌습니다. 최근 그는 클라우드를 떠나면서 5년 동안 약 1억 4천만 달러를 절약할 것이라고 발표했습니다.
또 다른 유명하고 성공적인 엔지니어 팀은 옥사이드 클라우드 컴퓨터를 구축했습니다. 디지털 트랜스포메이션을 실천하는 기업의 완벽한 예입니다. 이들은 새로운 하드웨어와 필요한 소프트웨어를 함께 설계하고 있습니다. 그리고 플러그 앤 플레이 랙을 판매하여 사용자에게 온프레미스 클라우드 환경을 제공하고 있습니다. 전원과 네트워킹만 추가하면 됩니다.
디지털 전환에 성공한 업계는 이제 소프트웨어 제공업체도 되어 CSP 전문 스택과 경쟁하게 될 것입니다. 아마존에서 영감을 얻은 이들은 각자의 업종에 특화된 자체 스택을 개발해 왔으며, 이를 통해 비즈니스를 창출하고자 합니다.
현재 우리는 새로운 주체들이 새로운 서비스 소비 방식을 도입하여 클라우드 시장을 '우버화'하거나 변화시키는 새로운 클라우드 사이클의 탄생을 목격하고 있을까요? CSP는 어떻게 대답할까요?
경쟁에서 우위를 점하기
새로운 비즈니스 문제 해결을 중단하는 순간 경쟁이 따라잡는다고 가정할 때, 경쟁에서 앞서 나가기 위해 해결해야 할 새로운 문제는 무엇일까요? 여러 가지 이유로 GenAI와 에이전트 AI가 가장 먼저 떠오릅니다.
GenAI는 소수의 기업만이 활용할 수 있을 정도로 대규모 리소스를 많이 소비합니다. CSP는 이미 보유하고 있는 규모, 예를 들어 다른 기업보다 빠르게 하드웨어를 확보할 수 있는 역량, 그리고 이러한 리소스에 대한 규모와 관련 레버리지가 있는 한 앞서 나갈 수 있으며, GenAI 환경이 하드웨어 기반 규모에 대한 보상을 계속 제공한다는 점에서 이점을 누릴 수 있습니다. 하지만 이런 상황이 얼마나 오래 지속될까요? 최근에 보았던 것처럼 적은 비용으로 비슷한 결과를 얻을 수 있는 새로운 '딥서치' 이벤트가 등장할까요? 그럴 가능성이 높습니다. 양자 컴퓨팅의 영향에 대해서도 이야기할 수 있지만 아직은 시기상조입니다. 개인적으로 저는 파브리스 벨라르가 이 문제에 관심을 갖고 더 큰 규모의 '딥시크' 이벤트를 만들기를 기다리고 있습니다.
에이전트 AI의 경우 주요 전제가 다음과 같기 때문에 재미있는 주제입니다: GenAI는 작동하지 않습니다.
현재로서는 100%의 정확도로 원하는 작업을 수행할 수 없으므로, 먼저 실제로 코딩하여 작동하는지 확인한 다음, 계획할 수 없거나 코딩할 수 없는 부분인 추론은 최대한 AI에 맡길 것입니다. 즉, 새로운 코드는 모두 어딘가에서 실행되고 데이터 및 모델과 상호 작용해야 합니다. 이로 인해 훨씬 더 많은 컴퓨팅(CPU 및 GPU), 데이터, 네트워크 소비가 늘어날 것입니다. 이러한 모든 에이전트는 온디맨드 방식으로 실행되어야 하며, 이미 구축된 보안, 감사 로그, RBAC, 통합 가시성 등의 이점을 활용하려면 기존 아키텍처에 통합되어야 할 가능성이 높습니다. AI 에이전트는 마이크로 서비스 또는 기능으로 생각할 수 있으며, 일반적으로 그 범위가 충분히 작고 동일한 특성(분산, 다국어, 보안)과 문제(설계, 확장, 추적/관찰이 복잡함)를 가지고 있습니다.
물론 상담원들은 데이터에 대한 갈망이 매우 클 것입니다. 프롬프트, 벡터 인덱스, 응답, 유효성 검사, 전체 대화 내용 등의 데이터를 집어삼킬 것입니다. 편리하게도 이러한 데이터의 대부분은 텍스트 기반이며 단일 대화 세션보다 더 오랜 기간 동안 유지되어야 할 가능성이 높습니다. 여기서 편리한 점은 이러한 데이터의 대부분이 개발자에게 친숙한 JSON으로 형식이 지정된다는 것입니다. 그리고 상담원 애플리케이션이 기업과 소비자 그룹을 지원하기 위해 확장되기 시작하면 데이터가 또 한 번 폭발적으로 증가할 것입니다. 이번에는 JSON 데이터가 될 것입니다.
GenAI와 에이전트 AI는 모두 클라우드 도입을 촉진할 것이지만, 이것이 경쟁을 막고 새로운 비즈니스 문제를 해결할 수 있을 정도로 충분할까요? 아니면 클라우드 주기의 빠른 트렌드에 불과할까요?
새로운 클라우드 주기? 기술이 온프레미스에서 클라우드로, 그리고 다시 온프레미스로 순환하고 있나요?
결론적으로 클라우드 환경은 온프레미스 하드웨어에서 광범위한 클라우드 솔루션으로 진화했고, 이제는 보다 지역화되고, 하이브리드화되고, 분산된 모델로 다시 진화하고 있습니다. 이러한 변화는 오픈 소스 기술의 발전, 고객의 성숙도, 엣지 컴퓨팅의 부상, AI가 주도하는 특수 하드웨어에 대한 수요, 거버넌스 및 데이터 프라이버시에 대한 끊임없는 우려 등 여러 요인의 상호작용에 의해 주도되고 있습니다.
클라우드 제공업체는 확장 가능한 온디맨드 리소스를 제공함으로써 디지털 경제를 변화시켰지만, 이제는 기업들이 보다 맞춤화되고 비용 효율적인 솔루션을 찾으면서 관련성을 유지해야 하는 과제에 직면해 있습니다. 엣지 중심 공급업체를 비롯한 기술 생태계의 새로운 플레이어들은 이러한 변화를 활용하여 기업의 특정 요구사항에 부합하는 동시에 인프라와 데이터를 더 잘 제어할 수 있는 새로운 혁신의 물결을 일으키고 있습니다.
업계가 발전함에 따라 클라우드 서비스 제공업체는 서비스를 재창조하지 않으면 보다 개인화되고 효율적인 클라우드 솔루션을 찾는 세대의 비즈니스에 자리를 빼앗길 위험이 있습니다. 하이브리드 클라우드 모델을 수용하든, AI 통합을 강화하든, 엣지 컴퓨팅과 Wasm을 활용하든, 클라우드의 다음 진화는 의심할 여지 없이 끊임없이 변화하는 기술 환경에서 사용자의 요구사항에 맞춰 더욱 다양하고 긴밀하게 조정되는 것이 특징이 될 것입니다.
한 가지 확실한 것은 앞으로 기업에는 다음과 같은 AI 네이티브 플랫폼이 필요할 것입니다. 카우치베이스 카펠라 클라우드와 엣지 사이의 경계가 그 어느 때보다 모호해진 네트워크에서 데이터가 어디에 있는지 파악할 수 있어야 합니다. 이를 위해서는 다음이 필요합니다. 카펠라 를 사용하여 컴퓨팅 워크로드를 최대한 데이터에 가깝게 배포할 수 있습니다.