Capella의 새로운 컬럼형 서비스는 실시간 데이터 분석을 추가하여 조직이 최신의 실시간 적응형 애플리케이션을 구축할 수 있도록 지원합니다.
오늘부터 AWS re:Invent카우치베이스는 실시간 적응형 애플리케이션을 지원하는 새로운 실시간 데이터 분석 서비스인 카펠라 컬럼형 서비스를 클라우드 데이터 플랫폼에 추가한다고 발표했습니다.
Capella 컬럼형은 서비스형 데이터베이스(DBaaS) 내에 컬럼형 저장소와 광범위한 데이터 통합을 도입한 서비스로, 이를 통해 다음을 수행할 수 있습니다. 실시간 데이터 분석 와 같은 플랫폼에서 운영 애플리케이션 워크로드. 운영 및 실시간 분석 애플리케이션을 하나의 데이터베이스 플랫폼으로 통합함으로써 Couchbase는 특히 인공 지능을 통합한 프리미엄 고객 경험을 제공하기 위한 마찰을 제거합니다. 이러한 경험을 적응형 애플리케이션이라고 부르는 이유는 무엇보다도 실시간 분석 계산을 통해 상황에 맞는 초개인화 기능을 제공하기 때문입니다.
우리는 계산이 실행 중인 애플리케이션과 함께 동시에 처리되어야만 진정한 실시간 데이터 분석을 수행할 수 있다는 것을 깨달았습니다. 그리고 이러한 실시간 분석 결과는 운영 데이터베이스와 운영 데이터베이스가 제공하는 애플리케이션에 즉시 다시 기록될 때만 유용하게 사용될 수 있습니다. 실시간 분석과 운영 애플리케이션 간의 이러한 조정은 수십 년 동안 데이터베이스 업계에 혼란을 가져왔습니다.
실시간 데이터 분석을 운영하는 것이 왜 그렇게 어려운가요?
Forrester에 따르면, 기업 내 731TB의 데이터가 분석에 사용되지 않고 있으며, 401TB의 빅데이터 프로젝트가 가치 제공에 실패했다고 합니다. 왜 그럴까요? 분석 측정값과 운영 애플리케이션이 모두 여러 관계형 및 NoSQL 데이터베이스, 복잡한 ETL, 이해하기 어려운 통합 지점에 의해 구동되는 경우 분석 인사이트를 운영 조치로 전환하는 데 너무 오랜 시간이 걸리기 때문입니다.
실시간 데이터 분석에는 많은 데이터가 필요합니다.
분석은 대량의 데이터를 소비하는 경우가 많기 때문에 스토리지에 보관하고 계산을 집계하는 데 비용이 많이 듭니다. 대량의 데이터를 쿼리하고 집계할 때 계산 시간이 너무 오래 걸리고 행 스캔에 많은 비용이 듭니다. 이러한 볼륨 및 지연 시간 문제를 해결하는 것이 분석 업계가 시작된 이유입니다.
-
- 분석 시스템에서는 반복적으로 계산을 실행하는 비용을 피하기 위해 미리 계산된 측정값을 저장하는 OLAP '큐브'를 채택했습니다.
- 이 때문에 분석 시스템에서도 모든 열의 모든 행을 스캔하는 대신 원하는 특정 데이터 차원만 쿼리할 수 있는 보다 신속한 컬럼형 저장소 모델을 채택했습니다.
- 최신 분석 시스템이 스토리지 리소스와 별도로 계산 리소스를 확장하는 이유이기도 합니다.
- 빅데이터와 클라우드 컴퓨팅, 스트리밍 분석은 데이터의 양 문제를 줄이고 관리하기 쉽게 만들려고 노력하는 중앙 집중식 기술입니다.
그러나 이 모든 것이 애플리케이션 내부에서 분석 측정값을 자동으로 운영하여 애플리케이션을 즉시 더 스마트하게 만드는 기능을 다루지 못했습니다.
실시간 데이터 분석을 실행 가능한 것으로 만들려면 어떻게 해야 할까요?
실시간 분석 측정값(일명 '인사이트')은 여전히 엔터프라이즈 애플리케이션 내에서 운영하기가 너무 어렵습니다. 제가 비즈니스 인텔리전스 도구 공급업체에서 일할 때, 우리는 이렇게 말하곤 했습니다, 실행 가능한 인사이트 대화형 대시보드로 인사이트를 얻을 수 있습니다. 그러나 실행 가능한 인사이트는 여전히 신화에 불과했습니다. 방대하고 다양한 양의 엔터프라이즈 데이터에서 도출된 분석 측정값을 사람의 개입 없이 애플리케이션 내부에 통합할 방법이 없었기 때문입니다. 항상 사람이 버튼을 눌러야 했습니다.
대부분의 분석 시스템 하지 계산한 데이터 값을 운영 시스템에 다시 기록합니다. 일반적으로 결과물을 '대시보드'로만 표시하기 때문에 보기에는 좋지만 신속하게 조치를 취하기는 어렵습니다. 조치를 취하는 데 걸리는 시간은 보통 몇 분에서 며칠까지 걸립니다. 이것이 쓰기-뒷면 지연 시간 차이입니다. 50년 된 문제입니다. 그렇기 때문에 분석은 데이터베이스 트랜잭션처럼 '실시간' 활동이 거의 이루어지지 않습니다.
카우치베이스 컬럼형은 운영 애플리케이션의 쓰기-백 대기 시간 격차를 없애줍니다.
Capella 컬럼형 서비스는 Couchbase에서 제공되는 실시간 분석 기능을 확장합니다. 컬럼형 서비스는 Capella에 다음을 추가합니다:
-
- 새로운 컬럼 중심의 로그 구조 병합(LSM)과 B-트리 구조화된 스토리지 엔진 Capella의 분석 성능과 용량을 확장하기 위해 구축되었습니다. 이 엔진은 데이터에 대한 인상적인 압축과 고속 열 기반 액세스를 제공합니다. 이 서버리스 엔진은 테라바이트 단위의 분석 데이터를 포함하면서 동적으로 확장됩니다. 데이터는 AWS S3에 저장되며 계산 기능과는 분리되어 있습니다.
- MPP 기반 계산 엔진를 사용하여 데이터 크기에 관계없이 실시간으로 계산할 수 있습니다. 이 집계 기능은 쿼리에 SQL++를 사용하며, 쿼리에는 카우치베이스의 특허받은 비용 기반 최적화 도구 를 사용하여 쿼리가 복잡한 경우에도 탁월한 성능을 보장합니다.
- 다음에서 제공하는 실시간 수집 기능 아파치 카프카를 사용하여 거의 모든 데이터베이스나 애플리케이션에서 데이터를 연결, 캡처, 추출할 수 있습니다. 이 프로세스는 또한 추출된 데이터를 전송하는 동안 개발자에게 친숙한 JSON 구조로 변환합니다. 상상해 보세요. 실시간 수집 BSON 오브젝트를 카펠라 컬럼으로 변환합니다!
- 파일 기반 읽기, 가져오기(및 내보내기)는 JSON, Parquet, Avro, CSV 및 기타 텍스트 형식을 포함하여 AWS S3에 저장된 데이터에 대해 수행됩니다.
- 다음을 사용하여 대화형 코딩 Capella iQ를 사용하여 개발자가 SQL++ 개발을 위해 ChatGPT(또는 궁극적으로 선호하는 생성형 AI 대규모 언어 모델)와 자연어 상호작용을 사용할 수 있도록 지원합니다.
- 다음에 대한 기본 지원 Tableau 및 분석 개발 및 시각화를 위한 PowerBI.
- 새로운 데이터 API 를 사용하여 분석 측정값을 읽고 Capella 기반 운영 애플리케이션에 다시 쓸 수 있습니다. 따라서 실시간 데이터 분석을 애플리케이션에 내장하는 데 있어 수십 년 동안 지속되어 온 문제가 해결됩니다.
따라서 키/값, 쿼리, 검색, 이벤트, 모바일 앱 서비스 등 카펠라의 다른 서비스를 기반으로 하는 애플리케이션에서 새로운 데이터를 사용할 때 사용할 수 있는 대규모 실시간 분석 계산을 실행할 수 있게 됩니다. 고객은 실시간 분석 결과를 통합하는 적응형 애플리케이션을 구축하여 제공할 수 있습니다.
실시간 분석이 필요한 앱에 Capella Columnar가 더 나은 이유는 무엇인가요?
단일 데이터베이스 플랫폼이 트랜잭션 운영 데이터와 분석 데이터 모두를 위해 전문화되고 최적화된 스토리지 컨테이너를 생성한 것은 이번이 처음으로, 열 형식으로 저장하는 것이 가장 좋습니다. 각 스토리지 컨테이너, 마그마 운영 데이터용과 분석 데이터용 컬럼형은 빠른 속도뿐만 아니라 압축, IO 처리량, 리소스 활용도가 더 뛰어난 로그 구조 병합(LSM) 설계를 기반으로 구축되었습니다.
이것은 마치 물에 뜨면서 동시에 날 수 있는 것과 같습니다.
몽고DB Atlas에도 이런 기능이 있지 않나요?
아니요, 몽고DB는 열 저장소 인덱스는 단일 스토리지 엔진인 WiredTiger에 유지되는 데이터에 대한 중복 인덱싱 구조입니다. 모든 데이터는 여전히 MongoDB의 카우치스토어. 와이어드타이거는 사용 중 50%의 가용 메모리를 소비하는데, 이는 사용 중일 때 MongoDB가 확장되지 않습니다. 카우치베이스와 카펠라만큼 효율적으로 사용할 수 있습니다.
Couchbase의 접근 방식은 더 나은 성능을 제공하며, 운영 데이터의 저장 공간을 오염시키거나 부풀리지 않고도 분석을 위해 외부 데이터를 통합할 수 있는 더 나은 기회를 제공합니다. 따라서 두 엔진은 동일한 클러스터에 있으면서 독립적으로 작동하고 워크로드를 확장할 수 있습니다.
적응형 애플리케이션이란 무엇인가요?
적응형 애플리케이션은 사용자 선호도, 환경 조건, 데이터 입력 또는 상황 변화 등 다양한 요인에 따라 실시간으로 동작과 기능을 조정할 수 있습니다. 적응형 애플리케이션의 목표는 사용자의 특정 요구와 현재 상황에 맞게 기능을 동적으로 조정하여 고도로 개인화되고 반응이 빠른 사용자 경험을 제공하는 것입니다.
적응형 애플리케이션의 주요 특징
초개인화: 적응형 애플리케이션은 개별 사용자의 상황, 선호도 및 요구 사항에 맞게 UI, 콘텐츠 및 기능을 사용자 지정할 수 있습니다. 이러한 개인화는 사용자 만족도와 생산성을 향상시킬 수 있습니다.
컨텍스트 인식: 적응형 애플리케이션은 위치, 기기 유형, 네트워크 상태, 시간, 과거 및 현재 행동과 같은 요소를 포함한 현재 컨텍스트에 따라 적응할 수 있습니다.
예를 들어, 내비게이션 앱은 실시간 교통 상황과 주행 시간에 따라 경로 제안을 조정할 수 있습니다.
학습 및 인텔리전스: 적응형 애플리케이션은 예측 머신 러닝, 인공 지능, 실시간 계산 및 생성형 AI 대화를 통합하여 사용자 행동을 지속적으로 분석하고 적응 능력을 향상시킵니다. 과거의 상호작용을 통해 학습하여 더 나은 예측과 즉각적인 추천을 할 수 있습니다.
유연성: 적응형 애플리케이션은 유연하고 기능이 풍부하며 쉽게 구성할 수 있도록 설계되었습니다. 적응형 애플리케이션의 데이터는 새로운 개인화 속성으로 계정 프로필을 향상시키거나 LLM으로 대화 프롬프트 및 응답을 저장하는 등 예기치 않은 데이터 입력을 생성하거나 수정하기 위해 JSON과 같은 유연한 형식으로 사용할 수 있어야 합니다.
사용자 지정 기능: 사용자는 설정을 조정하거나 피드백을 제공하여 애플리케이션이 자신의 필요에 맞게 적응할 수 있도록 지원할 수 있습니다.
자동화: 특정 작업과 프로세스를 자동화하여 사용자가 수동 개입 없이도 목표를 쉽게 달성할 수 있도록 지원합니다.
계산: 실시간 재고, 용량 계획 및 추정 또는 기타 실시간 분석 지표와 같은 계산된 데이터를 지시하고 이에 대응할 수 있습니다. 이것이 바로 Capella 컬럼형 서비스를 추가해야 했던 이유입니다.
탁월한 성능: 적응형 애플리케이션은 응답 기회를 놓치지 않기 위해 실시간으로 반응할 수 있어야 합니다. 지연 시간은 적응형 애플리케이션의 적입니다.
엣지 및 모바일 지원: 적응형 애플리케이션은 본질적으로 모바일이며 사용자의 행동으로 인해 엣지에서 작동합니다. 모바일 디바이스는 적응형 애플리케이션 데이터가 시작되는 핵심 위치이자 데이터가 소비되는 목적지가 될 것입니다.
상황별: 적응형 애플리케이션은 사용자가 요청하지 않아도 데이터 및 애플리케이션 기능을 사용자에게 제공하는 동작을 예측하고 실행합니다.
교차 연결: 적응형 애플리케이션은 사용자가 옵트인한 서비스 전반에 걸쳐 계정 개인화 정보를 교차 연결하여 은행, 항공사, 호텔 로열티 프로그램에서 사용자가 '플래티넘' 등급을 넘어서는 동안 실시간으로 업그레이드하는 등 서로 간의 조치를 조정할 수 있습니다.
적응형 애플리케이션에 대한 자세한 내용은 Forrester의 새로운 시장 로드맵 보고서에서 확인하세요, 분산, 다중 모델 및 AI 기능을 지원하기 위해 진화하는 트랜스래티컬 아키텍처 2.0.
요약
카우치베이스 카펠라의 컬럼형 서비스를 통해 고객은 다음을 수행할 수 있습니다:
민첩성과 성능을 개선하세요. Capella 컬럼형은 Capella 기반 애플리케이션 내에서 작동하여 추출, 변환, 로드(ETL)를 수행할 필요 없이 빠르고 스키마 없는 수집을 가능하게 합니다. 이 서비스는 운영 워크로드의 데이터를 분산하여 운영 데이터에 대한 실시간 분석을 수행한 다음 해당 정보를 통해 애플리케이션 동작에 즉각적인 영향을 줄 수 있습니다. 또한, 컴퓨팅과 스토리지가 분리되어 있어 변화하는 애플리케이션 또는 분석 요구 사항을 충족하기 위해 신속하게 확장할 수 있습니다.
엔터프라이즈 데이터 소스에서 실시간으로 수집을 스트리밍하세요. Capella 컬럼형을 사용하면 운영 분석이 운영 데이터에만 국한되지 않습니다. 사용자가 SaaS 애플리케이션이나 기타 데이터베이스 관리 소스의 외부 JSON, 관계형, 스트리밍 및 기타 데이터 집합을 포함할 수 있기 때문입니다. Capella 컬럼형은 간단한 단일 문장으로 매우 다양한 데이터를 분석할 수 있습니다. 예를 들어, Couchbase, S3, BSON, Cassandra, MySQL의 데이터를 모두 동일한 문으로 분석할 수 있습니다.
개발자의 사용 편의성을 높입니다. 카펠라 기둥형은 동일한 SQL++ 쿼리 언어 운영 및 실시간 분석 애플리케이션 전반에서 사용할 수 있습니다. 즉, SQL을 이미 알고 있는 개발자는 두 가지 쿼리 언어를 사용할 필요 없이 단일 쿼리 언어로 단일 플랫폼에서 애플리케이션을 쉽게 구축할 수 있습니다. 새로운 서비스는 또한 자연어 기반의 Capella iQ 를 SQL++ 부조종사로 사용하여 더 빠르게 코딩할 수 있습니다.
복잡성과 비용을 줄이세요. 운영 분석과 실시간 분석을 하나의 데이터 플랫폼에 통합함으로써 고객은 Capella를 통해 더 많은 것을 달성할 수 있습니다. 총 소유 비용 절감 운영 워크로드를 위한 데이터베이스 플랫폼과 실시간에 가까운 분석을 위한 데이터베이스 플랫폼의 비용을 모두 흡수하는 대신 총소유비용(TCO)을 절감할 수 있습니다. 또한 JSON 데이터를 기존 분석 데이터베이스로 변환하는 팀은 더 이상 복잡한 변환 프로세스를 거칠 필요가 없습니다.
