카펠라의 새로운 컬럼나러 서비스는 조직이 현대적이고 실시간 적응형 애플리케이션을 구축할 수 있도록 실시간 데이터 분석을 제공합니다.
오늘, AWS 리인벤트, 카우치베이스는 클라우드 데이터 플랫폼에 실시간 적응형 애플리케이션을 구현하기 위한 새로운 실시간 데이터 분석 서비스인 카펠라 컬럼나어서비스를 발표했습니다.
Capella 컬럼너는 데이터베이스 서비스(DBaaS) 내에 컬럼 기반 저장소와 광범위한 데이터 통합을 도입하여 다음과 같은 기능을 제공하는 서비스입니다. 실시간 데이터 분석 ~와 동일한 플랫폼에 운영 애플리케이션 워크로드. 운영 및 실시간 분석 애플리케이션을 하나의 데이터베이스 플랫폼으로 통합함으로써, 카우치베이스는 특히 인공지능을 결합한 프리미엄 고객 경험을 제공하는 데 장애가 되는 요소를 제거합니다. 우리는 이러한 경험을, 실시간 분석 연산 등을 바탕으로 맥락에 맞는 초개인화를 제공한다는 의미에서 적응형 애플리케이션이라고 부릅니다.
우리는 진정한 실시간 데이터 분석이 계산이 실행 중인 애플리케이션과 동시에 그리고 나란히 처리될 때만 수행될 수 있다는 것을 깨달았습니다. 그리고 이러한 실시간 분석 결과가 운영 데이터베이스와 그것이 서비스하는 애플리케이션에 즉시 다시 기록될 때만 유용해질 수 있습니다. 실시간 분석과 운영 애플리케이션 간의 이러한 종류의 조화는 수십 년 동안 데이터베이스 산업을 당혹스럽게 해왔습니다.
실시간 데이터 분석을 실제로 적용하는 것이 왜 이토록 어려울까요?
포레스터(Forrester)에 따르면, 기업 내 데이터 중 73%는 분석에 활용되지 않고 있으며, 40%의 빅데이터 프로젝트는 가치를 창출하는 데 실패했습니다. 왜 그럴까요? 분석 결과를 실제 운영 조치로 전환하는 데 너무 오랜 시간이 걸리기 때문입니다. 특히 분석 지표와 운영 적용 모두 여러 관계형 및 NoSQL 데이터베이스, 복잡한 ETL, 그리고 이해하기 어려운 통합 지점에 의존하고 있는 경우에는 더욱 그렇습니다.
실시간 데이터 분석에는 많은 데이터가 필요합니다.
분석 작업은 종종 대량의 데이터를 소비하는데, 이는 저장소에 유지 비용이 많이 들고 연산을 집계하는 데도 비용이 든다. 대량의 데이터를 조회하고 집계할 때 계산에 너무 오랜 시간이 걸리며, 행 스캔(row scan) 비용도 크다. 이러한 데이터 양과 지연 시간 문제를 해결하는 것이 분석 업계가 시작된 계기이다.
- 분석 시스템은 반복적인 계산 실행 비용을 피하기 위해 미리 계산된 측정값을 저장하는 OLAP “큐브”를 채택했습니다.
- 이것이 분석 시스템이 모든 열의 모든 행을 스캔하는 대신, 원하는 특정 데이터 차원만 조회할 수 있는 보다 신속한 열 기반(컬럼나러) 저장 모델을 채택한 이유이기도 합니다.
- 이것이 또한 현대 분석 시스템이 컴퓨팅 자원을 스토리지 자원과 별개로 확장하는 이유입니다.
- 빅데이터와 클라우드 컴퓨팅, 그리고 데이터의 볼륨 문제를 줄여 관리하기 쉽게 만들려는 스트리밍 분석 역시 중앙집중화하는 힘이었다는 점에 주목하라.
그러나 이 모든 것에도 불구하고 애플리케이션을 즉시 더 스마트하게 만들기 위해 애플리케이션 내에서 분석 지표를 자동으로 운영(실행)하는 기능은 해결되지 않았습니다.
실시간 데이터 분석을 어떻게 실행 가능한(실무에 적용할 수 있는) 상태로 만들 수 있나요?
실시간 분석 측정 지표(일명 “인사이트”)는 여전히 기업용 애플리케이션 내에서 실제로 적용하기에는 너무 어렵습니다. 비즈니스 인텔리전스 도구 벤더에서 일했을 때, 우리는 우리가 만들었다고 말하곤 했습니다., 실행 가능한 통찰력 대화형 대시보드를 통해서요. 그러나 방대하고 다양한 기업 데이터에서 도출된 분석 지표를 사람의 개입 없이 애플리케이션 내에 통합할 방법이 없었기 때문에, 실행 가능한 인사이트는 여전히 신화에 불과했습니다. 그것은 항상 사람이 버튼을 눌러야만 했습니다.
대부분의 분석 시스템 하지 마세요 그들이 계산한 파생 데이터 값을 운영 시스템에 다시 기록합니다. 그들은 대개 자신들의 결과물을 “대시보드” 형태로만 제시하는데, 이는 조회하기에는 좋지만 조치를 신속하게 취하기는 어렵습니다. 조치를 취하는 데 걸리는 지연 시간은 보통 몇 분에서 며칠에 이릅니다. 이것은 라이트백 지연 시간 격차입니다 그리고 그것은 50년 된 문제입니다. 이것이 분석이 데이터베이스 트랜잭션처럼 거의 결코 “실시간” 활동이 아닌 이유입니다.
Couchbase Columnar는 운영 애플리케이션의 라이트백 지연 격차를 해소할 것입니다.
당사의 Capella 열 저장소(컬럼나러) 서비스는 Couchbase에서 제공하는 실시간 분석 기능을 확장할 것입니다. 컬럼나러 서비스는 Capella에 다음과 같은 기능을 추가합니다.
- 새로운 열 지향적, LSM(Log-Structured Merge) 및 B-트리 구조화된 스토리지 엔진 Capella의 분석 성능과 용량을 확장하도록 구축되었습니다. 이 엔진은 인상적인 압축 기능과 데이터에 대한 고속 열 기반 액세스를 제공합니다. 이 서버리스 엔진은 테라바이트 규모의 분석 데이터를 수용하면서 동적으로 확장됩니다. 데이터는 AWS S3에 저장되며 연산 기능과 분리되어 있습니다.
- 우리는 MPP 기반 시스템을 향상했습니다 연산 엔진, 데이터 크기에 관계.없이 실시간 계산을 허용하며, 이 집계 기능은 쿼리에 SQL++를 사용하고 다음을 포함합니다. 카우치베이스, 비용 기반 옵티마이저 특허 취득 복잡한 쿼리에서도 뛰어난 성능을 보장하기 위해.
- 실시간 수집 기능 제공: 아파치 카프카, 거의 모든 데이터베이스나 애플리케이션에 연결하여 데이터를 캡처하고 추출할 수 있습니다. 이 프로세스는 또한 전송 중에 추출된 데이터를 개발자 친화적인 JSON 구조로 변환합니다. 상상해 보세요 실시간 수집 BSON 객체를 Capella Columnar로 변환!
- JSON, Parquet, Avro, CSV 및 기타 텍스트 형식을 포함하여 AWS S3에 저장된 데이터에 대한 파일 기반 읽기, 가져오기(및 내보내기).
- 대화형 코딩 사용 카펠라 iQ, 개발자들이 SQL++ 개발을 위해 ChatGPT(또는 궁극적으로 그들이 선호하는 생성형 AI 대규모 언어 모델)와 자연어 상호작용을 사용할 수 있도록 하기 위함입니다.
- 기본 지원 태블로 그리고 분석 개발 및 시각화를 위한 Power BI.
- 새로운 데이터 API Capella로 구동되는 운영 응용 프로그램에 분석 측정값을 읽고 다시 기록합니다. 이는 실시간 데이터 분석을 응용 프로그램에 내장할 때 수십 년 동안 지속되어 온 문제를 해결합니다.
이로 인해 대규모 실시간 분석 연산 실행이 가능해지며, 이 기능과 Key/Value, Query, Search, Eventing, 모바일 App Services 등 Capella의 다른 서비스들로 구동되는 애플리케이션에서 새로운 데이터를 사용할 수 있게 될 때 이를 활용할 수 있습니다. 고객은 실시간 분석 결과를 통합한 적응형 애플리케이션을 구축하고 제공할 수 있습니다.
실시간 분석이 필요한 앱에 Capella Columnar가 더 뛰어난 이유는 무엇인가요?
단일 데이터베이스 플랫폼이 트랜잭션 운영 데이터와 열 기반 형식으로 저장하는 것이 가장 좋은 분석 데이터 모두를 위해 특화되고 최적화된 스토리지 컨테이너를 생성한 것은 이번이 처음입니다. 각 스토리지 컨테이너는, 마그마 운영 데이터용이며 분석 데이터용 열 기반 방식인 이 시스템은 로그 구조화 병합(LSM) 설계를 기반으로 구축되어 속도가 빠를 뿐만 아니라 더 나은 압축, I/O 처리량 및 자원 활용도를 제공합니다.
이것은 물에 뜬 채로 동시에 하늘을 나는 것 같다.
MongoDB Atlas에도 이것이 있지 않나요?
아니요, MongoDB에서 발표했습니다 열 저장소 인덱스, 이는 단일 스토리지 엔진인 WiredTiger에 영구 저장되는 데이터에 대한 중복 인덱싱 구조로, 모든 데이터는 여전히 MongoDB의 해당 엔진인 WiredTiger에 저장됩니다. 카우치스토어. WiredTiger는 사용 중일 때 사용 가능한 메모리 50%를 차지하는데, 이것이 바로 몽고디비는 확장되지 않습니다 Couchbase 및 Capella만큼 효율적으로.
카우치베이스의 접근 방식은 더 나은 성능을 제공하며, 운영 데이터의 스토리지를 오염시키거나 비대화하지 않으면서 분석용 외부 데이터를 통합할 수 있는 더 나은 기회를 제공합니다. 따라서 두 엔진은 동일한 클러스터에 상주하면서도 각각 독립적으로 작업 부하를 처리하고 확장합니다.
적응형 애플리케이션이란 무엇입니까?
적응형 애플리케이션은 사용자 선언, 환경적 조건, 데이터 입력 또는 변화하는 상황과 같은 다양한 요소를 바탕으로 실시간으로 동작과 기능을 조정할 수 있습니다. 적응형 애플리케이션의 목표는 사용자의 특정 요구와 현재 맥락에 맞춰 기능을 동적으로 맞춤화함으로써 극도로 개인화되고 반응성이 뛰어난 사용자 경험을 제공하는 것입니다.
적응형 애플리케이션의 주요 특성
초개인화적응형 애플리케이션은 개별 사용자의 상황, 선호도, 요구사항에 맞춰 UI, 콘텐츠, 기능을 맞춤화할 수 있습니다. 이러한 개인화는 사용자 만족도와 생산성을 향상시킬 수 있습니다.
상맥 인지적응형 애플리케이션은 위치, 기기 유형, 네트워크 상태, 시간대, 그리고 과거 및 현재의 행동과 같은 요소들을 포함할 수 있는 현재 컨텍스트에 따라 적응할 수 있습니다.
예를 들어, 내비게이션 앱은 실시간 교통 상황과 주행 시간에 따라 경로 제안을 조정할 수 있습니다.
학습과 지능적응형 애플리케이션은 예측 머신러닝, 인공지능, 실시간 연산 및 생성형 AI 대화를 통합하여 사용자 행동을 지속적으로 분석하고 적응 능력을 향상시킬 것입니다. 이러한 애플리케이션은 과거 상호작용으로부터 학습하여 더 나은 예측과 즉각적인 추천을 제공할 수 있습니다.
유연성적응형 애플리케이션은 유연하고, 기능이 풍부하며, 쉽게 구성할 수 있도록 설계되었습니다. 적응형 애플리케이션의 데이터는 계정 프로필을 새로운 개인화 속성으로 강화하거나, LLM과의 대화 프롬프트 및 응답을 저장하는 등 예상치 못한 데이터 입력을 생성 또는 수정하기 위해 JSON과 같은 유연한 형식으로 제공되어야 합니다.
맞춤 설정성사용자는 애플리케이션이 자신의 필요에 맞게 적응할 수 있도록 설정을 조정하거나 피드백을 제공하는 옵션을 가질 수 있습니다.
자동화그것들은 특정 작업과 프로세스를 자동화하여 사용자가 수동 개입 없이 목표를 더 쉽게 달성할 수 있도록 도울 수 있습니다.
계산그들은 실시간 재고, 용량 계획 및 예측, 기타 실시간 분석 지표와 같은 계산된 데이터에 대해 촉발하고 반응할 수 있습니다. 이것이 바로 우리가 Capella 열 지향(columnar) 서비스를 추가해야 했던 이유입니다.
뛰어난 성능적응형 애플리케이션은 응답 기회를 놓치지 않기 위해 실시간으로 반응할 수 있어야 한다. 지연 시간은 적응형 애플리케이션의 적이다.
엣지 및 모바일 지원적응형 애플리케이션은 사용자의 행태로 인해 본질적으로 모바일 기반이 되며 엣지에서 작동할 것입니다. 모바일 기기는 적응형 애플리케이션 데이터가 생성되는 핵심 장소이자 그 데이터가 소비되는 목적지가 될 것입니다.
상황적인적응형 애플리케이션은 사용자가 요청하지 않아도 데이터와 애플리케이션 기능을 사용자에게 제공하는 작업을 예상하고 실행할 것입니다.
교차 연결된 적응형 애플리케이션은 사용자가 동의한 서비스 간에 계정 개인화 정보를 상호 연결하여, 예를 들어 은행, 항공사, 호텔 로열티 프로그램이 사용자가 “플래티넘” 등급 달성 기준을 넘어서는 순간 실시간으로 등급을 업그레이드하는 등의 조치를 상호 조율할 것입니다.
적응형 애플리케이션에 대한 자세한 내용은 포레스터의 새로운 시장 로드맵 보고서를 확인하세요., 트랜스리틱 아키텍처 2.0, 분산형, 멀티모дель, 그리고 AI 역량을 지원하기 위해 진화하다.
요약
Couchbase Capella의 컬럼너 서비스는 고객이 다음을 수행할 수 있도록 지원합니다.
민첩성과 성능을 향상시키세요. Capella columnar는 Capella 기반 애플리케이션 내에서 작동하여 추출, 변환, 적재(ETL) 작업을 수행할 필요 없이 빠르고 스키마리스한 데이터 수집을 가능하게 합니다. 이 서비스는 운영 워크로드에서 데이터를 분산하여 운영 데이터에 대한 실시간 분석을 수행한 후, 해당 정보를 통해 애플리케이션 동작에 즉각적인 영향을 미칠 수 있습니다. 또한, 연산(컴퓨팅)과 스토리지의 분리 덕분에 Capella columnar는 변화하는 애플리케이션이나 분석 요구에 맞춰 빠르게 확장할 수 있습니다.
엔터프라이즈 데이터 소스에서 실시간으로 스트림 수집. Capella 컬로너를 사용하면 사용자가 SaaS 응용 프로그램이나 기타 데이터베이스 관리 소스의 외부 JSON, 관계형, 스트리밍 및 기타 데이터 세트를 포함할 수 있으므로 운영 분석이 운영 데이터에만 국한되지 않습니다. Capella 컬로너는 간단한 단일 구문으로 진정한 다양한 데이터를 분석할 수 있습니다. 예를 들어, Couchbase, S3, BSON, Cassandra 및 MySQL의 데이터를 모두 동일한 구문에서 분석할 수 있습니다.
개발자의 사용 편의성을 높입니다. 카펠라 컬럼너는 동일한 SQL++ 쿼리 언어 운영 및 실시간 분석 애플리케이션 전반에 걸쳐. 이는 SQL을 이미 알고 있는 개발자들이 두 개의 서로 다른 쿼리 언어를 사용하는 대신 단일 쿼리 언어를 사용하는 단일 플랫폼에서 애플리케이션을 쉽게 구축할 수 있음을 의미합니다. 또한 새로운 서비스는 자연어 기반의 기능을 제공합니다. 카펠라 iQ 더 빠른 코딩을 위한 SQL++ 코파일럿으로서.
복잡성과 비용을 줄이세요. 고객은 운영 및 실시간 분석을 하나의 데이터 플랫폼으로 통합함으로써 Capella를 통해 더 많은 것을 달성할 수 있으며, 또한 총소유비용 절감 (총소유비용) 절감할 수 있게 됩니다. 또한, JSON 데이터를 전통적인 분석용 데이터베이스로 변환하는 팀들은 더 이상 복잡한 변환 과정을 거칠 필요가 없습니다.
댓글 남기기
댓글을 달기 위해서는 로그인해야합니다.