카우치베이스, 벡터 검색 발표

Couchbase는 어디서나 실행되는 AI 기반 적응형 애플리케이션을 구축할 수 있도록 Capella, 엔터프라이즈 서버, 모바일을 포함한 전체 제품 라인에서 벡터 검색을 발표합니다. 행복한 도약의 날입니다! 그리고 이 놀라운 제품을 제공한 Couchbase 팀 전체에게도 축하를 보냅니다.

예, Couchbase는 모든 제품에 벡터 검색을 추가하고 대규모 검색 증강 생성(RAG) 기술을 지원합니다. 언어 모델(LLM) 경유 LangChain 그리고 LlamaIndex 인터페이스를 지원합니다. 이를 통해 고도로 개인화되고 실시간으로 상황에 맞는 애플리케이션을 구축할 수 있습니다. 모바일 앱에서도 애플리케이션이 실시간 조건과 상황에 즉시 적응할 수 있습니다. 이를 적응형 애플리케이션이라고 합니다.

TLDR: 엣지, 클라우드, 서버 애플리케이션에 벡터 검색 추가하기

    • 카우치베이스는 네이티브에 벡터 검색을 추가합니다. 자연어 검색 서비스 Couchbase Enterprise Edition Server 7.6, 완전 관리형 데이터베이스인 Capella, 임베딩 가능한 모바일 데이터베이스인 Couchbase Lite에서 사용할 수 있습니다. 벡터 검색을 엣지와 디바이스에서도 사용할 수 있게 된 것은 매우 흥미로운 일입니다.
    • 카우치베이스는 언어별 SDK에서 LangChain 및 LlamaIndex 지원을 발표하여 다음을 강화합니다. 개발자 생산성 애플리케이션 내에서 어떤 GenAI 모델을 선택하든 사용할 수 있습니다. 
    • 벡터 검색과 함께 RAG 기술을 사용하면 GenAI 응답 정확도를 개선하여 모델이 환각을 일으키거나 신뢰할 수 없는 응답을 AI 기반 애플리케이션에 다시 제공하는 것에 대한 불안감을 줄일 수 있습니다.
    • 또한 벡터 검색은 민감한 데이터나 독점 데이터를 학습 데이터로 LLM과 과도하게 공유하는 것에 대한 기업의 불안감을 해소하는 데 도움이 됩니다. 
    • 개발자는 REST API, SDK 및 SQL++에서 완전한 벡터 검색을 지원받게 됩니다. 개발자는 오랫동안 익숙하게 사용해 온 SQL을 활용하여 빠르고 효과적으로 GenAI 애플리케이션을 개발할 수 있습니다. 
    • 또한 유사도 및 시맨틱 검색과 범위, 공간, 텍스트 검색을 한 번의 요청으로 결합하는 '하이브리드 검색'에 대한 일반적인 요구도 해결합니다.
    • 저희는 벡터 검색을 모바일 데이터베이스에 도입한 최초의 업체입니다.

이 밖에도 카펠라에 수많은 새로운 기능을 추가했으며, 다음과 같은 기능도 추가했습니다. Enterprise Server 7.6 (현재 다음에서 사용 가능) 다운로드 그리고 무료 카펠라 체험판) 포함: 

    • SQL++에서 재귀적인 일반 테이블 표현식을 사용하여 그래프와 같은 관계 탐색을 지원하므로 이제 컬렉션과 문서로 구성된 조직도 및 계층 구조를 탐색할 수 있습니다.
    • 파일 기반 인덱스 재조정. 데이터 재조정 중 인덱스 재구축은 재미없는 작업이었기 때문에 80%를 더 빠르고 쉽게 만들었습니다.
    • 다운타임 없이 Couchstore에서 Magma로 원스텝 업그레이드. Magma의 용량, 속도, 압축의 이점을 누리세요.
    • 더 빠른 장애 조치 시간으로 고가용성 향상 및 최소 반응 시간 단축: 하트비트 주파수의 경우 200밀리초, 자동 장애 조치 활성화의 경우 1초.
    • 쿼리 실행 전 인덱스에 대한 요구 사항을 제거하여 개발 중 쿼리 작성을 간소화했습니다.

발표 영상을 확인하세요:

 

벡터 검색 발표는 카우치베이스 고객에게 어떤 의미가 있나요?

카우치베이스는 지난 1년 동안 다음과 같은 지원을 추가하기 위해 노력해 왔습니다. 생성적 인공 지능(GenAI) 에 적용하고 있습니다. 전 세계와 마찬가지로 저희도 초기 릴리스부터 ChatGPT GenAI가 애플리케이션 개발을 혁신할 것이라고 생각했습니다. 거의 모든 기존 애플리케이션과 향후 애플리케이션을 대상으로 특정 기능에 GenAI를 적용할 수 있는지 여부를 검토할 것으로 예상했습니다. 심지어 애플리케이션 재검토의 범위와 규모가 25년 전의 Y2K 문제와 비슷할 것이라고 추측하기도 했습니다(마감 시한이 임박하지 않았다면). 

벡터 검색이 생소한 개념이라면 소개 동영상을 통해 빠르게 이해할 수 있습니다. 아래에서 벡터 검색을 핵심 애플리케이션 요구 사항으로 보는 이유에 대해 자세히 알아보세요.

우리는 AI 기반 적응형 애플리케이션에 베팅을 걸었습니다.

작년에 저희는 AI 기반 애플리케이션을 구축할 때 다음과 같은 핵심 원칙에 대해 이야기한 바 있습니다. IDC의 라라 그레덴이 이를 가장 잘 포착했습니다.

AI를 위한 데이터 형식, JSON

이는 AI 기반 애플리케이션이 고도로 개인화되고 상황에 맞는 경험을 제공하게 될 것이라는 이해를 바탕으로 한 것입니다. 우리는 JSON이 대규모 스키마 변경 없이 개인화를 유도하는 계정 프로필을 동적으로 업데이트하는 데 완벽한 형식이라고 판단했습니다. 11월에 OpenAI는 다음을 지원한다고 선언했습니다. JSON 모드 를 데이터 형식으로 사용할 수 있습니다.  

또한 고객이 시스템에서 동적 계정 프로필을 관리할 수 있는 고성능의 분산형 JSON 데이터베이스라는 점도 편리했습니다.

또한 JSON은 AI와의 상호 작용을 위해 프로그래밍 방식으로 조립할 수 있는 데이터 변수를 지속적이고 신속하게 제공하는 데 훌륭한 형식이라고 주장했습니다. 저희는 먼저 Capella iQ개발자가 Couchbase 기반 애플리케이션을 빌드하는 데 도움이 되는 GenAI 지원 코딩 도우미입니다.

Couchbase, Adaptive Applications, Gen AI, Vector Search

우리의 도전: 기업 내 GenAI에 대한 두려움 해소

분석가, 잠재 고객 및 고객과 다음과 같은 두려움에 대해 이야기를 나누기 시작했을 때 GenAI두 가지 우려 사항(적절하게 딜로이트의 그림)가 바로 떠올랐습니다:

언어 모델과 데이터 과다 공유

첫 번째는 민감하거나 독점적인 데이터를 모델에 제공하면 해당 지식을 스스로 학습하는 모델에 문제가 생길 수 있다는 우려였습니다. 수많은 고객이 LLM이 자신의 비법 소스 데이터를 학습하고 기억할 경우 경쟁 우위를 잃을까 걱정하고 있습니다. 우리는 이를 "GenAI와 데이터를 과도하게 공유하는 것"이라고 표현했습니다. 걱정스러운 일이죠. 법적인 문제도 발생할 수 있습니다. 벡터 검색은 이 문제를 해결하는 데 도움이 됩니다. 

AI 모델이 잘못되었거나 미쳤을 수 있습니다.

두 번째 두려움은 GenAI가 부정확하거나 진실하지 않은 정보를 환각하여 반환할 수 있다는 우려였습니다. 데이터베이스는 유효하고, 진실하며, 정확하고, 신뢰할 수 있고, 트랜잭션이 있는 데이터를 선호합니다. 데이터베이스는 1페니 또는 비트 단위까지 피할 수 없는 옳고 그름에 대한 감각을 가지고 있습니다. 이러한 인식은 다음과 같은 잠재적 문제의 판도라 상자를 열었습니다:

    • GenAI에 제공하는 데이터를 신뢰하시나요?
    • 프롬프트의 다양한 변수에 대해 여러 데이터 소스를 사용하는 GenAI 프롬프트를 구축한다면 어떨까요? 믿을 수 있을까요? 
    • 언어 모델에 환각이 발생하여 어떤 프롬프트 변수가 혼동을 일으켰는지 파악할 수 없는 경우 어떻게 해야 하나요?  
    • 데이터 웨어하우스, 운영 시스템, 실시간 피드, 메타데이터 카탈로그 등을 AI 프롬프트 및 모델의 피더 시스템으로 사용하려는 경우 어떻게 해야 할까요?

데이터 복잡성을 싫어하는 AI

우리는 GenAI의 적절한 사용을 고려하면 전체 데이터 아키텍처의 복잡성을 재검토해야 한다는 것을 깨달았습니다. 지난 10년간의 데이터 설계 원칙을 따랐다면 검토해야 할 데이터베이스, 데이터 이동, API가 많다는 것을 알고 있을 것입니다.

일관성이 없거나 부정확한 데이터를 AI 모델에 공급할 위험이 너무 높기 때문에 목적에 맞게 구축된 데이터베이스를 조합하여 사용하는 것은 더 이상 쓸모없는 관행이 될 것입니다. 데이터 액세스 패턴의 통합은 불가피합니다. 그렇기 때문에 특별히 구축된 벡터 데이터베이스 는 근시안적입니다.

이것이 바로 우리가 AI가 복잡성을 싫어한다고 선언한 이유입니다.

데이터 아키텍처의 복잡성을 제거해야 합니다

Couchbase는 아키텍처를 정리하고, 애플리케이션의 속도를 높이고, 애플리케이션에 AI를 추가할 수 있는 경로를 제공하는 탁월한 다목적 데이터베이스입니다. 애플리케이션이 모바일일 때도 마찬가지입니다!

이번 릴리스부터 Couchbase는 키/값, JSON, SQL, 검색(텍스트, 지역, 벡터), 시계열, 그래프, 분석, 이벤트 스트리밍 등의 데이터 액세스 패턴을 모두 동일한 분산 플랫폼에서 지원합니다. 각 액세스 서비스는 독립적으로 확장할 수 있으므로 인프라 리소스를 최적으로 사용하도록 애플리케이션의 성능을 조정하여 비용을 절감하고 유지할 수 있습니다. 또한 시스템을 완전 관리형 서비스(Couchbase Capella), 자체 관리형 클라우드, 온프레미스, 엣지 및 온디바이스로 배포할 수도 있습니다.

복잡성은 어떤 AI 모델을 얼마나 많이 사용할지에 따라 달라질 것입니다.

향후 전문화된 모델이 폭발적으로 증가함에 따라 복잡성은 데이터 계층에서 AI 모델 계층으로 이동하게 될 것입니다. 이미 일어나고 있는 일입니다. 앞으로는 수천 개의 특수 목적 AI 모델을 사용할 수 있게 될 것이며, 데이터 아키텍처에서 데이터베이스를 사용했던 것처럼 이러한 모델을 조합하여 사용하기 시작할 것입니다.

AI 기반 적응형 애플리케이션에는 실시간 분석이 필요합니다.

가을에는 다음과 같이 발표했습니다. 카펠라 기둥형 를 사용하여 실시간 대규모 집계를 수행할 수 있습니다. 그 결과를 애플리케이션에 삽입하고 해당 데이터를 AI 프롬프트에 사용할 수도 있습니다. 사람의 개입 없이 애플리케이션에 대한 분석 인사이트를 다시 작성해야 하는 오래된 문제를 해결했습니다. 이는 AI 기반 애플리케이션을 구축할 때 "현재 재고가 얼마나 남았나요?"와 같은 실시간 컨텍스트가 필요할 때 중요합니다.

적응형 애플리케이션의 모바일화

따라서 GenAI 기반 애플리케이션을 구축하려는 경우 사용자가 주로 찾는 곳에서 제공해야 합니다. 바로 모바일 기기에서요. 벡터 검색을 포함한 모든 기능을 디바이스에 로컬로 저장하고 액세스할 수 있습니다. 사용자가 거주하는 곳, 기술 상호 작용이 이루어지는 곳, 실시간 컨텍스트가 발생하는 곳이 바로 이곳입니다. 위치, 시간, 날씨, 뉴스, 친구와의 근접성 등과 같은 컨텍스트가 여기에 포함됩니다. 벡터는 디바이스에 저장, 보호 및 동기화되어 엣지에서 유사도 및 하이브리드 검색을 사용할 수 있습니다. 

저희가 알기로는 임베딩 가능한 모바일 디바이스에서의 벡터 검색은 업계 최초의 기능입니다. 메인 서버에 연결하지 않고도 디바이스에서 LLM과 직접 대화할 수 있으며, 개인정보 보호, 지연 시간 단축, 오프라인 가용성, 사용자 만족도 향상 등 엄청난 이점을 누릴 수 있습니다. 이 모든 것이 미래에 필요할 것입니다. AI 기반 적응형 애플리케이션.

체험을 원하는 고객은 카우치베이스 라이트의 벡터 검색 베타 버전은 여기에서 신청할 수 있습니다..  

데이터 아키텍처는 빠르고, 가용하며, 어디서나 사용 가능해야 합니다.

첫 번째 적응형 애플리케이션을 구축할 때는 기존 애플리케이션 규칙이 여전히 적용된다는 점을 기억해야 합니다. 빠르고, 어디서나 실행 가능하며, 안정적이고, 확장 가능하며, 사용자가 원할 때 사용할 수 있어야 합니다. 기본 요구 사항을 타협해서는 안 됩니다. 

요약

Couchbase가 벡터 검색을 발표하고 애플리케이션 개발의 새로운 시대를 열었습니다. 오늘 저희는 전체 제품 라인에서 벡터 검색을 지원한다고 발표했습니다. 벡터 유사도 검색 모바일 디바이스에서. 하지만 그 이상입니다. 그래프 관계 탐색, Couchstore에서 Magma로의 자동 업그레이드, 더 빠른 인덱스 재조정, 더 쉬운 쿼리 실행, HA 환경에서의 빠른 장애 조치 등을 지원하는 버전 7.6으로 Couchbase Server를 업데이트했습니다.

Couchbase는 적응형 애플리케이션을 구축하는 데 도움을 드릴 준비가 되어 있습니다. 시작할 준비가 되셨나요? 

다음 리소스를 활용해 보세요. 

작성자

게시자 Jeff Morris, 제품 마케팅 부사장

Jeff Morris는 Couchbase의 제품 및 솔루션 마케팅 담당 부사장입니다. 그는 30년 넘게 소프트웨어 개발 도구, 데이터베이스, 분석 도구, 클라우드 서비스 및 기타 오픈 소스 제품을 마케팅해 왔습니다. 그는 빠르고 유연하며 친숙하고 합리적인 가격의 서비스형 클라우드 데이터베이스를 찾는 사람이라면 누구라도 Couchbase를 확인하면 더 이상 고민할 필요가 없다고 말합니다.

모든 게시물

댓글 남기기