벡터 검색 및 그 이상의 기능 공개!

카우치베이스, 벡터 검색 기능 발표

카우치베이스가 Capella, Enterprise Server, 그리고 Mobile을 포함한 전체 제품군에 걸쳐 벡터 검색 지원을 발표하여, 어디서나 실행되는 AI 기반 적응형 애플리케이션의 구축을 가능하게 합니다. 즐거운 윤년 되세요! 그리고 이 놀라운 제품들을 선보인 카우치베이스 팀 전체에 축하를 보냅니다.

네, 카우치베이스는 모든 제품에 벡터 검색을 추가하고 대규모 언어 모델을 통한 검색 증강 생성(RAG) 기법을 지원합니다. 언어 모델 (LLM) ~을 통해 랑체인 그리고 라마인데ックス 인터페이스. 이를 통해 실시간으로 초개인화되고 맥락에 맞는 애플리케이션을 구축할 수 있습니다. 여러분의 애플리케이션은 모바일 앱에서조차 실시간 조건과 상황에 즉시 적응할 수 있게 됩니다. 우리는 이를 적응형 애플리케이션이라고 부릅니다.

TLDR: 엣지, 클라우드, 서버 애플리케이션에 벡터 검색 추가하기

• 카우치베이스가 네이티브 검색에 벡터 검색을 추가합니다 자연어 검색 서비스 카우치베이스 엔터프라이즈 에디션 서버 7.6, 완전 관리형 데이터베이스인 카우치베이스 카펠라, 그리고 임베디드 모바일 데이터베이스인 카우치베이스 라이트에서 우리는 벡터 검색을 엣지와 기기로 확장하고 있으며, 이는 매우 고무적인 일입니다.
• 카우치베이스가 개발을 촉진하기 위해 언어별 SDK 전반에 걸쳐 랑체인(LangChain) 및 라마인덱스(LlamaIndex) 지원을 발표합니다 개발자 생산성 애플리케이션 내에서 그들이 선택한 어떤 생성형 AI 모델이든 사용하는 데 있어. 
• 벡터 검색을 사용하는 RAG 기법은 GenAI 응답의 정확도를 향상시키고, 모델이 할루시네이션을 일으키거나 AI 기반 애플리케이션에 신뢰할 수 없는 응답을 반환하는 것에 대한 불안감을 줄이는 데 도움을 줍니다.
• 벡터 검색은 또한 LLM의 학습 데이터로 민감하거나 독점적인 데이터가 과도하게 공유되는 것에 대한 기업의 우려를 해소하는 데 도움을 줍니다. 
• 개발자들은 REST API, SDK, SQL++에서 완전한 벡터 검색 지원을 받게 됩니다. 이들은 오랫동안 익숙해진 SQL을 활용하여 생성형 AI 애플리케이션을 빠르고 효과적으로 개발할 수 있습니다. 
• 이는 또한 유사성 및 의미론적 검색을 범위, 공간 및 텍스트 검색과 단일 요청으로 결합하는 “하이브리드 검색”에 대한 일반적인 요구를 해결합니다.
• 우리는 모바일 데이터베이스에 벡터 검색을 탑재한 최초의 공급업체입니다.

우리는 또한 카펠라에 수많은 새로운 기능들을 추가했으며 엔터프라이즈 서버 7.6 (현재 이용 가능 다운로드 그리고 카펠라 무료 체험) 포함: 

• SQL++에서 재귀 공통 테이블 식(recursive common table expression)을 사용한 그래프형 관계 탐색을 지원하므로, 이제 컬렉션과 문서로 구성된 조직도 및 계층 구조를 탐색할 수 있습니다.
• 파일 기반 인덱스 재조정. 데이터 재조정 중 인덱스를 재구축하는 작업은 번거로웠기 때문에, 이번 80%에서는 이 과정을 더 빠르고 간편하게 만들었습니다.
• 다운타임 없는 Couchstore에서 Magma로의 원스텝 업그레이드. Magma의 용량, 속도 및 압축 이점을 누려보세요.
• 고가용성을 개선하고 최소 반응 시간을 단축하기 위한 더 빠른 장애 조치 시간: 하트비트 주기는 200ms, 자동 장애 조치 활성화는 1초.
• 쿼리 실행 전에 인덱스가 필요했던 요구 사항을 없애어 개발 중 쿼리 빌드 과정을 간소화했습니다.

공지 영상을 확인해 보세요:

 

Couchbase 고객에게 벡터 검색 도입이 의미하는 것은 무엇인가?

카우치베이스가 지원을 추가하는 여정에 있어서 다사다난한 한 해였습니다 생성형 인공지능 우리 제품 전반에 걸쳐. 전 세계 다른 지역과 마찬가지로 우리도 초기 출시부터 볼 수 있었습니다 챗GPT 생성형 AI가 애플리케이션 개발을 혁신할 것이라는 점이었습니다. 우리는 거의 모든 기존 및 미래의 애플리케이션이 특정 기능에 생성형 AI가 적용될 수 있는지 검토될 것이라고 전망했습니다. 심지어 우리는 애플리케이션에 대한 이러한 재검토의 범위와 규모가 (박차를 가하는 마감일은 없지만) 25년 전의 Y2K 문제와 유사할 것이라고 추측했습니다. 

벡터 검색이 생소하시다면, 소개 영상을 시청하시어 빠르게 파악해 보세요. 벡터 검색이 핵심 애플리케이션 요구 사항이라고 보는 이유에 대한 자세한 내용을 아래에서 계속 읽어보세요.

우리는 인공지능 기반의 적응형 애플리케이션에 베팅했습니다.

작년에 우리는 AI 기반 애플리케이션 구축에 있어 다음과 같은 핵심 원칙들에 대해 우리의 입장을 분명히 밝혔습니다. IDC의 Lara Greden이 가장 잘 포착했습니다.

JSON은 AI를 위한 데이터 형식입니다

이것은 AI 기반 애플리케이션이 초개인화되고 상황에 맞는 경험을 제공할 것이라는 이해를 바탕으로 했습니다. 우리는 JSON이 주요 스키마 변경 없이 개인화를 유도하는 계정 프로필을 동적으로 업데이트하기에 완벽한 형식이라고 판단했습니다. 11월에 OpenAI는 자사가 지원한다고 선언했습니다. JSON 모드 데이터 형식으로.  

고객이 우리 시스템에서 동적 계정 프로필을 관리하는 고성능 분산형 JSON 데이터베이스라는 점도 우리에게 편리했습니다.

우리는 또한 JSON이 AI와의 상호작용을 위해 프로그래밍 방식으로 조립될 프롬프트 데이터 변수를 지속시키고 제공하기에 훌륭한 형식이 될 것이라고 주장했습니다. 우리는 소개로 시작했습니다 카펠라 iQ, 개발자들이 카우치베이스 기반 애플리케이션을 구축할 수 있도록 지원하는 GenAI 지원 코딩 도우미입니다.

우리의 과제: 엔터프라이즈 환경에서의 생성형 AI에 대한 우려 해소

우리가 분석가, 잠재 고객, 그리고 기존 고객들과 그들의 두려움에 대해 이야기하기 시작했을 때 생성형 AI, 두 가지 우려 사항(적절하게 딜로이트 그림 제공우리에게 즉시 눈에 띄었다:

언어 모델에 과도한 데이터 공유하기

첫 번째는 민감하거나 독점적인 데이터를 모델에 제공했다가 모델이 그 지식을 바탕으로 스스로 학습하게 되어 문제가 생길까 하는 우려였습니다. 수많은 고객들은 LLM이 자사의 핵심 비밀 데이터를 학습하고 기억할 경우 경쟁 우위를 잃게 될까 봐 걱정하고 있습니다. 우리는 이를 “생성형 AI와의 과도한 데이터 공유”로 규정했습니다. 이는 염려스러운 일입니다. 법적 파장을 낳을 수도 있습니다. 벡터 검색은 이 문제를 해결하는 데 도움을 줍니다. 

인공지능 모델은 틀리거나 이상할 수 있습니다

두 번째 두려는 마음은 생성형 AI가 환각을 일으켜 부정확하거나 사실이 아닌 정보를 반환할 것이라는 우려였다. 데이터베이스는 데이터가 유효하고, 참이고, 정확하고, 신뢰할 수 있고, 트랜잭셔널한 것 등을 선호한다. 데이터베이스에는 센트 단위까지, 혹은 비트 단위까지 피할 수 없는 옳고 그름에 대한 감각이 있다. 이러한 깨달음은 다음과 같은 잠재적 문제들의 판도라의 상자를 열었다:

• 생성형 AI에 입력하는 데이터를 신뢰하십니까?
• 여러 데이터 력을 프롬프트의 서로 다른 변수로 사용하는 생성형 AI 프롬프트를 구축한다면 어떻게 될까요? 그것을 신뢰하시나요? 
• 언어 모델이 환각(hallucination)을 일으켰는데, 어떤 프롬프트 변수가 혼란을 야기했는지 파악할 수 없다면 어떻게 해야 할까요?  
• 데이터 웨어하우스, 운영 시스템, 실시간 피드, 메타데이터 카탈로그 등을 AI 프롬프트와 모델의 공급 시스템(feeder system)으로 사용하려고 의도했다면 어떻게 될까요?

AI는 데이터 복잡성을 싫어한다

생성형 AI의 적절한 사용 사례를 고려하는 것이 전체 데이터 아키텍처의 복잡성을 재검토하도록 강제한다는 것을 깨달았습니다. 지난 10년간의 데이터 설계 원칙을 따라왔다면, 검토해야 할 데이터베이스, 데이터 이동, API가 많다는 것을 알게 될 것입니다.

용도별 데이터베이스를 어떤 식으로 조합해서 사용하든 그러한 관행은 곧 구식이 될 것입니다. AI 모델에 일관성이 없거나 부정확한 데이터를 제공할 위험이 너무 커질 것이기 때문입니다. 데이터 접근 패턴의 통합은 불가피합니다. 이것이 바로 용도별 데이터베이스를 벡터 데이터베이스 근시안적이다.

이것이 바로 AI가 복잡성을 싫어한다고 선언한 이유입니다.

데이터 아키텍처의 복잡성은 반드시 제거되어야 합니다

카우치베이스가 아키텍처를 정리하고, 애플리케이션 속도를 높이며, AI를 추가할 수 있는 길을 제공하는 뛰어난 다목적 데이터베이스라는 것은 다행스러운 일입니다. 애플리케이션이 모바일일 때조차도 말입니다!

이번 릴리스부터 Couchbase는 키/값, JSON, SQL, 검색(텍스트, 지리 공간, 벡터), 시계열, 그래프, 분석, 이벤트 스트리밍 등 다양한 데이터 접근 패턴을 동일한 분산 플랫폼 내에서 모두 지원합니다. 각 접근 서비스는 독립적으로 확장 가능하므로, 인프라 리소스를 최적으로 사용하여 애플리케이션의 성능을 튜닝함으로써 비용을 절감하고 낮은 비용을 유지할 수 있습니다. 또한, 완전 관리형 서비스(Couchbase Capella), 자체 관리형 클라우드, 온프레미스, 엣지, 온디바이스 등 다양한 환경에 시스템을 배포할 수 있습니다.

복잡성은 어떤 AI 모델을 얼마나 사용할지, 그리고 그 방법에 대한 문제로 이동할 것입니다.

향 specialized 모델의 미래 폭발적 증가를 목격하게 되면서, 복잡성은 데이터 레이어에서 AI 모델 레이어로 이동하게 될 것입니다. 그것은 이미 일어나고 있습니다. 내일이면 수천 개의 목적 지향형 AI 모델을 사용할 수 있게 될 것이며, 우리는 데이터 아키텍처에서 데이터베이스를 사용했던 것처럼 그것들을 조합하여 사용하기 시작할 것입니다.

인공지능 기반 적응형 애플리케이션에는 실시간 분석이 필요합니다

가을에 우리는 발표했습니다 카펠라 컬럼나르 실시간 대규모 집계를 위한 기능입니다. 그 결과를 애플리케이션에 삽입하고 해당 데이터를 AI 프롬프트에까지 사용할 수 있습니다. 저희는 사람의 개입 없이 분석적 인사이트를 애플리케이션에 다시 기록하는 오랜 문제를 해결했습니다. 이는 AI 기반 애플리케이션을 구축할 때 중요해질 것입니다. “지금 재고가 얼마나 남았지?”와 같은 실시간 컨텍스트가 필요해질 것이기 때문입니다.”

적응형 애플리케이션은 모바일이 될 것입니다

따라서 생성형 AI 기반 애플리케이션을 구축하려면 사용자가 주로 머무는 곳, 즉 모바일 기기에서 해당 서비스를 제공해야 합니다. 벡터 검색을 포함한 모든 기능은 기기에 로컬로 저장하고 액세스할 수 있습니다. 이곳은 사용자가 생활하고, 기술적 상호작용이 일어나며, 실시간 컨텍스트가 발생하는 곳입니다. 위치, 시간, 날씨, 뉴스, 친구와의 근접성 등의 컨텍스트를 포함합니다. 벡터는 기기에 저장, 보안 유지 및 동기화되므로 엣지에서 유사성 및 하이브리드 검색을 사용할 수 있습니다. 

우리가 아는 한, 임베디드 모바일 기기에서의 벡터 검색은 동종 업계 최초의 기능입니다. 이로 인한 이점은 막대합니다. 메인 서버와 통신할 필요 없이 기기에서 LLM과 직접 대화할 수 있으며, 향상된 프라이버시, 더 낮은 지연 시간, 오프라인 사용 가능성, 그리고 더 만족스러운 사용자 경험을 제공합니다. 이 모든 것은 여러분의 미래에 필수적인 요소가 될 것입니다. AI 기반 적응형 애플리케이션.

해보고 싶으신 고객님께서는 Couchbase Lite의 벡터 검색 베타 버전에 여기에서 등록할 수 있습니다..  

https://www.youtube.com/watch?v=biQFajXhido

귀하의 데이터 아키텍처는 빠르고 가용성이 높으며 어디에나 있어야 합니다

첫 번째 어댑티브 애플리케이션 구축을 생각할 때, 기존 애플리케이션의 규칙이 여전히 적용된다는 점을 기억해야 합니다. 애플리케이션은 빨라야 하고, 어디서나 실행되어야 하며, 안정적이고, 확장 가능해야 하며, 사용자가 원할 때 언제든지 사용할 수 있어야 합니다. 기본 요구사항에는 타협이 없습니다. 

요약

Couchbase가 벡터 검색을 발표하고 애플리케이션 개발의 새로운 시대를 엽니다. 오늘 저희는 지원하는 것을 포함하여 전체 제품 라인에 걸쳐 벡터 검색을 지원한다고 발표했습니다. 벡터 유사도 검색 모바일 기기에서. 하지만 그 이상입니다. 그래프 관계 탐색, 코우치스토어(Couchstore)에서 마그마(Magma)로의 자동 업그레이드, 더 빠른 인덱스 리밸런스, 더 쉬운 쿼리 실행, 그리고 고가용성(HA) 환경에서의 더 빠른 장애 조치(failover)를 지원하는 카우치베이스 서버(Couchbase Server) 7.6 버전으로 업데이트했습니다.

카우치베이스가 적응형 애플리케이션 구축을 도울 준비가 되어 있습니다. 시작할 준비가 되셨나요? 

다음 자료들을 즐겨보세요 

• 벡터 검색 보도자료
• 카우치베이스 서버 7.6 다운로드
• 카펠라 무료 체험판 신청
• Capella 및 Server 7.6의 새로운 기능 또는 시청하기 신작 영상
• 출시 노트를 이용할 수 있게 되면 읽어보세요
• 자세히 알아보기 카우치베이스 벡터 검색
• 가입하기: 카우치베이스 모바일 벡터 검색 베타
• 추가 배경 정보 벡터 검색, 벡터 임베딩, 그리고 RAG
• 새로운 동영상을 시청하세요 벡터 검색 그리고 카우치베이스 라이트 벡터 베타
• 등록: AI 서비스를 위한 카우치베이스 웨비나