요약: Couchbase, 효율적이고 효과적으로 생성 및 운영할 수 있는 Capella 개발자 데이터 플랫폼의 새로운 AI 서비스 발표 GenAI 기반 에이전트. 이러한 서비스에는 모델 서비스 오픈 소스 LLM의 비공개 및 보안 호스팅을 위한 비정형 데이터 서비스 를 사용하여 PDF 및 이미지 수집을 처리할 수 있습니다. 벡터화 서비스 벡터 임베딩의 실시간 스트리밍, 저장 및 인덱싱을 위한 상담원 카탈로그 개발자가 에이전트 스택에 새로운 기능을 추가할 수 있도록 확장 가능한 프레임워크를 제공합니다. AI 기능 를 사용하여 데이터를 보강하고, 에이전트가 생성한 주요 데이터 아티팩트를 수집하며, LLM과 에이전트가 발전함에 따라 진화하는 운영을 위한 가드레일을 구축할 수 있습니다.

카펠라 AI 서비스 소개

카우치베이스는 다음과 같은 새로운 AI 서비스 시리즈를 발표하게 되어 기쁘게 생각합니다. 카펠라 플랫폼 를 생성하고 배포하는 개발자를 지원하기 위해 GenAI 기반 에이전트 및 에이전트 애플리케이션. 에이전트는 사람의 개입 없이 데이터, 대규모 언어 모델과의 대화 교환 및 환경적 맥락을 기반으로 의사 결정을 내리고 자연어 상호 작용을 사용하여 작업을 수행하거나 문제를 해결하도록 설계된 자율 프로그램입니다. 

에이전트는 텍스트 입력을 처리할 뿐만 아니라 시각 및 음성 정보도 통합하여 작업을 수행합니다. Capella의 AI 서비스는 개발자가 검색 증강 생성(RAG) 기술을 사용할 때 필요한 많은 데이터 처리 단계를 지원하고, RAG 에코시스템 내의 수많은 도구와 프레임워크를 활용하여 대규모 언어 모델과 효과적으로 상호 작용할 수 있도록 도와줍니다. 또한 이러한 서비스는 시간이 지남에 따라 에이전트 운영을 관리하는 아키텍트와 DevOps 팀을 지원합니다.

Capella의 새로운 AI 서비스

    • 모델 서비스: 외부, 로컬 및 임베디드 언어 모델 호스팅을 통해 모델을 데이터 및 데이터 소비에 더 가깝게 이동하여 처리 지연 시간을 최소화합니다. 이 접근 방식은 데이터가 고객의 VPC를 벗어나지 않도록 함으로써 데이터 프라이버시, 일관성 및 공유 위험을 해결하는 데 도움이 됩니다. Capella는 Mistral과 Llama3의 모델을 호스팅합니다.
    • 벡터화 서비스: 벡터 임베딩을 생성, 스트리밍, 저장 및 검색하여 대화 품질과 정확성을 향상시키고, LLM이 진화하고 맥락을 잃을 수 있는 상황에서 지속적인 상호작용 컨텍스트를 촉진하기 위한 것입니다.  
    • 비정형 데이터 서비스: 텍스트 문서, PDF, 이미지 및 녹음과 같은 미디어 유형과 같은 비정형 데이터를 가독성 있는 의미 정보(예: 문장 및 단락)의 '청크'로 변환하여 사용 가능한 벡터를 생성합니다. 이 전처리 단계를 통해 상담원이 지원할 수 있는 사용 사례의 범위가 넓어집니다.
    • 상담원 카탈로그: 도구, 메타데이터, 프롬프트 및 감사 정보를 위한 중앙 집중식 리포지토리로 에이전트 애플리케이션 개발을 가속화하여 LLM 흐름, 추적성 및 거버넌스를 관리합니다. 또한 관련 에이전트 도구 검색을 자동화하여 사용자 질문에 답변하고 시간이 지나도 일관된 에이전트 교환을 위한 가드레일을 적용합니다.
    • AI 기능: 익숙한 SQL++ 구문을 사용해 AI 기반 데이터 분석을 애플리케이션 워크플로에 직접 통합하여 개발자의 생산성을 향상하세요. 따라서 외부 도구, 사용자 지정 코딩, 모델 관리가 필요 없어 개발자의 생산성을 가속화할 수 있습니다. Capella AI 기능에는 요약, 분류, 감정 분석, 데이터 마스킹이 포함됩니다. 

카우치베이스는 통합 개발자 데이터 플랫폼을 통해 고객이 새로운 AI 중심 환경에서 가장 중요한 애플리케이션을 제공할 수 있도록 지원하며, AI 상호 작용, 에이전트 애플리케이션 기능, 이러한 시스템의 지속적인 개발 및 유지보수를 위한 지속적이고 상태 저장된 데이터 공급을 제공합니다.

AI 서비스가 필요한 이유는 무엇인가요?

에이전트 애플리케이션 개발 및 운영에는 데이터 중심의 새로운 과제가 많이 등장할 것입니다. 여기에는 다음이 포함됩니다:

GenAI와의 협업은 개발자의 일상적인 워크플로를 근본적으로 변화시킵니다.

동안 에이전트의 개념 는 사용자를 대신해 예약을 처리하는 등 독립적으로 상황을 파악하는 작업 기반 프로그램을 만드는 것이 간단하지만, 에이전트를 개발하려면 안정적이고 신뢰할 수 있는 동작을 보장하기 위해 RAG 이상의 새로운 기술이 필요합니다. 여기에는 각 에이전트 내에서 일관된 동작을 유지하고 시간이 지남에 따라 계속되는 에이전트 호출에 대해 모든 LLM 교환을 유지하는 것이 포함됩니다. 개발자는 단순히 데이터베이스 기반 애플리케이션을 설계하는 대신 데이터베이스와 애플리케이션 기능 사이에 에이전트 상호 작용을 통합해야 합니다. 유니티의 새로운 AI 서비스는 개발자가 이러한 새로운 워크플로우를 활용하고 개발 과정에서 LLM을 능숙하게 사용할 수 있도록 지원합니다.

누구나 새로운 기술과 운영 기법을 배워야 합니다.

AI 기반 기능을 구축하면 오늘날의 소프트웨어 개발 라이프사이클에 새로운 개발 워크플로, 통합 및 프로세스가 도입됩니다. AI 상호 작용은 프로그래밍 방식으로 이루어지며, 이러한 교환 과정에서 벡터와 같은 새로운 유형의 데이터가 생성되고 소비될 것입니다. 카우치베이스 카펠라에 도입된 새로운 AI 서비스는 개발자와 아키텍트가 다음과 같은 새로운 프로세스를 자동화하는 데 도움이 됩니다. RAG(검색 증강 세대)프롬프트 구성, 프롬프트 및 응답에 대한 가드레일, 응답 추적, 상담원 관찰 가능성 및 LLM 정확성에 대한 검증을 제공합니다. Capella의 AI 서비스는 데브옵스가 에이전트가 예상한 대로 작동하고 있는지, 예상치 못한 일이 발생하지 않는지 확인하는 데 도움이 될 것입니다.

Capella AI 서비스 웹 기반 관리 인터페이스

프라이빗 모델에 독점 데이터 제공

고객과의 대화에 따르면 GenAI를 사용할 때 가장 무서운 점은 공개적으로 공유해서는 안 되는 데이터를 공유하는 것입니다. 그러나 많은 경우 LLM의 지식이 최대한 정확하고 맥락에 맞는지 확인하기 위해 회사의 독점 데이터가 필요합니다. 이를 위해서는 공개적으로 공개할 수 없는 독점적이고 민감한 비즈니스 데이터로 모델을 가르쳐야 할 수도 있습니다. 이 요건을 충족하려면 LLM을 비공개로 운영하거나 비공개로 호스팅하고 대중에게 노출하지 않아야 합니다. 이러한 요구 사항을 해결하기 위해 Capella는 고객을 대신하여 언어 모델을 비공개로 호스팅합니다.

LLM과의 집중 대화

벡터 검색과 챗봇 어시스턴트는 GenAI의 초기 애플리케이션에 불과합니다. 이는 하나의 언어 모델에 대한 단일 상호작용을 나타냅니다. 가까운 미래에는 RAG가 마치 수많은 대화가 오가는 것처럼 LLM과의 폭발적인 다중 교환을 포함하도록 진화할 것입니다. 또한 더 크고 복잡한 작업을 완료하기 위해 여러 모델과 지속적으로 대화하면서 여러 에이전트가 앙상블처럼 협력하여 작업하는 모습을 보게 될 것입니다. 처음 RAG에 대해 배울 때는 여러 단계가 있는 단일 경로 워크플로로 소개되었습니다. 하지만 실제로 상담원 워크플로는 재귀적이고 훨씬 더 복잡합니다.

지연 시간을 줄여 사용자 경험 개선

지연 시간은 AI의 적입니다. 특히 실제 사람이 관여할 때는 더더욱 견딜 수 없습니다. 앞서 언급했듯이, 데이터 공급과 함께 모델을 호스팅함으로써 지연 시간을 줄일 수 있을 것으로 기대합니다. 넷플릭스와 마찬가지로, 저희는 콘텐츠가 소비되는 곳, 즉 사용자의 모바일 기기에서 가까운 곳에서 처리되어야 한다고 생각합니다. Capella의 가장 큰 장점은 로컬 데이터 저장소인 Couchbase Lite를 제공하여 기기에서 직접 LLM 교환을 처리할 수 있다는 점입니다. 이렇게 하면 클라우드에 호스팅된 LLM이 응답할 때까지 기다릴 필요가 없으므로 사용자의 만족도를 높이는 데 도움이 됩니다.

벡터화 전에 비정형 데이터 전처리하기

RAG 프로세스 내에서 정형 데이터와 비정형 데이터를 모두 통합하는 것은 필수적입니다. PDF 파일과 같은 비정형 데이터는 LLM에서 즉시 사용할 준비가 되어 있지 않습니다. 이 데이터는 임베딩 모델이나 LLM의 지식창고에 공급되기 전에 구문 분석, 논리적 청크로 분할, 간단한 텍스트 또는 JSON으로 변환해야 합니다. 이를 흔히 "전처리 및 청킹" 또는 에이전트의 RAG 프로세스에 포함할 비정형 데이터 준비라고 합니다. Capella는 벡터 임베딩 및 인덱싱을 위한 소스로 사용할 PDF와 같은 객체를 준비하기 위한 비정형 데이터 서비스를 제공합니다. 이 과정에서 중요한 메타데이터를 추출하고, 시맨틱 콘텐츠를 기반으로 데이터를 청크 및 벡터화하며, AI 인사이트를 위한 고품질 벡터 임베딩을 생성합니다.

AI 서비스를 통해 비정형 데이터를 관리하기 위한 웹 기반 워크플로

벡터화: 실시간 벡터 생성 및 스트리밍

처리된 이 비정형 데이터와 일반 운영 데이터 및 반정형 데이터는 임베딩 모델에 공급되어 LLM에 대한 프롬프트 내에서 컨텍스트 가이드 역할을 하는 벡터 인덱스(벡터)를 생성할 수 있습니다. 벡터를 스트리밍 서비스로 생성하는 프로세스를 통해 에이전트가 실행되는 동안 실시간으로 컨텍스트를 설정하고 벡터를 생성할 수 있습니다. 벡터의 차원과 임베딩의 양은 잠재적으로 수십억 개에 달할 정도로 엄청날 수 있습니다. 이러한 규모를 처리할 준비가 되어 있지 않거나 설계가 미흡한 기존 데이터 플랫폼은 이 방대한 양을 처리하는 데 어려움을 겪게 될 것입니다.  

전문화로 인해 많은 모델과 많은 에이전트가 필요하게 될 것입니다.

모델은 시간이 지남에 따라 진화하기 때문에 개발자는 AI 모델과 상호 작용하는 프로그램을 추적해야 합니다. 지식을 최신 상태로 유지하기 위해 언어 모델은 학습 주기를 단축할 수 있도록 더 작아져야 할 것입니다. 모델이 전문화됨에 따라 날씨 패턴을 예측하거나 의료 검사 결과를 평가하거나 특정 물리 법칙을 이해하는 모델과 같이 특정 주제나 상황에 더욱 집중하게 될 것입니다. 마찬가지로 상담원도 각자의 기능에 전문화될 것입니다. 이로 인해 다양한 에이전트와 전문 모델과의 상호 작용을 유지하는 카탈로그 인덱스가 필요하게 될 것입니다.  

시간이 지나도 지속적인 컨텍스트 유지

장기 운영 에이전트는 시간이 지나도 에이전트의 결과나 출력이 일관되고 예상대로 유지되도록 하기 위해 데이터 지속성이 필요합니다. 대규모 언어 모델은 한 대화에서 다음 대화로 넘어갈 때마다 컨텍스트를 유지하지 않기 때문에 이는 어려운 문제입니다. 상담원은 세션마다 컨텍스트를 다시 파악해야 하며, 이를 위해서는 대화가 보존되어야 합니다.

시간이 지남에 따라 LLM 지식은 변화하며 상담원에게는 가드레일이 필요합니다.

데이터 보존 문제를 더욱 복잡하게 만드는 것은 LLM의 지식이 역동적이고 성장하고 있기 때문에 모델이 매 순간마다 동일한 답변을 제공하지 못할 수 있다는 사실입니다. 따라서 개발자는 신뢰성 검증 루틴을 통합하여 시간이 지남에 따라 LLM 교환의 예상 결과와 일관성을 확인해야 합니다. 즉, 어제의 LLM 대화를 보존하고 유지하여 오늘의 LLM 상호 작용에 대한 검증 데이터로 사용할 수 있도록 해야 합니다. 즉, 입력, 응답 출력 및 컨텍스트 메타데이터와 함께 에이전트와 LLM의 상호 작용이 각 변환에 대해 보존되어야 더 정확한 유효성 검사를 수행할 수 있다는 뜻입니다. 이렇게 하면 많은 양의 데이터가 생성되어 Couchbase와 같은 AI 지원 데이터베이스. 

에이전트 구축에는 추론 및 함수 호출을 위한 LLM 선택, 도구 및 데이터 관리, 프롬프트 유지 관리, 캐싱을 통한 최적화, 품질 향상을 위한 반복 작업 등이 포함됩니다. 에이전트 카우치베이스 에이전트 카탈로그 는 Capella 개발자 플랫폼과 원활하게 통합되어 이 프로세스를 간소화함으로써 개발자의 인지 부하를 줄여줍니다. 멀티 에이전트 카탈로그는 개발자가 여러 에이전트에서 도구, 데이터 세트, 템플릿, 근거 자료 및 프롬프트를 관리할 수 있도록 도와줍니다. 쿼리를 위한 시맨틱 도구 선택을 지원하고, 사전 구축된 도구를 제공하며, LLM 호스팅을 위한 동급 최고의 모델 서비스 인프라를 제공합니다. 추가 기능으로는 가드레일 적용, 환각 감지, 쿼리 계보 감사, 예측, 상담원 품질 평가를 위한 서비스형 RAG(RAGaaS) 통합 등이 있습니다.

LLM 대화 비용 최소화하기 

LLM과의 대화는 비용이 많이 들고 느립니다. 상담원은 LLM과 수많은 대화에 참여하게 되므로 이는 중요한 과제입니다. 그렇기 때문에 각 CSP가 미래의 수익 창출원으로서 지원하는 모델(Bedrock/Claude, Gemini, ChatGPT)에 큰 기대를 걸고 있습니다. 상담원 성능에 있어 밀리초는 곧 비용입니다. 카우치베이스는 이미 Capella에 내장된 여러 가지 성능 이점을 활용하여 LLM 상호작용을 더욱 빠르고 비용 효율적으로 만들 것입니다. 여기에는 프롬프트에 대한 공통 쿼리를 캐싱하고, LLM에 대한 중복 히트를 최소화하며, 공통 답변에 대한 LLM 결과의 시맨틱 및 대화 캐싱을 제공하는 기능이 포함됩니다. Capella는 다차원 확장 및 데이터센터 간 복제와 같은 성능 튜닝 기능도 제공합니다. Capella는 고객에게 매력적인 가격 대비 성능 이점을 제공할 것으로 기대합니다.

레드몽크의 수석 애널리스트인 스티븐 오그래디는 이러한 도전과 기회에 대해 자세히 설명합니다: "AI가 계속해서 기업을 변화시키면서 인프라에 중요한 새로운 과제를 제기하고 있습니다. 기업은 기존 비즈니스에 AI를 적용하기 위해 복잡한 워크플로우를 사용하여 대규모의 이질적인 데이터 소스와 빠르게 진화하는 다양한 AI 모델을 통합해야 했습니다. 이로 인해 필요한 학습 데이터뿐만 아니라 이를 적용할 모델에 액세스할 수 있는 대안적인 멀티모달 데이터 플랫폼에 대한 수요가 생겼습니다. 이것이 바로 카우치베이스의 새로운 Capella AI 서비스가 만들어낸 기회입니다."

결론 AI 세계에 오신 것을 환영합니다!

카우치베이스는 개발자 데이터 플랫폼을 확장하여 다음과 같은 생성 및 운영을 지원하는 다양한 AI 서비스를 포함하고 있습니다. 에이전트 애플리케이션. 이러한 서비스는 에이전트 실행 시 데이터 지속성 및 구성에 대한 여러 가지 긴급한 요구 사항을 해결하고 개발자가 에이전트를 만들 때 직면하는 초기 단계의 많은 어려움을 간소화해 줍니다. 이러한 서비스는 고객과 자격을 갖춘 잠재 고객에게 비공개 미리 보기로 제공됩니다. 새로운 AI 세상에서 중요한 애플리케이션을 지원하기 위해 도입하는 새로운 기능에 대해 매우 기대가 큽니다. 함께 참여해 보세요!

자세한 정보

작성자

게시자 Jeff Morris, 제품 마케팅 부사장

Jeff Morris는 Couchbase의 제품 및 솔루션 마케팅 담당 부사장입니다. 그는 30년 넘게 소프트웨어 개발 도구, 데이터베이스, 분석 도구, 클라우드 서비스 및 기타 오픈 소스 제품을 마케팅해 왔습니다. 그는 빠르고 유연하며 친숙하고 합리적인 가격의 서비스형 클라우드 데이터베이스를 찾는 사람이라면 누구라도 Couchbase를 확인하면 더 이상 고민할 필요가 없다고 말합니다.

모든 게시물

댓글 남기기