TLDR: 카우치베이스, 효율적이고 효과적인 개발 및 운영을 위해 Capella 개발자 데이터 플랫폼의 새로운 AI 서비스 발표 생성형 AI 기반 에이전트. 이러한 서비스에는 다음이 포함됩니다. 모델 서비스 오픈 소스 LLM의 비공개 및 보안 호스팅을 위해, 비정형 데이터 서비스 수집을 위해 PDF와 이미지를 처리하기 위해, 벡터화 서비스 실시간 스트리밍, 벡터 임베딩의 저장 및 색인을 위해, 그리고 에이전트 카탈로그 개발자가 에이전트 스택에 새로운 기능을 쉽게 추가할 수 있도록 확장 가능한 프레임워크를 제공하며, AI 기능 LLM의 강력한 성능을 활용하여 데이터를 풍부하게 하고, 에이전트가 생성한 주요 데이터 산출물을 수집하며, LLM과 에이전트의 발전에 따라 진화하는 운영을 위한 가드레일을 구축합니다.
카펠라 AI 서비스 소개
카우치베이스는 향상시킬 일련의 새로운 AI 서비스를 발표하게 되어 기쁩니다 카펠라 플랫폼 개발자가 제작하고 배포하는 것을 지원하기 위해 생성형 AI 기반의 에이전트와 에이전틱 애플리케이션. 에이전트는 인간의 개입 없이 데이터, 대형 언어 모델과의 대화형 교환, 그리고 환경적 맥락을 바탕으로 결정을 내려 작업을 수행하거나 문제를 해결하도록 자연어 상호작용을 사용하도록 설계된 자율 프로그램입니다.
에이전트는 텍스트 입력 처리뿐만 아니라 시각 및 오디오 정보도 작업 수행에 통합할 것입니다. 카펠라의 AI 서비스는 개발자가 검색증강생성(RAG) 기법을 사용할 때 필요한 많은 데이터 처리 단계를 지원하고, RAG 생태계 내의 수많은 도구와 프레임워크를 활용하여 대형 언어 모델과 효과적으로 상호작용할 수 있도록 합니다. 또한, 이러한 서비스는 아키텍트와 데브옵스 팀이 시간이 지남에 따라 에이전트의 운영을 관리할 수 있도록 지원합니다.
카펠라의 새로운 AI 서비스
- 모델 서비스데이터와 소비처에 가까운 곳에 모델을 배치하여 처리 지연 시간을 최소화하기 위한 외부, 로컬 및 임베디드 언어 모델 호스팅입니다. 이 접근 방식은 데이터가 고객의 VPC를 절대 벗어나지 않도록 보장함으로써 데이터 프라이버시, 일관성 및 공유 위험을 해결하는 데 도움을 줍니다. Capella는 Mistral과 Llama3의 모델을 호스팅할 것입니다.
- 벡터화 서비스 LLM의 발전 과정에서 발생할 수 있는 문맥 손실에 대응하여 지속적인 상호작용 맥락을 지원하고, 대화의 품질과 정확도를 향상시키기 위해 벡터 임베딩을 생성, 스트리밍, 저장, 검색하는 용도입니다.
- 비정형 데이터 서비스 텍스트 문서, PDF, 이미지 및 녹음 파일과 같은 미디어 유형의 비정형 데이터를 유용한 벡터를 생성하기 위한 읽기 쉬운 의미론적 정보의 “청크”(예: 문장 및 단락)로 변환합니다. 이 전처리 단계는 에이전트가 지원할 수 있는 사용 사례의 범위를 넓혀줍니다.
- 에이전트 카탈로그: LLM 흐름, 추적성 및 거버넌스를 관리하기 위해 도구, 메타데이터, 프롬프트, 감사 정보용 중앙 집중식 리포지토리를 통해 에이전틱 애플리케이션 개발을 가속화합니다. 또한 사용자 질문에 답할 관련 에이전트 도구의 검색을 자동화하고, 시간에 따른 일관된 에이전트 교환을 위해 가드레일을 적용합니다.
- AI 기능: 친숙한 SQL++ 구문을 사용하여 AI 기반 데이터 분석을 애플리케이션 워크플로우에 직접 통합함으로써 개발자 생산성을 향상시키세요. 이는 외부 도구, 커스텀 코딩 및 모델 관리의 필요성을 없애어 개발자 생산성을 가속화합니다. Capella AI 기능에는 요약, 분류, 감성 분석, 데이터 마스킹이 포함됩니다.
카우치베이스는 통합 개발자 데이터 플랫폼을 통해 고객이 새로운 AI 중심 환경에서 가장 중요한 애플리케이션을 구현할 수 있도록 지원하며, AI 상호작용, 에이전트 애플리케이션 기능, 그리고 이러한 시스템의 지속적인 개발 및 유지보수를 위한 지속적이고 상태 비저장(stateful)이 아닌 상태 유지(stateful) 데이터 공급을 제공합니다.
우리는 왜 AI 서비스가 필요할까요?
에이전틱 애플리케이션 개발과 운영은 데이터 중심의 새로운 많은 과제들을 초래할 것입니다. 여기에는 다음이 포함됩니다:
생성형 AI를 활용하는 것은 개발자의 일상적인 업무 흐름을 근본적으로 변화시킵니다.
동안에 에이전트의 개념 간단히 말해, 대행 예약처럼 스스로 문제를 해결하는 태스크 기반 프로그램을 만드는 것은 직관적이지만, 에이전트를 개발하려면 신뢰할 수 있고 믿을 수 있는 동작을 보장하기 위해 RAG를 넘어선 새로운 기술이 필요합니다. 이는 시간이 지남에 따라 에이전트가 지속적으로 호출될 때 각 에이전트와 모든 LLM 상호작용 내에서 일관된 동작을 유지하는 것을 포함합니다. 단순히 데이터베이스 기반 애플리케이션을 설계하는 것 대신, 개발자들은 데이터베이스와 애플리케이션 기능 간의 에이전틱 상호작용을 통합해야 할 것입니다. 당사의 새로운 AI 서비스는 개발자들이 이러한 새로운 워크플로우를 활용하고 개발에서 LLM을 능숙하게 사용할 수 있도록 도울 것입니다.
모든 사람은 새로운 기술과 운영 기법을 배워야 합니다.
AI 기반 기능을 구축하는 것은 오늘날의 소프트웨어 개발 수명 주기에 새로운 개발 워크플로, 통합, 프로세스를 도입합니다. AI 상호작용은 프로그래밍 방식으로 이루어지며, 벡터와 같은 새로운 유형의 데이터가 이러한 교환 과정에서 생성되고 소비될 것입니다. Couchbase Capella에 도입된 새로운 AI 서비스는 개발자와 아키텍트가 자동화를 포함한 이러한 새로운 프로세스에 대처할 수 있도록 지원합니다. 검색증강생성, 프롬프트 구성, 프롬프트 및 응답 가이드라인, 응답 추적, 에이전트 관측 가능성, 그리고 LLM 정확성 검증. Capella의 AI 서비스는 데브옵스가 에이전트가 예상대로 작동하고 예기치 않은 문제를 발생시키지 않도록 보장하는 데 도움을 줍니다.
프라이빗 모델에 독점 데이터 제공하기
고객들과의 대화에 따르면, 생성형 AI와 관련해 가장 두려운 부분은 공개적으로 공유되어서는 안 되는 데이터를 공유하는 것입니다. 하지만 많은 경우, LLM의 지식이 최대한 정확하고 맥락에 맞도록 하려면 독자적인 기업 데이터가 필요합니다. 이는 공개적으로 유출될 수 없는 독자적이고 민감한 비즈니스 데이터로 모델을 학습시켜야 함을 의미할 수 있습니다. 이러한 요구사항을 충족하기 위해 LLM은 비공개화되거나 비공개로 호스팅되어야 하며 대중에게 노출되어서는 안 됩니다. 이 요구를 해결하기 위해 카펠라는 고객을 대신하여 언어 모델을 비공개로 호스팅할 것입니다.
LLM과의 집중적인 대화
벡터 검색과 챗봇 어시스턴트는 생성형 AI의 초기 응용 분야일 뿐입니다. 그것들은 단일 언어 모델과의 단일 상호작용을 나타냅니다. 가까운 미래에 보게 될 것은, 마치 앞뒤로 오가는 군중의 대화처럼, LLM과의 다중 교류가 폭발적으로 증가하도록 RAG가 진화하는 모습입니다. 우리는 또한 더 크고 복잡한 작업을 완료하기 위해 여러 진행 중인 대화 속에서 여러 모델과 소통하며, 에이전트들이 앙상블처럼 협력하여 일하는 모습을 보게 될 것입니다. 우리가 처음 RAG에 대해 배웠을 때, 그것은 여러 단계를 가진 단일 경로 워크플로로 소개되었습니다. 하지만 실제로 에이전트 워크플로는 재귀적이며 훨씬 더 복잡할 것입니다.
사용자 경험을 개선하기 위한 지연 시간 단축
지연 시간은 AI의 적입니다. 특히 실제 사람이 연관되어 있을 때는 더욱 참을 수 없습니다. 앞서 언급했듯이, 우리는 모델을 데이터 공급원과 함께 호스팅함으로써 지연 시간을 줄일 수 있을 것으로 기대합니다. 넷플릭스와 유사하게, 우리는 콘텐츠가 소비되는 곳, 즉 사용자의 모바일 기기에서 가까운 곳에서 처리되어야 한다고 믿습니다. Capella의 주요 장점은 기기에서 직접 LLM 상호 작용을 처리할 수 있는 로컬 데이터 저장소인 Couchbase Lite를 제공한다는 점입니다. 이는 사용자가 클라우드 기반 LLM의 응답을 오롯이 기다릴 필요가 없도록 하여 사용자를 만족시키는 데 도움이 될 것입니다.
벡터화 전 비정형 데이터 전처리
RAG 프로세스 내에 구조화된 데이터와 비구조화된 데이터를 모두 통합하는 것은 필수적이다. PDF 파일과 같은 비구조화된 데이터는 LLM이 즉시 사용할 수 있는 상태가 아니다. 이 데이터는 임베딩 모델이나 LLM의 지식베이스에 입력되기 전에 파싱되고, 논리적 청크로 분할되며, 단순 텍스트나 JSON으로 변환되어야 한다. 이는 흔히 “전처리 및 청킹(Preprocessing and Chunking)”이라고 불리며, 에이전트의 RAG 프로세스에 포함하기 위해 비구조화된 데이터를 준비하는 과정이다. 카펠라는 벡터 임베딩과 그 인덱싱의 소스로 사용될 PDF 같은 객체를 준비하기 위한 비구조화된 데이터 서비스를 제공할 예정이다. 이 과정에서 우리는 중요한 메타데이터를 추출하고, 의미적 내용에 따라 데이터를 청크화 및 벡터화하며, AI 인사이트를 위한 고품질의 벡터 임베딩을 생성한다.
벡터화: 실시간 벡터 생성 및 스트리밍
일단 처리되면, 이 비정형 데이터는 일반 운영 및 S/T(반정형) 데이터와 결합되어 LLM에 대한 프롬프트 내에서 문맥적 지침 역할을 하는 벡터 인덱스(벡터)를 생성하기 위해 임베딩 모델에 주입될 수 있습니다. 스트리밍 서비스로 벡터를 생성하는 프로세스는 에이전트가 실행됨에 따라 실시간 문맥 설정 및 벡터 생성을 가능하게 합니다. 벡터 차원과 임베딩의 수량은 수십억 개에 달할 정도로 엄청날 수 있습니다. 이 규모는 그러한 대규모 처리를 감당할 준비가 되어 있지 않거나 설계가 미흡한 기존 데이터 플랫폼에 과제가 될 것입니다.
전문화는 수많은 모델과 수많은 에이전트의 필요성을 이끌어낼 것입니다.
개발자들은 AI 모델과 상호작용하는 프로그램을 추적해야 할 것입니다. 모델이 시간이 지남에 따라 진화할 것이기 때문입니다. 지식을 최신 상태로 유지하기 위해 언어 모델은 학습 주기를 단축할 수 있도록 더 작아져야 할 것입니다. 모델이 특화됨에 따라, 날씨 패턴을 예측하거나, 의학적 검사 결과를 평가하거나, 특정 물리학 법칙을 이해하는 모델처럼 특정 주제나 맥락에 더욱 집중하게 될 것입니다. 마찬가지로, 에이전트 역시 그 기능에 있어서 특화될 것입니다. 이로 인해 다양한 에이전트들과 특화된 모델들과의 상호작용을 관리하는 카탈로그 색인의 필요성이 대두될 것입니다.
시간이 지나도 지속되는 문맥 유지
장기 실행 에이전트는 시간이 지나도 에이전트의 결과물이나 출력값이 일관되고 예상대로 유지되도록 데이터 지속성이 필요합니다. 대형 언어 모델은 대화와 대화 사이에서 문맥을 유지하지 못하기 때문에 이는 어려운 과제입니다. 모델은 세션마다 문맥을 다시 주입받아야 하며, 이를 위해서는 대화 내용이 보존되어야 합니다.
LLM의 지식은 시간에 따라 변하며, 에이전트에는 가드레일이 필요합니다.
데이터 보존 문제를 더욱 복잡하게 만드는 것은 LLM 내의 지식이 동적이고 지속적으로 성장한다는 사실이며, 이는 모델이 프롬프트에 대해 순간순간 동일한 답변을 제공하지 않을 수 있음을 의미합니다. 따라서 개발자는 시간 지남에 따라 LLM 상호작용의 예상 결과와 일관성을 확인할 수 있는 신뢰성 검증 루틴을 통합해야 합니다. 이는 어제의 LLM 대화가 오늘의 LLM 상호작용에 대한 검증 데이터로 사용될 수 있도록 보존되고 지속되어야 함을 의미합니다. 즉, 정확도 검증을 더욱 강화하기 위해 입력, 응답 출력, 문맥 메타데이터와 함께 에이전트와 LLM 간의 상호작용이 각 대화별로 보존되어야 합니다. 이는 저장해야 할 막대한 양의 데이터를 생성하게 됩니다. Couchbase와 같은 AI 준비 데이터베이스.
에이전트를 구축하는 것은 추론과 함수 호출을 위한 LLM 선택, 도구 및 데이터 관리, 프롬프트 유지 관리, 캐싱을 통한 최적화, 그리고 품질을 위한 반복 작업을 포함합니다. 카우치베이스 에이전트 카탈로그 Capella 개발자 플랫폼과 원활하게 통합되어 이 프로세스를 간소화함으로써 개발자의 인지 부하를 줄여줍니다. 당사의 멀티 에이전트 카탈로그는 개발자가 에이전트 전반에 걸쳐 도구, 데이터셋, 템플릿, 정답(ground truth), 프롬프트를 관리할 수 있도록 지원합니다. 쿼리에 대한 시맨틱 도구 선택을 지원하고, 사전 구축된 도구를 제공하며, LLM 호스팅을 위한 동급 최고 수준의 모델 서빙 인프라를 제공합니다. 추가 기능으로는 가드레일 적용, 환각 탐지, 쿼리 리니지 감사, 예측, 그리고 에이전트 품질 평가를 위한 RAG-as-a-Service(RAGaaS) 통합이 있습니다.
LLM 대화 비용 최소화
LLM과의 대화는 비용이 많이 들고 속도가 느릴 것입니다. 에이전트는 LLM과 수많은 대화를 나누게 되며, 이는 엄청난 과제를 야기합니다. 이것이 바로 각 CSP가 향후 수익 창출원으로 지원하는 모델(Bedrock/Claude, Gemini, ChatGPT)에 대해 기대하는 이유입니다. 에이전트 성능에 있어서 밀리초는 곧 비용입니다. Couchbase는 LLM 상호작용을 더 빠르고 비용 효율적으로 만들기 위해 Capella에 이미 내장된 여러 성능 이점을 활용할 것입니다. 여기에는 프롬프트에 대한 공통 쿼리를 캐시하여 LLM에 대한 중복 호출을 최소화하고, 공통 답변에 대한 LLM 결과의 의미론적 및 대화형 캐싱을 제공하는 기능이 포함됩니다. 또한 Capella는 다차원 확장 및 교차 데이터센터 복제와 같은 성능 튜닝 기능을 제공합니다. 우리는 Capella가 고객에게 매력적인 가격 대비 성능 이점을 제공할 것으로 기대합니다.
과제와 기회를 더욱 깊이 파고들며, 레드모크의 수석 분석가인 스테픈 오그래디(Stephen O’Grady)는 다음과 같이 말했다. “AI가 기업을 계속해서 변화시키면서, 인프라에 상당한 새로운 과제들을 제기하고 있습니다. AI를 기존 비즈니스에 적용하기 위해, 기업들은 복잡한 워크플로를 사용하여 크고 이질적인 데이터 소스와 급속히 진화하는 다양한 AI 모델을 통합해야 했습니다. 이로 인해 필요한 학습 데이터뿐만 아니라 이를 적용할 모델에도 접근할 수 있는 대안적인 멀티모달 데이터 플랫폼에 대한 수요가 창출되었습니다. 이것이 바로 Couchbase의 새로운 Capella AI Services가 만들어진 이유이자 기회입니다.”
결론: 우리의 AI 세계에 오신 것을 환영합니다!
카우치베이스가 개발자 데이터 플랫폼을 확장하여 다음을 비롯한 생성 및 운영을 지원하는 다양한 AI 서비스를 포함합니다. 에이전틱 애플리케이션. 이러한 서비스는 에이전트가 실행 중일 때 데이터 지속성 및 조직화와 관련된 여러 가지 시급한 요구사항을 해결하며, 개발자가 에이전트를 만들 때 직면하는 초기 단계의 골치 아픈 문제 중 다수를 단순화합니다. 이 서비스들은 프라이빗 미리보기 형태로 고객과 자격을 갖춘 잠재 고객에게 제공될 것입니다. 우리는 이 새로운 AI 세상에서 핵심 애플리케이션을 지원하기 위해 소개하는 내용에 대해 매우 기쁘게 생각합니다. 함께 이 여정에 동참해 주세요!
자세한 정보를 원하시면
- 보도자료 읽기
- 확인해 보세요 카펠라 AI 서비스 또는 가입하기 비공개 미리보기
- 블로그: RAG란 무엇인가요?
- 블로그: AI 에이전트란 무엇인가요?
- 웹캐스트 등록: 새로운 AI 에이전트 시대를 위한 로드맵 – 과제와 기회
댓글 남기기
댓글을 달기 위해서는 로그인해야합니다.