폭발적인 제너레이티브 AI 는 벡터 데이터베이스를 최신 애플리케이션의 중요한 부분으로 만들었습니다. 기업들이 AI 기반 검색, 추천, 지식 검색을 위한 확장 가능하고 효율적인 솔루션을 찾으면서 AWS Bedrock과 Couchbase는 매력적인 조합으로 떠오르고 있습니다. AWS Bedrock은 강력한 기본 모델에 대한 액세스를 간소화하고, Couchbase의 벡터 저장소 기능은 고성능 AI 애플리케이션을 구축하는 데 필요한 저장 및 검색 효율성을 제공합니다.

이 블로그에서는 Couchbase의 벡터 스토어를 AWS Bedrock과 통합하여 강력하고 확장 가능하며 비용 효율적인 AI 솔루션을 만드는 방법을 살펴봅니다. 또한 시작하는 데 도움이 되는 몇 가지 주요 구현 세부 사항도 소개합니다.

왜 AWS 베드락 + 카우치베이스인가?

각 구성 요소가 제공하는 고유한 가치와 최신 AI 애플리케이션을 구동하기 위해 함께 작동하는 방식에 대해 자세히 알아보세요.

기초 모델에 대한 원활한 액세스

AWS 베드락은 광범위한 인프라 관리 없이도 여러 기반 모델에 대한 액세스를 제공합니다. 따라서 기업은 모델 호스팅 및 미세 조정의 근본적인 복잡성에 대한 걱정 없이 AI 기반 애플리케이션을 쉽게 실험, 배포 및 확장할 수 있습니다.

확장 가능하고 비용 효율적인 벡터 스토리지

Couchbase의 벡터 저장 기능은 임베딩을 빠르고 효율적으로 저장, 검색, 검색할 수 있는 방법을 제공합니다. 내장된 인덱싱과 고성능 쿼리를 통해 Couchbase는 AI 기반 애플리케이션이 대규모 벡터 검색을 효율적으로 처리할 수 있도록 보장합니다.

LLM과 엔터프라이즈 데이터 간의 격차 해소

AWS Bedrock의 모델 추론 기능과 Couchbase의 벡터 데이터베이스를 결합함으로써 기업은 사용자 쿼리를 정확하게 이해하고 응답하는 지능형 애플리케이션을 만들 수 있습니다. 챗봇 애플리케이션, 엔터프라이즈 검색, 개인화된 추천 등 어떤 것이든 이러한 통합을 통해 AI가 실제 비즈니스 데이터와 원활하게 작동할 수 있습니다.

AWS 에코시스템과의 원활한 통합

Bedrock은 Lambda, S3, API 게이트웨이와 같은 다른 AWS 서비스와 손쉽게 통합되어 지연 시간이 짧은 서버리스 AI 워크플로우를 지원합니다.

서버리스의 필요성

서버리스 아키텍처는 다음과 같이 AI 기반 솔루션을 자연스럽게 지원할 수 있는 다양한 이점을 제공합니다:

    • 제로 인프라 관리 - 서버를 프로비저닝, 확장 또는 유지 관리할 필요가 없으므로 운영 복잡성이 줄어들고 AI 배포 속도가 빨라집니다.
    • 자동 확장 및 비용 효율성 - 수요에 따라 동적으로 확장하여 최적의 성능을 보장하는 동시에 종량제 모델을 준수하여 비용을 최소화합니다.
    • 원활한 통합 및 짧은 지연 시간 - AWS 서비스(Lambda, API 게이트웨이)와 쉽게 연결하여 지연 시간을 최소화하면서 실시간 AI 추론을 제공합니다.

이제 이점과 아키텍처에 대해 살펴봤으니 이 모든 것을 한데 모은 실제 사례를 살펴보겠습니다.

RAG PDF 채팅 애플리케이션 예시

LLM 채팅 애플리케이션을 통해 AWS Bedrock과 Couchbase를 통합하는 방법에 대한 데모를 보여드립니다. 이 앱에서는 사용자가 직접 PDF를 업로드할 수 있으며, Couchbase로 구축된 RAG 파이프라인을 통해 LLM이 PDF에서 데이터를 추출하여 질문에 답변할 수 있습니다.

다이어그램에 대한 자세한 설명은 이 문서에서 확인할 수 있습니다. AWS 베드락 서버리스 튜토리얼을 사용한 PDF 채팅. 즉, PDF 데이터 수집과 관련된 흐름과 채팅 애플리케이션과 상호작용하는 사용자와 관련된 두 가지 흐름이 있습니다. 이 과정에서 애플리케이션에 중요한 두 가지 주요 Couchbase 서비스인 이벤트 처리와 벡터 검색을 사용합니다.

카우치베이스 이벤트

이벤트 서비스는 애플리케이션이 상호 작용할 때 발생하는 데이터 변경 사항을 처리하며, 이러한 기능을 통해 AI 애플리케이션의 성공을 돕습니다:

    • 실시간 데이터 처리 - Couchbase Eventing을 사용하면 Couchbase 버킷 내에서 데이터 변경(삽입, 업데이트, 삭제)에 대한 응답으로 비즈니스 로직을 실행할 수 있습니다.
    • 비동기식 및 확장성 - 이벤트 서비스는 비동기식으로 실행되고 독립적으로 확장되므로 처리량이 많은 워크로드를 효율적으로 처리할 수 있습니다.
    • 외부 시스템과의 통합 - 이벤트 함수를 사용하여 외부 API를 트리거하거나, 마이크로서비스를 호출하거나, 메시지 대기열과 상호작용할 수 있습니다.
    • 짧은 지연 시간 및 고성능 - 데이터에 직접 메모리에 액세스하여 오버헤드를 최소화하도록 설계되었습니다.

카우치베이스 벡터 검색

벡터 검색은 카우치베이스 카펠라의 검색 서비스 를 추가하여 벡터 인덱스 지원을 제공합니다. 이러한 새로운 벡터 검색 인덱스를 기존 대규모 언어 모델(LLM)과 함께 검색 증강 생성(RAG)에 사용할 수 있으며, 이러한 아키텍처적 이점을 누릴 수 있습니다:

    • 하이브리드 검색 - 시맨틱 검색과 기존 키워드 및 메타데이터 필터링을 결합하여 보다 관련성 높은 결과를 제공합니다.
    • 짧은 지연 시간 및 고성능 - 실시간 AI 애플리케이션에 최적화되어 유사한 항목을 빠르게 검색할 수 있습니다.
    • Couchbase와의 원활한 통합 - Couchbase 내에서 기본적으로 실행되므로 정형 및 비정형 데이터와 함께 효율적인 벡터 저장, 색인, 검색이 가능합니다.

또한 아래에서 설명하는 것처럼 다양한 방식으로 애플리케이션을 보완하는 다른 AWS 서비스도 사용합니다:

AWS 람다

    • 인프라 관리 필요 없음 - 코드만 업로드하면 실행됩니다.
    • 사용량 기반 요금제
    • 트래픽 급증을 처리하기 위한 자동 확장

Amazon SQS

    • 대용량 트래픽 처리를 위한 높은 데이터 처리량
    • 높은 신뢰성 - 메시지 손실 방지

Amazon ECR

    • 구현하기 쉽고 안전한 컨테이너 이미지의 홈
    • AWS 서비스 간의 간편한 통합
    • 개발 환경과 프로덕션 환경 간에 일관된 동작 보장

더 읽어보기

 

작성자

게시자 Gautham Krithiwas - 소프트웨어 엔지니어링 인턴

모든 게시물

댓글 남기기