LangChain 통합을 통한 새로운 표준, 시맨틱 및 대화형 캐시

빠르게 진화하는 AI 애플리케이션 개발 환경에서 대규모 언어 모델(LLM)을 엔터프라이즈 데이터 소스와 통합하는 것은 매우 중요한 과제가 되었습니다. 상황에 맞는 고품질의 응답을 생성하기 위해 LLM의 힘을 활용하는 능력은 다양한 산업을 변화시키고 있습니다. 그러나 팀은 특히 사용자 프롬프트의 양이 증가함에 따라 비용을 절감하면서 신뢰할 수 있는 응답을 빠른 속도로 제공하는 데 있어 상당한 어려움에 직면해 있습니다. 또한 대부분의 LLM은 메모리가 제한되어 있기 때문에 LLM 대화를 장기간 저장하고 LLM의 메모리가 초과된 후 사용자가 처음부터 다시 시작하지 않도록 할 수 있는 기회가 존재합니다. 

확장성이 뛰어나고 지연 시간이 짧은 캐싱의 선두주자인 Couchbase(LinkedIn 스토리 읽기)는 혁신적인 솔루션으로 이러한 문제를 해결합니다. 벡터 검색 및 캐싱 기능의 새로운 개선 사항과 개발자를 위한 전용 LangChain 패키지를 통해 생성 AI 애플리케이션의 성능과 안정성을 더욱 쉽게 향상시킬 수 있습니다.

카우치베이스 벡터 검색 및 검색 증강 세대(RAG)

카우치베이스 벡터 검색을 사용하면 정확히 일치하지 않아도 비슷한 개체를 찾을 수 있습니다. 벡터 검색은 매우 많은 수의 차원에 걸쳐 객체를 수학적으로 표현하는 벡터 임베딩을 기반으로 데이터를 효율적으로 검색하고 검색할 수 있는 고급 기능입니다. 예를 들어 제품 카탈로그에서 "갈색"과 "가죽"인 신발을 검색하면 "마호가니, 밤나무, 커피, 브론즈, 적갈색, 코코아" 등의 색상을 가진 "스웨이드" 신발뿐만 아니라 해당 결과도 반환됩니다.

검색 증강 생성(RAG)은 벡터 검색을 결합하여 사용자 프롬프트와 관련된 정보를 카우치베이스 데이터베이스에서 검색하고 프롬프트와 관련된 관련 정보를 모두 제공합니다. 정보를 생성 모델에 추가하여 보다 많은 정보를 바탕으로 상황에 적합한 LLM 응답을 생성합니다. 이는 사용자 지정 모델을 학습시키는 것보다 빠르고 비용이 적게 드는 경우가 많습니다. 카우치베이스의 확장성이 뛰어난 인메모리 아키텍처 는 관련 벡터 임베딩 데이터를 빠르고 효율적으로 검색할 수 있는 액세스를 제공합니다. RAG 애플리케이션의 성능과 효율성을 높이기 위해 개발자는 시맨틱 및 대화형 캐싱 기능을 사용할 수 있습니다. 

시맨틱 캐싱

시맨틱 캐싱은 벡터 임베딩을 사용하여 쿼리의 맥락과 의도를 파악하는 정교한 캐싱 기법입니다. 정확한 일치에 의존하는 기존 캐싱 방법과 달리 시맨틱 캐싱은 데이터의 의미와 관련성을 활용합니다. 즉, LLM에서 동일한 응답을 얻을 수 있는 유사한 질문은 LLM에 추가 요청을 할 필요가 없습니다. 위의 예에서 "10 사이즈의 갈색 가죽 신발을 찾고 있습니다"라고 검색하는 사용자는 "갈색 색상의 가죽으로 된 10 사이즈 신발을 사고 싶습니다"라고 요청하는 다른 사용자와 동일한 결과를 얻을 수 있습니다. 

Couchbase Semantic Cache

특히 대용량에서 시맨틱 캐싱의 장점은 다음과 같습니다:

  • 효율성 향상 쿼리 컨텍스트 이해로 검색 시간 단축
  • 비용 절감 - LLM에 대한 호출 감소로 시간과 비용 절약

 대화형 캐싱

시맨틱 캐싱은 다양한 사용자에 걸쳐 LLM에 대한 호출 횟수를 줄이는 반면, 대화 캐시는 사용자와 LLM 간의 상호작용에 대한 평생 대화 지식을 확장하여 전반적인 사용자 경험을 개선합니다. 과거 질문과 답변을 활용함으로써 LLM은 새로운 프롬프트가 제출될 때 더 나은 컨텍스트를 제공할 수 있습니다. 

Couchbase conversational cache

또한 대화 캐싱을 사용하여 AI 상담원 워크플로우에 추론을 적용하는 데 도움을 줄 수 있습니다. 사용자가 "이 아이템이 내가 이전에 구매한 제품과 얼마나 잘 작동하나요?"라고 질문할 수 있습니다. 먼저 "이 항목"이라는 참조를 파악한 다음 "이 항목이 과거 구매 제품과 얼마나 잘 작동할지"를 추론해야 합니다.

전용 LangChain-카우치베이스 패키지

카우치베이스는 최근 파이썬 개발자를 위해 설계된 LangChain 모듈을 도입했습니다. 이 패키지는 LangChain을 통해 카우치베이스의 고급 기능을 생성형 AI 애플리케이션에 통합하는 작업을 간소화하여 개발자가 벡터 검색 및 시맨틱 캐싱과 같은 강력한 기능을 더 쉽게 구현할 수 있게 해줍니다.

LangChain-카우치베이스 패키지는 카우치베이스의 벡터 검색, 시맨틱 캐시, 대화 캐시 기능을 생성형 AI 워크플로우에 원활하게 통합합니다. 이러한 통합을 통해 개발자는 최소한의 노력으로 더욱 지능적이고 컨텍스트 인식이 가능한 애플리케이션을 구축할 수 있습니다.

카우치베이스는 전용 패키지를 제공함으로써 개발자가 복잡한 구성 없이도 고급 기능에 쉽게 액세스하고 구현할 수 있도록 지원합니다. 이 패키지는 개발자 친화적으로 설계되어 빠르고 효율적으로 통합할 수 있습니다.

주요 기능

LangChain-Couchbase 패키지는 다음과 같은 몇 가지 주요 기능을 제공합니다:

    • 벡터 검색 - 벡터 임베딩을 기반으로 한 효율적인 데이터 검색
    • 표준 캐시 - 더 빠른 정확한 매칭을 위해
    • 시맨틱 캐시 - 응답 관련성 향상을 위한 컨텍스트 인식 캐싱
    • 대화 캐시 - 대화 컨텍스트 관리를 통한 사용자 상호작용 향상

사용 사례 및 예시

Couchbase의 새로운 개선 사항은 다음과 같은 다양한 시나리오에 적용할 수 있습니다:

    • 전자 상거래 챗봇 - 사용자 선호도에 기반한 맞춤형 쇼핑 추천 제공
    • 고객 지원 - 고객 문의에 대해 상황에 맞는 정확한 답변 제공

코드 스니펫 또는 튜토리얼

개발자는 시맨틱 캐싱과 LangChain-Couchbase 패키지를 구현하기 위한 코드 스니펫과 튜토리얼을 다음에서 찾을 수 있습니다. LangChain 웹사이트. 벡터 검색의 코드 예제는 Couchbase의 GitHub 리포지토리. 이러한 리소스는 개발자가 빠르게 시작하는 데 도움이 되는 지침을 제공합니다.

혜택

LLM 기반 애플리케이션을 위한 카우치베이스의 향상된 벡터 검색 및 캐싱 기능은 향상된 효율성, 관련성, 응답의 개인화 등 다양한 이점을 제공합니다. 이러한 기능은 안정적이고 확장 가능하며 비용 효율적인 제너레이티브 AI 애플리케이션을 구축하는 데 따르는 어려움을 해결하기 위해 설계되었습니다.

카우치베이스는 지속적인 혁신을 통해 AI 애플리케이션 개발의 선두에 설 수 있도록 최선을 다하고 있습니다. 향후 개선 사항을 통해 Couchbase의 기능을 더욱 확장하여 개발자가 더욱 발전된 지능형 애플리케이션을 구축할 수 있도록 지원할 예정입니다.

추가 리소스

다음을 통해 지원되는 모델 랭체인과 카우치베이스

AI21 AzureOpenAI 포옹하는 얼굴의 BGE
알레프 알파 바이촨 텍스트 임베딩 북엔드 AI
애니스케일 바이두 첸판 클라리파이
ascend 암반 Cloudflare Workers AI
AwaDB 포옹하는 얼굴의 BGE Cohere
구글 제너레이티브 AI 임베딩 구글 버텍스 AI 플랫폼 GPT4All
Jina 존 스노우 랩 레이저
Llama.cpp llamafile LocalAI
미니맥스 미스트랄AI NLP 클라우드
오라클 클라우드 인프라 제너레이티브 AI Ollama OpenAI
최적화되고 정량화된 임베더를 사용하여 문서 임베딩하기 오라클 AI 벡터 검색: 임베딩 생성 OVHcloud
솔방울 임베딩 PremAI 세이지메이커
삼바노바 포옹하는 얼굴의 문장 변환기 텐서플로 허브
함께 AI 업스테이지 Xorbits 추론(Xinference)
Volc 엔진 Voyage AI YandexGPT

작성자

게시자 팀 로타치, 제품 라인 마케팅 디렉터

팀 로타흐는 카우치베이스의 제품 라인 마케팅 디렉터입니다.

모든 게시물

댓글 남기기