그래프 래그와 벡터 래그의 비교 분석

대규모 언어 모델은 우리가 정보와 상호 작용하는 방식을 변화시켰지만 한 가지 근본적인 한계가 있습니다. 바로 지식이 시간에 고정되어 있다는 점입니다. 학습한 내용만 알고 있기 때문에 실시간 데이터나 비공개 독점 문서에 있는 정보에 액세스할 수 없습니다. 이것이 바로 RAG가 필요한 이유입니다. RAG는 LLM을 외부 지식 소스에 연결하여 더 스마트하고 정확하며 유용하게 만듭니다.

RAG란 무엇인가요?

RAG 를 개선하는 AI 기술입니다. 대규모 언어 모델 응답을 생성하기 전에 관련 외부 정보를 검색할 수 있습니다. RAG는 사전 학습된 지식에만 의존하는 대신 문서나 데이터베이스와 같은 연결된 데이터 소스를 검색하여 보다 정확하고 최신의 컨텍스트 인식 답변을 제공합니다.

오픈북 시험이라고 생각하세요. LLM 자체는 학생이 기억을 통해 문제를 풀려고 하는 것과 같습니다. RAG 기반 LLM은 학생이 답안을 작성하기 전에 참고할 교과서와 노트 세트를 가지고 있는 것과 같습니다. 이 프로세스는 LLM 출력의 정확성과 관련성을 향상시키고, 부정확하거나 조작된 정보(“환각'이라고 함)를 생성할 위험을 줄이며, 학습되지 않은 데이터에 대한 질문에 답할 수 있게 해줍니다.

RAG 프로세스는 일반적으로 다음 단계를 따릅니다:

1. 사용자 쿼리: 사용자가 질문을 합니다.
2. 검색: 시스템은 외부 지식창고(예: 문서 모음, 데이터베이스 또는 웹사이트)에서 쿼리와 관련된 정보를 검색합니다.
3. 증강: 검색된 정보는 사용자의 원래 쿼리에 컨텍스트로 추가됩니다.
4. 세대: 결합된 프롬프트(원래 쿼리와 검색된 컨텍스트)가 LLM으로 전송되고, LLM은 컨텍스트를 인식하는 포괄적인 답변을 생성합니다.

그래프 RAG란 무엇인가요?

그래프 RAG는 지식 그래프를 외부 데이터 소스로 사용하는 보다 정교한 접근 방식입니다. A 지식 그래프 는 정보를 엔티티(노드)와 그 관계(에지)의 네트워크로 구성합니다. 예를 들어 노드는 사람, 회사 또는 제품일 수 있고, 에지는 “소속”, “인수” 또는 “의 구성 요소”와 같은 관계를 나타낼 수 있습니다.”

그래프 RAG는 쿼리와 의미적으로 유사한 텍스트 덩어리만 검색하는 대신 관계 네트워크를 탐색하여 고도로 맥락적이고 상호 연결된 정보를 찾습니다. 다음뿐만 아니라 무엇 뿐만 아니라 어떻게 서로 어떤 관계가 있는지 파악합니다. 이를 통해 데이터 내의 관계, 패턴, 계층 구조를 이해해야 하는 복잡한 질문에 답할 수 있습니다.

혜택

• 명시적 관계: 그래프는 데이터 포인트 간의 명시적인 연결을 표현하는 데 탁월하며, 벡터 검색이 놓칠 수 있는 심층적이고 구조화된 컨텍스트를 제공합니다.
• 복잡한 쿼리 처리: Graph RAG는 지식창고의 여러 부분에서 정보를 취합해야 하는 멀티홉 질문(예: “작년에 인수한 회사에서 만든 제품을 사용하는 독일의 고객은 누구인가?”)에 답할 수 있습니다.
• 환각 감소: LLM을 구조화된 사실 그래프에 기반을 두면 부정확한 정보를 생성할 위험이 현저히 낮아집니다. 문맥은 단순한 의미적 유사성뿐만 아니라 정의된 관계를 기반으로 합니다.
• 설명 가능성: 그래프를 통해 답을 찾기 위한 경로를 추적할 수 있으므로 LLM의 추론 과정을 더욱 투명하고 설명하기 쉽게 만들 수 있습니다.

도전 과제

• 복잡한 데이터 모델링: 지식 그래프를 구축하고 유지 관리하려면 데이터 모델링 및 추출, 변환, 그리고 로딩(ETL) 프로세스.
• 확장성: 최신 그래프 데이터베이스는 확장성이 뛰어나지만, 고도로 상호 연결된 방대한 그래프를 관리하면 성능에 문제가 생길 수 있습니다.
• 틈새 전문성: 그래프 RAG를 구현하려면 다음과 같은 그래프 데이터베이스, 쿼리 언어에 대한 전문 지식이 필요합니다. Cypher 그리고 SPARQL, 및 그래프 데이터 과학.

사용 사례

• 사기 탐지: 계정, 거래, 개인 간의 복잡하고 숨겨진 관계를 파악하여 사기 고리를 찾아냅니다.
• 공급망 관리: 공급업체 종속성, 물류 위험, 체인 한 부분의 중단이 전체 네트워크에 미치는 영향에 대한 질문에 답합니다.
• 신약 개발: 유전자, 단백질, 질병 간의 관계를 탐색하여 새로운 치료법의 잠재적 표적을 파악합니다.
• 고급 추천 엔진: 단순히 인기 있는 상품이 아니라 복잡한 사용자 행동과 아이템 관계를 기반으로 상품이나 콘텐츠를 추천합니다.

벡터 RAG란 무엇인가요?

벡터 RAG는 현재 가장 일반적으로 구현된 RAG 프레임워크입니다. 벡터 데이터베이스를 사용해 정보를 저장하고 검색합니다. 이 접근 방식에서는 텍스트 데이터(예: 문서, 기사, 웹 페이지)를 더 작은 청크로 나누고 각 청크를 벡터 임베딩이라는 숫자 표현으로 변환합니다. 임베딩 모델 사용.

사용자가 쿼리를 제출하면 쿼리 자체도 벡터로 변환됩니다. 그런 다음 시스템은 벡터 데이터베이스 내에서 유사성 검색을 수행하여 쿼리 벡터에 가장 가까운 벡터를 가진 텍스트 청크를 찾습니다. 이렇게 의미적으로 유사한 청크는 컨텍스트로서 LLM에 전달됩니다.

혜택

• 간편함과 속도: 벡터 RAG 파이프라인을 설정하는 것은 비교적 간단합니다. 임베딩 및 검색 프로세스는 대규모 데이터 세트에서도 계산 효율이 높고 빠릅니다.
• 비정형 데이터를 처리합니다: 미리 정의된 스키마 없이도 PDF, 문서, 지원 티켓과 같은 대량의 비정형 텍스트에 매우 효과적으로 작동합니다.
• 광범위한 적용 가능성: 의미론적 의미에 초점을 맞추기 때문에 광범위한 범용 Q&A 및 요약 작업에 다용도로 활용할 수 있는 솔루션입니다.
• 성숙한 에코시스템: 벡터 데이터베이스, 임베딩 모델, 프레임워크(예 LangChain 및 LlamaIndex)를 사용하여 개발을 간소화할 수 있습니다.

도전 과제

• 컨텍스트 관계의 부족: 벡터 검색은 정보 간의 미묘한 관계를 놓칠 수 있습니다. 의미적으로는 유사하지만 직접적인 관련이 없는 사실을 검색할 수 있어 정확도가 떨어지는 답변이 나올 수 있습니다.
• “중간에서 분실” 문제: 너무 많은 문서가 검색되면, 특히 제공된 컨텍스트의 중간에 묻혀 있는 경우 가장 중요한 정보를 식별하는 데 어려움을 겪을 수 있습니다.
• 세분화된 데이터의 어려움: 고도로 구조화되거나 표 형식의 데이터의 경우 모든 것을 텍스트 덩어리로 변환하면 정밀도가 떨어지고 특정 데이터 요소에 의존하는 질문에 답할 수 없게 될 수 있습니다.

사용 사례

• 고객 지원 챗봇: 도움말 문서, FAQ 및 제품 매뉴얼로 구성된 지식 기반에서 사용자 질문에 대한 답변을 빠르게 찾을 수 있습니다.
• 문서 Q&A: 사용자가 문서와 “채팅'을 통해 연구 논문, 법률 계약서 또는 재무 보고서에 대해 구체적인 질문을 할 수 있습니다.
• 콘텐츠 검색: 사용자 검색의 의미론적 의미를 기반으로 기사, 동영상 또는 제품을 추천합니다.
• 엔터프라이즈 검색: 내부 검색 엔진을 개선하여 회사 전체의 문서와 리소스에서 보다 관련성 높은 결과를 제공합니다.

그래프 RAG와 벡터 RAG의 주요 차이점

그래프 RAG와 벡터 RAG를 사용하는 경우

그래프 RAG와 벡터 RAG 중에서 선택하는 것은 전적으로 데이터와 답변해야 하는 질문의 유형에 따라 달라집니다.

그래프 RAG를 사용할 때 사용합니다:

• 관계가 핵심입니다: 데이터는 고도로 연결되어 있으며, 이러한 연결(예: 소셜 네트워크, 공급망, 금융 시스템)을 이해하는 데 가치가 있습니다.
• 복잡한 멀티홉 질문에 답해야 합니다: 사용자는 여러 관련 데이터 요소의 정보를 종합해야 하는 질문을 해야 합니다.
• 설명 가능성은 매우 중요합니다: 금융 및 의료와 같이 규제가 엄격한 산업에서는 시스템이 어떻게 답을 도출했는지 정확하게 보여줄 수 있어야 합니다.

벡터 RAG를 사용할 때 사용합니다:

• 데이터는 대부분 비정형 텍스트입니다: 문서, 기사 또는 기타 텍스트 기반 정보로 구성된 대량의 자료집이 있습니다.
• 신속한 솔루션이 필요합니다: 데이터 모델링에 많은 투자를 하지 않고도 개념 증명 또는 생산 시스템을 구축하고자 합니다.
• 주요 목표는 시맨틱 검색과 요약입니다: 사용자는 문서에서 관련 구절을 찾고 요약된 답변을 얻어야 합니다.

RAG 시스템의 미래

이 논쟁은 어떤 RAG 방식이 “승리”할 것인가에 대한 것이 아닙니다. RAG의 미래는 하이브리드입니다. 가장 강력한 AI 시스템은 그래프 RAG와 벡터 RAG의 강점을 모두 결합할 것입니다.

벡터 검색을 수행하여 관련 문서 집합을 빠르게 식별하는 시스템을 상상해 보세요. 그런 다음, 해당 문서로 구성된 지식 그래프를 사용하여 언급된 개체 간의 구체적인 관계를 탐색합니다. 이 다층적 접근 방식은 벡터 검색의 속도와 규모, 그래프 탐색의 깊이와 정밀도를 모두 제공합니다. 이 하이브리드 모델을 통해 LLM은 두 시스템 중 하나만 사용할 때보다 더 정확하고 맥락에 맞는 광범위한 질문에 답할 수 있습니다.

주요 요점 및 추가 리소스

• RAG는 LLM을 외부 지식과 연결하여 정확도를 높이고 환각을 줄임으로써 LLM을 향상시킵니다.
• Vector RAG는 의미론적 의미에 기반한 대량의 비정형 텍스트를 검색하는 데 이상적입니다. 빠르고 확장 가능하며 구현이 비교적 간단합니다.
• Graph RAG는 고도로 연결된 데이터를 탐색하여 관계 이해에 의존하는 복잡한 질문에 답하는 데 탁월합니다. 더 높은 정확도와 설명 가능성을 제공합니다.
• 올바른 선택은 데이터의 구조와 애플리케이션의 요구 사항에 따라 달라집니다.
• 두 가지 접근 방식을 결합한 하이브리드 시스템은 정교한 컨텍스트 인식 AI 애플리케이션 구축의 미래를 제시합니다.

검색 증강 생성에 대해 더 자세히 알아보려면 아래 리소스를 검토하세요:

• 벡터 데이터베이스와 그래프 데이터베이스: 차이점 및 유사점 - 블로그
• 개념에서 코드까지: LLM + RAG와 카우치베이스 - 블로그
• Couchbase, LLamaIndex 및 Amazon Bedrock을 사용하여 Excel로 RAG 기능 확장하기 - 블로그
• 검색 증강 생성(RAG)을 위한 데이터 준비를 위한 단계별 가이드 - 블로그
• iOS에서 카우치베이스 벡터 검색을 사용하여 Plant RAG 애플리케이션을 구축한 방법 - 블로그

자주 묻는 질문

벡터 RAG에 비해 그래프 RAG의 주요 장점은 무엇인가요? 주요 장점은 데이터 내의 명시적 관계를 이해하고 활용하며, 복잡한 멀티홉 질문에 답하고, 그래프를 통해 쿼리 경로를 추적하여 답변에 대한 설명력을 높일 수 있다는 점입니다.

그래프 RAG와 벡터 RAG를 하나의 시스템으로 결합할 수 있나요? 예, 그리고 이것이 강력한 패턴이 되고 있습니다. 하이브리드 접근 방식은 초기에는 벡터 검색을 사용하여 광범위하게 검색한 다음 지식 그래프를 사용하여 문맥을 구체화하고 특정 관계를 탐색함으로써 두 가지 방법의 강점을 모두 활용할 수 있습니다.

대규모 엔터프라이즈 데이터에는 그래프 RAG와 벡터 RAG 중 어느 것이 더 낫나요? 데이터 유형에 따라 다릅니다. 기업 데이터가 방대한 양의 비정형 문서(보고서, 이메일 등)로 이루어진 경우 벡터 RAG가 좋은 출발점이 될 수 있습니다. 데이터에 복잡한 관계(예: 조직도, 고객 상호 작용 내역, 제품 종속성)가 포함된 경우 그래프 RAG가 더 많은 가치와 심층적인 인사이트를 제공합니다.

RAG 애플리케이션에서 그래프 데이터베이스는 벡터 데이터베이스와 어떻게 다른가요? 그래프 데이터베이스는 데이터를 노드와 에지로 저장하며, 관계를 쿼리하는 데 최적화되어 있습니다. 벡터 데이터베이스는 데이터를 고차원 벡터로 저장하며 거리 메트릭을 사용해 쿼리 벡터의 가장 가까운 이웃을 찾도록 최적화되어 있습니다. 하나는 명시적 연결을 저장하고 다른 하나는 의미론적 유사성을 저장합니다.

그래프 RAG는 벡터 RAG보다 더 많은 계산 리소스가 필요하나요? 특히 데이터 모델링 및 수집 단계에서 그래프 RAG에 대한 초기 리소스 요구 사항이 더 높을 수 있습니다. 그러나 특정 복잡한 쿼리의 경우, 잘 구조화된 그래프를 탐색하는 것이 벡터 검색으로 검색된 수천 개의 의미론적으로 유사하지만 잠재적으로 관련이 없는 텍스트 덩어리를 선별하는 것보다 더 효율적일 수 있습니다. 쿼리 성능은 특정 사용 사례와 데이터베이스 최적화에 따라 크게 달라집니다.