{"id":16002,"date":"2024-07-04T09:49:03","date_gmt":"2024-07-04T16:49:03","guid":{"rendered":"https:\/\/www.couchbase.com\/blog\/?p=16002"},"modified":"2025-06-13T16:36:50","modified_gmt":"2025-06-13T23:36:50","slug":"accelerate-rag-ai-couchbase-nvidia","status":"publish","type":"post","link":"https:\/\/www.couchbase.com\/blog\/pt\/accelerate-rag-ai-couchbase-nvidia\/","title":{"rendered":"Acelere o aplicativo de IA RAG com base em Couchbase com NVIDIA NIM\/NeMo e LangChain"},"content":{"rendered":"

Hoje, temos o prazer de anunciar nossa nova integra\u00e7\u00e3o com o NVIDIA NIM\/NeMo. Nesta postagem do blog, apresentamos um conceito de solu\u00e7\u00e3o de um chatbot interativo baseado em um Recupera\u00e7\u00e3o Gera\u00e7\u00e3o aumentada<\/em> (RAG)<\/span>\u00a0<\/span>com o Couchbase Capella como um banco de dados vetorial. As fases de recupera\u00e7\u00e3o e gera\u00e7\u00e3o do pipeline RAG s\u00e3o aceleradas pelo NVIDIA NIM\/NeMo com <\/span>apenas algumas linhas de c\u00f3digo.\u00a0<\/span><\/p>\n

Empresas de v\u00e1rios setores verticais se esfor\u00e7am para oferecer o melhor atendimento aos seus clientes. Para isso, elas est\u00e3o equipando seus funcion\u00e1rios da linha de frente, como enfermeiros de pronto-socorro, vendedores de lojas e representantes de help desk, com chatbots interativos de perguntas e respostas (QA) com tecnologia de IA para recuperar rapidamente informa\u00e7\u00f5es relevantes e atualizadas. <\/span><\/p>\n

Os chatbots geralmente s\u00e3o baseados em <\/span>RAG<\/span><\/a>O LLM \u00e9 uma estrutura de IA usada para recuperar fatos da base de conhecimento da empresa para fundamentar as respostas do LLM nas informa\u00e7\u00f5es mais precisas e recentes. Ela envolve tr\u00eas fases distintas, que come\u00e7am com a recupera\u00e7\u00e3o do contexto mais relevante usando <\/span>pesquisa vetorial<\/span><\/a>A consulta do usu\u00e1rio pode ser aumentada com o contexto e, por fim, gerar respostas relevantes usando um LLM.<\/span><\/p>\n

O problema com os pipelines de RAG existentes \u00e9 que as chamadas para o servi\u00e7o de incorpora\u00e7\u00e3o na fase de recupera\u00e7\u00e3o para converter os prompts do usu\u00e1rio em vetores podem adicionar uma lat\u00eancia significativa, tornando mais lentos os aplicativos que exigem interatividade. A vetoriza\u00e7\u00e3o de um corpus de documentos que consiste em milh\u00f5es de PDFs, documentos e outras bases de conhecimento pode levar muito tempo para ser vetorizada, aumentando a probabilidade de uso de dados obsoletos para o RAG. Al\u00e9m disso, os usu\u00e1rios acham dif\u00edcil acelerar a infer\u00eancia (tokens\/seg.) de forma econ\u00f4mica para reduzir o tempo de resposta dos aplicativos de chatbot.<\/span><\/p>\n

A Figura 1 mostra uma pilha de desempenho que permitir\u00e1 que voc\u00ea desenvolva facilmente um <\/span>chatbot interativo de atendimento ao cliente. Ele consiste na estrutura de aplicativo StreamLit, LangChain para orquestra\u00e7\u00e3o, Couchbase Capella para indexa\u00e7\u00e3o e pesquisa de vetores e NVIDIA NIM\/NeMo para acelerar os est\u00e1gios de recupera\u00e7\u00e3o e gera\u00e7\u00e3o.<\/span><\/p>\n

\"NVIDIA<\/a>

Figura 1: Arquitetura conceitual de um chatbot de controle de qualidade criado com o Capella e o NVIDIA NIM\/NeMo<\/p><\/div>\n

O Couchbase Capella, um banco de dados como servi\u00e7o (DBaaS) de alto desempenho, permite que voc\u00ea comece rapidamente a armazenar, indexar e consultar dados operacionais, vetoriais, de texto, de s\u00e9ries temporais e geoespaciais, aproveitando a flexibilidade do JSON. Voc\u00ea pode integrar facilmente o Capella para <\/span>pesquisa vetorial<\/span><\/a> ou pesquisa sem\u00e2ntica sem a necessidade de um banco de dados vetorial separado, integrando uma estrutura de orquestra\u00e7\u00e3o, como o <\/span>LangChain<\/span><\/a> ou <\/span>LlamaIndex<\/span><\/a> em seu pipeline RAG de produ\u00e7\u00e3o. Ele oferece os seguintes recursos <\/span>pesquisa h\u00edbrida<\/span><\/a> que combina a pesquisa vetorial com a pesquisa tradicional para melhorar significativamente o desempenho da pesquisa. Al\u00e9m disso, voc\u00ea pode estender a pesquisa vetorial para a borda usando o Couchbase mobile para casos de uso de IA de borda.<\/span><\/p>\n

Depois de configurar o Capella Vector Search, voc\u00ea pode continuar a escolher um modelo de desempenho na se\u00e7\u00e3o <\/span>Cat\u00e1logo de APIs da NVIDIA<\/span><\/a>que oferece um amplo espectro de modelos de funda\u00e7\u00e3o que abrangem modelos de c\u00f3digo aberto, funda\u00e7\u00e3o NVIDIA AI e modelos personalizados, otimizados para oferecer o melhor desempenho na infraestrutura acelerada da NVIDIA. Esses modelos s\u00e3o implantados como <\/span>NVIDIA NIM<\/span><\/a> no local ou na nuvem usando cont\u00eaineres pr\u00e9-constru\u00eddos f\u00e1ceis de usar por meio de um \u00fanico comando. NeMo Retriever, <\/span>uma parte do NVIDIA NeMo,<\/span> oferece recupera\u00e7\u00e3o de informa\u00e7\u00f5es com a menor lat\u00eancia, a maior taxa de transfer\u00eancia e a m\u00e1xima privacidade de dados.\u00a0<\/span><\/p>\n

O chatbot que desenvolvemos usando a pilha mencionada acima permitir\u00e1 que voc\u00ea <\/span>carregue seus documentos PDF e fa\u00e7a perguntas de forma interativa. Ele usa NV-QA-Embed<\/em>um modelo de incorpora\u00e7\u00e3o de texto acelerado por GPU usado para recupera\u00e7\u00e3o de perguntas e respostas, e <\/span>Lhama 3 - 70B<\/span><\/a>que \u00e9 empacotado como um NIM e acelerado na infraestrutura da NVIDIA. O <\/span>langchain-nvidia-ai-endpoints<\/span><\/a> cont\u00e9m integra\u00e7\u00f5es LangChain para a cria\u00e7\u00e3o de aplicativos com modelos no NVIDIA NIM. <\/span>Embora tenhamos usado endpoints hospedados pela NVIDIA para fins de prototipagem, recomendamos que voc\u00ea considere o uso do NIM auto-hospedado, consultando o <\/span>Documenta\u00e7\u00e3o do NIM<\/span><\/a> para implementa\u00e7\u00f5es de produ\u00e7\u00e3o.\u00a0<\/span><\/p>\n

Voc\u00ea pode usar essa solu\u00e7\u00e3o para dar suporte a casos de uso que exigem recupera\u00e7\u00e3o r\u00e1pida de informa\u00e7\u00f5es, como:<\/span><\/p>\n