{"id":16998,"date":"2025-03-31T14:44:55","date_gmt":"2025-03-31T21:44:55","guid":{"rendered":"https:\/\/www.couchbase.com\/blog\/?p=16998"},"modified":"2025-06-13T20:40:17","modified_gmt":"2025-06-14T03:40:17","slug":"extending-rag-excel-couchbase-llamaindex-bedrock","status":"publish","type":"post","link":"https:\/\/www.couchbase.com\/blog\/pt\/extending-rag-excel-couchbase-llamaindex-bedrock\/","title":{"rendered":"Amplia\u00e7\u00e3o dos recursos do RAG para o Excel com Couchbase, LLamaIndex e Amazon Bedrock"},"content":{"rendered":"

Como tudo ao nosso redor est\u00e1 gradualmente se tornando mais orientado por dados, o Excel ainda \u00e9 essencial para as empresas, oferecendo a capacidade de fornecer insights valiosos a partir dos dados nas planilhas. No entanto, os cientistas e analistas de dados concordam que extrair informa\u00e7\u00f5es significativas desses vastos conjuntos de dados pode ser extremamente demorado e requer conjuntos de habilidades especializadas. Mas \u00e9 nesse ponto que a IA generativa e os modelos de linguagem ampla podem ajudar a simplificar o processo de gera\u00e7\u00e3o de insights. Um componente importante para ajudar nesse processo \u00e9 Gera\u00e7\u00e3o Aumentada de Recupera\u00e7\u00e3o (RAG)<\/a>.\u00a0<\/span>
\n<\/span><\/p>\n

O RAG \u00e9 uma t\u00e9cnica avan\u00e7ada que ajuda a precis\u00e3o de modelos de linguagem grandes, permitindo que o modelo tenha acesso a fatos externos por meio da recupera\u00e7\u00e3o de informa\u00e7\u00f5es. Normalmente, os modelos de linguagem grandes (LLMs) recebem a entrada de um usu\u00e1rio e fornecem respostas com base nas informa\u00e7\u00f5es com as quais o LLM foi treinado (que, \u00e0s vezes, podem estar desatualizadas ou incorretas). O RAG combina essas informa\u00e7\u00f5es com dados suplementares, como a base de conhecimento de uma empresa ou documentos relevantes, permitindo que ele forne\u00e7a respostas factualmente precisas e contextualmente relevantes.<\/span><\/p>\n

Este blog o orientar\u00e1 sobre como criar um sistema RAG especificamente adaptado para ingerir dados do Excel e gerar insights. Utilizaremos o LlamaIndex e o LlamaParse para transformar as planilhas em uma base de conhecimento pesquis\u00e1vel e armazenar esses dados no Couchbase Vector Search para recupera\u00e7\u00e3o r\u00e1pida do contexto relevante com base em uma consulta do usu\u00e1rio e, em seguida, utilizaremos o Bedrock da Amaz\u00f4nia<\/a> para a resposta do LLM.\u00a0<\/span><\/p>\n

O que \u00e9 LLamaIndex e LLamaParse<\/span><\/h2>\n

LlamaIndex<\/a> \u00e9 uma estrutura de orquestra\u00e7\u00e3o de c\u00f3digo aberto projetada para ajudar os desenvolvedores a criar aplicativos de IA com grandes modelos de linguagem (LLMs). Ele ajuda a preencher a lacuna entre as fontes de dados personalizadas e os LLMs. O LLamaIndex oferece aos usu\u00e1rios a capacidade de ingerir dados de v\u00e1rias fontes, como arquivos ou bancos de dados vetoriais, e depois indexa esses dados em representa\u00e7\u00f5es intermedi\u00e1rias. O LLamaIndex oferece a capacidade de consultar esses dados em linguagem natural e interagir com eles.\u00a0<\/span><\/p>\n

Primeiro, os dados s\u00e3o indexados em um \u00edndice vetorial. Isso cria uma base de conhecimento pesquis\u00e1vel espec\u00edfica para o dom\u00ednio. Durante a consulta, o sistema procura informa\u00e7\u00f5es relevantes com base no prompt do usu\u00e1rio e, em seguida, fornece essas informa\u00e7\u00f5es ao modelo de linguagem grande para gerar uma resposta. <\/span>
\n<\/span><\/p>\n

O LlamaParse \u00e9 um componente especializado dentro do ecossistema do LlamaIndex, projetado para ser uma poderosa plataforma de an\u00e1lise de documentos que simplifica o processo de an\u00e1lise e extra\u00e7\u00e3o de informa\u00e7\u00f5es estruturadas de documentos complexos. Ele foi desenvolvido para analisar e limpar dados para garantir que os usu\u00e1rios possam ter uma entrada de alta qualidade para casos de uso do LLM, como o RAG. O LlamaParse suporta a an\u00e1lise de diferentes tipos de documentos, como PDFs, Excel, HTML, etc.\u00a0<\/span><\/p>\n

Cria\u00e7\u00e3o de um sistema de gera\u00e7\u00e3o aumentada de recupera\u00e7\u00e3o com dados do Excel<\/span><\/h2>\n

Neste blog, criaremos um sistema RAG utilizando um <\/span>conjunto de dados de reclama\u00e7\u00f5es de clientes<\/span><\/a> (do Kaggle). Esse conjunto de dados fornece informa\u00e7\u00f5es detalhadas sobre reclama\u00e7\u00f5es de consumidores que abrangem v\u00e1rios produtos e servi\u00e7os financeiros. O sistema RAG, alimentado pela pesquisa do Couchbase Vector, facilitar\u00e1 a extra\u00e7\u00e3o de informa\u00e7\u00f5es cr\u00edticas dos dados.\u00a0<\/span><\/p>\n

Uma representa\u00e7\u00e3o visual do conjunto de dados \u00e9 fornecida abaixo.<\/span><\/p>\n

\"complaints<\/p>\n

Instala\u00e7\u00e3o das depend\u00eancias necess\u00e1rias e instancia\u00e7\u00e3o do LlamaParse<\/span><\/h2>\n
!pip install llama-index llama-parse llama-index-vector-stores-couchbase llama-index-llms-bedrock fastembed llama-index-embeddings-bedrock<\/pre>\n
Depois de instalar as depend\u00eancias, agora vamos instanciar o LlamaParse com a instru\u00e7\u00e3o de an\u00e1lise para analisar o arquivo do Excel:\u00a0<\/span><\/p>\n
from llama_parse import LlamaParse\r\nfrom google.colab import userdata\r\nfrom llama_index.core import SimpleDirectoryReader\r\nimport nest_asyncio\r\n\r\nnest_asyncio.apply()\r\n\r\nparser = LlamaParse(\r\n\u00a0\u00a0\u00a0api_key=userdata.get('LLAMA_CLOUD_API_KEY'),\r\n\u00a0\u00a0\u00a0parsing_instruction = \"\"\"You are parsing a customer complaints dataset.. The column Company contains the company name.\u00a0 Please extract Product, Sub-product, Issue, Consumer complaint narrative, company public response, company, state, zipcode, information from the columns.\"\"\",\r\n\u00a0\u00a0\u00a0result_type=\"markdown\"\r\n)<\/pre>\n
Quando instanciamos o objeto LlamaParse, passamos parsing_instruction<\/em> e tipo_de_resultado<\/em> como o An\u00e1lise<\/em> op\u00e7\u00f5es.<\/span><\/p>\n
Em tipo_de_resultado<\/em>especificamos o formato da nossa sa\u00edda. Por padr\u00e3o, o LlamaParse retornar\u00e1 os resultados como texto analisado. As outras op\u00e7\u00f5es dispon\u00edveis s\u00e3o remarca\u00e7\u00e3o para baixo<\/em> e JSON<\/em> que retorna uma estrutura que representa o objeto analisado. Em parsing_instruction<\/em> podemos fornecer contexto adicional ao LlamaParse sobre os dados. O LlamaParse usa LLMs, o que nos permite dar a ele instru\u00e7\u00f5es em linguagem natural sobre o que e como analisar as informa\u00e7\u00f5es.\u00a0<\/span><\/p>\n
Em seguida, carregaremos o arquivo do Excel e o analisaremos usando o LlamaParser:<\/span><\/p>\n
file_extractor = {\".xlsx\": parser}\r\n\r\ndocuments = SimpleDirectoryReader(input_files=[file_name.xlsx'], file_extractor=file_extractor).load_data()<\/pre>\n
Armazenar os dados analisados usando um \u00edndice de vetor do Couchbase\u00a0<\/span><\/h2>\n
Antes de prosseguir, verifique se voc\u00ea tem uma conta no Couchbase Capella e se configurou um \u00edndice vetorial no Couchbase. Voc\u00ea pode seguir o guia <\/span>guia a seguir<\/span><\/a> para configurar seu cluster e o \u00edndice vetorial.  Quando a conta e o \u00edndice estiverem prontos, voc\u00ea poder\u00e1 prosseguir.\u00a0<\/span><\/p>\n
Os dados analisados s\u00e3o armazenados na vari\u00e1vel documents. Agora, eles ser\u00e3o preenchidos dentro do Couchbase. Para isso, os documentos ser\u00e3o convertidos em VectorStoreIndex<\/em>. Esse \u00edndice ser\u00e1 armazenado posteriormente no armazenamento do Couchbase Vector, convertendo primeiro os documentos compat\u00edveis com o armazenamento de vetores usando o Bedrock Embeddings:\u00a0<\/span><\/p>\n
from llama_index.llms.bedrock import Bedrock\r\nfrom llama_index.embeddings.bedrock import BedrockEmbedding\r\nllm = Bedrock(model=\"mistral.mistral-large-2402-v1:0\", region_name=\"us-east-1\")\r\nembeddings = BedrockEmbedding(model=\"amazon.titan-embed-text-v1\")<\/pre>\n
Tamb\u00e9m nos conectaremos \u00e0 inst\u00e2ncia do Couchbase:\u00a0<\/span><\/p>\n
def connect_to_couchbase(connection_string, db_username, db_password):\r\n\u00a0\u00a0\u00a0\u00a0\"\"\"Connect to couchbase\"\"\"\r\n\u00a0\u00a0\u00a0\u00a0from couchbase.cluster import Cluster\r\n\u00a0\u00a0\u00a0\u00a0from couchbase.auth import PasswordAuthenticator\r\n\u00a0\u00a0\u00a0\u00a0from couchbase.options import ClusterOptions\r\n\u00a0\u00a0\u00a0\u00a0from datetime import timedelta\r\n\r\n\u00a0\u00a0\u00a0\u00a0auth = PasswordAuthenticator(db_username, db_password)\r\n\u00a0\u00a0\u00a0\u00a0options = ClusterOptions(auth)\r\n\u00a0\u00a0\u00a0\u00a0connect_string = connection_string\r\n\u00a0\u00a0\u00a0\u00a0cluster = Cluster(connect_string, options)\r\n\r\n\u00a0\u00a0\u00a0\u00a0# Wait until the cluster is ready for use.\r\n\u00a0\u00a0\u00a0\u00a0cluster.wait_until_ready(timedelta(seconds=5))\r\n\r\n\u00a0\u00a0\u00a0\u00a0return cluster<\/pre>\n
Agora, chamaremos o m\u00e9todo VectorStoreIndex para armazenar o \u00edndice no Couchbase. O VectorStoreIndex pega os documentos e os divide em n\u00f3s. Em seguida, ele cria embeddings vetoriais do texto de cada n\u00f3 usando o modelo de embedding especificado, neste caso, embeddings Bedrock, que estar\u00e3o prontos para serem consultados por um LLM.<\/span><\/p>\n
O LlamaIndex oferece v\u00e1rios analisadores de n\u00f3s baseados em arquivos, projetados para gerar n\u00f3s de acordo com o tipo de conte\u00fado espec\u00edfico que est\u00e1 sendo processado, como JSON, Markdown e outros formatos:<\/span><\/p>\n
 index = VectorStoreIndex.from_documents(\r\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0documents,\r\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0storage_context=storage_context,\r\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0)\r\n\r\n\u00a0\u00a0vector_store = get_vector_store(\r\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0cluster,\r\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0DB_BUCKET,\r\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0DB_SCOPE,\r\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0DB_COLLECTION,\r\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0INDEX_NAME,\r\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0)\r\n\r\n\u00a0\u00a0storage_context = StorageContext.from_defaults(vector_store=vector_store)\r\n\r\n\u00a0\u00a0index = VectorStoreIndex.from_documents(\r\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0documents,\r\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0storage_context=storage_context,\r\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0)<\/pre>\n
Gera\u00e7\u00e3o de resposta do Amazon Bedrock<\/span><\/h2>\n
Quando um usu\u00e1rio faz upload de um arquivo do Excel, ele \u00e9 analisado usando o LlamaParse e armazenado em um reposit\u00f3rio de vetores do Couchbase. Para cada consulta do usu\u00e1rio, o sistema executa uma pesquisa vetorial para recuperar partes relevantes de informa\u00e7\u00f5es dos dados armazenados do Excel. Esses peda\u00e7os relevantes s\u00e3o usados como contexto para o modelo de linguagem (modelo Mistral da Bedrock) para gerar uma resposta.<\/span><\/p>\n
rag_stream_response = st.session_state.chat_engine_rag.stream_chat(question)\r\n\u00a0\u00a0\u00a0for chunk in rag_stream_response.response_gen:\r\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0rag_response += chunk\r\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0message_placeholder.markdown(rag_response)\r\n<\/pre>\n
Resultados<\/span><\/h2>\n
Agora podemos verificar o desempenho do nosso aplicativo RAG examinando as respostas a v\u00e1rias consultas fornecidas pelo usu\u00e1rio.<\/span><\/p>\n
Conclus\u00e3o<\/span><\/h2>\n
Este blog compartilha como \u00e9 poss\u00edvel criar um sistema RAG (Retrieval Augmented Generation) para simplificar a an\u00e1lise de grandes quantidades de dados do Excel. Isso \u00e9 feito extraindo informa\u00e7\u00f5es dos dados usando o LlamaParse, transformando-as em um formato VectorStoreIndex e, posteriormente, armazenando esse \u00edndice no Couchbase.<\/span><\/p>\n