{"id":16002,"date":"2024-07-04T09:49:03","date_gmt":"2024-07-04T16:49:03","guid":{"rendered":"https:\/\/www.couchbase.com\/blog\/?p=16002"},"modified":"2025-06-13T16:36:50","modified_gmt":"2025-06-13T23:36:50","slug":"accelerate-rag-ai-couchbase-nvidia","status":"publish","type":"post","link":"https:\/\/www.couchbase.com\/blog\/es\/accelerate-rag-ai-couchbase-nvidia\/","title":{"rendered":"Aceleraci\u00f3n de la aplicaci\u00f3n de IA RAG basada en Couchbase con NVIDIA NIM\/NeMo y LangChain"},"content":{"rendered":"

Hoy nos complace anunciar nuestra nueva integraci\u00f3n con NVIDIA NIM\/NeMo. En esta entrada de blog, presentamos un concepto de soluci\u00f3n de un chatbot interactivo basado en una Recuperaci\u00f3n Generaci\u00f3n aumentada<\/em> (RAG)<\/span>\u00a0<\/span>con Couchbase Capella como base de datos vectorial. Las fases de recuperaci\u00f3n y generaci\u00f3n de la canalizaci\u00f3n RAG se aceleran mediante NVIDIA NIM\/NeMo con <\/span>s\u00f3lo unas pocas l\u00edneas de c\u00f3digo.\u00a0<\/span><\/p>\n

Empresas de diversos sectores se esfuerzan por ofrecer el mejor servicio a sus clientes. Para lograrlo, est\u00e1n dotando a sus trabajadores de primera l\u00ednea, como enfermeras de urgencias, vendedores de tiendas y representantes de servicios de asistencia, de chatbots interactivos de preguntas y respuestas (QA) con IA para recuperar informaci\u00f3n relevante y actualizada r\u00e1pidamente. <\/span><\/p>\n

Los chatbots suelen basarse en <\/span>RAG<\/span><\/a>un marco de IA utilizado para recuperar hechos de la base de conocimientos de la empresa con el fin de fundamentar las respuestas del LLM en la informaci\u00f3n m\u00e1s precisa y reciente. Consta de tres fases distintas, que comienzan con la recuperaci\u00f3n del contexto m\u00e1s relevante utilizando <\/span>b\u00fasqueda vectorial<\/span><\/a>Por \u00faltimo, se generan respuestas pertinentes mediante un LLM.<\/span><\/p>\n

El problema de las actuales canalizaciones de RAG es que las llamadas al servicio de incrustaci\u00f3n en la fase de recuperaci\u00f3n para convertir las peticiones del usuario en vectores pueden a\u00f1adir una latencia significativa, ralentizando las aplicaciones que requieren interactividad. Vectorizar un corpus de documentos compuesto por millones de PDF, documentos y otras bases de conocimiento puede llevar mucho tiempo, lo que aumenta la probabilidad de utilizar datos obsoletos para la GAR. Adem\u00e1s, a los usuarios les resulta dif\u00edcil acelerar la inferencia (tokens\/seg) de forma rentable para reducir el tiempo de respuesta de sus aplicaciones de chatbot.<\/span><\/p>\n

En la figura 1 se muestra una pila de rendimiento que le permitir\u00e1 desarrollar f\u00e1cilmente un <\/span>chatbot interactivo de atenci\u00f3n al cliente. Se compone del marco de aplicaci\u00f3n StreamLit, LangChain para la orquestaci\u00f3n, Couchbase Capella para la indexaci\u00f3n y b\u00fasqueda de vectores, y NVIDIA NIM\/NeMo para acelerar las etapas de recuperaci\u00f3n y generaci\u00f3n.<\/span><\/p>\n

\"NVIDIA<\/a>

Figura 1: Arquitectura conceptual de un chatbot de control de calidad creado con Capella y NVIDIA NIM\/NeMo<\/p><\/div>\n

Couchbase Capella, una base de datos como servicio (DBaaS) de alto rendimiento, te permite empezar r\u00e1pidamente a almacenar, indexar y consultar datos operativos, vectoriales, de texto, de series temporales y geoespaciales aprovechando la flexibilidad de JSON. Puede integrar f\u00e1cilmente Capella para <\/span>b\u00fasqueda vectorial<\/span><\/a> o la b\u00fasqueda sem\u00e1ntica sin necesidad de una base de datos vectorial independiente mediante la integraci\u00f3n de un marco de orquestaci\u00f3n como <\/span>Cadena LangChain<\/span><\/a> o <\/span>LlamaIndex<\/span><\/a> en su canal de producci\u00f3n RAG. Ofrece la <\/span>b\u00fasqueda h\u00edbrida<\/span><\/a> que combina la b\u00fasqueda vectorial con la b\u00fasqueda tradicional para mejorar significativamente el rendimiento de la b\u00fasqueda. Adem\u00e1s, puedes ampliar la b\u00fasqueda vectorial a los bordes con Couchbase mobile para casos de uso de IA en los bordes.<\/span><\/p>\n

Una vez que haya configurado la b\u00fasqueda vectorial de Capella, puede proceder a elegir un modelo de rendimiento en el men\u00fa <\/span>Cat\u00e1logo API de NVIDIA<\/span><\/a>que ofrece una amplia gama de modelos de cimientos que abarcan modelos de c\u00f3digo abierto, cimientos de IA de NVIDIA y modelos personalizados, optimizados para ofrecer el mejor rendimiento en la infraestructura acelerada de NVIDIA. Estos modelos se implementan como <\/span>NVIDIA NIM<\/span><\/a> ya sea on-prem o en la nube utilizando contenedores preconstruidos f\u00e1ciles de usar a trav\u00e9s de un \u00fanico comando. Recuperador NeMo, <\/span>parte de NVIDIA NeMo,<\/span> ofrece recuperaci\u00f3n de informaci\u00f3n con la menor latencia, el mayor rendimiento y la m\u00e1xima privacidad de los datos.\u00a0<\/span><\/p>\n

El chatbot que hemos desarrollado utilizando la pila antes mencionada le permitir\u00e1 <\/span>cargue sus documentos PDF y formule preguntas de forma interactiva. Utiliza NV-QA-Embed<\/em>un modelo de incrustaci\u00f3n de texto acelerado en la GPU para la recuperaci\u00f3n de preguntas y respuestas, y <\/span>Llama 3 - 70B<\/span><\/a>que se empaqueta como NIM y se acelera en la infraestructura de NVIDIA. El sitio <\/span>langchain-nvidia-ai-endpoints<\/span><\/a> contiene integraciones de LangChain para crear aplicaciones con modelos en NVIDIA NIM. <\/span>Aunque hemos utilizado los endpoints alojados en NVIDIA para la creaci\u00f3n de prototipos, le recomendamos que considere la posibilidad de utilizar NIM autoalojado consultando la p\u00e1gina <\/span>Documentaci\u00f3n NIM<\/span><\/a> para despliegues de producci\u00f3n.\u00a0<\/span><\/p>\n

Puede utilizar esta soluci\u00f3n para casos de uso que requieran una r\u00e1pida recuperaci\u00f3n de la informaci\u00f3n, como:<\/span><\/p>\n