{"id":3874,"date":"2024-08-01T06:51:02","date_gmt":"2024-08-01T13:51:02","guid":{"rendered":"https:\/\/www.couchbase.com\/blog\/faster-llm-apps-semantic-cache-langchain-couchbase\/"},"modified":"2024-08-01T06:51:02","modified_gmt":"2024-08-01T13:51:02","slug":"faster-llm-apps-semantic-cache-langchain-couchbase","status":"publish","type":"post","link":"https:\/\/www.couchbase.com\/blog\/pt\/faster-llm-apps-semantic-cache-langchain-couchbase\/","title":{"rendered":"Crie aplicativos de LLM mais r\u00e1pidos e baratos com Couchbase e LangChain"},"content":{"rendered":"

Novo cache padr\u00e3o, sem\u00e2ntico e conversacional com integra\u00e7\u00e3o LangChain<\/span><\/h2>\n\n\n\n

No cen\u00e1rio em r\u00e1pida evolu\u00e7\u00e3o do desenvolvimento de aplica\u00e7\u00f5es de IA, a integra\u00e7\u00e3o de grandes modelos de linguagem (LLMs) com fontes de dados corporativas tornou-se um foco cr\u00edtico. A capacidade de aproveitar o poder dos LLMs para gerar respostas de alta qualidade e contextualmente relevantes est\u00e1 transformando v\u00e1rios setores. No entanto, as equipes enfrentam desafios significativos para entregar respostas confi\u00e1veis em alta velocidade, reduzindo custos \u2013 especialmente \u00e0 medida que o volume de prompts de usu\u00e1rios aumenta. Al\u00e9m disso, como a maioria dos LLMs tem mem\u00f3ria limitada, existe a oportunidade de armazenar conversas de LLMs por um per\u00edodo prolongado e evitar que os usu\u00e1rios precisem come\u00e7ar do zero ap\u00f3s o tempo limite da mem\u00f3ria de um LLM.\u00a0<\/span><\/p>\n\n\n\n

Couchbase, l\u00edder em cache de alta escalabilidade e baixa lat\u00eancia (<\/span>Leia a hist\u00f3ria do LinkedIn<\/span><\/a>), aborda esses desafios com solu\u00e7\u00f5es inovadoras. Novas melhorias em nossa oferta de busca vetorial e cache, bem como um pacote LangChain dedicado para desenvolvedores, tornam mais f\u00e1cil elevar o desempenho e a confiabilidade de aplica\u00e7\u00f5es de IA generativa.<\/span><\/p>\n\n\n\n

Busca Vetorial do Couchbase e Gera\u00e7\u00e3o Aumentada por Recupera\u00e7\u00e3o (RAG)<\/h2>\n\n\n\n

A pesquisa de vetores do Couchbase permite que os usu\u00e1rios encontrem objetos semelhantes sem a necessidade de uma correspond\u00eancia exata. \u00c9 um recurso avan\u00e7ado que permite a busca e recupera\u00e7\u00e3o eficiente de dados com base em incorpora\u00e7\u00f5es vetoriais, que s\u00e3o representa\u00e7\u00f5es matem\u00e1ticas de objetos em um n\u00famero muito grande de dimens\u00f5es. Como exemplo, pesquisar em um cat\u00e1logo de produtos por sapatos que sejam \u201cmarrons\u201d e de \u201ccouro\u201d retornar\u00e1 esses resultados, bem com sapatos de \u201ccamur\u00e7a\u201d, com cores incluindo \u201cmogno, castanho, caf\u00e9, bronze, castanho-avermelhado e cacau\u201d.\u201d<\/span><\/p>\n\n\n\n

A gera\u00e7\u00e3o aumentada por recupera\u00e7\u00e3o (RAG) combina a busca vetorial, recuperando informa\u00e7\u00f5es do banco de dados Couchbase relacionadas ao prompt do usu\u00e1rio, e entrega tanto o prompt quanto o conte\u00fado relevante relacionado <\/span>informa\u00e7\u00f5es para um modelo gerativo produzir respostas de LLM mais informadas e contextualmente apropriadas. Isso costuma ser mais r\u00e1pido e menos custoso do que treinar um modelo personalizado. <\/span>Do Couchbase <\/span>arquitetura em mem\u00f3ria altamente escal\u00e1vel<\/span><\/a> fornece acesso r\u00e1pido e eficiente para buscar dados de incorpora\u00e7\u00e3o vetorial relevantes. Para tornar um aplicativo RAG mais perform\u00e1tico e eficiente, os desenvolvedores podem usar recursos de cache sem\u00e2ntico e conversacional.\u00a0<\/span><\/p>\n\n\n\n

Cache Sem\u00e2ntico<\/h2>\n\n\n\n

O cache sem\u00e2ntico \u00e9 uma t\u00e9cnica de cache sofisticada que usa incorpora\u00e7\u00f5es vetoriais para entender o contexto e a inten\u00e7\u00e3o por tr\u00e1s das consultas. Ao contr\u00e1rio dos m\u00e9todos tradicionais de cache que dependem de correspond\u00eancias exatas, o cache sem\u00e2ntico aproveita o significado e a relev\u00e2ncia dos dados. Isso significa que perguntas semelhantes, que de outra forma obteriam a mesma resposta de um LLM, n\u00e3o precisam fazer solicita\u00e7\u00f5es adicionais ao LLM. Prosseguindo com o exemplo acima, um usu\u00e1rio pesquisando por \u201cEstou procurando sapatos de couro marrom tamanho 10\u201d obteria os mesmos resultados que outro usu\u00e1rio solicitando \u201cQuero comprar sapatos tamanho 10 de couro que sejam da cor marrom\u201d.\u201d\u00a0<\/span><\/p>\n\n\n\n

\"Couchbase<\/p>\n\n\n\n

Os benef\u00edcios do cache sem\u00e2ntico, especialmente em volumes mais altos, incluem:<\/span><\/p>\n\n\n\n