O Couchbase Capella lançou uma visualização privada para serviços de IA! Dê uma olhada este blog para obter uma visão geral de como esses serviços simplificam o processo de criação de aplicativos de IA nativos da nuvem e dimensionáveis e agentes de IA.
Em nosso blog anterior, demonstramos como configurar o serviço de modeloe esta postagem continua nossa série de tutoriais explorando a próxima etapa crítica. Neste blog, exploraremos como usar o serviço de Vetorização Estruturada para incorporar automaticamente documentos JSON, tornando-os instantaneamente utilizáveis com a pesquisa vetorial do Couchbase. Isso facilita a criação de aplicativos de IA com pesquisa semântica perfeita e recuperação inteligente de dados, mantendo o alto desempenho e a segurança dos dados em sua infraestrutura.
O Vectorization Service em Capella converte com segurança os dados em incorporações de vetores em escala. Ele usa o Couchbase Eventing para processamento em tempo real e transformação eficiente de dados. Isso garante uma execução rápida e segura próxima à sua infraestrutura.
O que são embeddings vetoriais e por que eles são importantes?
As incorporações de vetores são representações numéricas de texto, imagens ou outros tipos de dados que capturam seu significado semântico diferenciado em um formato adequado para o aprendizado de máquina. Na criação de um aplicativo de geração aumentada de recuperação (RAG), os embeddings servem como a espinha dorsal para pesquisar e classificar com eficiência grandes quantidades de dados com base na similaridade, o que é essencial para fornecer contexto relevante em tempo real. Por exemplo, casos de uso de IA, como mecanismos de pesquisa semântica, sistemas de recomendação, agentes de conversação, como chatbots, e aplicativos de reconhecimento de imagens dependem de embeddings para transformar dados brutos em insights acionáveis, melhorando o desempenho e a experiência do usuário.
Quem deve usar o Serviço de Vetorização Capella?
Se você estiver armazenando documentos JSON no Capella e quiser acelerar o desenvolvimento de IA, o Serviço de Vetorização do Capella é a solução perfeita. Ele elimina a necessidade de criar um sistema de incorporação personalizado, convertendo perfeitamente seus dados em representações vetoriais.
Esteja você criando um aplicativo de geração aumentada de recuperação (RAG), configurando a pesquisa semântica ou adicionando recursos orientados por IA, esse serviço torna o processo rápido e fácil. Ele lida com o trabalho complexo com eficiência e escalabilidade integradas, para que você possa se concentrar na inovação enquanto seus dados se transformam em insights prontos para IA instantaneamente.
Primeiros passos: implantar um fluxo de trabalho de vetorização
Vamos ver um tutorial simples para implementar um fluxo de trabalho de vetorização no Capella.
O que você aprenderá:
-
- Criação de um fluxo de trabalho de vetorização no Capella
- Utilização dos embeddings com um aplicativo RAG
Pré-requisitos
Antes de começar, verifique se você tem:
-
- Inscreveu-se no Private Preview e ativou os serviços de IA para sua organização. Registre-se aqui!
- Função do proprietário da organização permissões para gerenciar o Serviço de Vetorização
- Um cluster operacional multi-AZ com serviços de busca e eventos
- Um espaço de chave existente onde os documentos JSON são ingeridos ou armazenados
Etapa 1: implantação do fluxo de trabalho de vetorização
Navegue até Serviços de IA na página inicial do Capella e clique em Serviço de vetorização para prosseguir.
Digite o nome do fluxo de trabalho
Selecione o cluster operacional
Aqui, selecione o cluster, o bucket, o escopo e a coleção onde os documentos JSON brutos estão localizados.
Selecione os campos de origem
Os campos de origem determinam qual parte de seu documento JSON será usada para gerar incorporações.
Observação: o serviço de vetorização agrupa os dados em grupos de 16 objetos, sendo que cada objeto representa o texto a ser incorporado de um único documento. No entanto, se o texto combinado em um lote exceder o comprimento máximo de entrada permitido pelo modelo, o processo de incorporação desse documento falhará.
Embora a criação de lotes reduza o número de chamadas à API, é fundamental garantir que o texto de cada documento permaneça dentro dos limites de tamanho do modelo. Caso contrário, qualquer lote que inclua texto muito grande não será processado com êxito.
Na Capella, você tem duas opções:
-
- Todos os campos de origem: Gera embeddings para todo o documento JSON.
- Campos de origem personalizados: Permite que você especifique um campo específico para gerar incorporações.
Selecione o modelo de incorporação
O Couchbase Capella oferece a opção de escolher o OpenAI como um provedor de incorporação ou você pode escolher um modelo de incorporação hospedado pelo Capella.
Acompanhe este blog para Criando um modelo de incorporação hospedado pela Capella.
Neste blog, vamos nos concentrar na OpenAI como nosso provedor de incorporação.
Quando adicionamos nossa chave de API como integração no Capella, o Capella salva essa chave de API com segurança no gerenciador do AWS Safely, que pode ser reutilizado posteriormente para outro fluxo de trabalho, sem o incômodo de adicionar a chave de API novamente.
Configurar o nome do campo de incorporação e o nome do índice do vetor
Agora que você configurou o fluxo de trabalho de vetorização, vamos criar um aplicativo RAG interativo que aproveite essas incorporações para fornecer resultados valiosos.
Etapa 2: Utilização dos embeddings com um aplicativo RAG
Sobre o aplicativo
Esse aplicativo aproveita os embeddings produzidos pelo nosso fluxo de trabalho para alimentar um sofisticado Sistema de recomendação de hotéis. Esse aplicativo, ao receber a entrada do usuário, gera embeddings precisos, realiza uma pesquisa vetorial em nosso servidor Couchbase e refina a resposta final com um modelo avançado de linguagem grande (LLM).
Para usar o aplicativo, você pode importar o arquivo amostra de viagem e gerar uma incorporação para nome,cidade,país e revisões na coleção de hotéis.
Configuração do fluxo de trabalho
-
- Importar balde de amostras de viagem
- Crie um fluxo de trabalho estruturado com a seguinte configuração
- Balde: amostra de viagem
- Escopo: inventário
- Coleção: hotel
- Campos de origem: nome, cidade, país, revisões
Experimentando o aplicativo
-
- Clonar o repositório do GitHub
git clone https://github.com/ayansharma2/RAG-APP.git
-
- Alterar diretório
cd RAG-APP
-
- (Opcional, mas recomendado) Crie e ative um ambiente virtual:
- No macOS/Linux:
- (Opcional, mas recomendado) Crie e ative um ambiente virtual:
python3 -m venv venv
fonte venv/bin/activate
-
-
- No Windows:
-
python -m venv venv
venv\Scripts\activate
-
- Instalar as dependências do projeto
pip install -r requirements.txt
-
- Executar o aplicativo
streamlit run main.py
Aplicativo em ação
Considerações finais
O serviço de Vetorização Estruturada da Capella torna a geração de incorporação de dados simples e perfeita, ajudando você a criar aplicativos alimentados por IA com facilidade. Ele converte automaticamente documentos JSON em incorporações de vetores, economizando tempo e eliminando a necessidade de transformação manual de dados. Isso acelera o desenvolvimento de sistemas de geração aumentada de recuperação (RAG), pesquisa semântica e outras ferramentas de IA. Com alto desempenho e conformidade incorporada, sua equipe pode inovar com mais rapidez e segurança.
Inscreva-se na visualização privada hoje mesmo e comece a criar aplicativos mais inteligentes e dimensionáveis com o Couchbase Capella! Inscreva-se para a pré-visualização privada aqui!
Referências
-
- Leia o comunicado à imprensa dos Serviços de IA da Capella
- Confira Serviços de IA da Capella ou inscreva-se no Prévia privada
- Documentação do serviço modelo Capella (para clientes de visualização)
Agradecimentos
Obrigado à equipe (Abhishek J, Paulomee D, Kiran M, Nithish R, Santosh H, Denis S, Talina S e muitos outros). Obrigado a todos que ajudaram direta ou indiretamente!
