A IA está reformulando a forma como criamos e executamos aplicativos modernos. De recomendações em tempo real a assistentes agênticos, as equipes precisam de plataformas de dados que possam acompanhar as novas demandas de desempenho e flexibilidade. Isso é o que Couchbase 8.0 foi criado para - uma plataforma unificada que reúne cargas de trabalho operacionais, analíticas e baseadas em vetores para que os desenvolvedores possam criar aplicativos com tecnologia de IA mais rápidos, inteligentes e econômicos.
Disponibilidade geral do Couchbase Server 8.0
Hoje apresentamos o Couchbase Server 8.0, nossa versão mais recente para implementações Capella autogerenciadas e totalmente gerenciadas. Com mais de 400 recursos e alterações, o Couchbase 8.0 oferece inovações revolucionárias em indexação vetorial, uso e desempenho de pesquisa vetorial e segurança, escalabilidade e confiabilidade do cluster. Esses novos recursos ajudam a transformar o Couchbase no backbone de dados de IA necessário para a geração futura de aplicativos e sistemas agênticos alimentados por IA.
Os sistemas agênticos são aplicativos operacionais
Há muito tempo argumentamos que os sistemas agênticos são mais bem vistos como aplicativos operacionais porque exigem a capacidade de resposta, a disponibilidade, a escala distribuída e o desempenho de plataformas como Couchbase e Capella. E, historicamente, temos afirmado que montar um aplicativo operacional alimentado por uma coleção de bancos de dados criados para fins específicos é uma má ideia. Fazer isso com a IA pode ser um desastre.
Confira o melhor banco de dados vetorial multiuso
Hoje, estamos adicionando outra categoria de funcionalidade de banco de dados que deve ser incorporada a uma plataforma multiuso, e não viver ao lado dela. O Couchbase 8.0 se torna o melhor e mais versátil banco de dados vetorial, além de ser uma fantástica plataforma de banco de dados multiuso JSON, de cache KV, de pesquisa, de eventos, móvel e analítica.
Pesquisa vetorial dimensionada para um bilhão - e além
Os aplicativos orientados por IA dependem de encontrar o contexto certo instantaneamente. Isso significa recuperação rápida, precisa e vetorial em grande escala. Com o novo Índice Vetorial de Hiperescala (HVI) No Couchbase 8.0, isso agora é possível - sem compensações entre velocidade, precisão ou custo.
Em testes independentes em escala de bilhões, o HVI forneceu até 19.000 consultas por segundo com Latência de 28 milissegundos quando ajustado para uma precisão de recuperação razoável de 66%. Em comparação com um banco de dados em nuvem líder, o Couchbase executou mais de 3.000 vezes mais rápido. E quando aumentamos o ajuste para obter uma alta precisão de recuperação (93% em um hardware modesto), o Couchbase lidou com 350 vezes mais consultas por segundo.
Nosso novo Hyperscale Vector Index já foi testado para escalar facilmente além de um bilhão de vetores com excepcional taxa de transferência de consulta, precisão de recuperação e latência de milissegundos. Isso não apenas ajuda os clientes a melhorar a precisão e a confiança em seus aplicativos de IA, mas também ajuda a tornar o uso do GenAI mais acessível. Isso reduzirá o custo total de propriedade dos casos de uso de RAG e agênticos, especialmente quando é difícil prever o que os usuários podem pedir aos LLMs (Large Language Models).
Em vez de usar HNSW, IVF ou DiskANN, o Hyperscale Vector Index é alimentado por um novo algoritmo híbrido que combina os pontos fortes dos algoritmos baseados em gráficos e clusters, com base no documento Vamana da Microsoft combinado com o IVF. A vantagem desse design é que ele utiliza o processamento distribuído na memória e o processamento particionado no disco, o que resulta no melhor desempenho da categoria em termos de capacidade, throughputs, latência e recall. É o índice preferido a ser usado quando um grande corpus de dados precisa ser vetorizado, enquanto os desenvolvedores não controlam totalmente o conteúdo fornecido nos prompts, como os chatbots. Essa implementação tem muitas vantagens, que exploraremos no futuro. Mas, hoje, queremos apenas mostrá-la.
Competição de benchmark de índice vetorial em hiperescala
Em um novo confronto direto benchmark de desempenho vetorial Entre o Couchbase e o MongoDB Atlas, o novo Hyperscale Vector Index do Couchbase obteve um desempenho excepcional de recuperação de vetores, medido em consultas por segundo (QpS), em relação a um conjunto comum de vetores de tamanho médio e, em seguida, também a um conjunto de dados de bilhões de vetores com 128 dimensões. Os testes usaram o Metodologia VDBBench e kit de ferramentas, e medimos as consultas por segundo (QpS), a latência da resposta em milissegundos e a porcentagem de precisão da recuperação.
Ao variar a amplitude dos clusters de centroides examinados (de 10 a 100), os testes podem ajustar o desempenho e a latência da recuperação em relação à precisão da recuperação do vetor. Os centroides são clusters de vetores semelhantes. Ao examinar menos centroides, as consultas por segundo (QpS) aumentam, mas a precisão do vetor pode ser menor. A varredura de mais centroides melhora a precisão, mas também pode aumentar a latência.
Os resultados do benchmark demonstram que o Hyperscale Vector Index do Couchbase pode fornecer pouco mais de 19.000 consultas por segundo com uma latência de apenas 28 milissegundos, quando ajustado para uma precisão menor (66%). Isso é 3.100 vezes mais rápido do que o mesmo teste e as mesmas configurações do MongoDB Atlas, que só conseguiu executar 6 consultas por segundo com precisão de recuperação de 57%.
Quando configurado para favorecer a precisão da recuperação, o desempenho do MongoDB caiu para 2 consultas por segundo, e sua capacidade de resposta à latência saltou para mais de 40 segundos. O Couchbase teve um desempenho de mais de 700 QpS, com latência de menos de um segundo de 369 milissegundos. A precisão de recuperação do Atlas foi de 89% contra 93% do Couchbase. Ao operar em escala de bilhões de vetores, o Hyperscale Vector Index do Couchbase trabalha mais, mais rápido, de forma mais inteligente e custa menos.
O Hyperscale Vector Index é uma extensão do Index Service original do Couchbase e herda suas opções de implantação, escala, particionamento distribuído e características de desempenho existentes.
Índice de Vetor Composto (CVI)
Enquanto isso, adicionamos o Composite Vector Index para situações em que os desenvolvedores desejam definir um conjunto de resultados vetoriais pré-filtrados e restritos, também na velocidade de milissegundos.
O índice de vetor composto faz parte das funções de índice secundário (GSI) existentes, por meio das quais você pode criar um índice combinando vetor e outros tipos de dados compatíveis, como cadeias de caracteres, números e booleanos. Ele ajuda a restringir o foco de uma solicitação de vetor e é útil quando os desenvolvedores controlam o conteúdo dos prompts em um compromisso LLM. Assim, ele pode aplicar critérios de filtragem antes de solicitar vetores específicos do Couchbase e minimizar o consumo de tokens do LLM sem comprometer a precisão.
O Couchbase implementa a pesquisa vetorial no local, no Capella e em dispositivos móveis. Quem mais faz isso?
Essas novas opções de indexação vetorial, altamente escalonáveis, são adicionadas aos nossos recursos de pesquisa vetorial híbrida existentes, alimentados pelo nosso Search Service. O Couchbase é agora a única plataforma de banco de dados a oferecer três opções de pesquisa vetorial flexíveis e altamente dimensionáveis para sistemas autogerenciados no local, no Kubernetes e em implantações totalmente gerenciadas do Capella. Acrescente a isso nossa pesquisa vetorial móvel e você poderá ver como podemos nos tornar a espinha dorsal de seus aplicativos de IA que atendem aos usuários finais onde quer que eles estejam localizados em nosso mundo de IA.
O que mais há no Couchbase 8.0?
Todos os serviços do Couchbase receberam grandes aprimoramentos. Vamos dar uma olhada nas alterações de cada serviço do Couchbase:
Serviço de dados
Criptografia nativa em repouso com integração KMS para chaves gerenciadas pelo cliente. O serviço de dados é o primeiro de cada serviço do Couchbase a ser criptografado. Outros, como Query, Index e Search, seguirão em uma versão posterior.
Oferece suporte ao protocolo de interoperabilidade de gerenciamento de chaves (KIMP)
Inclui controle centralizado de políticas com rotação automática de chaves
90% Diminuir a cota de memória do Magma (100 MB)
Opção de mapa de cluster menor de 128 vbuckets em vez de 1024
Ativação mais rápida do nó à medida que o cache se aquece com as novas opções de aquecimento do bucket (Background, Blocking, None)
O tipo de bucket do Memcached foi removido, obsoleto desde a versão 6.5
Serviço de consulta
Entrada de linguagem natural para consultas do Couchbase Server por meio de shell de linha de comando, SQL++ e Query Workbench usando as credenciais de acesso do Capella iQ. Faça perguntas, com “USANDO IA” ou comandos da API REST que começam com “natural_“.
O repositório de cargas de trabalho de consultas e relatórios mantém instantâneos e relatórios para facilitar a solução de problemas de consultas. Uma coleção definida pelo usuário coleta o tempo decorrido, o uso da CPU e da memória, a busca de KV, as execuções e muito mais.
Atualização automática das estatísticas de otimização para a geração de planos de consulta ideais à medida que as características da consulta evoluem
Novas palavras-chave e cláusulas do SQL++ para a criação de índices vetoriais, incluindo, CRIAR ÍNDICE VETORIAL com opcional INCLUIR, PARTIÇÃO PORe ONDE além de extensões para as cláusulas COM para parâmetros específicos do vetor, como, Dimensão, Descrição, Métrica de similaridade, Lista de trense Num_replicas.
Novas funções SQL++ para seleção de vetores, DISTÂNCIA_APROXIMADA_DO_VETOR
Os índices vetoriais estão disponíveis por meio da GUI do Query Workbench, da UI do Capella, da API REST do Query Service, dos SDKs e de estruturas de modelos como LlamaIndex e LangChain
Serviço de índice
Novas configurações de recursos para a criação de índices vetoriais
Algoritmos: IVF para GSI Composite e IVF + Vamana (Hybrid) para hiperescala
SQL++: CRIAR/ALTERAR/SOLTAR ÍNDICE por meio de SQL++, API REST e SDK
Quantização: Índice de ajuste com opção de variantes PQ, SQ para uso reduzido de memória
Distância de similaridade: Cosine, Dot Product, L2 e Euclidean para diversas necessidades de aplicação
Índices particionados: Para escalabilidade em vários bilhões de vetores e requisitos de indexação granular
Novas opções de recursos para pesquisa de vetores
Consulta de pesquisa simples: Varreduras ANN básicas com campos vetoriais em ORDER BY
Pré-filtragem no Composite Index e filtragem em linha no Hyperscale Index com INCLUIR colunas para reduzir o espaço de pesquisa
Pushdowns para o Indexador: Para filtrar e limitar documentos para melhorar o desempenho
Projeções: Suporte para projeções como distância vetorial
Resultados de ranqueamento: Para melhorar a recuperação com uma compensação de desempenho
Serviço de busca
Sinônimos definidos pelo usuário disponíveis para referência em consultas de pesquisa
Filtrar os documentos a serem indexados pelo serviço de pesquisa
Pontuação de melhor correspondência (BM25) para melhores resultados de pesquisa híbrida
Partições de réplica de leitura adicionadas ao Search Service para aumentar a taxa de transferência de consultas
Índice de vetores de pesquisa o desempenho dobrou por meio de melhor suporte a SIMD (instrução única, dados múltiplos) usando o conjunto de instruções avx2
Serviço de eventos
O Eventing Service foi rearquitetado para ser dimensionado, acelerado e seguro, com resultados significativos
Definir opções de eventos no nível de execução do escopo ou do bloco
Configurar nós de serviço de eventos por escopo
Criptografia TLS de nó para nó para comunicação interna
Gerente de cluster
Failover automático de buckets efêmeros e discos que não respondem
Ajustar os serviços de dimensionamento multidimensional (MDS) não-KV sem introduzir novos nós de destino
Agregue as métricas do cliente SDK no cluster para facilitar o monitoramento e a solução de problemas
Bloqueie/desbloqueie contas de usuário e monitore a atividade
O caminho de atualização requer a versão 7.2 ou superior; as versões anteriores devem ser atualizadas para a 7.2.3 primeiro
Replicação entre data centers (XDCR)
Nova propriedade do balde, “EnableCrossClusterVersioning (Ativar versão entre clusters)” projetado para permitir:
Replicação bidirecional com buckets móveis no Sync Gateway ou no Capella App Services
Conscientização do cluster de destino sobre as replicações de entrada para facilitar o gerenciamento
Registro de conflitos para documentos modificados em ambas as extremidades durante a janela de período de conflito
XDCR Diagnostic Utility para verificar a consistência dos dados entre clusters
Backups
Visualização da recuperação pontual antes da versão 8.1 GA
Reduzir a janela de perda de dados para um tempo definido pelo usuário, de horas para alguns minutos ou até mesmo sub-segundos
Período de retenção de backup e configurações de expiração para definir datas de expiração para backups
Resolução automática de conflitos de nomes com o cbbackupmgr
Criado para desenvolvedores, com a confiança das empresas
O Couchbase 8.0 combina velocidade, escala e flexibilidade em uma única plataforma que é executada em qualquer lugar - no local, no Capella DBaaS ou na borda. Ele foi projetado para os desenvolvedores que estão moldando as experiências de IA do futuro e para as empresas que dependem deles para executar aplicativos essenciais.
“Nossos clientes podem encontrar conteúdo relevante com base no significado e no contexto, e não apenas em palavras-chave exatas. Como clientes da Capella, estamos entusiasmados com o Couchbase 8.0 e com os benefícios de escalabilidade e TCO que o tornam a solução ideal para nossa plataforma de vídeo alimentada por IA”, disse Ian Merrington, CTO da Seenit.
O Couchbase 8.0 é agora disponível para todos. Explore o que há de novo e veja como as equipes estão usando-o para criar sistemas de IA e agênticos de última geração atualmente.
Receba atualizações do blog do Couchbase em sua caixa de entrada
Author
Posted by Jeff Morris, vice-presidente de marketing de produtos
Jeff Morris is VP of Product, Solutions and Customer Marketing at Couchbase. He's spent over three decades marketing software development tools, databases, analytic tools and other open source products. Needless to say, he's a big believer in Couchbase Capella because it is as easy as SQL, versatile for many use cases and blazingly fast, which delivers exceptionally low TCO.
Parabéns, Couchbase, por realizar essa façanha em escalabilidade vetorial. Estamos ansiosos para experimentá-lo e colocá-lo à prova, além de oferecê-lo aos clientes da nossa plataforma!
Parabéns, Couchbase, por realizar essa façanha em escalabilidade vetorial. Estamos ansiosos para experimentá-lo e colocá-lo à prova, além de oferecê-lo aos clientes da nossa plataforma!