Búsqueda vectorial

Couchbase 8.0: Plataforma de datos unificada para aplicaciones de IA a hiperescala

La IA está cambiando la forma en que creamos y ejecutamos las aplicaciones modernas. Desde recomendaciones en tiempo real hasta asistentes virtuales, los equipos necesitan plataformas de datos que puedan satisfacer las nuevas demandas de rendimiento y flexibilidad. Eso es lo que Couchbase 8.0 una plataforma unificada que reúne cargas de trabajo operativas, analíticas y basadas en vectores para que los desarrolladores puedan crear aplicaciones basadas en IA más rápidas, inteligentes y rentables.

Disponibilidad general de Couchbase Server 8.0

Hoy presentamos Couchbase Server 8.0, nuestra última versión para despliegues autogestionados y totalmente gestionados de Capella. Con más de 400 características y cambios, Couchbase 8.0 ofrece innovaciones revolucionarias en indexación vectorial, uso y rendimiento de búsqueda vectorial, y seguridad, escalabilidad y fiabilidad de clúster. Estas nuevas características ayudan a transformar Couchbase en la columna vertebral de datos de IA necesaria para la generación del mañana de aplicaciones potenciadas por IA y sistemas agénticos.

Los sistemas agenéticos son aplicaciones operativas

Llevamos mucho tiempo argumentando que los sistemas agénticos se ven mejor como aplicaciones operativas porque requieren la capacidad de respuesta, la disponibilidad, la escala distribuida y el rendimiento de plataformas como Couchbase y Capella. E históricamente hemos sostenido que montar una aplicación operativa impulsada por una colección de bases de datos creadas a propósito es una mala idea. Hacerlo con IA podría ser un desastre.

Consulte la mejor base de datos vectorial polivalente

Hoy, añadimos otra categoría de funcionalidad de base de datos que debería estar integrada en una plataforma multipropósito, no vivir junto a ella. Couchbase 8.0 se convierte en la mejor y más versátil base de datos vectorial, además de ser una fantástica plataforma de base de datos multipropósito JSON, KV-caching, búsqueda, eventing, móvil y analítica.


Búsqueda vectorial ampliada a mil millones y más


Las aplicaciones basadas en IA dependen de la búsqueda instantánea del contexto adecuado. Esto significa una recuperación de vectores rápida, precisa y a gran escala. Con el nuevo Índice Vectorial Hiperescala (IVH) En Couchbase 8.0, eso ya es posible, sin tener que elegir entre velocidad, precisión o coste.

En pruebas independientes a escala multimillonaria, HVI proporcionó hasta 19.000 consultas por segundo con 28 milisegundos de latencia cuando se ajustó a una precisión de recuperación razonable de 66%. En comparación con una base de datos en la nube líder, Couchbase funcionó más de 3.000 veces más rápido.  Y cuando aumentamos el ajuste para una alta precisión de recuperación (93% en hardware modesto), Couchbase manejó 350 veces más consultas por segundo.

Nuestro nuevo índice vectorial a hiperescala ya ha sido probado para superar fácilmente los mil millones de vectores con un rendimiento de consulta, una precisión de recuperación y una latencia de milisegundos excepcionales. Esto no solo ayuda a los clientes a mejorar la precisión y la confianza en sus aplicaciones de IA, sino que también contribuye a que el uso de GenAI sea más asequible. Reducirá el coste total de propiedad de los casos de uso de RAG y agentic, especialmente cuando es difícil anticipar lo que los usuarios pueden pedir a los modelos de lenguaje de gran tamaño (LLM).

En lugar de utilizar HNSW, IVF o DiskANN, Hyperscale Vector Index funciona con un novedoso algoritmo híbrido que combina los puntos fuertes de los algoritmos basados en grafos y en clústeres, basado en el documento Vamana de Microsoft combinado con IVF. La ventaja de este diseño es que utiliza tanto el procesamiento distribuido en memoria como el particionado en disco, lo que se traduce en el mejor rendimiento de su clase en términos de capacidad, rendimiento, latencia y recuperación. Es el índice preferido cuando es necesario vectorizar un gran corpus de datos y los desarrolladores no controlan totalmente el contenido de los mensajes, como en el caso de los chatbots. Esta implementación tiene muchas ventajas, que exploraremos en el futuro. Pero hoy sólo queremos mostrarla.

 

Concurso de índices vectoriales a hiperescala

En un nuevo cara a cara vector performance benchmark entre Couchbase y MongoDB Atlas, el nuevo índice vectorial a hiperescala de Couchbase logró un rendimiento excepcional en la recuperación de vectores, medido en consultas por segundo (QpS), frente a un conjunto común de vectores de tamaño medio, y después también frente a un conjunto de datos de mil millones de vectores con 128 dimensiones. En las pruebas se utilizó el Metodología VDBBench y el kit de herramientas, y se midieron las consultas por segundo (QpS), la latencia de respuesta en milisegundos y el porcentaje de precisión de recuperación.

Variando la amplitud de los conglomerados de centroides escaneados (de 10 a 100), las pruebas pueden ajustar el rendimiento de recuperación y la latencia en función de la precisión de recuperación de sus vectores. Los centroides son agrupaciones de vectores similares. Cuando se escanean menos centroides, las consultas por segundo (QpS) aumentan, pero la precisión del vector puede ser menor. Escanear más centroides mejora la precisión, pero también puede aumentar la latencia.

Los resultados del benchmark demuestran que el índice vectorial a hiperescala de Couchbase puede realizar algo más de 19.000 consultas por segundo con una latencia de sólo 28 milisegundos, cuando se ajusta a una precisión menor (66%). Esto es 3.100 veces más rápido que la misma prueba y configuración para MongoDB Atlas, que solo podía ejecutar 6 consultas por segundo con una precisión de recuperación de 57%.

Cuando se configuró para favorecer la precisión de recuperación, el rendimiento de MongoDB cayó a 2 consultas por segundo, y su latencia de respuesta saltó a más de 40 segundos. Couchbase realizó más de 700 QpS, con una latencia inferior al segundo de 369 milisegundos. La precisión de recuperación de Atlas fue de 89% frente a los 93% de Couchbase. Cuando funciona a escala de miles de millones de vectores, el índice vectorial a hiperescala de Couchbase trabaja más, más rápido, de forma más inteligente y cuesta menos.

El Índice Vectorial Hiperescala es una extensión del Servicio de Índice original de Couchbase, y hereda sus opciones de despliegue, escala, partición distribuida y características de rendimiento existentes.

Índice vectorial compuesto (IVC)

De paso, hemos añadido el índice vectorial compuesto para situaciones en las que los desarrolladores deseen definir un conjunto de resultados vectoriales prefiltrado y reducido, también a la velocidad de un milisegundo.

El índice vectorial compuesto forma parte de las funciones de índice secundario (GSI) existentes, a través de las cuales se puede construir un índice que combine vectores y otros tipos de datos admitidos, como cadenas, números y booleanos. Ayuda a restringir el enfoque de una solicitud de vector y es útil cuando los desarrolladores controlan el contenido de las solicitudes dentro de un compromiso LLM. Así, puede aplicar criterios de filtrado antes de solicitar vectores específicos a Couchbase y minimizar el consumo de tokens de LLM sin comprometer la precisión.

Couchbase despliega la búsqueda vectorial en sus instalaciones, en Capella y en móviles. ¿Quién más lo hace?

Estas nuevas opciones de indexación vectorial masivamente escalables se añaden a nuestras capacidades de búsqueda vectorial híbrida ya existentes, impulsadas por nuestro Servicio de Búsqueda. Couchbase es ahora la única plataforma de bases de datos que ofrece tres opciones de búsqueda vectorial flexibles y altamente escalables para sistemas autogestionados en las instalaciones, en Kubernetes y despliegues Capella totalmente gestionados. Añada a esto nuestra búsqueda vectorial móvil, y podrá ver cómo podemos convertirnos en la columna vertebral de sus aplicaciones de IA que sirven a los usuarios finales dondequiera que se encuentren en nuestro mundo de IA.


¿Qué más incluye Couchbase 8.0?

Todos los servicios de Couchbase disfrutan de importantes mejoras. Veamos los cambios para cada servicio de Couchbase:

Servicio de datos

      • Encriptación nativa en reposo con integración KMS para claves gestionadas por el cliente. El servicio de datos es el primero de todos los servicios de Couchbase en ser encriptado. Otros como Query, Index y Search le seguirán en una versión posterior.
      • Compatible con el Protocolo de Interoperabilidad de Gestión de Claves (KIMP)
      • Incluye control centralizado de políticas con rotación automática de claves
      • 90% Reducir la cuota de memoria para Magma (100 MB)
      • Opción de mapa de clúster más pequeño de 128 vbuckets en lugar de 1024.
      • Activación más rápida de los nodos a medida que se calienta la caché gracias a las nuevas opciones de calentamiento de los cubos (En segundo plano, Bloqueo, Ninguna).
      • Se elimina el tipo de cubo Memcached, obsoleto desde la versión 6.5

Servicio de consulta

      • Entrada de lenguaje natural para consultas desde Couchbase Server a través de shell de línea de comandos, SQL++ y Query Workbench utilizando las credenciales de acceso de Capella iQ. Haga preguntas, con “USO DE LA IA” o los comandos de la API REST que empiezan por “natural_“.
      • El repositorio de cargas de trabajo e informes de consultas mantiene instantáneas e informes para facilitar la resolución de problemas de consultas. Una colección definida por el usuario recopila el tiempo transcurrido, el uso de CPU y memoria, la obtención de KV, las ejecuciones y mucho más.
      • Estadísticas de optimización de actualización automática para la generación de planes de consulta ideales a medida que evolucionan las características de la consulta.
      • Nuevas palabras clave y cláusulas SQL++ para la creación de índices vectoriales, incluyendo, CREAR ÍNDICE VECTORIAL con INCLUYE, PARTICIÓN PORy DONDE y las ampliaciones de las cláusulas CON para parámetros específicos del vector como, Dimensión, Descripción, Métrica de similitud, Lista_de_trenesy Num_replicas.
      • Nuevas funciones SQL++ para la selección de vectores, DISTANCIA_VECTOR_APROX
      • Los índices vectoriales están disponibles a través de la interfaz gráfica de usuario de Query Workbench, la interfaz de usuario de Capella, la API REST del servicio de consultas, los SDK y los marcos de modelos como LlamaIndex y LangChain.

Servicio de índices

Nuevos ajustes para la creación de índices vectoriales

      • Algoritmos: IVF para GSI Composite, e IVF + Vamana (Híbrido) para hiperescala.
      • SQL++: CREAR/MODIFICAR/ABANDONAR ÍNDICE a través de SQL++, REST API y SDK
      • Cuantización: Índice de ajuste con elección de variantes PQ, SQ para uso reducido de memoria.
      • Distancia de similitud: Coseno, Producto Punto, L2 y Euclídea para diversas necesidades de aplicación.
      • Índices particionados: Para escalabilidad a miles de millones de vectores y requisitos de indexación granular.

Nuevas opciones de búsqueda vectorial

      • Consulta de búsqueda simple: Exploraciones básicas de RNA con campos vectoriales en ORDENAR POR
      • Prefiltrado en índice compuesto y filtrado en línea en índice hiperescala con INCLUYE columnas para reducir el espacio de búsqueda
      • Pushdowns al Indexador: Para filtrar y limitar documentos con el fin de mejorar el rendimiento.
      • Proyecciones: Soporte para proyecciones como la distancia vectorial
      • Resultados de la reclasificación: Para mejorar el recuerdo con un compromiso de rendimiento

Servicio de búsqueda

      • Sinónimos definidos por el usuario disponibles como referencia en las consultas de búsqueda
      • Filtrar los documentos que serán indexados por el servicio de búsqueda
      • Mejor concordancia (BM25) para mejorar los resultados de las búsquedas híbridas
      • Se han añadido particiones de réplica de lectura al servicio de búsqueda para acelerar el rendimiento de las consultas.
      • Índice de vectores de búsqueda el rendimiento se ha duplicado mediante un mejor soporte SIMD (Single Instruction, Multiple Data) utilizando el conjunto de instrucciones avx2.

Servicio de concursos

      • El servicio de eventos se ha rediseñado para aumentar su escala, velocidad y seguridad, con resultados espectaculares.
      • Establecer opciones de eventos en el nivel de ejecución de ámbito o cubo
      • Configurar nodos de servicio de eventos por ámbito
      • Cifrado TLS de nodo a nodo para la comunicación interna

Administrador de clústeres

      • Recuperación automática de cubos efímeros y discos que no responden
      • Ajustar los servicios de escalado multidimensional (MDS) no KV sin introducir nuevos nodos de destino.
      • Agregue las métricas del cliente SDK en el clúster para facilitar la supervisión y la resolución de problemas.
      • Bloquear/desbloquear cuentas de usuario y supervisar la actividad
      • La ruta de actualización requiere la versión 7.2 o superior, las versiones anteriores deben actualizarse primero a 7.2.3

Replicación entre centros de datos (XDCR)

      • Nueva propiedad de cubo, “EnableCrossClusterVersioning” diseñado para permitir:
        • Replicación bidireccional con cubos móviles en Sync Gateway o Capella App Services
        • Conocimiento del clúster de destino de las réplicas entrantes para facilitar la gestión
        • Registro de conflictos para documentos modificados en ambos extremos durante la ventana temporal del conflicto.
      • Utilidad de diagnóstico XDCR para comprobar la coherencia de los datos entre clusters

Copias de seguridad

      • Vista previa de la recuperación puntual antes de 8.1 GA
        • Reduzca la ventana de pérdida de datos a un tiempo definido por el usuario, desde horas hasta unos minutos o incluso subsegundos.
      • Periodo de retención de copias de seguridad y configuración de la caducidad para establecer las fechas de caducidad de las copias de seguridad.
      • Resolución automática de conflictos de nombres con cbbackupmgr

Creado para desarrolladores, con la confianza de las empresas

Couchbase 8.0 combina velocidad, escalabilidad y flexibilidad en una única plataforma que se ejecuta en cualquier lugar: en local, en Capella DBaaS o en el perímetro. Está diseñado para los desarrolladores que dan forma a las experiencias del mañana impulsadas por IA y para las empresas que confían en ellos para ejecutar aplicaciones críticas.

“Nuestros clientes pueden encontrar contenido relevante basado en el significado y el contexto, no sólo en palabras clave exactas. Como cliente de Capella, estamos entusiasmados con Couchbase 8.0 y las ventajas de escalabilidad y coste total de propiedad que lo convierten en la solución ideal para nuestra plataforma de vídeo basada en IA”, afirma Ian Merrington, director de tecnología de Seenit.

Couchbase 8.0 es disponible de forma generalizada. Descubra las novedades y vea cómo los equipos lo están utilizando para crear sistemas de IA y agénticos de próxima generación.

Consulte estos recursos relacionados:

Comparte este artículo
Recibe actualizaciones del blog de Couchbase en tu bandeja de entrada
Este campo es obligatorio.

Autor

Publicado por Jeff Morris, Vicepresidente de Marketing de Producto

Jeff Morris es vicepresidente de Productos, Soluciones y Marketing de Clientes en Couchbase. Lleva más de tres décadas comercializando herramientas de desarrollo de software, bases de datos, herramientas analíticas y otros productos de código abierto. Huelga decir que es un gran defensor de Couchbase Capella, ya que es tan fácil de usar como SQL, versátil para muchos casos de uso y tremendamente rápido, lo que se traduce en un costo total de propiedad excepcionalmente bajo.

1 Comentarios

  1. Enhorabuena, Couchbase, por lograr esta hazaña en escalabilidad vectorial. ¡Estamos deseando probarlo y ponerlo a prueba, así como ofrecerlo a los clientes de nuestra plataforma!

Deja un comentario

¿Listo para empezar con Couchbase Capella?

Empezar a construir

Consulte nuestro portal para desarrolladores para explorar NoSQL, buscar recursos y empezar con tutoriales.

Utilizar Capella gratis

Ponte manos a la obra con Couchbase en unos pocos clics. Capella DBaaS es la forma más fácil y rápida de empezar.

Póngase en contacto

¿Quieres saber más sobre las ofertas de Couchbase? Permítanos ayudarle.