El nuevo servicio columnar de Capella añade análisis de datos en tiempo real para ayudar a las organizaciones a crear aplicaciones modernas y adaptables en tiempo real.
Hoy, en AWS re:Invent, Couchbase anunció el servicio columnar Capella, un nuevo servicio de análisis de datos en tiempo real para nuestra plataforma de datos en la nube que permite aplicaciones adaptables en tiempo real.
Capella columnar es un servicio que introduce un almacén columnar y una amplia integración de datos dentro de nuestra base de datos como servicio (DBaaS), permitiendo así análisis de datos en tiempo real en la misma plataforma que cargas de trabajo de aplicaciones operativas. Al converger las aplicaciones operativas y analíticas en tiempo real en una plataforma de base de datos, Couchbase elimina las fricciones para ofrecer experiencias de cliente de primera calidad, especialmente las que incorporan inteligencia artificial. Llamamos a estas experiencias aplicaciones adaptativas porque ofrecen una hiperpersonalización contextualizada, habilitada por cálculos analíticos en tiempo real, entre otras características.
Nos dimos cuenta de que el verdadero análisis de datos en tiempo real sólo puede realizarse si los cálculos se procesan simultáneamente y junto con la aplicación en ejecución. Y sólo pueden ser útiles si estos resultados analíticos en tiempo real se escriben inmediatamente en la base de datos operativa y en las aplicaciones a las que sirve. Este tipo de conciliación entre la analítica en tiempo real y las aplicaciones operativas ha confundido al sector de las bases de datos durante décadas.
¿Por qué es tan difícil hacer operativo el análisis de datos en tiempo real?
Según Forrester, 73% de los datos de la empresa NO se utilizan en analítica, y 40% de los proyectos de big data FALLARON a la hora de aportar valor. ¿Por qué? Porque se tarda demasiado tiempo en convertir cualquier conocimiento analítico en una acción operativa, especialmente cuando tanto la medida analítica como la aplicación operativa se basan en múltiples bases de datos relacionales y NoSQL, un ETL complicado y puntos de integración imposibles de entender.
El análisis de datos en tiempo real requiere muchos datos
Los análisis suelen consumir grandes volúmenes de datos cuya persistencia en el almacenamiento y agregación de cálculos resultan caras. Los cálculos llevan demasiado tiempo cuando se consultan y agregan grandes volúmenes de datos, y los escaneos de filas son caros. La industria de la analítica nació para resolver estos problemas de volumen y latencia.
-
- Los sistemas analíticos adoptaron "cubos" OLAP que almacenan medidas precalculadas para evitar el gasto de ejecutar cálculos repetidamente.
- Por este motivo, los sistemas analíticos también adoptaron un modelo de almacenamiento en columnas más ágil que permitía consultar sólo las dimensiones específicas de los datos que se deseaban, en lugar de escanear cada fila en cada columna.
- Esta es también la razón por la que los sistemas analíticos modernos escalan los recursos de computación por separado de los recursos de almacenamiento.
- Tenga en cuenta que Big Data fue una fuerza centralizadora, así como la computación en nube, y el análisis de streaming, que tratan de reducir el problema del volumen de datos y hacerlo manejable.
Sin embargo, todo esto no ha servido para abordar la capacidad de hacer operativas automáticamente las medidas analíticas dentro de las aplicaciones, con el fin de hacer que las aplicaciones sean inmediatamente más inteligentes.
¿Cómo hacer que los análisis de datos en tiempo real sean procesables?
Las medidas analíticas en tiempo real (también conocidas como "Insights") siguen siendo demasiado difíciles de hacer operativas dentro de las aplicaciones empresariales. Cuando trabajaba para un proveedor de herramientas de inteligencia empresarial, solíamos decir que hacíamos, Información práctica con nuestros cuadros de mando interactivos. Pero la información procesable sigue siendo un mito porque no había forma de incorporar medidas analíticas, derivadas de grandes y diversas cantidades de datos empresariales, dentro de las aplicaciones sin intervención humana. Siempre era necesario que una persona pulsara un botón.
La mayoría de los sistemas analíticos no Los valores de los datos derivados que calculan se introducen en los sistemas operativos. Por lo general, sólo presentan sus resultados en forma de "cuadros de mando", que son excelentes para su visualización, pero difíciles de agilizar la toma de medidas. El retraso en la adopción de medidas suele ser de minutos a días. Esta es la brecha de latencia de escritura y es un problema de hace 50 años. Por eso la analítica casi nunca es una actividad "en tiempo real", como lo es una transacción de base de datos.
Couchbase Columnar eliminará la brecha de latencia de escritura-retroceso para las aplicaciones operativas.
Nuestro servicio Columnar de Capella ampliará las capacidades analíticas en tiempo real disponibles en Couchbase. El servicio Columnar añade lo siguiente a Capella:
-
- Un nuevo sistema orientado a columnas, Log-Structured Merge (LSM) más B-tree estructurado motor de almacenamiento construido para ampliar el rendimiento analítico y la capacidad de Capella. Ofrece una compresión impresionante y un acceso de alta velocidad basado en columnas a sus datos. Este motor sin servidor escalará dinámicamente mientras contiene terabytes de datos analíticos. Sus datos se almacenan en AWS S3 y se separan de nuestras características de cómputo.
- Hemos mejorado nuestro motor de cálculo, lo que permite realizar cálculos en tiempo real independientemente del tamaño de los datos. Esta función de agregación utiliza SQL++ para las consultas e incluye la función Optimizador basado en costes patentado por Couchbase para garantizar un rendimiento excepcional incluso cuando las consultas son complejas.
- Capacidad de ingesta en tiempo real gracias a Apache Kafkaes capaz de conectarse, capturar y extraer datos de casi cualquier base de datos o aplicación. Este proceso también transforma los datos extraídos en estructuras JSON fáciles de desarrollar mientras están en tránsito. Imagine ingesta en tiempo real ¡de objetos BSON en Capella columnar!
- Lecturas, importaciones (y exportaciones) basadas en archivos para datos almacenados en AWS S3, incluidos JSON, Parquet, Avro, CSV y otros formatos de texto.
- Codificación conversacional mediante Capella iQpara permitir a los desarrolladores utilizar interacciones de lenguaje natural con ChatGPT (o eventualmente su modelo de lenguaje generativo AI favorito) para el desarrollo de SQL++.
- Compatibilidad nativa con Tableau y PowerBI para el desarrollo analítico y la visualización.
- Nuevas API de datos para leer y escribir medidas analíticas en aplicaciones operativas basadas en Capella. Esto elimina el problema de décadas de antigüedad de integrar análisis de datos en tiempo real en las aplicaciones.
Esto se traduce en la capacidad de ejecutar cálculos analíticos a gran escala y en tiempo real que pueden utilizarse a medida que se dispone de nuevos datos en aplicaciones impulsadas por este y otros servicios de Capella, como Key/Value, Query, Search, Eventing y Mobile App Services. Los clientes pueden crear y ofrecer aplicaciones adaptables que incorporen resultados analíticos en tiempo real.
¿Qué hace que Capella Columnar sea mejor para aplicaciones que necesitan análisis en tiempo real?
Es la primera vez que una única plataforma de bases de datos crea contenedores de almacenamiento especializados y optimizados tanto para datos operativos transaccionales como para datos analíticos, que se almacenan mejor en formato columnar. Cada contenedor de almacenamiento, Magma para datos operativos y columnar para datos analíticos, se basa en un diseño Log-Structured Merge (LSM), que no sólo es rápido, sino que ofrece una mejor compresión, rendimiento IO y utilización de recursos.
Es como poder flotar y volar al mismo tiempo.
¿No tiene esto también MongoDB Atlas?
No, MongoDB ha anunciado Índices de almacén de columnasque es una estructura de indexación duplicada contra los datos que persisten en su motor de almacenamiento singular, WiredTiger. Todos los datos se siguen almacenando en WiredTiger, el equivalente de MongoDB a Tienda de sofás. WiredTiger consume 50% de memoria disponible cuando está en uso, que es una de las razones por las que MongoDB no escala tan eficientemente como Couchbase y Capella.
El enfoque de Couchbase ofrece un mejor rendimiento y mejores oportunidades de incorporar datos externos para el análisis sin contaminar ni hinchar el almacenamiento de los datos operativos. Así, ambos motores trabajan y escalan sus cargas de trabajo de forma independiente mientras conviven en el mismo clúster.
¿Qué es una aplicación adaptativa?
Una aplicación adaptativa puede ajustar su comportamiento y sus funciones en tiempo real en función de diversos factores, como las preferencias del usuario, las condiciones ambientales, la entrada de datos o las circunstancias cambiantes. El objetivo de las aplicaciones adaptativas es ofrecer una experiencia de usuario hiperpersonalizada y con capacidad de respuesta adaptando dinámicamente su funcionalidad a las necesidades específicas y al contexto actual del usuario.
Principales características de las aplicaciones adaptativas
Hiperpersonalización: Las aplicaciones adaptativas pueden personalizar su interfaz de usuario, contenido y funcionalidad para ajustarse a la situación, preferencias y requisitos de cada usuario. Esta personalización puede aumentar la satisfacción y la productividad del usuario.
Conocimiento del contexto: Las aplicaciones adaptativas pueden adaptarse en función del contexto actual, que puede incluir factores como la ubicación, el tipo de dispositivo, las condiciones de la red, la hora del día y los comportamientos pasados y presentes.
Por ejemplo, una aplicación de navegación puede adaptar sus sugerencias de ruta en función de las condiciones del tráfico y los tiempos de conducción en tiempo real.
Aprendizaje e inteligencia: Las aplicaciones adaptativas incorporarán aprendizaje automático predictivo, inteligencia artificial, cálculos en tiempo real y conversaciones de IA generativa para analizar continuamente el comportamiento del usuario y mejorar su capacidad de adaptación. Pueden aprender de interacciones anteriores para hacer mejores predicciones y recomendaciones inmediatas.
Flexibilidad: Las aplicaciones adaptativas están diseñadas para ser flexibles, ricas en funciones y fácilmente configurables. Los datos de las aplicaciones adaptables deben estar disponibles en formatos flexibles como JSON para poder crear o modificar entradas de datos imprevistas, como mejorar los perfiles de cuenta con nuevos atributos de personalización o almacenar las indicaciones y respuestas de las conversaciones con LLM.
Personalización: Los usuarios pueden tener la opción de ajustar la configuración o proporcionar comentarios para ayudar a la aplicación a adaptarse a sus necesidades.
Automatización: Pueden automatizar determinadas tareas y procesos, facilitando a los usuarios la consecución de sus objetivos sin intervención manual.
Cálculo: Pueden instigar y responder a datos calculados, como el inventario en tiempo real, la planificación y estimación de la capacidad u otras métricas analíticas en tiempo real. Por eso necesitábamos añadir el servicio columnar de Capella.
Rendimiento excepcional: Las aplicaciones adaptativas deben ser capaces de reaccionar en tiempo real para no perder una oportunidad de respuesta. La latencia es el enemigo de las aplicaciones adaptativas.
Edge y móvil: Las aplicaciones adaptativas serán intrínsecamente móviles y operarán en el borde debido a los comportamientos de sus usuarios. Los dispositivos móviles serán un lugar clave desde el que se originarán los datos de las aplicaciones adaptativas y el destino para el que se consumirán sus datos.
Situacional: Las aplicaciones adaptativas anticiparán y ejecutarán acciones que aporten datos y funcionalidades de la aplicación al usuario, sin que éste lo haya solicitado.
Conexión cruzada: Las aplicaciones adaptativas conectarán entre sí la información de personalización de cuentas de los servicios que el usuario haya optado por utilizar, de forma que los programas de fidelización de su banco, aerolínea y hotel coordinarán acciones entre sí, como subirle de categoría en tiempo real mientras cruza el umbral hacia el estatus "platino".
Para obtener más información sobre las aplicaciones adaptables, consulte el nuevo informe de Forrester sobre la hoja de ruta del mercado, La arquitectura translítica 2.0 evoluciona para dar soporte a capacidades distribuidas, multimodelo y de inteligencia artificial.
Resumen
El servicio columnar de Couchbase Capella permitirá a los clientes:
Mejorar la agilidad y el rendimiento. Capella columnar funciona dentro de una aplicación impulsada por Capella para permitir una ingestión rápida y sin esquemas sin tener que realizar la extracción, transformación y carga (ETL). El servicio puede distribuir datos de cargas de trabajo operativas para realizar análisis en tiempo real de los datos operativos e influir inmediatamente en el comportamiento de la aplicación con esa información. Además, la separación de la computación y el almacenamiento significa que Capella columnar puede escalar rápidamente para satisfacer las cambiantes necesidades analíticas o de las aplicaciones.
Ingesta de flujos desde fuentes de datos empresariales en tiempo real. Con Capella columnar, los análisis operativos no se limitan únicamente a los datos operativos, ya que los usuarios pueden incluir conjuntos de datos externos JSON, relacionales, de streaming y de otro tipo procedentes de aplicaciones SaaS u otras fuentes de gestión de bases de datos. Capella columnar puede analizar una verdadera variedad de datos en una simple y única sentencia. Por ejemplo, puede analizar datos de Couchbase, S3, BSON, Cassandra y MySQL en la misma sentencia.
Mayor facilidad de uso para los desarrolladores. Capella columnar utiliza el mismo Lenguaje de consulta SQL en aplicaciones analíticas operativas y en tiempo real. Esto significa que los desarrolladores que ya conocen SQL pueden crear fácilmente aplicaciones en una única plataforma con un único lenguaje de consulta en lugar de tener que utilizar dos lenguajes de consulta diferentes. El nuevo servicio también cuenta con un lenguaje natural Capella iQ como copiloto de SQL++ para una codificación más rápida.
Reducir la complejidad y los costes. Al converger los análisis operativos y en tiempo real en una plataforma de datos, los clientes pueden conseguir más con Capella y con un menor coste total de propiedad (TCO) en lugar de absorber el coste de una plataforma de base de datos para cargas de trabajo operativas y otra para analítica en tiempo casi real. Además, los equipos que conviertan datos JSON a bases de datos analíticas tradicionales ya no tendrán que pasar por un complejo proceso de conversión.
