Visualización de datos con Couchbase y Knowi

Los Reds disponen de un sofisticado sistema cartográfico que permite asignar un número de sección, fila y asiento a un punto concreto del mapa. Para esta entrada de blog, sin embargo, voy a utilizar la latitud y longitud con Google Maps.

Los datos con los que estoy trabajando son un documento simplificado compuesto por el nombre del titular de una entrada, las coordenadas geográficas y un tipo campo. Un documento de ejemplo:

Normalmente esperaría que los datos cartográficos estuvieran separados, y posiblemente unidos sobre la marcha con un escaneo del billete. Pero supongamos que eso ya se ha hecho. Tenemos todo lo que necesitamos en un único documento.

He creado un bucket llamado "tickets" que contendrá documentos como los anteriores. En producción, los datos fluirán continuamente hacia este bucket (probablemente a través de NiFi) durante un partido de béisbol. De hecho, hace poco asistí a un partido y ayudé a probar este sistema mientras atravesaba las puertas y me escaneaban la entrada durante las horas punta de un partido de fin de semana.

Knowi podría conectarse a este bucket directamente y empezar a informar sobre él. Sin embargo, podría ser mejor utilizar Couchbase Analytics en esta situación. Usar Couchbase Analytics significa que no tenemos que preocuparnos de escribir índices para consultas más complejas, y también significa que reduciremos cualquier impacto en el rendimiento del bucket operativo.

Para empezar con Couchbase Analytics, asegúrate de que has habilitado el servicio Analytics cuando instalaste Couchbase. El servicio Analytics debería aparecer en la pestaña "Servidores":

A continuación, vaya a la pestaña "Analytics". Verá una pantalla muy similar a la del N1QL Query Workbench normal.

Puede crear una versión de prueba gratuita de 14 días de Knowi.

Knowi está basado en la nube, por lo que no es necesario descargar nada. Puedes crear informes y visualizaciones directamente en tu navegador.

Sin embargo, si tu cluster Couchbase no está expuesto a internet, o no tienes un túnel VPN configurado, aún puedes usar Knowi ejecutando el Agente Knowi en tu red. Esta es una manera fácil para que Knowi tenga acceso a tus datos. Mi cluster local de Couchbase no está expuesto a internet, así que simplemente descargué el Agente Knowi:

Tendrás que crear un archivo JSON datasource en la carpeta /config. Esto es muy fácil de hacer, porque hay un montón de archivos de ejemplo en la carpeta /example. Para Couchbase, echa un vistazo a datasource_example_couchbase.json. Para mi cluster local, he creado un archivo con estos contenidos:

Esto supone que has creado un usuario llamado "matt" en Couchbase con permiso para usar Analytics.

El Agente viene con algunos scripts de shell y archivos por lotes. Se puede ejecutar como un servicio, o simplemente puede hacer lo que yo hice y ejecutar ejecutar.bat para iniciar el agente. En este punto, Knowi será capaz de comunicarse con tu cluster Couchbase a través del agente.

Ahora vuelve a la interfaz de Knowi.com. Crea una nueva fuente de datos. Puedes darle el nombre que quieras. Si está utilizando el agente como yo, establezca "localhost" para ser la fuente de datos. También especifiqué un nombre de bucket de "tickets". Introduje las credenciales de usuario. Para Analytics, necesitas especificar un "Dataverse". Por defecto, ya hay un dataverse disponible.

Por último, marque la casilla "Fuente de datos interna". Si el agente funciona correctamente, verá un desplegable y podrá seleccionar el agente. Si no está utilizando un agente, no marque esa casilla.

En este punto, puede utilizar esta fuente de datos para crear 1 o más fuentes de datos Knowi.

Un feed de datos / conjunto de datos en Knowi es análogo a una consulta. Aquí está el feed de datos (muy simple) que he creado para obtener la información del ticket de Couchbase.

Note que Knowi soporta N1QL nativamente. Toda la potencia del lenguaje N1QL de Couchbase está disponible cuando creas un feed de datos. Mi consulta es muy simple sólo para demostración.

Por último, puedo crear un widget Knowi. Los widgets son informes individuales o visualizaciones de datos. Hay una gran variedad de widgets disponibles, e incluso se pueden personalizar y combinar widgets. Voy a mantenerlo simple y crear un solo widget. Haga clic en "Nuevo Widget+" y seleccione el conjunto de datos que creó en la sección anterior.

A continuación, haz clic en el botón "Configuración" situado junto al widget. Hay un montón de opciones para la presentación de informes y visualización de datos. Compruébalas y experimenta con ellas. Yo elijo "Geo-Heatmaps".

He elegido el centro del Great American Ball Park para la Latitud Central y la Longitud Central (39.097208,-84.506530) y un nivel de zoom alto. El radio representa el tamaño que quieres que tengan los puntos del mapa térmico. Los míos corresponden a los asientos de un estadio de béisbol, por lo que he introducido un valor relativamente pequeño de 5.

Ya está. Guarda el widget. Haz clic en el icono del globo ocular para ver una vista previa. Aquí hay una vista previa con sólo 6 entradas en total en mi cubo Couchbase.

Por último, voy a crear un panel de control con esta visualización de datos. Ve al panel de control de Knowi, haz clic en "Añadir widget al panel de control" y selecciona el widget. El widget puede cambiar de tamaño y moverse. Puedes añadir otros widgets para completar el panel. Esto es en lo que están trabajando los rojos: ver una visualización por sí sola no es suficiente. También quieren informar sobre las tendencias generales: qué secciones están más llenas, cuántas entradas totales se han escaneado en un periodo de tiempo, etc.

He creado un Programa .NET (código fuente disponible aquí) para empezar a añadir entradas aleatoriamente. Quería ver una actualización en tiempo real de esta visualización de datos. Mi ejemplo no es del todo exacto: No he querido dedicar tiempo a cartografiar cada asiento con su latitud y longitud. Pero es lo bastante aproximado para que te hagas una idea.

(Este clip representa un periodo de 5 minutos de ejecución de mi programa de muestra, comprimido en 30 segundos).

La distribución es aleatoria y está dentro de dos áreas arbitrarias. Esta es la parte en la que los Cincinnati Reds tienen más experiencia a la hora de mapear sus datos en un mapa de asientos más eficiente, pero espero que te hagas una idea.

Ten en cuenta que para que una visualización de datos sea en tiempo real (como la de arriba), no puedes usar el agente. Tuve que dar acceso directo a Knowi para que apareciera una casilla de verificación de "Consulta directa" cuando estaba creando un feed de datos (así que usé Couchbase en Microsoft Azure).

Esta visualización en particular también podría ser útil para un mapa de cortes en tiempo real para una empresa de servicios públicos. Podrías crear un cuadro de mandos para informar sobre cortes de internet, electricidad, gas o teléfono en un mapa.

En este post, viste lo fácil que era usar Knowi y Couchbase Analytics para empezar a construir visualizaciones de datos en tiempo real.

Couchbase proporciona la flexibilidad de N1QL y el rendimiento de una arquitectura que prioriza la memoria, y Knowi proporciona las capacidades de visualización de datos y cuadros de mando.

Recuerde que Knowi tiene una prueba gratuita. He trabajado con Knowi en este proyecto de Reds por poco tiempo, pero he encontrado que su soporte es útil y receptivo y su documentación es completa y útil.

Algunos pasos a seguir: