Un rendimiento fiable a escala es primordial para cualquier sistema de misión crítica centrado en los datos. Como profesionales de la tecnología, dedicamos mucho trabajo a proporcionar plataformas de datos que ayuden a garantizar el éxito de las implantaciones de sistemas. Los debates sobre arquitectura, las presentaciones de conceptos y la formación sobre productos son un buen punto de partida para facilitar la visión y ayudar a definir las necesidades. Sin embargo, necesitamos (y queremos) ensuciarnos las manos para comprender mejor y diseñar una plataforma de datos fiable. Realizar una prueba de concepto (POC) formal en un entorno similar al que se ejecutará el sistema con tamaños de datos y cargas de trabajo de usuario similares suele ser la solución.
Un modelo de compromiso de estilo POC debería ayudar:
- Las partes interesadas entienden cómo afectará la implantación a la organización.
- Definir los beneficios que aportará el nuevo sistema.
- Dar una idea del impacto empresarial.
- Definir la experiencia del desarrollador.
- Dar a los equipos de operaciones una comprensión del apoyo al sistema.
En muchos casos, para cumplir todos estos objetivos para un POC de Couchbase necesitamos que los propietarios de negocios de datos entiendan y puede ser un gran obstáculo para saltar en conseguir una prueba de concepto de la tierra. Couchbase proporciona conjuntos de datos de muestra, pero a menudo nos enfrentamos a cómo crear conjuntos de datos que tengan más sentido para nuestros clientes.
Creación de datos Opción 1
Si tenemos sistemas existentes, podemos tomarnos el tiempo de exportar datos y crear estructuras JSON que provengan de sistemas de producción existentes. Aquí pude tomar un conjunto de datos de muestra stocks.json e importarlo a Couchbase. Cada línea del archivo contiene una estructura JSON que representa la información de stock.
- El código aprovecha el lector de líneas => https://github.com/nickewing/line-reader
- Fichero de datos de información bursátil => https://jsonstudio.com/wp-content/uploads/2014/02/stocks.zip
- Ejemplo de importación => https://github.com/justinmichaels006/datasample/blob/master/appOG2.js
Creación de datos Opción 2
Como ocurre a menudo, no tenemos tiempo o quizá no tenemos acceso o necesitamos conseguir la participación de otros equipos para utilizar los datos existentes. Existen herramientas en línea para generar datos de muestra. Aunque a menudo no ofrecen la posibilidad de crear conjuntos de datos de tamaño de producción, existe una utilidad muy sólida... https://www.generatedata.com. Alternativamente, podríamos crear la estructura que buscamos e iterar para crear el tamaño que necesitamos. Aquí definimos una estructura de datos que refleja los datos que eventualmente tendríamos en producción.
- Ejemplo de importación => https://github.com/justinmichaels006/datasample/blob/master/appOG.js
Tenemos que tener cuidado con el tamaño del conjunto de datos que se crea en un momento dado porque Node.js genera todo en el bucle de forma concurrente. Sin embargo, soy capaz de generar un conjunto de datos útil para apoyar un POC exitoso. Cualquiera que sea el enfoque, utilizando las opciones anteriores somos capaces de proporcionar un sistema que alberga datos familiares y un tamaño que refleja lo que esperamos en producción.
La próxima vez, utilizaremos estos conjuntos de datos para entender lo que podemos hacer con Couchbase aprovechando las vistas y cómo nuestro próximo lenguaje de consulta nickel (N1QL) simplificará drásticamente nuestros esfuerzos de desarrollo.
