Servidor Couchbase

Procesamiento de consultas recursivas en SQL++ (N1QL)

Lectura de 9 minutos

Es extremadamente probable que haya encontrado problemas con rastreos jerárquicos o travesía de gráficos en su solicitud como desarrollador que maneja casos de uso del mundo real. Y, por razones obvias, prefiere resolverlos en el la capa de la base de datos y no en el lado del cliente.

¿Qué son las búsquedas jerárquicas?

La búsqueda jerárquica se refiere al proceso de búsqueda y obtención de datos a partir de una estructura jerárquica, como una relación de árbol o de padre e hijo. Implica navegar por los niveles o capas de la jerarquía para localizar elementos de datos específicos o información relacionada, por ejemplo, diagramas organizativos, sistemas de ficheros y árboles de categorías.

Los gráficos son básicamente árboles que pueden tener ciclos, por lo que además podríamos cubrir casos de uso como la búsqueda de rutas, etc., siempre y cuando tengamos configuraciones adicionales para manejar los ciclos.

hierachical lookups

Consideremos un ejemplo utilizando una colección de empleados con una estructura jerárquica. Los empleados están organizados en una relación de subordinación-supervisor. Realizaremos operaciones sobre esta jerarquía de empleados utilizando Couchbase y UDFs JavaScript para demostrar la solución.

Pasando del Recolección de empleados Podemos recuperar:

i) de nivel general de los empleados:

ii) jerarquía para cada empleado:

Lo que cubre este blog

Te gusta mucho flexibilidad de las bases de datos NoSQL, y su modelo de datos subyacente es JSON, por eso has elegido Couchbase para tus necesidades de base de datos (gran elección, btw :-) ).

Ahora que tienes Couchbase como tu base de datos, quieres resolver el problema mencionado anteriormente. Después de realizar una investigación en la SQL++ Documentos de referencia lingüísticos Has llegado a la conclusión de que no hay Declaración o Función Apoyo en SQL++ para resolver nuestro problema, como el graphLookup API en MongoDB o CTE recursivo en las bases de datos SQL.

Pero Con la infraestructura existente, los usuarios pueden emular el CTE recursivo utilizando UDFs JavaScript. ¡Las siguientes secciones demostrarán cómo hacerlo y mucho más!

Solución a las consultas recursivas

Para implementar esta solución, necesitamos crear una UDF JavaScript que utilice un algoritmo de búsqueda de anchura para recorrer la jerarquía de los empleados. La UDF toma como parámetro consulta anclada, un consulta recursiva, y Opciones de configuración como parámetros. La consulta anclada recupera el conjunto inicial de empleados, mientras que la consulta recursiva se basa en los resultados de la iteración anterior. $1 Los parámetros de configuración permiten personalizar la aplicación, incluyendo criterios de salida anticipada, argumentos para consultas internas, detección de ciclos, modo de explicación para la planificación de consultas y opciones de registro.

Cómo usar consultas internas

La consulta anclada obtiene Documentos en el nivel raíz de la colección objetivo.

La consulta recursiva puede utilizar un ÚNETE cláusula con un lado como $1 y el otro como la colección objetivo, para explotar la relación padre-hijo y realizar la travesía de un nivel a otro.

En nuestra función, $1 efectúa lo mismo que el alias CTE en un CTE recursivo.

Para comprender mejor cómo utilizamos SQL++ (N1QL) dentro de las UDFs de JavaScript, consulte De N1QL a JavaScript y de nuevo.

Ahora bien, veamos el proceso paso a paso. En primer lugar, ¿De verdad es necesario que el procesamiento de consultas recursivas sea una función recursiva?

No, sería una mala elección considerando la complejidad del tiempo (la misma funcionalidad en una recursiva podría ser exponencial, pero lineal en un enfoque iterativo) y todos los demás problemas asociados a la recursividad, como los marcos, etc. Si está interesado, consulte este artículo. Articulo en la conversión de funciones de recursión en iteración. Además, las UDFs JS tienen una predefinida máx. profundidad de la recursión: 128; Esto no es preferible para lo que estamos tratando de hacer.

En pocas palabras, cualquier tarea iterativa realiza lo siguiente:

Nos gustaría reconocer esto Articulo por su enfoque.

Puntos a considerar

¿Cómo lo mantenemos? expresión estatal ¿y pasarlo como parámetro a la consulta (parte recursiva aquí)?

  • Usamos la capacidad de SQL++ para pasar Parámetros de consulta dinámicos y utilizar consultas parametrizadas para almacenar el valor de estado a través de los niveles.
  • Usamos $1 en la cláusula recursiva para referirse a los resultados de las iteraciones anteriores, es decir, a la expresión de estado

¿Cómo podemos optimizar?

  • Prepare primero las consultas ancladas y recursivas para poder reutilizar los planos de consulta en el momento de la ejecución.
  • Encuentra una forma de ver el plan de consulta (similar a un EXPLICACIÓN declaración) para poder generar índices apropiados para las declaraciones internas (anclaje y recursiva).

El panorama general de la implementación a nivel de alto nivel es el siguiente:

Código para un CTE recursivo utilizando UDFs JS 

Esta es una implementación muy ingenua para empezar a usarla y para ejecutarla. Configuramos Busqueda por anchura primero algoritmo, que establece el flujo de órdenes según la visión general anterior. Aquí está el código, del Este resumen enlace:

Cómo agregar la función

Aquí hay una enlace agregar esto a una biblioteca de JavaScript (por ejemplo “mylibrary”) dentro de su servicio de consulta, y un enlace para crear la UDF a partir de la biblioteca añadida.

Cree el UDF a partir de la biblioteca utilizando SQL++:

Utilización

Argumento 1: Ancla consulta, cadena
Argumento 2: Recursivo consulta, cadena (utiliza $1 (expresión estadual) para referirse a los resultados de la iteración anterior)
Argumento 3: Config Opciones, objeto

Todos son obligatorio, Pero puedes pasar un objeto vacío, es decir, {} si no estás utilizando ninguna opción de configuración.


Opciones de configuración

Salida anticipada

levelLimit(1 a N) – Especifica el nivel en el que podemos parar. El número de niveles comienza en 0 para los resultados de anclaje, 1 para la primera iteración/nivel, 2 para el segundo, etc.

Argumentos para la consulta interna

anchorArgs – como se indica, por ejemplo:,{“arg:1} o argumentos posicionales, por ejemplo:, [1] Para usar en una consulta de anclaje.

recursiveArgs – Solo pueden ser argumentos posicionales, y 0 El índice debe reservarse para expresiones estatales. Por ejemplo: [0, 1] – siempre se establece el índice 0 ($1 arg) a 0, por lo que podemos usarlo en la cláusula recursiva como expresión de estado.

Detención del ciclo

cycleFields – Conjunto de nombres de campo, por ejemplo:, [“_from”, “_to”]

Explícales

explicar – Ver el plan de consulta en los registros (sets registro por defecto)

Actas

registro – Mostrar registros que ayudan cuando se quiere registrar mientras se desarrolla el proyecto

 

Ejemplos de consultas


1. Contar los números de 1 a N – El ejemplo más simple de una consulta que muestra cómo funciona un CTE recursivo.
    
Toma un breve descanso para pensar en cómo hacerlo en N1QL sin esta función. ¿Es posible que el servicio que hemos desarrollado ahora sea posible? (O simplemente lo hemos hecho?) ¡N1QL Turing completo!)

2. Ejemplo de empleados – Refiérase a la recopilación de empleados que vimos anteriormente.

A. Encuentra el nivel organizacional de un empleado

B. Los empleados reportan a la jerarquía

Cuestión de anclaje:

Esto puede parecer demasiado extenso al añadir un DÓNDE predicado procedente de la consulta externa. WSe puede usar el anchorArgs opción ¡para mitigar esto!

Argumentos (anchorArgs/recursiveArgs)

Explícales

Proporcionar {“explain”: true} – Puede ver el plan de consulta en el campo de registro 

Salida anticipada

Establecimiento levelLimit como {“levelLimit”:2} – si solo quieres 2 niveles de recursión

 

Detención de la marcha

Sin detección de ciclo La consulta para encontrar la jerarquía de los empleados se enviará a un ciclo infinito y se produce un bloqueo en el tiempo de espera de la función, lo que consume recursos de la CPU.

Teniendo en cuenta que cuando trabajamos con datos de gráficos es muy probable que existan ciclos y que estos sean La responsabilidad del solicitante de la función es configurar la detección de ciclos para los campos apropiados.

Aquí, el “employee_id”, “manager_id”  Un par de unidades es suficiente para salir del ciclo.

Gracias por seguir este tema tan desafiante; esperamos que nos ayude a descubrir más opciones para algunos de los desafíos que enfrentamos al realizar consultas recursivas.

Referencias

Compartir este artículo

Autor

Gaurav Jayaraj is an intern in the Query team at Couchbase R&D. Gaurav is pursuing his Bachelors in Computer Science from PES University, Bangalore.

Deja un comentario

Deje el desorden de las bases de datos en el pasado

Cada suma de pilas significa otra factura y más cosas que gestionar. Calcula cuánto podrías ahorrar en 2 minutos.