Visión general
Index advisor se introduce en Couchbase server 6.5 como una función de vista previa para desarrolladores. Su objetivo es proporcionar recomendaciones de índices secundarios para ayudar a los administradores de bases de datos y desarrolladores a optimizar el rendimiento de las consultas N1QL. Esta versión está basada en reglas, en la que los índices candidatos serán generados siguiendo las reglas de diseño especificadas en https://www.couchbase.com/blog/create-right-index-get-right-performance/:
1. Clave de índice de matriz principal para unnest
2. Predicados de igualdad
3. Predicados IN
4. Predicados no menor que/entre/no mayor que
5. Predicados menor que/mayor que
6. Predicados de matriz
7. Filtro de unión derivado como clave principal para el espacio de claves del lado izquierdo
8. Predicados IS NOT NULL/MISSING/VALUED
9. Predicados funcionales
10. Condición de índice parcial
El asesor de índices está diseñado para funcionar de dos maneras:
-
- Declaración N1QL para aconsejar índices para una sola consulta.
- Función de asesor para aconsejar sobre la carga de trabajo de las consultas y apoyar la gestión de las sesiones.
Este artículo se centra en la primera función y explica cómo funciona internamente.
Detalles de la declaración ADVISE
Sintaxis de la sentencia N1QL:
ADVISE [INDEX ] (consulta)
Admite los tipos de consulta SELECT/DELETE/UPDATE/ANSI MERGE, y proporciona recomendaciones de índices para operaciones en un único espacio de claves, ANSI JOIN/NEST, INDEX JOIN/NEST, UNNEST y subconsultas en la cláusula FROM.
Las principales directrices que sigue Index Advisor son:
-
- Generar candidatos a índices secundarios basados en predicados indexables, proyecciones, expresiones GROUP BY/ORDER BY con la sintaxis correcta.
- Ordene las claves de índice siguiendo las reglas con respecto al orden de prioridad de los tipos de predicado con ajuste en la clave de índice de matriz principal para UNNEST y filtro ISNOTNULL derivado para ANSI JOIN.
- Asegúrese de que el índice recomendado sea superior a todos los índices actuales existentes o diferidos y sea seleccionado por el optimizador de consultas basado en reglas actuales en la ejecución de la consulta.
Veamos primero el resultado de un ejemplo sencillo:
Consulta 1:
|
1 |
CONSEJO SELECCIONE nombre DESDE `viaje-muestra` DONDE id < 100 Y tipo = "ruta" |
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 |
[ { "#operator": "Aconsejar", "consejos": { "#operator": "IndexAdvice", "adviseinfo": [ { "índices_actuales": [ { "declaración_índice": "CREATE INDEX def_type ON `viaje-muestra`(`tipo`)" } ], "índices_recomendados": { "índices_de_cobertura": [ { "declaración_índice": "CREATE INDEX adv_id_type_name ON `viaje-muestra`(`id`,`nombre`) WHERE `type` = 'ruta'" } ], "índices": [ { "declaración_índice": "CREATE INDEX adv_id_type ON `viaje-muestra`(`id`) WHERE `type` = 'ruta'", "recomendando_regla": "Las claves de índice siguen el orden de los tipos de predicado: 5. menor que/entre/mayor que, 10. sabor para índice parcial". } ] } } ] }, "consulta": "select name from `viaje-muestra` where id < 100 and type = \"ruta\";" } ] |
Hay dos partes en la salida de asesoramiento:
- Índices actuales:
Esta sesión proporciona información sobre los índices utilizados actualmente por el optimizador de consultas para ejecutar la consulta de entrada. También incluirá información sobre el estado del índice si es idéntico al índice recomendado o si se trata de un índice de cobertura óptimo. En ambas situaciones, no se proporcionará ninguna recomendación de índice.
-
- Índices recomendados:
- Índices:
Esta sesión enumera los índices recomendados en función de los predicados de la cláusula WHERE/ON, junto con la regla de recomendación correspondiente que sigue cada índice.
-
- Índices de cobertura:
Esta sesión enumera los índices de cobertura aplicables a la consulta de entrada.
Índices parciales
El modelo de datos de Couchbase es JSON con un esquema flexible, y un bucket puede ser heterogéneo con múltiples tipos de documentos en su interior. Normalmente, las entradas de datos incluyen un campo "tipo" para su categorización. Cuando una consulta incluye filtros sobre un tipo particular de documentos, se dará un índice parcial con el campo "tipo" en la cláusula WHERE. Esto puede ayudar a minimizar el tamaño del índice, acortar la ruta de acceso al índice y ejecutar la consulta de forma más eficiente.
En el ejemplo de consulta anterior, el índice recomendado es un índice parcial con "tipo = 'ruta'" añadido en la cláusula WHERE, que sólo creará un índice sobre los documentos de tipo "ruta":
|
1 |
CREAR ÍNDICE adv_id_type_name EN `viaje-muestra`(`id`,`nombre`) DONDE `tipo` = ruta |
Internamente, el asesor de índices utiliza las estadísticas "flavor" de la sentencia INFER para hacer coincidir los campos del predicado y añadirlos a la condición del índice parcial.
Para obtener más ideas, ejecutemos una consulta con ANSI JOIN sobre múltiples tipos de documentos en la que se aconsejará un índice parcial con el campo "tipo" como condición de índice para cada espacio clave:
Consulta 2:
|
1 2 3 4 5 6 7 8 9 10 |
CONSEJO SELECCIONE DISTINTO aerolínea.nombre, aeropuerto.nombre AS aeropuerto, ruta.distancia DESDE `viaje-muestra` aeropuerto INTERIOR ÚNASE A `viaje-muestra` ruta EN aeropuerto.faa = ruta.fuenteaeropuerto Y ruta.tipo = "ruta" INTERIOR ÚNASE A `viaje-muestra` aerolínea EN ruta.aerolínea = aerolínea.iata Y aerolínea.tipo = "aerolínea" DONDE aeropuerto.tipo = "aeropuerto" Y aeropuerto.ciudad = "San José"; |
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 |
[ { "#operator": "Aconsejar", "consejos": { "#operator": "IndexAdvice", "adviseinfo": [ { "índices_recomendados": { "índices_de_cobertura": [ { "declaración_índice": "CREATE INDEX adv_iata_type_name ON `travel-sample`(`iata`,`name`) WHERE `type` = 'airline'" }, { "declaración_índice": "CREATE INDEX adv_city_type_faa_name ON `travel-sample`(`city`,`faa`,`name`) WHERE `type` = 'airport'" }, { "declaración_índice": "CREATE INDEX adv_sourceairport_type_airline_distance ON `travel-sample`(`sourceairport`,`airline`,`distance`) WHERE `type` = 'route'" } ], "índices": [ { "declaración_índice": "CREATE INDEX adv_city_type ON `travel-sample`(`city`) WHERE `type` = 'airport'", "recomendando_regla": "Las claves de índice siguen el orden de los tipos de predicado: 2. igualdad, 10. sabor para índice parcial". }, { "declaración_índice": "CREATE INDEX adv_sourceairport_type ON `travel-sample`(`sourceairport`) WHERE `type` = 'route'", "recomendando_regla": "Las claves de índice siguen el orden de los tipos de predicado: 2. igualdad, 10. sabor para índice parcial". }, { "declaración_índice": "CREATE INDEX adv_iata_type ON `travel-sample`(`iata`) WHERE `type` = 'airline'", "recomendando_regla": "Las claves de índice siguen el orden de los tipos de predicado: 2. igualdad, 10. sabor para índice parcial". } ] } } ] }, "consulta": "SELECT DISTINCT airline.name, airport.name AS airport, route.distance FROM `travel-sample` airport INNER JOIN `travel-sample` route ON airport.faa = route.sourceairport AND route.type = \"route\" INNER JOIN `travel-sample` airline ON route.airline = airline.iata AND airline.type = \"airline\" WHERE airport.type = \"airport\" AND airport.city = \"San Jose\";" } ] |
Índice de matriz para predicado de matriz
JSON es una estructura jerárquica compuesta por campos escalares anidados, objetos y matrices. La clave de índice de array puede profundizar en el array anidado y referenciar claramente los elementos o los campos del objeto que se necesita indexar. El asesor de índices recomendará el índice del array recorriendo recursivamente los enlaces y expresiones en CUALQUIER predicado de rango.
Consulta 3:
|
1 2 3 4 5 |
CONSEJO SELECCIONE id DESDE `viaje-muestra` DONDE tipo = "ruta" Y CUALQUIER x EN horario, z EN horario SATISFACE (CUALQUIER y EN x.día, w EN z.vuelo SATISFACE [y, w] <[1, "AF547"] FIN) FIN; |
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 |
[ { "#operator": "Aconsejar", "consejos": { "#operator": "IndexAdvice", "adviseinfo": [ { "índices_recomendados": { "índices_de_cobertura": [ { "declaración_índice": "CREATE INDEX adv_DISTINCT_schedule_schedule_day_flight_type_id ON `travel-sample`(DISTINCT ARRAY (DISTINCT ARRAY [y, w] FOR y in x.day, w in z.flight END) FOR x in schedule, z in schedule END,`id`) WHERE `type` = 'route'" } ], "índices": [ { "declaración_índice": "CREATE INDEX adv_DISTINCT_schedule_schedule_day_flight_type ON `viaje-muestra`(DISTINCT ARRAY (DISTINCT ARRAY [y, w] FOR y in x.day, w in z.flight END) FOR x in schedule, z in schedule END) WHERE `type` = 'ruta'", "recomendando_regla": "Las claves del índice siguen el orden de los tipos de predicado: 6. predicado de matriz, 10. sabor para índice parcial". } ] } } ] }, "consulta": "SELECT id FROM `travel-sample` WHERE type = \"route\" AND ANY x IN schedule, z IN schedule SATISFIES (ANY y IN x.day, w IN z.flight SATISFIES [y, w] <[1, \"AF547\"] END) END;" } ] |
Dado que los usuarios tienen la flexibilidad de aplicar cualquier lógica y procesamiento adicional sobre los elementos y campos del objeto en el array para generar CUALQUIER Index advisor también se esforzará por dar soporte a aquellas funciones complejas, expresiones de array, condiciones booleanas, etc., tal y como se muestra en la siguiente consulta:
Consulta 4:
|
1 2 3 4 |
CONSEJO SELECCIONAR * DESDE productos AS c DONDE CUALQUIER p EN OBJECT_PAIRS(c.productIds) SATISFACE [p.nombre, ARRAY_COUNT(p.val) > 0, c.metadatos.configuraciones.[p.nombre].habilitado, ARRAY_CONTAINS(IFMISSINGORNULL(c.borradoPara, []),p.nombre)] = [\"US\", TRUE, FALSO, FALSO] FIN |
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 |
[ { "#operator": "Aconsejar", "consejos": { "#operator": "IndexAdvice", "adviseinfo": [ { "índices_recomendados": { "índices": [ { "declaración_índice": "CREATE INDEX adv_DISTINCT_object_pairs_productIds_name_array_count_val_metada4251025607 ON `products`(DISTINCT ARRAY [p.name, 0 < array_count((`p`.`val`)), metadata.configurations.[p.name].enabled, array_contains(ifmissingornull((`deletedFor`), []), (`p`.`name`))] FOR p in object_pairs((`productIds`)) END)", "recomendando_regla": "Las claves de índice siguen el orden de los tipos de predicado: 6. predicado de matriz". } ] } } ] }, "consulta": "SELECT * FROM products AS c WHERE ANY p IN OBJECT_PAIRS(c.productIds) SATISFIES [p.name, ARRAY_COUNT(p.val) > 0, c.metadata.configurations.[p.name].enabled, ARRAY_CONTAINS(IFMISSINGORNULL(c.deletedFor, []),p.name)] = [\"US\", TRUE, FALSE, FALSE] END;" } ] |
Índice de matriz para la operación UNNEST
UNNEST se utiliza para realizar una operación de unión del array anidado con su objeto padre. Cuando el predicado de esta operación se aplica a los elementos individuales del array anidado, un índice de array ayudará a optimizar la ejecución de la consulta.
El optimizador de consultas N1QL soporta el escaneo sin anidar y el escaneo de cobertura sin anidar cuando hay una clave de array principal apropiada con TODOS los elementos del array indexados en la definición del índice. El asesor de índices sigue esta regla para recoger las expresiones no anidadas y generar el índice del array de forma inversa para su recomendación. Veamos el siguiente ejemplo:
Consulta 5:
|
1 2 3 4 5 6 |
CONSEJO SELECCIONE CONTAR(*) DESDE `viaje-muestra` t UNNEST horario AS x UNNEST x.vuelos_especiales AS y DONDE y.vuelo IS NO NULL Y t.tipo = "ruta" |
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 |
[ { "#operator": "Aconsejar", "consejos": { "#operator": "IndexAdvice", "adviseinfo": [ { "índices_recomendados": { "índices_de_cobertura": [ { "declaración_índice": "CREATE INDEX adv_ALL_schedule_special_flights_flight_type ON `travel-sample`(ALL ARRAY (ALL ARRAY y.flight FOR y IN x.special_flights END) FOR x IN schedule END,`type`)" } ], "índices": [ { "declaración_índice": "CREATE INDEX adv_ALL_schedule_special_flights_flight_type ON `travel-sample`(ALL ARRAY (ALL ARRAY y.flight FOR y IN x.special_flights END) FOR x IN schedule END,`type`)", "recomendando_regla": "Las claves de índice siguen el orden de los tipos de predicado: 1. índice de matriz principal para no anidado, 2. igualdad". } ] } } ] }, "consulta": "SELECT COUNT(*)\nFROM `travel-sample` t\nUNNNEST schedule AS x\nUNNEST x.special_flights AS y\nWHERE y.flight IS NOT NULL\n AND t.type = \"route\"" } ] |
Índices de cobertura
Los índices de cobertura pueden proporcionar todos los datos necesarios para una consulta concreta y evitar la sobrecarga que supone obtener documentos del servicio de datos. El asesor de índices recomendará este índice de cobertura eficiente para la consulta de entrada, si procede, en los pasos siguientes:
-
- En primer lugar, recopile las claves de índice de todos los predicados de la cláusula WHERE/ON.
- A continuación, añada las expresiones de proyección y GROUP BY/ORDER BY restantes a la definición del índice y genere un candidato a índice de cobertura provisional.
- Por último, pero no por ello menos importante, compruebe si las expresiones de índice pueden proporcionar todos los datos necesarios para cubrir la consulta utilizando el mismo enfoque que para el optimizador de consultas.
Los ejemplos de consulta anteriores han mostrado que los índices de cobertura y los índices de matriz de cobertura se proporcionan para la consulta de espacio de clave única, la operación JOIN, las expresiones ANY y los predicados UNNEST.
Convención de nomenclatura de índices
En el asesor de índices, el nombre del índice está diseñado para cumplir tres requisitos:
-
- Refleje la construcción del índice conectando todas las claves del índice con guión bajo.
- Se diferencia de los índices definidos por el usuario añadiendo el prefijo "adv-".
- Longitud razonable truncando y sustituyendo por código hash.
A continuación se enumeran los formatos para el índice normal y el índice de matriz:
- adv_field1_field2_field3...
- adv_[DISTINTO/ALL]_nivel1_nivel2_nivel3...
Los nombres duplicados no están soportados en la indexación de Couchbase, y el asesor de índices no garantiza la unicidad del nombre del índice en la recomendación. Los usuarios necesitan cambiar el nombre del índice al encontrar este error.
Resumen
El asesor de índices (sentencia ADVISE) proporciona recomendaciones de índices para una única consulta. Aconseja el índice regular, el índice parcial, el índice de matriz y el índice de cobertura, y proporciona información sobre la regla de recomendación correspondiente que sigue cada clave de índice. Además, evalúa los índices utilizados actualmente en una consulta y evita hacer recomendaciones innecesarias.
Lanzado como función DP, el asesor de índices se encuentra aún en su fase inicial. Su funcionalidad y facilidad de uso se seguirán mejorando para satisfacer mejor las necesidades de los clientes y contribuir a la optimización de las consultas.
Recursos
- Descargar: Descargar Couchbase Server 6.5
- Documentación: Novedades de Couchbase Server 6.5
- Todos los blogs de 6.5
Nos encantaría que nos dijera qué le han parecido las funciones de la versión 6.5 y en qué beneficiarán a su empresa en el futuro. Por favor, comparta su opinión a través de los comentarios o en el foro.
