Visão geral
O consultor de índices foi introduzido no servidor Couchbase 6.5 como um recurso de visualização para desenvolvedores. Seu objetivo é fornecer recomendação de índice secundário para ajudar os DBAs e os desenvolvedores a otimizar o desempenho da consulta N1QL. Essa versão é baseada em regras, nas quais os candidatos a índices serão gerados de acordo com as regras de design especificadas em https://www.couchbase.com/blog/create-right-index-get-right-performance/:
1. Chave de índice de matriz principal para unnest
2. Predicados de igualdade
3. Predicados IN
4. Predicados não menor que/entre/não maior que
5. Menos que/maior que predicados
6. Predicados de matriz
7. Filtro de junção derivado como chave principal para o espaço-chave do lado esquerdo
8. predicados IS NOT NULL/MISSING/VALUED
9. Predicados funcionais
10. Condição de índice parcial
O consultor de índices foi projetado para funcionar de duas maneiras:
-
- Declaração N1QL para aconselhar índices para uma única consulta.
- Função de consultor para aconselhar sobre a carga de trabalho da consulta e apoiar o tratamento da sessão.
Este artigo se concentrará na primeira função e compartilhará alguns insights sobre como ela funciona internamente.
Detalhes da declaração ADVISE
Sintaxe da declaração N1QL:
ADVISE [INDEX ]
Ele é compatível com os tipos de consulta SELECT/DELETE/UPDATE/ANSI MERGE e fornece recomendações de índice para operações em um único espaço de chave, ANSI JOIN/NEST, INDEX JOIN/NEST, UNNEST e subconsulta na cláusula FROM.
As principais diretrizes que o Index Advisor segue são:
-
- Gerar candidatos a índices secundários com base em expressões de predicado indexável, projeção, GROUP BY/ORDER BY com a sintaxe correta.
- Classifique as chaves de índice seguindo as regras de acordo com a ordem de prioridade dos tipos de predicado com ajuste na chave de índice da matriz principal para UNNEST e filtro ISNOTNULL derivado para ANSI JOIN.
- Certifique-se de que o índice recomendado seja superior a todos os índices existentes/diferidos atuais e seja selecionado pelo otimizador de consultas baseado em regras atual na execução da consulta.
Primeiramente, vamos dar uma olhada no resultado de um exemplo simples:
Consulta 1:
|
1 |
CONSELHO SELECIONAR nome DE `viagens-amostra` ONDE id < 100 E tipo = "rota" |
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 |
[ { "#operator": "Aconselhar", "aconselhamento": { "#operator": "IndexAdvice", "adviseinfo": [ { "current_indexes": [ { "index_statement" (declaração de índice): "CREATE INDEX def_type ON `travel-sample`(`type`)" } ], "recommended_indexes" (índices recomendados): { "covering_indexes": [ { "index_statement" (declaração de índice): "CREATE INDEX adv_id_type_name ON `travel-sample`(`id`,`name`) WHERE `type` = 'route'" } ], "indexes" (índices): [ { "index_statement" (declaração de índice): "CREATE INDEX adv_id_type ON `travel-sample`(`id`) WHERE `type` = 'route'", "recommending_rule" (regra de recomendação): "As chaves de índice seguem a ordem dos tipos de predicado: 5. menor que/entre/maior que, 10. sabor para índice parcial." } ] } } ] }, "query" (consulta): "select name from `travel-sample` where id < 100 and type = \"route\";" } ] |
Há duas partes no resultado do aconselhamento:
- Índices atuais:
Essa sessão fornece as informações sobre os índices usados atualmente pelo otimizador de consultas para executar a consulta de entrada. Ela também incluirá informações sobre o status do índice se ele for idêntico ao índice recomendado ou se for um índice de cobertura ideal. Em ambas as situações, nenhuma recomendação de índice será fornecida.
-
- Índices recomendados:
- Índices:
Essa sessão lista os índices recomendados com base nos predicados da cláusula WHERE/ON, juntamente com a regra de recomendação correspondente que cada índice segue.
-
- Índices de cobertura:
Essa sessão lista os índices de cobertura que se aplicam à consulta de entrada.
Índices parciais
O modelo de dados do Couchbase é JSON com esquema flexível, e um bucket pode ser heterogêneo com vários tipos de documentos dentro dele. Normalmente, as entradas de dados incluem um campo "type" para categorização. Quando uma consulta inclui filtros em um tipo específico de documentos, será fornecido um índice parcial com o campo "type" na cláusula WHERE. Isso pode ajudar a minimizar o tamanho do índice, encurtar o caminho de acesso ao índice e executar a consulta com mais eficiência.
No exemplo de consulta acima, o índice recomendado é um índice parcial com "type = 'route'" adicionado na cláusula WHERE, que criará um índice somente nos documentos do tipo "route":
|
1 |
CRIAR ÍNDICE adv_id_type_name ON `viagens-amostra`(`id`,`nome`) ONDE `tipo` = "rota |
Internamente, o consultor de índice usa as estatísticas "flavor" da instrução INFER para corresponder aos campos no predicado e adicioná-los à condição de índice parcial.
Para ter mais ideias, vamos executar uma consulta com ANSI JOIN em vários tipos de documentos, na qual um índice parcial com o campo "type" (tipo) como condição de índice será recomendado para cada espaço-chave:
Consulta 2:
|
1 2 3 4 5 6 7 8 9 10 |
CONSELHO SELECIONAR DISTINTO companhia aérea.nome, aeroporto.nome AS aeroporto, rota.distância DE `viagens-amostra` aeroporto INNER JUNTAR `viagens-amostra` rota ON aeroporto.faa = rota.aeroporto de origem E rota.tipo = "route" (rota) INNER JUNTAR `viagens-amostra` companhia aérea ON rota.companhia aérea = companhia aérea.iata E companhia aérea.tipo = "companhia aérea" ONDE aeroporto.tipo = "aeroporto" E aeroporto.cidade = "San Jose"; |
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 |
[ { "#operator": "Aconselhar", "aconselhamento": { "#operator": "IndexAdvice", "adviseinfo": [ { "recommended_indexes" (índices recomendados): { "covering_indexes": [ { "index_statement" (declaração de índice): "CREATE INDEX adv_iata_type_name ON `travel-sample`(`iata`,`name`) WHERE `type` = 'airline'" }, { "index_statement" (declaração de índice): "CREATE INDEX adv_city_type_faa_name ON `travel-sample`(`city`,`faa`,`name`) WHERE `type` = 'airport'" }, { "index_statement" (declaração de índice): "CREATE INDEX adv_sourceairport_type_airline_distance ON `travel-sample`(`sourceairport`,`airline`,`distance`) WHERE `type` = 'route'" } ], "indexes" (índices): [ { "index_statement" (declaração de índice): "CREATE INDEX adv_city_type ON `travel-sample`(`city`) WHERE `type` = 'airport'", "recommending_rule" (regra de recomendação): "As chaves de índice seguem a ordem dos tipos de predicado: 2. igualdade, 10. sabor para índice parcial." }, { "index_statement" (declaração de índice): "CREATE INDEX adv_sourceairport_type ON `travel-sample`(`sourceairport`) WHERE `type` = 'route'", "recommending_rule" (regra de recomendação): "As chaves de índice seguem a ordem dos tipos de predicado: 2. igualdade, 10. sabor para índice parcial." }, { "index_statement" (declaração de índice): "CREATE INDEX adv_iata_type ON `travel-sample`(`iata`) WHERE `type` = 'airline'", "recommending_rule" (regra de recomendação): "As chaves de índice seguem a ordem dos tipos de predicado: 2. igualdade, 10. sabor para índice parcial." } ] } } ] }, "query" (consulta): "SELECT DISTINCT airline.name, airport.name AS airport, route.distance FROM `travel-sample` airport INNER JOIN `travel-sample` route ON airport.faa = route.sourceairport AND route.type = \"route\" INNER JOIN `travel-sample` airline ON route.airline = airline.iata AND airline.type = \"airline\" WHERE airport.type = \"airport\" AND airport.city = \"San Jose\";" } ] |
Índice de matriz para Predicado de matriz
O JSON é uma estrutura hierárquica composta de campos escalares aninhados, objetos e matrizes. A chave de índice de matriz pode se aprofundar na matriz aninhada e fazer referência clara aos elementos ou aos campos do objeto que precisa ser indexado. O Index advisor recomendará o índice da matriz percorrendo recursivamente as ligações e expressões em QUALQUER predicado de intervalo.
Consulta 3:
|
1 2 3 4 5 |
CONSELHO SELECIONAR id DE `viagens-amostra` ONDE tipo = "route" (rota) E QUALQUER x IN cronograma, z IN cronograma SATISFAÇÕES (QUALQUER y IN x.dia, w IN z.voo SATISFAÇÕES [y, w] <[1, "AF547"] FIM) FIM; |
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 |
[ { "#operator": "Aconselhar", "aconselhamento": { "#operator": "IndexAdvice", "adviseinfo": [ { "recommended_indexes" (índices recomendados): { "covering_indexes": [ { "index_statement" (declaração de índice): "CREATE INDEX adv_DISTINCT_schedule_schedule_day_flight_type_id ON `travel-sample`(DISTINCT ARRAY (DISTINCT ARRAY [y, w] FOR y in x.day, w in z.flight END) FOR x in schedule, z in schedule END,`id`) WHERE `type` = 'route'" } ], "indexes" (índices): [ { "index_statement" (declaração de índice): "CREATE INDEX adv_DISTINCT_schedule_schedule_day_flight_type ON `travel-sample`(DISTINCT ARRAY (DISTINCT ARRAY [y, w] FOR y in x.day, w in z.flight END) FOR x in schedule, z in schedule END) WHERE `type` = 'route'", "recommending_rule" (regra de recomendação): "As chaves de índice seguem a ordem dos tipos de predicado: 6. predicado de matriz, 10. sabor para índice parcial." } ] } } ] }, "query" (consulta): "SELECT id FROM `travel-sample` WHERE type = \"route\" AND ANY x IN schedule, z IN schedule SATISFIES (ANY y IN x.day, w IN z.flight SATISFIES [y, w] <[1, \"AF547\"] END) END;" } ] |
Como os usuários têm flexibilidade para aplicar qualquer lógica e processamento adicionais nos elementos e campos do objeto na matriz para gerar QUALQUER o Index advisor também se esforçará para oferecer suporte a essas funções complexas, expressões de matriz, condições booleanas etc., conforme mostrado na consulta abaixo:
Consulta 4:
|
1 2 3 4 |
CONSELHO SELECT * DE produtos AS c ONDE QUALQUER p IN OBJECT_PAIRS(c.productIds) SATISFAÇÕES [p.nome, ARRAY_COUNT(p.val) > 0, c.metadados.configurações.[p.nome].habilitado, ARRAY_CONTAINS(SE ESTIVER FALTANDOORNULL(c.excluídoPara, []),p.nome)] = [\"EUA\", VERDADEIRO, FALSO, FALSO] FIM |
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 |
[ { "#operator": "Aconselhar", "aconselhamento": { "#operator": "IndexAdvice", "adviseinfo": [ { "recommended_indexes" (índices recomendados): { "indexes" (índices): [ { "index_statement" (declaração de índice): "CREATE INDEX adv_DISTINCT_object_pairs_productIds_name_array_count_val_metada4251025607 ON `products`(DISTINCT ARRAY [p.name, 0 < array_count((`p`.`val`)), metadata.configurations.[p.name].enabled, array_contains(ifmissingornull((`deletedFor`), []), (`p`.`name`))] FOR p in object_pairs((`productIds`)) END)", "recommending_rule" (regra de recomendação): "As chaves de índice seguem a ordem dos tipos de predicado: 6. predicado de matriz." } ] } } ] }, "query" (consulta): "SELECT * FROM products AS c WHERE ANY p IN OBJECT_PAIRS(c.productIds) SATISFIES [p.name, ARRAY_COUNT(p.val) > 0, c.metadata.configurations.[p.name].enabled, ARRAY_CONTAINS(IFMISSINGORNULL(c.deletedFor, []),p.name)] = [\"US\", TRUE, FALSE, FALSE] END;" } ] |
Índice da matriz para a operação UNNEST
UNNEST é usado para executar uma operação de união da matriz aninhada com seu objeto pai. Quando o predicado dessa operação se aplica aos elementos individuais da matriz aninhada, um índice de matriz ajudará a otimizar a execução da consulta.
O otimizador de consultas N1QL oferece suporte à varredura sem aninhamento e à varredura de cobertura sem aninhamento quando há uma chave de matriz principal apropriada com TODOS os elementos da matriz indexados na definição do índice. O consultor de índices segue essa regra para coletar expressões unnest e gerar o índice de matriz de forma inversa para recomendação. Vamos dar uma olhada no exemplo abaixo:
Consulta 5:
|
1 2 3 4 5 6 |
CONSELHO SELECIONAR CONTAGEM(*) DE `viagens-amostra` t INÚTIL cronograma AS x INÚTIL x.voos_especiais AS y ONDE y.voo IS NÃO NULL E t.tipo = "route" (rota) |
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 |
[ { "#operator": "Aconselhar", "aconselhamento": { "#operator": "IndexAdvice", "adviseinfo": [ { "recommended_indexes" (índices recomendados): { "covering_indexes": [ { "index_statement" (declaração de índice): "CREATE INDEX adv_ALL_schedule_special_flights_flight_type ON `travel-sample`(ALL ARRAY (ALL ARRAY y.flight FOR y IN x.special_flights END) FOR x IN schedule END,`type`)" } ], "indexes" (índices): [ { "index_statement" (declaração de índice): "CREATE INDEX adv_ALL_schedule_special_flights_flight_type ON `travel-sample`(ALL ARRAY (ALL ARRAY y.flight FOR y IN x.special_flights END) FOR x IN schedule END,`type`)", "recommending_rule" (regra de recomendação): "As chaves de índice seguem a ordem dos tipos de predicado: 1. índice de matriz principal para unnest, 2. igualdade." } ] } } ] }, "query" (consulta): "SELECT COUNT(*)\nFROM `travel-sample` t\nUNNEST schedule AS x\nUNNEST x.special_flights AS y\nWHERE y.flight IS NOT NULL\n AND t.type = \"route\"" } ] |
Índices de cobertura
Os índices de cobertura podem fornecer todos os dados necessários para uma determinada consulta e evitar a sobrecarga na busca de documentos do serviço de dados. O consultor de índices aconselhará esse índice de cobertura eficiente para a consulta de entrada, se aplicável, nas etapas a seguir:
-
- Primeiro, colete as chaves de índice de todos os predicados na cláusula WHERE/ON.
- Em seguida, anexe as expressões de projeção e GROUP BY/ORDER BY restantes à definição do índice e gere um candidato a índice de cobertura provisório.
- Por último, mas não menos importante, verifique se as expressões de índice podem fornecer todos os dados necessários para cobrir a consulta usando a mesma abordagem do otimizador de consultas.
Os exemplos de consulta anteriores mostraram que os índices de cobertura e os índices de matriz de cobertura são fornecidos para consulta de espaço de chave único, operação JOIN, expressões ANY e predicados UNNEST.
Convenção de nomenclatura de índices
No consultor de índices, o nome do índice é projetado para atender a três requisitos:
-
- Reflita a construção do índice conectando todas as chaves de índice com sublinhado.
- Diferencie os índices definidos pelo usuário adicionando o prefixo "adv-".
- Comprimento razoável, truncando e substituindo por código hash.
Os formatos para índice regular e índice de matriz estão listados abaixo:
- adv_field1_field2_field3...
- adv_[DISTINCT/ALL]_level1_level2_level3...
Nomes duplicados não são suportados na indexação do Couchbase, e o consultor de índices não garante a exclusividade do nome do índice na recomendação. Os usuários precisam alterar o nome do índice ao encontrar esse erro.
Resumo
O consultor de índices (instrução ADVISE) fornece recomendações de índices para uma única consulta. Ele aconselha o índice regular, o índice parcial, o índice de matriz e o índice de cobertura e fornece informações sobre a regra de recomendação correspondente que cada chave de índice segue. Além disso, ele avalia os índices usados atualmente por uma consulta e evita recomendações desnecessárias.
Lançado como um recurso de DP, o index advisor ainda está em seus estágios iniciais. A funcionalidade e a usabilidade serão aprimoradas para atender melhor às necessidades dos clientes e contribuir para a otimização das consultas.
Recursos
- Baixar: Faça o download do Couchbase Server 6.5
- Documentação: Couchbase Server 6.5 O que há de novo
- Todos os blogs 6.5
Gostaríamos muito de saber se você gostou dos recursos da versão 6.5 e como ela beneficiará sua empresa no futuro. Compartilhe seu feedback por meio dos comentários ou na seção fórum.
