Os aplicativos corporativos t\u00eam a mesma necessidade, embora com crit\u00e9rios mais complexos de pesquisa, busca, classifica\u00e7\u00e3o e pagina\u00e7\u00e3o.<\/span><\/p>\n Vamos dar uma olhada no comportamento de pagina\u00e7\u00e3o do Google para entender os recursos b\u00e1sicos de pagina\u00e7\u00e3o. Em seguida, discutiremos a implementa\u00e7\u00e3o da pagina\u00e7\u00e3o em um aplicativo corporativo, passo a passo.<\/span><\/p>\n Pesquise no Google por \"N1QL\".<\/span><\/p>\n A tarefa da pagina\u00e7\u00e3o \u00e9 recuperar e mostrar\u00a0<\/span>subconjunto do conjunto de resultados. <\/b>\u00a0O subconjunto \u00e9 determinado pela especifica\u00e7\u00e3o de pagina\u00e7\u00e3o (quantas linhas por p\u00e1gina) e pela ordem de classifica\u00e7\u00e3o da consulta emitida pelo aplicativo. Em pagina\u00e7\u00e3o do banco de dados<\/a>Quando o banco de dados \u00e9 usado, o aplicativo tenta explorar as caracter\u00edsticas e otimiza\u00e7\u00f5es fornecidas pelo gerenciamento do banco de dados.<\/span><\/p>\n Vamos dar uma olhada em cada um dos recursos de pagina\u00e7\u00e3o que vimos no Google e explorar como voc\u00ea pode implementar e otimizar as consultas no Couchbase.<\/span><\/p>\n Nas se\u00e7\u00f5es a seguir, vamos nos concentrar na pagina\u00e7\u00e3o do banco de dados usando o Couchbase. \u00a0\u00a0<\/span><\/p>\n N\u00e3o abordaremos a sele\u00e7\u00e3o de an\u00fancios do Google nem as sugest\u00f5es de pesquisas relacionadas. Esses s\u00e3o t\u00f3picos distintos por si mesmos.<\/span><\/p>\n Observe que este artigo usa novos recursos como agrupamento de \u00edndices (especifica\u00e7\u00e3o ASC e DESC para cada chave de \u00edndice), pushdown de deslocamento e outras otimiza\u00e7\u00f5es no Couchbase 5.0.<\/span><\/p>\n O Google retornou o seguinte:<\/span><\/p>\n Cerca de 130.000 resultados (0,49 segundos)<\/strong><\/p>\n COUNT:<\/strong> N\u00famero estimado de p\u00e1ginas 130.000<\/span><\/p>\n TEMPO:<\/strong> Tempo que levou para fazer a pesquisa. Nesse caso, 0,49 segundos<\/span><\/p>\n Na pagina\u00e7\u00e3o do banco de dados, ambos podem ser \u00fateis.<\/span><\/p>\n COUNT \u00e9 \u00fatil para determinar o n\u00famero de links seguintes e anteriores que voc\u00ea precisa gerar ao renderizar os resultados na interface do usu\u00e1rio. Sua consulta de pagina\u00e7\u00e3o em si pode n\u00e3o retornar o n\u00famero total de resultados porque o otimizador tentar\u00e1 usar os \u00edndices e outras t\u00e9cnicas para limitar o n\u00famero de processos de documentos. Isso impedir\u00e1 que a consulta saiba o n\u00famero total poss\u00edvel de documentos no conjunto de resultados.<\/span><\/p>\n Se a consulta tiver ORDER BY, ela poder\u00e1 sortCount em alguns casos. Isso informa o n\u00famero total de documentos que classificamos, mesmo que retornemos apenas um documento. \u00a0<\/span><\/p>\n Quando a consulta explora a ordena\u00e7\u00e3o de \u00edndices para evitar que a classifica\u00e7\u00e3o avalie uma cl\u00e1usula ORDER BY, o sortCount n\u00e3o est\u00e1 dispon\u00edvel.<\/span><\/p>\n Essa consulta abaixo explora o \u00edndice no campo faa para obter os dados em ordem ordenada e empurra a cl\u00e1usula de pagina\u00e7\u00e3o (OFFSET 50 LIMIT 10) para a varredura do \u00edndice. Portanto, sortCount est\u00e1 faltando no conjunto de resultados.<\/span><\/p>\n Nesses casos, voc\u00ea pode usar uma varredura de \u00edndice de cobertura e simplesmente obter o COUNT() de documentos qualificados. O m\u00e9todo IndexCountScan2 (ou IndexCountScan anterior \u00e0 vers\u00e3o 5.0) simplesmente faz a varredura do \u00edndice e conta o n\u00famero de documentos qualificados, evitando toda a transfer\u00eancia de dados do indexador para o mecanismo de consulta.<\/span><\/p>\n Aqui est\u00e1 o plano de consulta para essa consulta para obter COUNT.<\/p>\n Cada resultado de consulta tem as m\u00e9tricas b\u00e1sicas sobre a execu\u00e7\u00e3o da consulta.<\/span><\/p>\n <\/p>\n tempo decorrido<\/b> \u00e9 a dura\u00e7\u00e3o do tempo de rel\u00f3gio que o servidor gastou ap\u00f3s receber a consulta. Isso inclui qualquer tempo de espera. <\/span>tempo de execu\u00e7\u00e3o<\/b> \u00e9 estritamente o tempo gasto na execu\u00e7\u00e3o da consulta. resultCount \u00e9 o n\u00famero de documentos retornados. resultSize \u00e9 o n\u00famero de bytes no conjunto de resultados. sortCount \u00e9 o n\u00famero de documentos classificados antes da pagina\u00e7\u00e3o.<\/span><\/p>\n Se a consulta n\u00e3o incluir OFFSET ou LIMIT, resultCount ser\u00e1 o n\u00famero total de documentos no conjunto de resultados. Quando precisarmos classificar os dados intermedi\u00e1rios, como mencionado anteriormente, sortCount estar\u00e1 ausente se n\u00e3o houver nenhuma classifica\u00e7\u00e3o realizada para avaliar o ORDER BY.<\/span><\/p>\n Vamos nos concentrar primeiro na primeira p\u00e1gina.<\/span><\/p>\n A consulta usando esse \u00edndice \u00e9 executada em cerca de 30 milissegundos.<\/span><\/p>\n Esse \u00edndice tem os tr\u00eas predicados no \u00edndice. Embora o \u00edndice fa\u00e7a toda a filtragem, a consulta ainda precisa obter o conjunto completo de resultados, classific\u00e1-los e, em seguida, projetar apenas a primeira p\u00e1gina. No meu computador, isso \u00e9 executado em 30 milissegundos. Gostaria de reduzir ainda mais esse tempo para que possamos executar v\u00e1rias consultas simultaneamente.<\/span><\/p>\n Execute a consulta novamente.<\/p>\n Para essa consulta e esse \u00edndice, a explica\u00e7\u00e3o mostrar\u00e1 que o LIMIT 20 foi transferido para a varredura do \u00edndice.<\/span><\/p>\n Essa consulta \u00e9 executada em menos de 10 milissegundos, evitando a busca e a classifica\u00e7\u00e3o completas. A maneira mais r\u00e1pida de classificar \u00e9 evitar a pr\u00f3pria classifica\u00e7\u00e3o.<\/span><\/p>\n <\/p>\n <\/p>\n Quando a primeira p\u00e1gina \u00e9 renderizada, o Google tamb\u00e9m fornece um link para a pr\u00f3xima p\u00e1gina e outras 10 p\u00e1ginas subsequentes. Como discutimos na se\u00e7\u00e3o 1, a contagem total de resultados potenciais pode ser obtida de v\u00e1rias maneiras. Quando voc\u00ea tiver a contagem, basta criar os links com os respectivos OFFSETs necess\u00e1rios para cada p\u00e1gina. Para obter a pr\u00f3xima p\u00e1gina, basta definir o OFFSET como 20. Para obter cada p\u00e1gina subsequente ou qualquer p\u00e1gina aleat\u00f3ria, basta calcular o OFFSET com (page# * o n\u00famero de documentos em uma p\u00e1gina). Obviamente, esse OFFSET deve ser menor que o n\u00famero total de documentos em potencial no conjunto de resultados. Discutimos como obter essa contagem total na se\u00e7\u00e3o 1. <\/span><\/p>\n Exemplo: <\/span><\/p>\n Primeira p\u00e1gina: \u00a0<\/span> DESLOCAMENTO 0 LIMITE 20;<\/span><\/p>\n Segunda p\u00e1gina: <\/span> DESLOCAMENTO 20 LIMITE 20;<\/span><\/p>\n Oito p\u00e1ginas: <\/span> OFFSET 160 LIMITE 20;<\/span><\/p>\n Na se\u00e7\u00e3o anterior, discutimos a cria\u00e7\u00e3o dos links com os par\u00e2metros de pagina\u00e7\u00e3o corretos. Depois de ter a primeira consulta, calcule os OFFSETs para as p\u00e1ginas subsequentes e voc\u00ea ter\u00e1 tudo o que precisa para emitir consultas para todas as consultas subsequentes.<\/span><\/p>\n Recupere a segunda p\u00e1gina por meio da seguinte consulta:<\/span><\/p>\n Voc\u00ea simplesmente obt\u00e9m cada p\u00e1gina subsequente (ou uma p\u00e1gina aleat\u00f3ria) alterando o OFFSET.<\/span><\/p>\n A partir do Couchbase 5.0, quando o \u00edndice pode avaliar o predicado completo e a cl\u00e1usula ORDER BY, tanto o OFFSET quanto o LIMIT s\u00e3o empurrados para a varredura do \u00edndice. Isso tornar\u00e1 a varredura do \u00edndice eficiente, retornando apenas o n\u00famero LIMITADO de linhas depois de ignorar as linhas qualificadas, conforme especificado pelo OFFSET.<\/span><\/p>\n Voc\u00ea dever\u00e1 ver um plano de consulta como o abaixo:<\/span><\/p>\n Mesmo quando voc\u00ea precisa criar um \u00edndice ideal (como nesta consulta), o \u00edndice ainda precisa percorrer entradas qualificadas de OFFSET 0 a OFFSET NN para identificar as entradas de \u00edndice a serem retornadas. Quando o valor de deslocamento \u00e9 grande, isso pode ser caro. Quando a consulta n\u00e3o tem um \u00edndice apropriado, o processamento de deslocamento \u00e9 ainda mais caro.<\/span><\/p>\n Embora tenhamos otimizado o processamento de consultas N1QL e as varreduras de \u00edndices para otimiza\u00e7\u00f5es, voc\u00ea ainda pode otimizar essas consultas ainda mais quando seus casos de uso forem principalmente \"buscar pr\u00f3ximo\". Esse \u00e9 um cen\u00e1rio comum e importante. Marks Winand e Lukas Eder discutiram o m\u00e9todo de pagina\u00e7\u00e3o de conjunto de chaves, que melhora ainda mais o desempenho. Seus artigos est\u00e3o na se\u00e7\u00e3o de refer\u00eancia. <\/span><\/p>\n No pr\u00f3ximo artigo, discutirei a implementa\u00e7\u00e3o da pagina\u00e7\u00e3o do conjunto de chaves no Couchbase N1QL. \u00a0<\/span><\/p>\n <\/p>\n <\/p>","protected":false},"excerpt":{"rendered":" Background: How does Google do it? When you google something or anything, it gives you back top relevant results, tells you an approximate number of documents for your topic — all under a second. \u00a0\u00a0Here are some high-level pointers: https:\/\/www.google.com\/search\/howsearchworks\/algorithms\/ […]<\/p>","protected":false},"author":55,"featured_media":4173,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"inline_featured_image":false,"footnotes":""},"categories":[1814,9417,1812],"tags":[1998,1572,1505,1261,1725,2081],"ppma_author":[8929],"class_list":["post-4170","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-application-design","category-performance","category-n1ql-query","tag-application","tag-database","tag-index","tag-json","tag-nosql-database","tag-pagination"],"acf":[],"yoast_head":"\nPagina\u00e7\u00e3o do Google:<\/b><\/h5>\n
![\"\"](\"https:\/\/www.couchbase.com\/blog\/wp-content\/uploads\/2017\/11\/Screen-Shot-2017-11-02-at-8.54.57-PM-300x206.png\")
<\/p>\n![\"\"](\"https:\/\/www.couchbase.com\/blog\/wp-content\/uploads\/2017\/11\/Screen-Shot-2017-11-02-at-8.59.24-PM-300x145.png\")
<\/p>\nA p\u00e1gina que voc\u00ea recebe de volta, o resultado da pesquisa, tem as seguintes informa\u00e7\u00f5es.<\/h5>\n
\n
Pagina\u00e7\u00e3o do banco de dados<\/b><\/h5>\n
\n
Se\u00e7\u00e3o 1. Contagem dos resultados totais<\/span><\/h5>\n
cbq> select * from `travel-sample` where faa > \"4AB\" ORDER BY airportname OFFSET 1 LIMIT 1;\r\n{\r\n \"requestID\": \"709fe2fb-d124-4b0c-b2b4-1c235d3c6f12\",\r\n \"signature\": {\r\n \"*\": \"*\"\r\n },\r\n \"results\": [\r\n {\r\n \"travel-sample\": {\r\n \"airportname\": \"Abilene Rgnl\",\r\n \"city\": \"Abilene\",\r\n \"country\": \"United States\",\r\n \"faa\": \"ABI\",\r\n \"geo\": {\r\n \"alt\": 1791,\r\n \"lat\": 32.411319,\r\n \"lon\": -99.681897\r\n },\r\n \"icao\": \"KABI\",\r\n \"id\": 3718,\r\n \"type\": \"airport\",\r\n \"tz\": \"America\/Chicago\"\r\n }\r\n }\r\n ],\r\n \"status\": \"success\",\r\n \"metrics\": {\r\n \"elapsedTime\": \"40.111996ms\",\r\n \"executionTime\": \"40.087977ms\",\r\n \"resultCount\": 1,\r\n \"resultSize\": 500,\r\n \"sortCount\": 1659\r\n }\r\n}\r\n\r\n<\/pre>\ncbq> select * from `travel-sample` where faa > \"4AB\" ORDER BY faa OFFSET 50 LIMIT 10;\r\n{\r\n \"requestID\": \"5bc38dd1-7285-41a5-80e3-0f1da23df178\",\r\n \"signature\": {\r\n \"*\": \"*\"\r\n },\r\n \"results\": [\r\n {\r\n \"travel-sample\": {\r\n \"airportname\": \"Andrews Afb\",\r\n \"city\": \"Camp Springs\",\r\n \"country\": \"United States\",\r\n \"faa\": \"ADW\",\r\n \"geo\": {\r\n \"alt\": 280,\r\n \"lat\": 38.810806,\r\n \"lon\": -76.867028\r\n },\r\n \"icao\": \"KADW\",\r\n \"id\": 3552,\r\n \"type\": \"airport\",\r\n \"tz\": \"America\/New_York\"\r\n }\r\n },\r\n...\r\n \"status\": \"success\",\r\n \"metrics\": {\r\n \"elapsedTime\": \"4.167044ms\",\r\n \"executionTime\": \"4.143152ms\",\r\n \"resultCount\": 10,\r\n \"resultSize\": 5033\r\n }\r\n}\r\n<\/pre>\ncbq> SELECT COUNT(faa) FROM `travel-sample` where faa > \"4AB\";\r\n{\r\n \"requestID\": \"78a3aeae-4dd1-468c-a01c-38610fd87cf4\",\r\n \"signature\": {\r\n \"$1\": \"number\"\r\n },\r\n \"results\": [\r\n {\r\n \"$1\": 1659\r\n }\r\n ],\r\n \"status\": \"success\",\r\n \"metrics\": {\r\n \"elapsedTime\": \"2.945555ms\",\r\n \"executionTime\": \"2.920307ms\",\r\n \"resultCount\": 1,\r\n \"resultSize\": 34\r\n }\r\n}\r\n<\/pre>\ncbq> EXPLAIN SELECT COUNT(faa) FROM `travel-sample` where faa > \"4AB\";\r\n\r\n {\r\n \"#operator\": \"IndexCountScan2\",\r\n \"covers\": [\r\n \"cover ((`travel-sample`.`faa`))\",\r\n \"cover ((meta(`travel-sample`).`id`))\"\r\n ],\r\n \"index\": \"def_faa\",\r\n \"index_id\": \"460bd5dad1c6c95d\",\r\n \"keyspace\": \"travel-sample\",\r\n \"namespace\": \"default\",\r\n \"spans\": [\r\n {\r\n \"exact\": true,\r\n \"range\": [\r\n {\r\n \"inclusion\": 0,\r\n \"low\": \"\\\"4AB\\\"\"\r\n }\r\n ]\r\n }\r\n<\/pre>\nSe\u00e7\u00e3o 2. Prazos e outras m\u00e9tricas<\/span><\/h5>\n
\"metrics\": {\r\n \"elapsedTime\": \"40.111996ms\",\r\n \"executionTime\": \"40.087977ms\",\r\n \"resultCount\": 1,\r\n \"resultSize\": 500,\r\n \"sortCount\": 1659\r\n }\r\n<\/pre>\nSe\u00e7\u00e3o 3. Primeira p\u00e1gina do conjunto de resultados <\/b><\/h5>\n
SELECT *\r\nFROM `travel-sample` t\r\nWHERE type = \u201chotel\u201d\r\nAND country = \u201cUnited Kingdom\u201d\r\nAND ARRAY_LENGTH(public_likes) > 3\r\nORDER BY ARRAY_LENGTH(public_likes), ratings DESC\r\nOFFSET 0\r\nLIMIT 20;\r\n\r\n\r\nCREATE INDEX idx_hotel_ctry_likes ON \r\n`travel-sample`(country, ARRAY_LENGTH(public_likes))\r\nWHERE type = \u201chotel\u201d\r\n<\/pre>\n
\"status\": \"success\",\r\n \"metrics\": {\r\n \"elapsedTime\": \"30.125957ms\",\r\n \"executionTime\": \"30.110732ms\",\r\n \"resultCount\": 20,\r\n \"resultSize\": 181449,\r\n \"sortCount\": 238\r\n }\r\n}\r\n<\/pre>\nDROP INDEX `travel-sample`.idx_hotel_ctry_likes;\r\nCREATE INDEX idx_hotel_ctry_likes_ratings ON `travel-sample` \r\n (country, ARRAY_LENGTH(public_likes), ratings DESC)\r\n WHERE type = \u201chotel\u201d\r\n<\/pre>\n
\"status\": \"success\",\r\n \"metrics\": {\r\n \"elapsedTime\": \"9.449025ms\",\r\n \"executionTime\": \"9.432752ms\",\r\n \"resultCount\": 20,\r\n \"resultSize\": 181449\r\n }\r\n<\/pre>\n {\r\n \"#operator\": \"IndexScan2\",\r\n \"index\": \"idx_hotel_ctry_likes_ratings\",\r\n \"index_id\": \"f7de95817c4dc84b\",\r\n \"index_projection\": {\r\n \"primary_key\": true\r\n },\r\n \"keyspace\": \"travel-sample\",\r\n \"limit\": \"20\",\r\n \"namespace\": \"default\",\r\n \"spans\": [\r\n {\r\n \"exact\": true,\r\n \"range\": [\r\n {\r\n \"high\": \"\\\"United Kingdom\\\"\",\r\n \"inclusion\": 3,\r\n \"low\": \"\\\"United Kingdom\\\"\"\r\n },\r\n {\r\n \"inclusion\": 0,\r\n \"low\": \"3\"\r\n }\r\n ]\r\n }\r\n ],\r\n\r\n<\/pre>\nSe\u00e7\u00e3o 4: Criando os links para a pr\u00f3xima p\u00e1gina e para outras p\u00e1ginas<\/span><\/h5>\n
![\"\"](\"https:\/\/www.couchbase.com\/blog\/wp-content\/uploads\/2017\/11\/Screen-Shot-2017-11-02-at-10.29.15-PM-300x78.png\")
<\/p>\nSe\u00e7\u00e3o 5: Buscando a pr\u00f3xima p\u00e1gina ou qualquer outra p\u00e1gina.<\/span><\/h5>\n
SELECT *\r\nFROM `travel-sample` t\r\nWHERE type = \u2018hotel\u2019\r\nAND country = \u2018United Kingdom\u2019\r\nAND ARRAY_LENGTH(public_likes) > 3\r\nORDER BY ARRAY_LENGTH(public_likes), ratings DESC\r\nOFFSET 20\r\nLIMIT 20;\r\n<\/pre>\n
{\r\n \"#operator\": \"IndexScan2\",\r\n \"index\": \"idx_hotel_ctry_likes_ratings\",\r\n \"index_id\": \"f7de95817c4dc84b\",\r\n \"index_projection\": {\r\n \"primary_key\": true\r\n },\r\n \"keyspace\": \"travel-sample\",\r\n \"limit\": \"20\",\r\n \"namespace\": \"default\",\r\n \"offset\": \"20\",\r\n \"spans\": [\r\n {\r\n \"exact\": true,\r\n \"range\": [\r\n {\r\n \"high\": \"\\\"United Kingdom\\\"\",\r\n \"inclusion\": 3,\r\n \"low\": \"\\\"United Kingdom\\\"\"\r\n },\r\n {\r\n \"inclusion\": 0,\r\n \"low\": \"3\"\r\n }\r\n ]\r\n }\r\n ],\r\n<\/pre>\nConclus\u00e3o<\/b><\/h5>\n
Refer\u00eancias:<\/b><\/h5>\n
\n