Consultas LIKE de correspond\u00eancia de padr\u00f5es eficientes com SUFFIXES()<\/h2>\n
A correspond\u00eancia de padr\u00f5es \u00e9 uma funcionalidade amplamente usada em consultas SQL e, normalmente, \u00e9 obtida com o uso do operador LIKE. Em especial, a correspond\u00eancia curinga eficiente \u00e9 muito importante. LIKE 'foo%' pode ser implementado de forma eficiente com um \u00edndice padr\u00e3o, mas n\u00e3o LIKE '%foo%'. Essa correspond\u00eancia de padr\u00f5es com curinga principal \u00e9 vital para todos os aplicativos que t\u00eam uma caixa de pesquisa para corresponder a palavras parciais ou para sugerir texto correspondente de forma inteligente. Por exemplo,<\/p>\n
- \n
- Um site de reservas de viagens que deseja exibir aeroportos correspondentes quando o usu\u00e1rio come\u00e7a a digitar algumas letras do nome do aeroporto.<\/li>\n
- Um usu\u00e1rio que encontra todos os e-mails com uma palavra espec\u00edfica ou uma palavra parcial no assunto.<\/li>\n
- Encontrar todos os t\u00f3picos de um f\u00f3rum ou postagens de blog com palavras-chave espec\u00edficas no t\u00edtulo.<\/li>\n<\/ul>\n
No Couchbase Server 4.5.1, o N1QL resolve esse problema adicionando uma nova fun\u00e7\u00e3o de string SUFFIXES() e combinando-a com a funcionalidade de indexa\u00e7\u00e3o de matriz introduzida no Couchbase Server 4.5. Juntas, elas trazem uma grande diferen\u00e7a no desempenho das consultas LIKE com curingas principais, como LIKE \"%foo%\". A funcionalidade principal de SUFFIXES() \u00e9 muito simples, basicamente ela produz uma matriz de todas as poss\u00edveis substrings de sufixo de uma determinada string. Por exemplo,<\/p>\n
SUFFIXES(\"N1QL\") = [ \"N1QL\", \"1QL\", \"QL\", \"L\" ]<\/code><\/pre>\nA imagem a seguir mostra uma t\u00e9cnica exclusiva para combinar
SUFFIXES()<\/code> com a indexa\u00e7\u00e3o de matriz para aumentar magicamente oGOSTO<\/code> desempenho da consulta.<\/p>\n![\"\"](\"https:\/\/www.couchbase.com\/blog\/wp-content\/uploads\/2016\/10\/suffixes1.png\")
<\/p>\n- \n
- A etapa 1 (em azul) mostra a matriz de substrings de sufixo gerada por
SUFFIXES()<\/code> paradoc1.title<\/code><\/li>\n- A etapa 2 (em amarelo) mostra o \u00edndice de matriz criado com as substrings de sufixo geradas na etapa 1. Observe que a entrada de \u00edndice para
\"madeira\"<\/code> aponta paradoc1<\/code> edoc4<\/code>pois essa \u00e9 uma das substrings de sufixo dos t\u00edtulos de ambos os documentos. Da mesma forma,\"ood\"<\/code> aponta paradoc1<\/code>,doc4<\/code>edoc8<\/code>.<\/li>\n- A etapa 3 (em verde) executa uma consulta equivalente a
SELECT title FROM bucket WHERE title LIKE \"%wood%\"<\/code>. O predicado LIKE \u00e9 transformado para usar o \u00edndice de matriz usando a constru\u00e7\u00e3o ANY. Consulte a documenta\u00e7\u00e3o para obter mais detalhes sobre como usar a indexa\u00e7\u00e3o de matriz.\n- \n
- Observe que o curinga inicial \u00e9 removido no novo
LIKE \"wood%\"<\/code> predicado.<\/li>\n- Essa \u00e9 uma transforma\u00e7\u00e3o precisa, porque a pesquisa de \u00edndice de matriz para
\"madeira\"<\/code> aponta para todos os documentos cujo t\u00edtulo tenha a subcadeia final\"madeira\"<\/code><\/li>\n<\/ul>\n<\/li>\n- Na Etapa 4, o N1QL procura no Array Index para encontrar todos os documentos que correspondam a
\"wood%\"<\/code>. Isso retorna{doc1, doc3, doc4}<\/code>porque\n- \n
- a pesquisa de \u00edndice produz uma extens\u00e3o, que obt\u00e9m documentos de
\"madeira\"<\/code> para\"wooe\"<\/code><\/li>\ndoc1<\/code> edoc4<\/code> s\u00e3o combinados por causa da entrada de \u00edndice \"wood\" gerada por SUFFIXES() ao criar o \u00edndice da matriz.<\/li>\ndoc3<\/code> \u00e9 correspondido por causa de sua entrada de \u00edndice correspondente para\"woodland\" (floresta)<\/code><\/li>\n<\/ul>\n<\/li>\n- Por fim, na etapa 5, o N1QL retorna os resultados da consulta.<\/li>\n<\/ol>\n
Vamos ver um exemplo de trabalho com o
amostra de viagem<\/code> documentos, o que mostrou um aumento de 12x no desempenho da consulta.<\/p>\n- \n
- Suponha um documento com um campo de string cujo valor seja algumas palavras de texto ou uma frase. Por exemplo, o t\u00edtulo de um ponto de refer\u00eancia, o endere\u00e7o de um local, o nome de um restaurante, o nome completo de uma pessoa\/lugar etc., Para essa explica\u00e7\u00e3o, consideramos
t\u00edtulo<\/code> demarco hist\u00f3rico<\/code> documentos emamostra de viagem<\/code>.<\/li>\n- Criar \u00edndice secund\u00e1rio em
t\u00edtulo<\/code> campo usandoSUFFIXES()<\/code> como:\nCREATE INDEX idx_title_suffix \r\n ON `travel-sample`(DISTINCT ARRAY s FOR s IN SUFFIXES(title) END)\r\n WHERE type = \"landmark\";<\/code><\/pre>\nSUFFIXES(t\u00edtulo)<\/code> gera todas as poss\u00edveis substrings de sufixo det\u00edtulo<\/code>e o \u00edndice ter\u00e1 entradas para cada uma dessas substrings, todas fazendo refer\u00eancia aos documentos correspondentes.<\/li>\n- Agora, considere a seguinte consulta, que encontra todos os documentos com a substring
\"terra\"<\/code> emt\u00edtulo<\/code>. Essa consulta produz o seguinte plano e \u00e9 executada em aproximadamente 120 ms no meu laptop. Voc\u00ea pode ver claramente que ela busca todos osmarco hist\u00f3rico<\/code> documentos e, em seguida, aplica oLIKE \"%land%\"<\/code>para encontrar todos os documentos correspondentes.\nEXPLAIN SELECT * FROM `travel-sample` USE INDEX(def_type) WHERE type = \"landmark\" AND title LIKE \"%land%\";\r\n[\r\n {\r\n \"plan\": {\r\n \"#operator\": \"Sequence\",\r\n \"~children\": [\r\n {\r\n \"#operator\": \"IndexScan\",\r\n \"index\": \"def_type\",\r\n \"index_id\": \"e23b6a21e21f6f2\",\r\n \"keyspace\": \"travel-sample\",\r\n \"namespace\": \"default\",\r\n \"spans\": [\r\n {\r\n \"Range\": {\r\n \"High\": [\r\n \"\"landmark\"\"\r\n ],\r\n \"Inclusion\": 3,\r\n \"Low\": [\r\n \"\"landmark\"\"\r\n ]\r\n }\r\n }\r\n ],\r\n \"using\": \"gsi\"\r\n },\r\n {\r\n \"#operator\": \"Fetch\",\r\n \"keyspace\": \"travel-sample\",\r\n \"namespace\": \"default\"\r\n },\r\n {\r\n \"#operator\": \"Parallel\",\r\n \"~child\": {\r\n \"#operator\": \"Sequence\",\r\n \"~children\": [\r\n {\r\n \"#operator\": \"Filter\",\r\n \"condition\": \"(((`travel-sample`.`type`) = \"landmark\") and ((`travel-sample`.`title`) like \"%land%\"))\"\r\n }\r\n ]\r\n }<\/code><\/pre>\n<\/li>\n- No Couchbase 4.5.1, essa consulta pode ser reescrita para aproveitar o \u00edndice de matriz
idx_title_suffix<\/code> criado em (2) acima.\nEXPLAIN SELECT title FROM `travel-sample` USE INDEX(idx_title_suffix) WHERE type = \"landmark\" AND \r\nANY s IN SUFFIXES(title) SATISFIES s LIKE \"land%\" END;\r\n[\r\n {\r\n \"plan\": {\r\n \"#operator\": \"Sequence\",\r\n \"~children\": [\r\n {\r\n \"#operator\": \"DistinctScan\",\r\n \"scan\": {\r\n \"#operator\": \"IndexScan\",\r\n \"index\": \"idx_title_suffix\",\r\n \"index_id\": \"75b20d4b253214d1\",\r\n \"keyspace\": \"travel-sample\",\r\n \"namespace\": \"default\",\r\n \"spans\": [\r\n {\r\n \"Range\": {\r\n \"High\": [\r\n \"\"lane\"\"\r\n ],\r\n \"Inclusion\": 1,\r\n \"Low\": [\r\n \"\"land\"\"\r\n ]\r\n }\r\n }\r\n ],\r\n \"using\": \"gsi\"\r\n }\r\n },\r\n {\r\n \"#operator\": \"Fetch\",\r\n \"keyspace\": \"travel-sample\",\r\n \"namespace\": \"default\"\r\n },\r\n {\r\n \"#operator\": \"Parallel\",\r\n \"~child\": {\r\n \"#operator\": \"Sequence\",\r\n \"~children\": [\r\n {\r\n \"#operator\": \"Filter\",\r\n \"condition\": \"(((`travel-sample`.`type`) = \"landmark\") and any `s` in suffixes((`travel-sample`.`title`)) satisfies (`s` like \"land%\") end)\"\r\n },\r\n<\/code><\/pre>\n<\/li>\n<\/ol>\nObserve que:<\/p>\n
- \n
- A nova consulta em (4) usa
LIKE \"land%\"<\/code>, em vez deLIKE \"%land%\"<\/code>. O predicado anterior sem curinga inicial'%'<\/code> produz uma pesquisa de \u00edndice muito mais eficiente do que a \u00faltima, que n\u00e3o pode empurrar o predicado para o \u00edndice.<\/li>\n- o \u00edndice da matriz
idx_title_suffix<\/code> \u00e9 criado com todas as poss\u00edveis substrings de sufixo det\u00edtulo<\/code>e, portanto, a pesquisa de qualquer substring de sufixo do t\u00edtulo pode encontrar uma correspond\u00eancia bem-sucedida.<\/li>\n- No plano de consulta 4.5.1 acima em (4), o N1QL transfere o predicado LIKE para a pesquisa de \u00edndice e evita o processamento adicional da string de correspond\u00eancia de padr\u00f5es. Essa consulta foi executada em 18 ms.<\/li>\n
- De fato, com o \u00edndice de matriz de cobertura a seguir, a consulta foi executada em 10 ms, o que \u00e9 12 vezes mais r\u00e1pido.<\/li>\n<\/ul>\n
CREATE INDEX idx_title_suffix_cover\r\n ON `travel-sample`(DISTINCT ARRAY s FOR s IN SUFFIXES(title) END, title)\r\n WHERE type = \"landmark\";<\/code><\/pre>\nVeja isso blog<\/a> para obter detalhes sobre um aplicativo do mundo real desse recurso.<\/p>\n
Aprimoramentos no UPDATE para trabalhar com matrizes aninhadas<\/h2>\n
Os aplicativos corporativos geralmente t\u00eam dados complexos e precisam modelar documentos JSON com v\u00e1rios n\u00edveis de objetos e matrizes aninhados. O N1QL oferece suporte a express\u00f5es complexas e constru\u00e7\u00f5es de linguagem para navegar e consultar esses documentos com matrizes aninhadas. O N1QL tamb\u00e9m oferece suporte a Indexa\u00e7\u00e3o de matrizes<\/a>com o qual os \u00edndices secund\u00e1rios podem ser criados nos elementos da matriz e, posteriormente, consultados.
\nNo Couchbase Server 4.5.1, oATUALIZA\u00c7\u00c3O<\/code> A sintaxe da instru\u00e7\u00e3o foi aprimorada para navegar por matrizes aninhadas em documentos e atualizar campos espec\u00edficos em elementos de matrizes aninhadas. A declara\u00e7\u00e3oPARA<\/code>-cl\u00e1usula doATUALIZA\u00c7\u00c3O<\/code> foi aprimorada para avaliar fun\u00e7\u00f5es e express\u00f5es, e a nova sintaxe oferece suporte a v\u00e1rios comandosPARA<\/code> para acessar e atualizar campos em matrizes aninhadas.
\nConsidere o seguinte documento com uma matriz aninhada como:<\/p>\n{ \r\n items: [\r\n {\r\n subitems: [\r\n {\r\n name: \"N1QL\"\r\n },\r\n {\r\n name: \"GSI\"\r\n }\r\n ] \r\n }\r\n ],\r\n docType: \"couchbase\" \r\n}<\/code><\/pre>\nO novo
ATUALIZA\u00c7\u00c3O<\/code> em 4.5.1 pode ser usada de diferentes maneiras para acessar e atualizar matrizes aninhadas:<\/p>\n- \n
- \n
UPDATE default SET s.newField = 'newValue' \r\nFOR s IN ARRAY_FLATTEN(items[*].subitems, 1) END; <\/code><\/pre>\n<\/li>\n- \n
UPDATE default \r\nSET s.newField = 'newValue' \r\nFOR s IN ARRAY_FLATTEN(ARRAY i.subitems FOR i IN items END, 1) END; <\/code><\/pre>\n<\/li>\n- \n
UPDATE default \r\nSET i.subitems = ( ARRAY OBJECT_ADD(s, 'newField', 'newValue') \r\n FOR s IN i.subitems END ) FOR i IN items END; <\/code><\/pre>\n<\/li>\n<\/ul>\nObserve que:<\/p>\n
- \n
- O
CONJUNTO<\/code>A cl\u00e1usula - avalia fun\u00e7\u00f5es comoOBJECT_ADD()<\/code> eARRAY_FLATTEN()<\/code><\/li>\nPARA<\/code> podem ser usadas de forma aninhada com express\u00f5es para processar elementos de matriz em diferentes n\u00edveis de aninhamento.<\/li>\n<\/ul>\nPara obter um exemplo de trabalho, considere o bucket de amostra
amostra de viagem<\/code> \u00a0fornecido com a vers\u00e3o 4.5.1.<\/p>\n- \n
- Primeiro, vamos adicionar uma matriz aninhada de voos especiais \u00e0 matriz de programa\u00e7\u00e3o em
amostra de viagem<\/code> balde, para alguns documentos.\nUPDATE `travel-sample` \r\nSET schedule[0] = {\"day\" : 7, \"special_flights\" : \r\n [ {\"flight\" : \"AI444\", \"utc\" : \"4:44:44\"}, \r\n {\"flight\" : \"AI333\", \"utc\" : \"3:33:33\"} \r\n ] } \r\nWHERE type = \"route\" AND destinationairport = \"CDG\" AND sourceairport = \"TLV\";<\/code><\/pre>\n<\/li>\n- A instru\u00e7\u00e3o UPDATE a seguir adiciona um terceiro campo a cada voo especial:\n
UPDATE `travel-sample`\r\nSET i.special_flights = ( ARRAY OBJECT_ADD(s, 'newField', 'newValue' ) \r\n FOR s IN i.special_flights END ) \r\n FOR i IN schedule END\r\nWHERE type = \"route\" AND destinationairport = \"CDG\" AND sourceairport = \"TLV\";\r\n\r\n\r\nSELECT schedule[0] from `travel-sample` \r\nWHERE type = \"route\" AND destinationairport = \"CDG\" AND sourceairport = \"TLV\" LIMIT 1;\r\n[\r\n {\r\n \"$1\": {\r\n \"day\": 7,\r\n \"special_flights\": [\r\n {\r\n \"flight\": \"AI444\",\r\n \"newField\": \"newValue\",\r\n \"utc\": \"4:44:44\"\r\n },\r\n {\r\n \"flight\": \"AI333\",\r\n \"newField\": \"newValue\",\r\n \"utc\": \"3:33:33\"\r\n }\r\n ]\r\n }\r\n }\r\n]<\/code><\/pre>\n<\/li>\n<\/ol>\nH\u00e1 muitos outros aprimoramentos importantes do N1QL e recursos de desempenho na vers\u00e3o 4.5.1 do Couchbase Server. Escreverei sobre eles em meu pr\u00f3ximo blog\/parte2<\/a>.<\/p>\n
- A instru\u00e7\u00e3o UPDATE a seguir adiciona um terceiro campo a cada voo especial:\n
- \n
- o \u00edndice da matriz
- Criar \u00edndice secund\u00e1rio em
- Essa \u00e9 uma transforma\u00e7\u00e3o precisa, porque a pesquisa de \u00edndice de matriz para
- A etapa 2 (em amarelo) mostra o \u00edndice de matriz criado com as substrings de sufixo geradas na etapa 1. Observe que a entrada de \u00edndice para
- A etapa 1 (em azul) mostra a matriz de substrings de sufixo gerada por