{"id":9380,"date":"2020-10-02T07:18:17","date_gmt":"2020-10-02T14:18:17","guid":{"rendered":"https:\/\/www.couchbase.com\/blog\/?p=9380"},"modified":"2021-07-13T00:40:49","modified_gmt":"2021-07-13T07:40:49","slug":"full-text-search-tips-for-query-performance","status":"publish","type":"post","link":"https:\/\/www.couchbase.com\/blog\/pt\/full-text-search-tips-for-query-performance\/","title":{"rendered":"Full-Text Search - 5 dicas para melhorar o desempenho de suas consultas"},"content":{"rendered":"

O ajuste do desempenho da consulta de pesquisa \u00e9 um aspecto muito importante do Pesquisa de texto completo<\/a> pois ajuda os aplicativos essenciais aos neg\u00f3cios a atender aos requisitos de SLA de lat\u00eancia e taxa de transfer\u00eancia. Sem muitos pre\u00e2mbulos, gostaria de compartilhar algumas recomenda\u00e7\u00f5es \u00fateis para solucionar problemas de desempenho de pesquisa. Todas essas sugest\u00f5es s\u00e3o independentes de qualquer configura\u00e7\u00e3o de hardware, topologias de cluster e s\u00e3o aplic\u00e1veis \u00e0 maioria dos casos de uso de pesquisa gen\u00e9ricos.<\/span><\/p>\n

 <\/p>\n

Pesquise o menor n\u00famero poss\u00edvel de campos<\/b><\/h3>\n

 <\/p>\n

Isso \u00e9 particularmente aplic\u00e1vel a certos tipos de consultas compostas<\/a> em que o usu\u00e1rio tenta pesquisar um texto de consulta de pesquisa comum em v\u00e1rios campos indexados.<\/span><\/p>\n

Vamos nos aprofundar em um exemplo de consulta.<\/span><\/p>\n

\"query\": {\r\n  \"conjuncts\": [\r\n    {\r\n      \"field\": \"UserName\",\r\n      \"match\": \"searchText\",\r\n       \"fuzziness\": 1\r\n\r\n    },\r\n    {\r\n      \"field\": \"Department.Name\",\r\n      \"match\": \"searchText\",\r\n      \"fuzziness\": 1\r\n    },\r\n    {\r\n      \"field\": \"SecondName\",\r\n      \"match\": \"searchText\",\r\n      \"fuzziness\": 1\r\n    },\r\n   {\r\n      \"field\": \"ConsumerName\",\r\n      \"match\": \"searchText\"\r\n       \"fuzziness\": 1\r\n    }\r\n]}\r\n<\/pre>\n
 <\/p>\n
Se observarmos, h\u00e1 4 cl\u00e1usulas de consulta de correspond\u00eancia na consulta composta conjunta, todas com o mesmo texto de pesquisa. Isso \u00e9 altamente ineficiente, j\u00e1 que, em segundo plano, o sistema de pesquisa precisa pesquisar muitos dados indexados em campos diferentes para o mesmo texto de pesquisa. Essa sobrecarga \u00e9 agravada pelo grande n\u00famero de estruturas de consulta em tempo de execu\u00e7\u00e3o criadas e pelo lixo coletado entre os campos.<\/span><\/p>\n
O FTS tem um recurso para dar suporte a isso de uma maneira muito eficiente. Ele permite que os usu\u00e1rios indexem v\u00e1rios campos de documentos de origem em rela\u00e7\u00e3o a um campo configur\u00e1vel gen\u00e9rico. Quando o usu\u00e1rio faz isso durante o tempo de defini\u00e7\u00e3o do \u00edndice, ele pode executar pesquisas nesse \u00fanico campo comum.<\/span><\/p>\n
Para aproveitar esse recurso, o usu\u00e1rio precisa habilitar o <\/a><\/span>`_all`<\/i><\/b> em rela\u00e7\u00e3o a todos os campos m\u00faltiplos no mapeamento de campo durante a indexa\u00e7\u00e3o.<\/span><\/p>\n
\"Diagram<\/p>\n
Com isso, todo o conte\u00fado desses campos tamb\u00e9m ser\u00e1 indexado em rela\u00e7\u00e3o ao padr\u00e3o Tudo<\/strong><\/em> no \u00edndice. Isso tem um aspecto de armazenamento adicional para o tamanho do \u00edndice.<\/span><\/p>\n
Agora o usu\u00e1rio deve ser capaz de emitir consultas sem especificar explicitamente o campo de destino.  E sempre que os campos de destino n\u00e3o forem especificados na consulta, a Full-Text Search far\u00e1 a pesquisa no campo comum padr\u00e3o <\/span>`_all`.\u00a0<\/i><\/b><\/p>\n
Portanto, com a otimiza\u00e7\u00e3o acima, a consulta anterior se tornaria mais simples, como abaixo,<\/span><\/p>\n
\"query\": {\r\n\u00a0\u00a0\"conjuncts\": [\r\n\u00a0\u00a0\u00a0\u00a0{\r\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\"match\": \"searchText\"\r\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u201cfuzziness\u201d : 1,\r\n\u00a0\u00a0\u00a0\u00a0}\r\n]\r\n}<\/pre>\n
O desempenho dessa consulta de pesquisa deve ser muito mais leve e r\u00e1pido em compara\u00e7\u00e3o com a consulta original.<\/span><\/p>\n
Observa\u00e7\u00e3o: Isso \u00e9 aplic\u00e1vel se n\u00e3o houver aumento da pontua\u00e7\u00e3o<\/a> usado na consulta original para as cl\u00e1usulas filho.<\/p>\n
 <\/p>\n
<\/h3>\n
<\/h3>\n
Especificar <\/b>prefix_length<\/i><\/b> Para consultas de correspond\u00eancia difusa\u00a0<\/b><\/h3>\n
 <\/p>\n
Os usu\u00e1rios escolhem o fuzzy consultas de correspond\u00eancia<\/a> para ajudar a evitar poss\u00edveis erros de ortografia nos textos de pesquisa. Com o fator de imprecis\u00e3o, eles ainda receberiam do sistema de pesquisa os resultados pretendidos para o documento. Mas os usu\u00e1rios difusos precisam ter em mente que as consultas difusas s\u00e3o consultas que consomem muitos recursos. <\/span><\/p>\n
Como<\/b> - Em um \u00edndice FTS suficientemente grande, haver\u00e1 muitos tokens candidatos que est\u00e3o a uma determinada dist\u00e2ncia de fuzziness\/edi\u00e7\u00e3o do texto da consulta. Portanto, essencialmente, uma \u00fanica consulta fuzzy se tornar\u00e1 uma consulta disjunta\/OR para todos os tokens candidatos presentes no \u00edndice. Isso resulta em uma grande dispers\u00e3o interna das opera\u00e7\u00f5es de pesquisa rudimentares, o que \u00e9 um recurso inc\u00f4modo.<\/span><\/p>\n
Vamos dar uma olhada em um exemplo mais simples para o fan-out da consulta aqui.<\/p>\n
\"word-tree<\/p>\n
Uma consulta fuzzy de correspond\u00eancia com uma fuzziness de 1 para o texto de consulta \"plan\" resultaria em um total de 6 termos sendo pesquisados, como neste exemplo. (considerando que apenas os 5 termos est\u00e3o presentes no conte\u00fado indexado que est\u00e3o na dist\u00e2ncia de edi\u00e7\u00e3o solicitada ou na imprecis\u00e3o de 1)<\/p>\n
Uma ideia importante de otimiza\u00e7\u00e3o ao se proteger contra poss\u00edveis erros de ortografia \u00e9 que a maioria dos erros de ortografia ocorre no final, e n\u00e3o no in\u00edcio do texto. Os usu\u00e1rios podem aproveitar esse fato e utilizar a fun\u00e7\u00e3o <\/span>prefix_length<\/span><\/i> em consultas difusas. Uma vez que o <\/span>prefix_length<\/span><\/i> \u00e9 fornecido, ent\u00e3o a imprecis\u00e3o s\u00f3 ser\u00e1 considerada para o texto ap\u00f3s o <\/span>prefix_length<\/span><\/i>.<\/span><\/p>\n
Normalmente, um <\/span>prefix_length<\/span><\/i> de 2 ou 3 deve ser bom. Mas, certamente, esse \u00e9 um aplicativo ou caso de uso espec\u00edfico.<\/span><\/p>\n
Exemplo:<\/span><\/em><\/p>\n
{\r\n\u00a0\"match\": \"beautiful\",\u00a0 => \"autiful\" is only considered for fuzziness\r\n\u00a0\"field\": \"reviews.content\",\r\n\u00a0\"analyzer\": \"standard\",\r\n\u00a0\"fuzziness\": 1,\r\n\u00a0\"prefix_length\": 2\r\n}<\/pre>\n
 <\/p>\n
This drastically reduces the scope\/number of the tokens searched in the index for a given fuzzy query.\u00a0 And the search query performance can be significantly improved by specifying a `prefix_length<\/i>` for the fuzziness.\u00a0 \u00a0 \u00a0 \u00a0 \u00a0 \u00a0 \u00a0 \u00a0 \u00a0 \u00a0 \u00a0 <\/span><\/p>\n
 <\/p>\n
Ignore a pontua\u00e7\u00e3o quando a relev\u00e2ncia do texto n\u00e3o for importante<\/b><\/h3>\n
 <\/p>\n
Muitas vezes, observa-se que os usu\u00e1rios est\u00e3o usando a Pesquisa de texto completo para as consultas de correspond\u00eancia exata com um pouco de imprecis\u00e3o ou outros recursos espec\u00edficos de pesquisa, como geo<\/a>. A pontua\u00e7\u00e3o de relev\u00e2ncia do texto n\u00e3o importa quando o usu\u00e1rio est\u00e1 procurando por pesquisas exatas ou mais direcionadas com muitos predicados.\u00a0<\/span><\/p>\n
Em situa\u00e7\u00f5es semelhantes, em que o usu\u00e1rio n\u00e3o est\u00e1 interessado no padr\u00e3o tf-idf<\/a> os usu\u00e1rios podem otimizar o desempenho da consulta ignorando completamente a pontua\u00e7\u00e3o. Os usu\u00e1rios podem ignorar a pontua\u00e7\u00e3o passando uma op\u00e7\u00e3o \"score\": \"none\" na solicita\u00e7\u00e3o de pesquisa.\u00a0<\/span><\/p>\n
Exemplo:\u00a0<\/span><\/i><\/p>\n
{\r\n \"query\": {},\r\n \"score\": \"none\",\r\n \"size\": 10,\r\n \"from\": 0\r\n}<\/pre>\n
Isso melhora significativamente o desempenho da consulta de pesquisa em muitos casos, especialmente para consultas compostas com muitas cl\u00e1usulas de pesquisa secund\u00e1rias.<\/span><\/p>\n
Esse recurso est\u00e1 dispon\u00edvel desde a vers\u00e3o do servidor Couchbase - 6.6.1<\/span><\/p>\n
 <\/p>\n
Pagina\u00e7\u00e3o de conjunto de teclas para pesquisas mais profundas na p\u00e1gina<\/b><\/h3>\n
 <\/p>\n
As you might know, the pagination of search results can be done using the `from` and `size` parameters in the search request. But as the search gets into deeper pages it becomes highly resource taxing.\u00a0 The primary reason being the search results are by default sorted by their tf-idf<\/a> scores, and Full-Text Search has heap memory requirements proportional to the requested page\u2019s offset and size. ie `from+size` for maintaining this ranking.\u00a0<\/span><\/p>\n
Para nos protegermos de qualquer requisito arbitr\u00e1rio de mem\u00f3ria mais alta, temos um limite configur\u00e1vel <\/span>janela bleveMaxResultWindow<\/b> (padr\u00e3o 10000) nos deslocamentos de p\u00e1gina m\u00e1ximos permitidos. Mas aumentar esse limite para n\u00edveis mais altos n\u00e3o \u00e9 uma solu\u00e7\u00e3o escalon\u00e1vel.<\/span><\/p>\n
Para contornar esse problema, introduzimos o conceito de pagina\u00e7\u00e3o de conjunto de chaves no FTS.\u00a0<\/span><\/p>\n
Instead of providing `<\/span>from`<\/span><\/i> como um n\u00famero de resultados de pesquisa a serem ignorados, o usu\u00e1rio fornecer\u00e1 o valor de classifica\u00e7\u00e3o de um resultado de pesquisa visto anteriormente (geralmente, o \u00faltimo resultado mostrado na p\u00e1gina atual).  A ideia \u00e9 que, para mostrar a pr\u00f3xima p\u00e1gina dos resultados, queremos apenas os N primeiros resultados dessa classifica\u00e7\u00e3o ap\u00f3s o \u00faltimo resultado da p\u00e1gina anterior.<\/span><\/p>\n
Essa solu\u00e7\u00e3o requer o cumprimento de algumas condi\u00e7\u00f5es pr\u00e9vias:<\/span><\/p>\n