- \n
- O SQL Server suporta CONTAINS() para pesquisa de texto<\/a><\/li>\n
- A Oracle oferece suporte a CONTAINS() para pesquisa de texto<\/a><\/li>\n
- MySQL adicionado fSuporte a texto completo\u00a0<\/a><\/li>\n
- O PostgreSQL tem pesquisa de texto suportada<\/a> por um longo tempo.<\/li>\n<\/ul>\n<\/li>\n<\/ul>\n
O Couchbase Full-Text Search (FTS) foi criado com tr\u00eas motiva\u00e7\u00f5es principais:<\/span><\/p>\n
- \n
- \n
- \n
- Pesquisa transparente em v\u00e1rios campos de um documento<\/span><\/li>\n
- V\u00e1 al\u00e9m da correspond\u00eancia exata de valores, fornecendo <\/span>stemiza\u00e7\u00e3o baseada no idioma<\/span><\/a>, correspond\u00eancia difusa<\/a>etc.<\/span><\/li>\n
- Fornecer os resultados da pesquisa com base na relev\u00e2ncia<\/span><\/li>\n<\/ul>\n<\/li>\n<\/ul>\n
O FTS consegue isso com um \u00edndice invertido e um rico conjunto de <\/span>predicados de consulta<\/span><\/a>O sistema oferece suporte \u00e0 pesquisa de palavras simples, \u00e0 correspond\u00eancia de padr\u00f5es e a predicados de intervalo complexos. Al\u00e9m da pesquisa, ele oferece suporte \u00e0 agrega\u00e7\u00e3o por meio de <\/span>facetas de pesquisa<\/span><\/a>.<\/span><\/p>\n
No mundo NoSQL, o Lucene \u00e9 um \u00edndice de pesquisa popular, assim como os servidores de pesquisa baseados no Lucene: Solr<\/a> e Elasticsearch<\/a>. Seguindo seus primos RDBMS, Elasticsearch<\/span><\/a>, <\/span>Opendistro para Elasticsearch<\/span><\/a> todos adicionaram SQL em suas pesquisas. O Couchbase introduziu o servi\u00e7o de texto completo,\u00a0FTS<\/a> e deu continuidade ao suporte para pesquisa no N1QL.<\/span><\/p>\n
- \n
- \n
- \n
- FTS com N1QL<\/span><\/a><\/li>\n
- Elasticsearch com SQL<\/span><\/a><\/li>\n
- Opendistro para Elasticsearch com SQL<\/span><\/a><\/li>\n
- E o MongoDB, que entrou recentemente no mercado de pesquisa, adicionou <\/span>pesquisa para MQL<\/span><\/a> usando o Lucene em sua oferta do Atlas. <\/span><\/li>\n<\/ul>\n<\/li>\n<\/ul>\n
As implementa\u00e7\u00f5es SQL de Elasticsearch com SQL<\/a> e MQL do MongoDB<\/a> vem com uma longa lista de limita\u00e7\u00f5es.<\/strong><\/p>\n
Elasticsearch com SQL<\/a><\/span> listou suas limita\u00e7\u00f5es aqui:<\/p>\n
- \n
- \n
- \n
- Lista completa: https:\/\/www.elastic.co\/guide\/en\/elasticsearch\/reference\/current\/sql-limitations.html<\/a><\/li>\n
- Al\u00e9m disso, o idioma \u00e9 compreensivelmente limitado devido \u00e0 sua implementa\u00e7\u00e3o incipiente.\n
- \n
- N\u00e3o h\u00e1 suporte para jun\u00e7\u00f5es de opera\u00e7\u00f5es de conjunto, etc., etc.<\/li>\n
- Nenhuma fun\u00e7\u00e3o de janela.<\/li>\n<\/ul>\n<\/li>\n<\/ul>\n<\/li>\n<\/ul>\n
MQLs do MongoDB<\/a> A integra\u00e7\u00e3o de pesquisa vem com uma longa lista de limita\u00e7\u00f5es.<\/span><\/p>\n
- \n
- \n
- \n
- Dispon\u00edvel apenas no servi\u00e7o de pesquisa do Atlas, n\u00e3o no produto local.<\/li>\n
- A pesquisa s\u00f3 pode ser a PRIMEIRA opera\u00e7\u00e3o dentro do pipeline aggregate().<\/li>\n
- Dispon\u00edvel somente no pipeline de agrega\u00e7\u00e3o (aggregate()) e n\u00e3o em outras opera\u00e7\u00f5es como find(), insert(), update(), remove().<\/li>\n<\/ul>\n<\/li>\n<\/ul>\n
A integra\u00e7\u00e3o com sua API aggregate() vem com algumas limita\u00e7\u00f5es: Ela s\u00f3 pode ser a primeira opera\u00e7\u00e3o no pipeline indispon\u00edvel em seu banco de dados local. <\/span>Os recursos que discutimos neste artigo est\u00e3o no Couchbase 6.5 e superior.<\/p>\n
Aqui est\u00e1 um exemplo do N1QL:<\/p>\n
SELECT country, \r\n city, \r\n name, \r\n ROW_NUMBER() OVER(ORDER BY country DESC, city DESC) rownum\r\nFROM `travel-sample` AS t1\r\nWHERE t1.type = \"hotel\" AND SEARCH(t1.description, \"garden\") \r\nAND ANY r in reviews satisfies r.ratings.Service > 3 END;\r\n<\/pre>\n
Isso inclui o seguinte, al\u00e9m de SEARCH():<\/span><\/p>\n
- \n
- Proje\u00e7\u00e3o de campos dos documentos: pa\u00eds, cidade, nome<\/span><\/li>\n
- Gera\u00e7\u00e3o de n\u00famero de linha por meio da fun\u00e7\u00e3o de janela ROW_NUMBER()<\/span><\/li>\n
- Predicado escalar adicional t1.type = \"hotel\"<\/span><\/li>\n
- Predicado de matriz sobre revis\u00f5es (ANY)<\/span><\/li>\n<\/ul>\n
Voc\u00ea obt\u00e9m o benef\u00edcio COMPLETO do processamento de consultas de primeira classe, al\u00e9m da pesquisa eficiente. E isso n\u00e3o \u00e9 tudo - o N1QL oferece ainda mais. <\/span>Os benef\u00edcios e <\/span>efic\u00e1cia do SQL<\/span><\/a> s\u00e3o bem conhecidos. N1QL \u00e9 SQL para JSON. O objetivo do N1QL \u00e9 oferecer aos desenvolvedores e \u00e0s empresas uma linguagem expressiva, poderosa e completa para consulta, transforma\u00e7\u00e3o e manipula\u00e7\u00e3o de dados JSON.<\/span><\/p>\n
Os benef\u00edcios de usar <\/span>N1QL<\/span><\/a> com a pesquisa s\u00e3o os seguintes:<\/span><\/p>\n
- \n
- Predicados:<\/span>\n
- \n
- O FTS \u00e9 excelente para pesquisas com base na relev\u00e2ncia. O SQL \u00e9 excelente com processamento adicional de consultas complexas: predicados complexos, predicados de matriz, escalar adicional\u00a0<\/span><\/li>\n<\/ul>\n<\/li>\n
- Operadores<\/span><\/a> e <\/span>fun\u00e7\u00f5es<\/span><\/a>:<\/span>\n
- \n
- Processamento de predicados (processamento de filtros)<\/span>\n
- \n
- Predicados adicionais de escalar e matriz<\/span><\/li>\n
- Fun\u00e7\u00f5es escalares e de matriz tamb\u00e9m podem ser usadas nos predicados<\/span><\/li>\n
- Subconsultas<\/span>\n
- \n
- Subconsultas correlacionadas<\/span><\/li>\n
- Subconsultas n\u00e3o correlacionadas\u00a0<\/span><\/li>\n<\/ol>\n<\/li>\n<\/ol>\n<\/li>\n
- Agregados<\/span><\/a><\/li>\n
- Fun\u00e7\u00f5es da janela<\/span><\/a><\/li>\n<\/ol>\n<\/li>\n
- Processamento de JOIN<\/span>\n
- \n
- O N1QL pode fazer INNER JOIN, LEFT OUTER JOIN, RIGHT OUTER JOIN (limitado), NEST, UNNEST<\/span><\/li>\n
- JOINS entre compartimentos, cole\u00e7\u00f5es e resultados de subconsultas.<\/span><\/li>\n<\/ol>\n<\/li>\n
- Opera\u00e7\u00f5es SET<\/span><\/a>\n
- \n
- UNI\u00c3O<\/span><\/li>\n
- UNION ALL<\/span><\/li>\n
- EXCETO<\/span><\/li>\n
- EXCETO TODOS<\/span><\/li>\n
- INTERSEC\u00c7\u00c3O<\/span><\/li>\n
- INTERSECTAR TUDO<\/span><\/li>\n<\/ol>\n<\/li>\n
- CTE<\/span><\/a> (Express\u00e3o de tabela comum) e <\/span>Cl\u00e1usula LET<\/span><\/a> para melhorar a reda\u00e7\u00e3o de consultas<\/span><\/li>\n
- Mais do que SEARCH()<\/span>\n
- \n
- Al\u00e9m do SELECT, voc\u00ea pode usar o predicado SEARCH() nas cl\u00e1usulas WHERE dos comandos INSERT, UPDATE, DELETE e MERGE.<\/span><\/li>\n
- Voc\u00ea pode PREPARAR essas declara\u00e7\u00f5es e EXECUT\u00c1-LAS repetida e eficientemente.<\/span><\/li>\n
- Voc\u00ea obt\u00e9m a seguran\u00e7a usual por meio das fun\u00e7\u00f5es RBAC via GRANT & REVOKE.<\/span><\/li>\n<\/ol>\n<\/li>\n
- Produtividade do desenvolvedor: Escreva a consulta em SQL, a linguagem que eles j\u00e1 conhecem.<\/span><\/li>\n<\/ol>\n
Vamos dar uma olhada em como o mecanismo N1QL executa isso. Abhinav Dangeti, da engenharia de FTS do Couchbase, j\u00e1 escreveu um \u00f3timo blog que detalha a tomada de decis\u00f5es e os exemplos<\/a>. Este artigo pretende explicar isso visualmente com exemplos adicionais nas categorias mencionadas acima.<\/p>\n
1. ARQUITETURA para EXECU\u00c7\u00c3O DE CONSULTAS<\/strong><\/h5>\n
Adicionamos tr\u00eas etapas importantes \u00e0 execu\u00e7\u00e3o da consulta: a consulta usa SEARCH():<\/p>\n
- \n
- O planejador considera o \u00edndice de pesquisa do FTS um dos caminhos de acesso v\u00e1lidos se o predicado search() existir na consulta.\n
- \n
- Se o \u00edndice de pesquisa for selecionado, ele criar\u00e1 o plano empurrando o predicado de pesquisa para o \u00edndice FTS.<\/li>\n<\/ul>\n<\/li>\n
- Quando o \u00edndice de pesquisa \u00e9 selecionado, o executor emite a solicita\u00e7\u00e3o de pesquisa para um dos n\u00f3s FTS (em vez da solicita\u00e7\u00e3o de varredura para o servi\u00e7o de \u00edndice)<\/li>\n
- Antes que os resultados da pesquisa sejam finalizados, o servi\u00e7o de consulta verifica novamente a qualifica\u00e7\u00e3o da pesquisa do documento para os dados.<\/li>\n<\/ol>\n
![\"N1QL](\"https:\/\/www.couchbase.com\/blog\/wp-content\/uploads\/2020\/07\/Screen-Shot-2020-07-01-at-7.02.40-PM-300x164.png\")
<\/a>Execu\u00e7\u00e3o de consultas N1QL com FTS<\/p><\/div>\n
![\"Inside](\"https:\/\/www.couchbase.com\/blog\/wp-content\/uploads\/2020\/07\/Screen-Shot-2020-07-01-at-7.11.26-PM-300x127.png\")
<\/a>Dentro de um servi\u00e7o de consulta<\/p><\/div>\n
<\/h5>\n
2. PROCESSAMENTO DE PREDICADOS<\/strong><\/h5>\n
Na consulta a seguir, o predicado SEARCH() (predicado-2) \u00e9 enviado para a solicita\u00e7\u00e3o de pesquisa do FTS. Todos os outros predicados s\u00e3o processados pelo mecanismo de consulta ap\u00f3s a pesquisa na fase \"Filtro\", conforme mostrado na figura \"Dentro de um servi\u00e7o de consulta\" acima. Esta \u00e9 uma exce\u00e7\u00e3o a isso. Quando o \u00edndice FTS tiver criado um \u00edndice com Campo de tipo JSON (doc_config.type_field no documento de defini\u00e7\u00e3o do \u00edndice)<\/strong>\u00a0\u00e9 definido (neste caso, tipo = \"hotel\") para criar o \u00edndice no subconjunto do documento, tanto a sele\u00e7\u00e3o do \u00edndice quanto o pushdown da pesquisa exploram esse predicado. Mesmo nesse caso, o predicado \u00e9 reaplicado ap\u00f3s a busca do documento.<\/p>\n
SELECT country, \r\n city, \r\n name, \r\n ROW_NUMBER() OVER(ORDER BY country DESC, city DESC) rownum\r\nFROM `travel-sample` AS t1\r\nWHERE \r\nt1.type = \"hotel\" \/* predicate-1 *\/\r\nAND SEARCH(t1.description, \"garden\") \/* predicate-2 *\/\r\nAND ANY r in reviews satisfies r.ratings.Service > 3 END; \/* predicate-2 *\/\r\n<\/pre>\n
<\/h5>\n
3. OPERADORES<\/a> e FUN\u00c7\u00d5ES<\/a><\/strong><\/h5>\n
Aqui est\u00e1 um exemplo de uma consulta que explora os operadores e as fun\u00e7\u00f5es.<\/p>\n
SELECT LOWER(country), \/* scalar function *\/\r\n city, \r\n lastname || \" \" || firstname AS fullname \/* string operator *\/\r\n ROW_NUMBER() OVER(ORDER BY country DESC, city DESC) rownum \/* window function *\/\r\nFROM `travel-sample` AS t1\r\nWHERE \r\nLOWER(t1.type) = \"hotel\" \/* scalar function *\/\r\nAND SEARCH(t1.description, \"garden\") \r\nAND ARRAY_CONTAINS(public_likes, \"Joe Black\") \/* Array function *\/\r\n<\/pre>\n
Aqui est\u00e1 o plano de consulta para essa consulta. O IndexSearch faz a solicita\u00e7\u00e3o de pesquisa do FTS e isso \u00e9 colocado em camadas no pipeline de execu\u00e7\u00e3o da consulta. Assim, a consulta obt\u00e9m o benef\u00edcio de todos os outros recursos do N1QL. Isso reflete os est\u00e1gios do pipeline na figura acima.<\/p>\n
![\"Query](\"https:\/\/www.couchbase.com\/blog\/wp-content\/uploads\/2020\/07\/Screen-Shot-2020-07-02-at-12.18.16-PM-300x190.png\")
<\/a>Plano de consulta com SEARCH()<\/p><\/div>\n
4. Processamento de JOIN<\/h5>\n
O SEARCH() tamb\u00e9m pode ser usado como parte do processamento de uni\u00e3o. Nesse caso, o FTS \u00e9 usado para localizar todas as cidades que t\u00eam hot\u00e9is com jardins e, em seguida, unir-se aos aeroportos.<\/p>\n
SELECT hotel.name hname,\r\n airport.city\r\nFROM `travel-sample` hotel \r\nLEFT OUTER JOIN `travel-sample` airport ON hotel.city = airport.city\r\nWHERE hotel.type = 'hotel'\r\n AND SEARCH(hotel.description, \"garden\")\r\n AND airport.type = 'airport' ;\r\n<\/pre>\n
<\/p>\n
<\/p>\n
![\"JOIN](\"https:\/\/www.couchbase.com\/blog\/wp-content\/uploads\/2020\/07\/Screen-Shot-2020-07-02-at-1.52.41-PM-300x200.png\")
<\/a>JOIN com SEARCH<\/p><\/div>\n
5. Express\u00f5es de tabela comuns (CTEs).<\/a><\/h5>\n
O N1QL no servi\u00e7o de consulta suporta CTEs n\u00e3o recursivos. Voc\u00ea pode usar SEARCH() em cada express\u00e3o. A tabela derivada dessa express\u00e3o (hotel e aeroporto) \u00e9 usada como espa\u00e7o-chave na consulta.<\/p>\n
WITH hotel AS (\r\n SELECT name,\r\n city\r\n FROM `travel-sample`\r\n WHERE type = 'hotel'\r\n AND search(description, \"garden\")),\r\nairport AS (\r\n SELECT name,\r\n city\r\n FROM `travel-sample`\r\n WHERE type = 'airport'\r\n AND SEARCH(city, \"angeles\"))\r\nSELECT hotel.name hname,\r\n airport.city\r\nFROM hotel\r\nINNER JOIN airport ON hotel.city = airport.city\r\nORDER BY airport.city,\r\n hotel.name;\r\n<\/pre>\n
- Voc\u00ea pode PREPARAR essas declara\u00e7\u00f5es e EXECUT\u00c1-LAS repetida e eficientemente.<\/span><\/li>\n
- UNION ALL<\/span><\/li>\n
- JOINS entre compartimentos, cole\u00e7\u00f5es e resultados de subconsultas.<\/span><\/li>\n<\/ol>\n<\/li>\n
- Subconsultas n\u00e3o correlacionadas\u00a0<\/span><\/li>\n<\/ol>\n<\/li>\n<\/ol>\n<\/li>\n
- Fun\u00e7\u00f5es escalares e de matriz tamb\u00e9m podem ser usadas nos predicados<\/span><\/li>\n
- Predicados adicionais de escalar e matriz<\/span><\/li>\n
- Operadores<\/span><\/a> e <\/span>fun\u00e7\u00f5es<\/span><\/a>:<\/span>\n
- O FTS \u00e9 excelente para pesquisas com base na relev\u00e2ncia. O SQL \u00e9 excelente com processamento adicional de consultas complexas: predicados complexos, predicados de matriz, escalar adicional\u00a0<\/span><\/li>\n<\/ul>\n<\/li>\n
- Gera\u00e7\u00e3o de n\u00famero de linha por meio da fun\u00e7\u00e3o de janela ROW_NUMBER()<\/span><\/li>\n
- Proje\u00e7\u00e3o de campos dos documentos: pa\u00eds, cidade, nome<\/span><\/li>\n
- \n
- Al\u00e9m disso, o idioma \u00e9 compreensivelmente limitado devido \u00e0 sua implementa\u00e7\u00e3o incipiente.\n
- Lista completa: https:\/\/www.elastic.co\/guide\/en\/elasticsearch\/reference\/current\/sql-limitations.html<\/a><\/li>\n
- Elasticsearch com SQL<\/span><\/a><\/li>\n
- FTS com N1QL<\/span><\/a><\/li>\n
- V\u00e1 al\u00e9m da correspond\u00eancia exata de valores, fornecendo <\/span>stemiza\u00e7\u00e3o baseada no idioma<\/span><\/a>, correspond\u00eancia difusa<\/a>etc.<\/span><\/li>\n
- Pesquisa transparente em v\u00e1rios campos de um documento<\/span><\/li>\n
- A Oracle oferece suporte a CONTAINS() para pesquisa de texto<\/a><\/li>\n
![\"\"](\"https:\/\/www.couchbase.com\/blog\/wp-content\/uploads\/2020\/07\/Screen-Shot-2020-07-02-at-3.00.13-PM-198x300.png\")
<\/a><\/p>\n