FIRST CLASS SQL para BÚSQUEDA DE TEXTO COMPLETO

Con el tiempo, el sector de las bases de datos se ha dado cuenta de que la búsqueda de texto completo y SQL son dos caras de la misma moneda. La búsqueda de texto necesita más procesamiento de consultas, y el procesamiento de consultas necesita la búsqueda de texto para filtrar eficazmente los patrones de texto. Las bases de datos SQL han incorporado la búsqueda de texto completo en su interior, aunque para sistemas SMP de un solo nodo.

• • SQL Server admite CONTAINS() para la búsqueda de texto
  • Oracle admite CONTAINS() para la búsqueda de texto
  • MySQL ha añadido fSoporte de texto completo 
  • PostgreSQL dispone de búsqueda de texto compatible durante mucho tiempo.

Couchbase Full-Text Search (FTS) se crea con tres motivaciones principales:

• • Búsqueda transparente en varios campos de un documento
  • Vaya más allá de la coincidencia exacta de valores proporcionando derivación lingüística, emparejamiento difusoetc.
  • Proporcionar los resultados de búsqueda en función de la relevancia

FTS lo consigue con un índice invertido y un rico conjunto de predicados de consulta: desde la simple búsqueda de palabras a la concordancia de patrones, pasando por complejos predicados de rango. Además de la búsqueda, admite la agregación mediante facetas de búsqueda.

En el mundo NoSQL, Lucene es un índice de búsqueda popular y también lo son los servidores de búsqueda basados en Lucene: Solr y Elasticsearch. Siguiendo a sus primos RDBMS, Elasticsearch, Opendistro para Elasticsearch todos han añadido SQL para sus búsquedas. Couchbase introdujo el servicio de texto completo, FTS y ha seguido con el apoyo a la búsqueda dentro de N1QL.

• • FTS con N1QL
  • Elasticsearch con SQL
  • Opendistro para Elasticsearch con SQL
  • Y el recién llegado a las búsquedas, MongoDB, ha añadido buscar en MQL utilizando Lucene en su oferta Atlas.

Las implementaciones SQL de Elasticsearch con SQL y MQL de MongoDB viene con una larga lista de limitaciones.

Elasticsearch con SQL ha enumerado aquí sus limitaciones:

• • Lista completa: https://www.elastic.co/guide/en/elasticsearch/reference/current/sql-limitations.html
  • Además, el lenguaje es comprensiblemente limitado debido a su incipiente aplicación.
    • No admite operaciones de conjuntos, uniones, etc.
    • Sin funciones de ventana.

MQL de MongoDB La integración de búsquedas viene acompañada de una larga lista de limitaciones.

• • Disponible sólo en el servicio de búsqueda Atlas, no en el producto on-prem.
  • La búsqueda sólo puede ser la PRIMERA operación dentro de la cadena aggregate().
  • Disponible sólo dentro de la canalización de agregación (aggregate()) y no en find(), insert(), update(), remove() otras operaciones.

La integración con su API aggregate(), viene con algunas limitaciones: Sólo puede ser la primera operación del pipeline no disponible en su base de datos on-prem. Las características que discutimos en este artículo están en Couchbase 6.5 y superiores.

Aquí tienes un ejemplo de N1QL:

Esto incluye lo siguiente además de SEARCH():

• Proyección de los campos de los documentos: país, ciudad, nombre
• Generación del número de fila mediante la función de ventana ROW_NUMBER()
• Predicado escalar adicional t1.type = "hotel"
• Predicado de matriz sobre revisiones (CUALQUIERA)

Obtendrá el beneficio COMPLETO de un procesamiento de consultas de primera clase, además de una búsqueda eficiente. Eso no es todo - hay aún más con N1QL. Los beneficios y eficacia de SQL son bien conocidos. N1QL es SQL para JSON. El objetivo de N1QL es ofrecer a desarrolladores y empresas un lenguaje expresivo, potente y completo para consultar, transformar y manipular datos JSON.

Las ventajas de utilizar N1QL con la búsqueda son los siguientes:

1. Predicados:
   • FTS es excelente para las búsquedas basadas en la relevancia. SQL es excelente para el procesamiento de consultas complejas: predicados complejos, predicados de matriz, escalares adicionales, etc. 
2. Operadores y funciones:
   1. Tratamiento de predicados (tratamiento de filtros)
      1. Predicados escalares y de matriz adicionales
      2. Las funciones escalares y de matriz también pueden utilizarse dentro de los predicados
      3. Subconsultas
         1. Subconsultas correlacionadas
         2. Subconsultas no correlacionadas 
   2. Áridos
   3. Funciones de ventana
3. procesamiento JOIN
   1. N1QL puede hacer INNER JOIN, LEFT OUTER JOIN, (limitado) RIGHT OUTER JOIN, NEST, UNNEST
   2. JOINS entre cubos, colecciones y resultados de subconsultas.
4. Operaciones SET
   1. UNIÓN
   2. UNIÓN TODOS
   3. EXCEPTO
   4. EXCEPTO TODOS
   5. INTERSECT
   6. INTERSECTAR TODO
5. CTE (Expresión común de tabla) y Cláusula LET para mejorar la redacción de consultas
6. Más que SEARCH()
   1. Además de SELECT, puede utilizar el predicado SEARCH() en las cláusulas WHERE de las sentencias INSERT, UPDATE, DELETE, MERGE.
   2. Puede PREPARAR estas sentencias y EJECUTARLAS repetida y eficazmente.
   3. Obtendrá la seguridad habitual a través de los roles RBAC mediante GRANT & REVOKE.
7. Productividad del desarrollador: Escriba la consulta en SQL, el lenguaje que ya conocen.

Veamos cómo ejecuta esto el motor N1QL. Abhinav Dangeti de la ingeniería FTS de Couchbase ya ha escrito un gran blog que detalla la toma de decisiones y ejemplos. Este artículo pretende explicarlo visualmente con ejemplos adicionales en las categorías mencionadas anteriormente.

1. ARQUITECTURA para la EJECUCIÓN DE CONSULTAS

Hemos añadido tres pasos importantes a la ejecución de la consulta la consulta utiliza SEARCH() :

1. El planificador considera el índice de búsqueda FTS como una de las rutas de acceso válidas si el predicado search() existe en la consulta.
   • Si se selecciona el índice de búsqueda, crea el plan enviando el predicado de búsqueda al índice FTS.
2. Cuando se selecciona el índice de búsqueda, el ejecutor emite la petición de búsqueda a uno de los nodos FTS (en lugar de la petición de escaneo al servicio de índice)
3. Antes de finalizar los resultados de la búsqueda, el servicio de consulta vuelve a verificar la adecuación del documento a los datos.

Ejecución de consultas N1QL con FTS

Dentro de un servicio de consulta

2. PROCESAMIENTO DE PREDICADOS

En la siguiente consulta, el predicado SEARCH() (predicado-2) se introduce en la petición de búsqueda FTS. Todos los demás predicados son procesados por el motor de consulta después de la búsqueda en la fase "Filtro", como se muestra en la figura anterior "Dentro de un servicio de consulta". Hay una excepción. Cuando el índice FTS ha creado un índice con Campo de tipo JSON (doc_config.type_field en el documento de definición del índice) (en este caso tipo = "hotel") para crear el índice sobre el subconjunto del documento, tanto la selección del índice como el pushdown de búsqueda aprovechan este predicado. Incluso en este caso, el predicado se vuelve a aplicar después de la obtención del documento.

3. OPERADORES y FUNCIONES

He aquí un ejemplo de consulta que aprovecha los operadores y las funciones.

Este es el plan de consulta para esta consulta. IndexSearch realiza la solicitud de búsqueda FTS y se integra en el canal de ejecución de la consulta. Por lo tanto, la consulta se beneficia de todas las demás capacidades de N1QL. Esto refleja las etapas de la tubería en la figura anterior.

Plan de consulta con SEARCH()

4. Tratamiento JOIN

La función SEARCH() también puede utilizarse como parte del proceso de unión. En este caso, el FTS se utiliza para encontrar todas las ciudades que tienen hoteles con jardín y luego se unen con aeropuertos.

JOIN with SEARCH

5. Expresiones comunes de tabla (CTE).

N1QL en el servicio de consulta soporta CTEs no recursivos. Puede utilizar SEARCH() dentro de cada expresión. La tabla derivada de esa expresión (hotel y aeropuerto) se utilizan como espacios clave dentro de la consulta.

5. Uso en UPDATEs

SEARCH() puede utilizarse en cualquier lugar donde se permita un predicado dentro de otras sentencias DML.

Los ejemplos pueden fluir mucho tiempo. He mostrado ejemplos comunes. Se utiliza en varias sentencias SQL (DMLs)

Conclusión:

Couchbase FTS proporciona un motor de búsqueda de texto escalable y distribuido. Lo hemos integrado perfectamente en N1QL en el servicio de consultas de Couchbase para que obtengas toda la potencia de las consultas con toda la potencia de la búsqueda. Hay más innovación sobre esto en la tubería. Permanece atento.