{"id":17138,"date":"2025-05-22T09:54:28","date_gmt":"2025-05-22T16:54:28","guid":{"rendered":"https:\/\/www.couchbase.com\/blog\/?p=17138"},"modified":"2025-06-13T22:45:04","modified_gmt":"2025-06-14T05:45:04","slug":"semantic-similarity-with-focused-selectivity","status":"publish","type":"post","link":"https:\/\/www.couchbase.com\/blog\/es\/semantic-similarity-with-focused-selectivity\/","title":{"rendered":"Similitud sem\u00e1ntica con selectividad focalizada"},"content":{"rendered":"

\u00bfPor qu\u00e9 la b\u00fasqueda sem\u00e1ntica necesita selectividad?<\/h2>\n

Hasta ahora, consider\u00e1bamos una incrustaci\u00f3n vectorial como una entidad completa e independiente, centrada exclusivamente en el significado que codifica. Aunque esto permite la b\u00fasqueda sem\u00e1ntica, a menudo con un alto grado de similitud<\/a>se limita a la similitud entre la consulta y el conjunto de datos.<\/p>\n

No se pod\u00eda confiar en que la oferta de b\u00fasqueda de similitudes vectoriales satisficiera predicados exactos. El prefiltrado pretende colmar exactamente esta laguna, buscando vectores similares s\u00f3lo entre los que satisfacen algunos criterios de filtrado.<\/p>\n

Es el equivalente en incrustaci\u00f3n de limitar tu b\u00fasqueda, ya sea de trabajo o de una propiedad, a una ubicaci\u00f3n. Por ejemplo, si quiere una vivienda en primera l\u00ednea de playa en un estado concreto. Tambi\u00e9n quiere limitar su b\u00fasqueda a las que tienen tres dormitorios o m\u00e1s. Recorrer los listados sin un m\u00e9todo para filtrar por estos criterios es casi inviable dada la gran cantidad de listados.<\/p>\n

Con el prefiltrado, puede limitar su b\u00fasqueda a una ubicaci\u00f3n espec\u00edfica restringiendo el espacio de b\u00fasqueda a las propiedades elegibles mediante consultas geoespaciales y num\u00e9ricas. Sobre este subconjunto limitado se realizar\u00e1 una b\u00fasqueda de similitud vectorial de propiedades \"frente a la playa\", \"junto a la playa\", \"frente al mar\".<\/p>\n

\"\"<\/p>\n

El filtrado previo permitir\u00e1 a los usuarios especificar consultas de filtrado como parte del atributo kNN en la consulta, cuyos resultados s\u00f3lo se considerar\u00e1n aptos para ser devueltos por la consulta kNN. En pocas palabras, el usuario puede utilizar la conocida sintaxis de consulta FTS para restringir los documentos sobre los que se realizar\u00e1 una b\u00fasqueda kNN<\/i>.<\/p>\n

\u00bfCu\u00e1ndo aplicar el prefiltrado?<\/h2>\n

Como su nombre indica, las incrustaciones son metadatos filtrados antes de <\/i>la b\u00fasqueda de similitudes. Es diferente del postfiltrado, en el que la b\u00fasqueda kNN va seguida de un filtrado de metadatos. El prefiltrado ofrece muchas m\u00e1s posibilidades de obtener k resultados positivos, siempre que al menos esos documentos superen la fase de filtrado.<\/p>\n

\"\"<\/p>\n

\"\"<\/p>\n

C\u00f3mo funciona<\/h2>\n

Antes de adentrarnos en las tripas del prefiltrado con kNN, vamos a entender c\u00f3mo un vector y un \u00edndice de texto completo se ubican conjuntamente en el \u00edndice del servicio de B\u00fasqueda. Cada \u00edndice de b\u00fasqueda tiene una o m\u00e1s particiones, cada una de las cuales tiene uno o m\u00e1s segmentos. Cada uno de estos segmentos es un fichero, y el fichero se divide en secciones separadas, una por cada tipo de \u00edndice. La visualizaci\u00f3n de un segmento como una unidad aut\u00f3noma con contenido tanto textual como vectorial de un lote de documentos<\/i> indexado ser\u00e1 \u00fatil para comprender c\u00f3mo funciona el prefiltrado a nivel de segmento.<\/p>\n

\"SemanticUna consideraci\u00f3n clave a la hora de construirlo fue que deb\u00eda ser agn\u00f3stico de predicci\u00f3n<\/i> en el momento de la b\u00fasqueda. Esencialmente, esto significa que el filtrado en el \u00edndice vectorial deber\u00eda funcionar de la misma manera, independientemente del predicado de texto completo. Un predicado de texto sobre un campo de texto no deber\u00eda ser diferente de un predicado num\u00e9rico sobre otro.<\/p>\n

Para ello, se utilizan n\u00fameros de documento, identificadores exclusivos de un documento, para delimitar qu\u00e9 documentos son aptos para la consulta kNN. Toda consulta FTS, ya sea textual, num\u00e9rica o geoespacial, se reduce a identificar los resultados por su n\u00famero de documento. Utilizar n\u00fameros de documento significa que no tenemos que cambiar nuestra estrategia de indexaci\u00f3n de vectores, y limitarla a un cambio en el tiempo de b\u00fasqueda.<\/p>\n

Fase 1: Filtrado de metadatos<\/h3>\n

Dado que un segmento es esencialmente un lote inmutable de documentos, con su contenido textual y vectorial indexado, la consulta de metadatos de texto completo devuelve todos los documentos elegibles. a nivel de segmento<\/i>. A continuaci\u00f3n, sus n\u00fameros de documento se pasan al \u00edndice de vectores para recuperar los vectores elegibles m\u00e1s cercanos.<\/p>\n

\"Semantic<\/p>\n

Fase 2: b\u00fasqueda kNN<\/h3>\n

\"SemanticEl algoritmo actual que elige el nprobe<\/em> clusters m\u00e1s cercanos al vector de consulta en un \u00edndice IVF es esencialmente volando a ciegas<\/i>\u00a0ya que no tiene en cuenta los conglomerados pr\u00f3ximos con pocos o ning\u00fan documento elegible. En el momento de la b\u00fasqueda, la selecci\u00f3n de conglomerados a sondear ahora tiene que contabilizar la distribuci\u00f3n de las respuestas positivas filtradas por metadatos<\/i> a trav\u00e9s del \u00edndice.<\/p>\n

Un grupo m\u00e1s cerca<\/em>\u00a0al vector de consulta podr\u00eda tener muchas menos coincidencias elegibles que uno mucho m\u00e1s alejado.<\/p>\n

Tener en cuenta la distribuci\u00f3n de los aciertos de filtro y mantener al mismo tiempo una alta recuperaci\u00f3n significa que no podemos escanear los conglomerados bas\u00e1ndonos \u00fanicamente en la densidad de aciertos de filtro. Lo que s\u00ed significa es que intentamos minimizar los c\u00e1lculos de distancia para los vectores no elegibles, incluso cuando escaneamos tantos conglomerados como sea necesario para devolver el k vecinos m\u00e1s cercanos<\/em>.<\/p>\n

Antes, nprobe<\/em> se defini\u00f3 como el l\u00edmite absoluto<\/i> al n\u00famero de clusters escaneados. Ahora, se trata m\u00e1s bien de un n\u00famero m\u00ednimo de clusters a escanear suponiendo que menos clusters tengan suficientes vectores elegibles. En los casos de distribuci\u00f3n dispersa de aciertos de filtro, en los que cada conglomerado tiene relativamente pocos vectores elegibles, nuestra b\u00fasqueda de k vecinos m\u00e1s cercanos puede llevarnos a escanear mucho m\u00e1s que nprobe clusters<\/i>. Tanto el kNN filtrado como el no filtrado escanean los clusters en orden creciente de distancia al vector de consulta, con la diferencia de que escanean un subconjunto de vectores a trav\u00e9s de un n\u00famero potencialmente mayor de clusters.<\/p>\n

eligible_clusters: clusters con al menos 1 resultado filtrado\r\nsi clusters_elegibles = k:\r\n        escanear nprobe conglomerados elegibles\r\n    si no\r\n        while total_hits(1,n) < k:\r\n            n++\r\n        escanear n conglomerados elegibles<\/pre>\n
Una vez que el \u00edndice vectorial devuelve los vectores m\u00e1s similares a nivel de segmento, \u00e9stos se agregan a nivel de \u00edndice global de forma similar a como se hace para kNN sin filtrado.<\/p>\n
C\u00f3mo utilizarlo<\/h3>\n
Cojamos un cubo, hitos<\/em>. Este es un documento de muestra:<\/p>\n
{\r\n  \"t\u00edtulo\": \"Los \u00c1ngeles\/Noroeste\",\r\n  \"name\": \"Teatro El Cid\",\r\n  \"alt\": null,\r\n  \"address\": \"4212 W Sunset Blvd\",\r\n  \"directions\": null,\r\n  \"phone\": null,\r\n  \"tollfree\": null,\r\n  \"email\": null,\r\n  \"url\": null,\r\n  \"horario\": null,\r\n  \"imagen\": null,\r\n  \"precio\": null\r\n  \"contenido\": \"Construido a principios de siglo y, tras varias reencarnaciones, ofrece una de las \u00fanicas opciones de cena-teatro que quedan en Los \u00c1ngeles. El men\u00fa es eminentemente espa\u00f1ol y los espect\u00e1culos var\u00edan seg\u00fan la noche y van desde actuaciones de flamenco hasta burlesque deslenguado.\",\r\n  \"geo\": {\r\n    \"accuracy\": \"ROOFTOP\",\r\n    \"lat\": 34.0939,\r\n    \"lon\": -118.2822\r\n  },\r\n  \"activity\": \"do\",\r\n  \"type\": \"hito\",\r\n  \"id\": 35034,\r\n  \"country\": \"Estados Unidos\",\r\n  \"city\": \"Los Angeles\",\r\n  \"state\": \"California\",\r\n  \"embedding_crc\": \"fa6edfd97ffa665b\",\r\n  \"embedding\": [-0.003134159604087472, -0.020280055701732635,.... -0.014541691169142723]\r\n}<\/pre>\n
Crea un \u00edndice, prueba,<\/em> que indexa el incrustaci\u00f3n<\/em>, id<\/em> y ciudad<\/em> campos.<\/p>\n
Mi primera consulta es una incrustaci\u00f3n del Museo de Ingenieros Reales de Gillingham:<\/p>\n
{\r\n  \"knn\": [\r\n    {\r\n      \"k\": 10,\r\n      \"campo\": \"incrustaci\u00f3n\",\r\n      \"vector\": [\r\n        0.0022478399332612753,\r\n        ....\r\n      ]\r\n    }\r\n  ],\r\n  \"explain\": true,\r\n  \"size\": 10,\r\n  \"desde\": 0\r\n}<\/pre>\n
Los m\u00e1s cercanos son el Museo de la Brigada de Bomberos de Londres, el Museo Verulamium de St Albans y el Museo de la RAF de Londres.<\/p>\n
Ahora queremos buscar museos similares en Glasgow, es decir, el campo ciudad debe tener un valor Glasgow<\/em>.<\/p>\n
Este es el aspecto de la consulta filtrada, con la opci\u00f3n filtro<\/strong> cl\u00e1usula a\u00f1adida:<\/p>\n
{\r\n  \"knn\": [\r\n    {\r\n      \"k\": 10,\r\n      \"campo\": \"incrustaci\u00f3n\",\r\n      \"vector\": [\r\n        0.0022478399332612753,\r\n        ....\r\n  ],\r\n  \"filtro\": {\r\n        \"coincidencia\": \"Glasgow\",\r\n        \"field\": \"city\"\r\n      }\r\n    }\r\n  ],\r\n  \"explain\": true\r\n  \"size\": 10,\r\n  \"desde\": 0\r\n}<\/pre>\n
Como era de esperar, los resultados se limitan ahora a los de Glasgow: los m\u00e1s cercanos son la Galer\u00eda de Arte y Museo Kelvingrove y el Museo Riverside.<\/p>\n
Como se ve en este ejemplo, una consulta kNN filtrada ofrece la ventaja de seleccionar los documentos para una b\u00fasqueda por similitud utilizando las buenas y viejas consultas FTS.<\/p>\n
Seguir aprendiendo<\/h2>\n