{"id":17138,"date":"2025-05-22T09:54:28","date_gmt":"2025-05-22T16:54:28","guid":{"rendered":"https:\/\/www.couchbase.com\/blog\/?p=17138"},"modified":"2025-06-13T22:45:04","modified_gmt":"2025-06-14T05:45:04","slug":"semantic-similarity-with-focused-selectivity","status":"publish","type":"post","link":"https:\/\/www.couchbase.com\/blog\/pt\/semantic-similarity-with-focused-selectivity\/","title":{"rendered":"Similaridade sem\u00e2ntica com seletividade focada"},"content":{"rendered":"

Por que a pesquisa sem\u00e2ntica precisa de seletividade?<\/h2>\n

At\u00e9 agora, consider\u00e1vamos uma incorpora\u00e7\u00e3o de vetor como uma entidade completa e aut\u00f4noma, focada inteiramente no significado que ela codifica. Embora isso permita a pesquisa sem\u00e2ntica, muitas vezes com um alto grau de similaridade<\/a>ele permanece limitado \u00e0 semelhan\u00e7a entre a consulta e os embeddings do conjunto de dados.<\/p>\n

N\u00e3o se pode confiar na oferta de pesquisa de similaridade de vetores para satisfazer predicados exatos. A pr\u00e9-filtragem tem como objetivo abordar exatamente essa lacuna, buscando vetores semelhantes somente entre aqueles que satisfazem alguns crit\u00e9rios de filtragem.<\/p>\n

\u00c9 o equivalente de incorpora\u00e7\u00e3o de limitar sua pesquisa, seja para um emprego ou uma propriedade, a um local. Digamos que voc\u00ea queira uma propriedade \u00e0 beira-mar em um estado espec\u00edfico. Voc\u00ea tamb\u00e9m deseja limitar sua pesquisa \u00e0quelas com tr\u00eas quartos ou mais. Combinar as listagens sem um m\u00e9todo de filtragem para esses crit\u00e9rios \u00e9 quase invi\u00e1vel devido ao grande n\u00famero de listagens.<\/p>\n

Com a pr\u00e9-filtragem, voc\u00ea pode limitar sua pesquisa a um local espec\u00edfico, restringindo o espa\u00e7o de pesquisa a propriedades eleg\u00edveis por meio de consultas geoespaciais e num\u00e9ricas. Uma pesquisa de similaridade vetorial para propriedades \"em frente \u00e0 praia\", \"\u00e0 beira da praia\" e \"\u00e0 beira-mar\" ser\u00e1 realizada nesse subconjunto limitado.<\/p>\n

\"\"<\/p>\n

A pr\u00e9-filtragem permitir\u00e1 que os usu\u00e1rios especifiquem consultas de filtro como parte do atributo kNN na consulta, sendo que somente os resultados ser\u00e3o considerados eleg\u00edveis para serem retornados pela consulta kNN. Simplificando, o usu\u00e1rio agora pode usar a sintaxe familiar de consulta do FTS para restringir os documentos sobre os quais ser\u00e1 realizada uma pesquisa kNN<\/i>.<\/p>\n

Quando aplicar a pr\u00e9-filtragem?<\/h2>\n

Como o nome sugere, os embeddings s\u00e3o filtrados por metadados antes de <\/i>a pesquisa de similaridade. Isso \u00e9 diferente da p\u00f3s-filtragem, em que uma pesquisa kNN \u00e9 seguida pela filtragem de metadados. A pr\u00e9-filtragem oferece uma chance muito maior de retornar k ocorr\u00eancias, supondo que haja pelo menos esses documentos que passam pelo est\u00e1gio de filtragem.<\/p>\n

\"\"<\/p>\n

\"\"<\/p>\n

Como isso funciona<\/h2>\n

Antes de entrarmos na ess\u00eancia da pr\u00e9-filtragem com o kNN, vamos entender como um vetor e um \u00edndice de texto completo s\u00e3o co-localizados no \u00edndice do servi\u00e7o Search. Cada \u00edndice do Search tem uma ou mais parti\u00e7\u00f5es, cada uma das quais tem um ou mais segmentos. Cada um desses segmentos \u00e9 um arquivo, e o arquivo \u00e9 dividido em se\u00e7\u00f5es separadas, uma por tipo de \u00edndice. A visualiza\u00e7\u00e3o de um segmento como uma unidade aut\u00f4noma com conte\u00fado de texto e vetor de um lote de documentos<\/i> indexado ser\u00e1 \u00fatil para entender como a pr\u00e9-filtragem funciona no n\u00edvel do segmento.<\/p>\n

\"SemanticUma considera\u00e7\u00e3o importante ao constru\u00ed-lo foi que ele deveria ser agn\u00f3stico de predicados<\/i> no momento da pesquisa. Essencialmente, isso significa que a filtragem no \u00edndice vetorial deve funcionar da mesma forma, independentemente do predicado de texto completo. Um predicado de texto sobre um campo de texto n\u00e3o deve ser diferente de um predicado num\u00e9rico sobre outro.<\/p>\n

Para isso, os n\u00fameros de documentos, identificadores exclusivos de um documento, s\u00e3o usados para demarcar quais documentos s\u00e3o eleg\u00edveis para a consulta kNN. Todas as consultas FTS, sejam elas de texto, num\u00e9ricas ou geoespaciais, se resumem a identificar as ocorr\u00eancias pelo n\u00famero do documento. O uso de n\u00fameros de documentos significa que n\u00e3o precisamos alterar nossa estrat\u00e9gia de indexa\u00e7\u00e3o para vetores e limit\u00e1-la a uma altera\u00e7\u00e3o no tempo de pesquisa.<\/p>\n

Fase 1: Filtragem de metadados<\/h3>\n

Como um segmento \u00e9 essencialmente um lote imut\u00e1vel de documentos, com seu texto e conte\u00fado vetorial indexados, a consulta de metadados de texto completo retorna todos os documentos eleg\u00edveis em n\u00edvel de segmento<\/i>. Seus n\u00fameros de documentos s\u00e3o ent\u00e3o passados para o \u00edndice de vetores para recuperar os vetores eleg\u00edveis mais pr\u00f3ximos.<\/p>\n

\"Semantic<\/p>\n

Fase 2: pesquisa kNN<\/h3>\n

\"SemanticO algoritmo atual que escolhe o nprobe<\/em> clusters mais pr\u00f3ximos do vetor de consulta em um \u00edndice IVF \u00e9 essencialmente voando \u00e0s cegas<\/i>\u00a0pois n\u00e3o leva em conta os clusters pr\u00f3ximos com poucos ou nenhum documento qualificado. No momento da pesquisa, a sele\u00e7\u00e3o de clusters a serem investigados agora precisa conta para a distribui\u00e7\u00e3o de ocorr\u00eancias filtradas por metadados<\/i> em todo o \u00edndice.<\/p>\n

Um grupo mais pr\u00f3ximo<\/em>\u00a0do vetor de consulta pode ter muito menos ocorr\u00eancias eleg\u00edveis do que um vetor muito mais distante.<\/p>\n

Levar em conta a distribui\u00e7\u00e3o de acertos do filtro e, ao mesmo tempo, manter a recupera\u00e7\u00e3o alta significa que n\u00e3o podemos fazer a varredura de clusters somente com base na densidade de acertos do filtro. O que isso significa \u00e9 que tentamos minimizar os c\u00e1lculos de dist\u00e2ncia para vetores ineleg\u00edveis, mesmo quando examinamos quantos clusters forem necess\u00e1rios para retornar o k vizinhos mais pr\u00f3ximos<\/em>.<\/p>\n

Anteriormente, nprobe<\/em> foi definido como o limite absoluto<\/i> para o n\u00famero de clusters examinados. Agora, trata-se mais de um n\u00famero m\u00ednimo de clusters a serem examinados, supondo que menos clusters tenham vetores qualificados suficientes. Em casos de distribui\u00e7\u00e3o esparsa de acertos de filtros, em que cada cluster tem relativamente poucos vetores qualificados, nossa busca pelos k vizinhos mais pr\u00f3ximos pode nos levar a varre muito mais do que os clusters do nprobe<\/i>. Tanto o kNN filtrado quanto o n\u00e3o filtrado examinam os clusters em ordem crescente de dist\u00e2ncia do vetor de consulta, sendo que a diferen\u00e7a est\u00e1 no fato de examinar um subconjunto de vetores em um n\u00famero potencialmente maior de clusters.<\/p>\n

eligible_clusters: clusters with at least 1 filtered hit\r\nif eligible_clusters < nprobe :\r\n    scan all clusters\r\nelse:\r\n    total_hits(1,n): Cumulative count of eligible hits in closest 'n' eligible clusters\r\n    if total_hits(1,nprobe) >= k:\r\n        scan nprobe eligible clusters\r\n    else:\r\n        while total_hits(1,n) < k:\r\n            n++\r\n        scan n eligible clusters<\/pre>\n
Quando o \u00edndice de vetores retorna os vetores mais semelhantes em um n\u00edvel de segmento, eles s\u00e3o agregados em um n\u00edvel de \u00edndice global semelhante ao que \u00e9 feito para o kNN sem filtragem.<\/p>\n
Como usar isso<\/h3>\n
Vamos pegar um balde, marcos hist\u00f3ricos<\/em>. Este \u00e9 um exemplo de documento:<\/p>\n
{\r\n\u00a0\u00a0\"title\": \"Los Angeles\/Northwest\",\r\n\u00a0\u00a0\"name\": \"El Cid Theatre\",\r\n\u00a0\u00a0\"alt\": null,\r\n\u00a0\u00a0\"address\": \"4212 W Sunset Blvd\",\r\n\u00a0\u00a0\"directions\": null,\r\n\u00a0\u00a0\"phone\": null,\r\n\u00a0\u00a0\"tollfree\": null,\r\n\u00a0\u00a0\"email\": null,\r\n\u00a0\u00a0\"url\": null,\r\n\u00a0\u00a0\"hours\": null,\r\n\u00a0\u00a0\"image\": null,\r\n\u00a0\u00a0\"price\": null,\r\n\u00a0\u00a0\"content\": \"Built around turn of the century and, after several reincarnations, offers one of the only dinner theater options left in Los Angeles. The menu is heavily Spanish and the shows differ depending on the night and range from flamenco performances to tongue-in-cheek burlesque.\",\r\n\u00a0\u00a0\"geo\": {\r\n\u00a0\u00a0\u00a0\u00a0\"accuracy\": \"ROOFTOP\",\r\n\u00a0\u00a0\u00a0\u00a0\"lat\": 34.0939,\r\n\u00a0\u00a0\u00a0\u00a0\"lon\": -118.2822\r\n\u00a0\u00a0},\r\n\u00a0\u00a0\"activity\": \"do\",\r\n\u00a0\u00a0\"type\": \"landmark\",\r\n\u00a0\u00a0\"id\": 35034,\r\n\u00a0\u00a0\"country\": \"United States\",\r\n\u00a0\u00a0\"city\": \"Los Angeles\",\r\n\u00a0\u00a0\"state\": \"California\",\r\n\u00a0\u00a0\"embedding_crc\": \"fa6edfd97ffa665b\",\r\n\u00a0\u00a0\"embedding\": [-0.003134159604087472, -0.020280055701732635,.... \u00a0 -0.014541691169142723]\r\n}<\/pre>\n
Criar um \u00edndice, teste,<\/em> que indexa o incorpora\u00e7\u00e3o<\/em>, id<\/em> e cidade<\/em> campos.<\/p>\n
Minha primeira consulta \u00e9 uma incorpora\u00e7\u00e3o do Royal Engineers Museum em Gillingham:<\/p>\n
{\r\n\u00a0\u00a0\"knn\": [\r\n\u00a0\u00a0\u00a0\u00a0{\r\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\"k\": 10,\r\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\"field\": \"embedding\",\r\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\"vector\": [\r\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a00.0022478399332612753,\r\n        ....\r\n      ]\r\n\u00a0\u00a0\u00a0\u00a0}\r\n\u00a0\u00a0],\r\n\u00a0\u00a0\"explain\": true,\r\n\u00a0\u00a0\"size\": 10,\r\n\u00a0\u00a0\"from\": 0\r\n}<\/pre>\n
Os que mais se aproximam s\u00e3o o London Fire Brigade Museum, o Verulamium Museum em St Albans e o RAF Museum em Londres.<\/p>\n
Agora queremos pesquisar museus semelhantes em Glasgow, ou seja, o campo cidade deve ter um valor Glasgow<\/em>.<\/p>\n
Veja como fica a consulta filtrada, com o filtro<\/strong> cl\u00e1usula adicionada:<\/p>\n
{\r\n\u00a0\u00a0\"knn\": [\r\n\u00a0\u00a0\u00a0\u00a0{\r\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\"k\": 10,\r\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\"field\": \"embedding\",\r\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\"vector\": [\r\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a00.0022478399332612753,\r\n        ....\r\n  ],\r\n  \"filter\": {\r\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\"match\": \"Glasgow\",\r\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\"field\": \"city\"\r\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0}\r\n\u00a0\u00a0\u00a0\u00a0}\r\n\u00a0\u00a0],\r\n\u00a0\u00a0\"explain\": true,\r\n\u00a0\u00a0\"size\": 10,\r\n\u00a0\u00a0\"from\": 0\r\n}<\/pre>\n
Como esperado, os resultados agora est\u00e3o limitados aos de Glasgow, sendo os mais pr\u00f3ximos a Kelvingrove Art Gallery and Museum e o Riverside Museum.<\/p>\n
Como visto neste exemplo, uma consulta kNN filtrada oferece a vantagem de selecionar os documentos para uma pesquisa de similaridade usando as boas e velhas consultas FTS.<\/p>\n
Continue aprendendo<\/h2>\n