N1QL & SEARCH: Leverage Full-Text Search (FTS) Index in N1QL

Com o Couchbase v6.5, o Full-Text Search agora está integrado à construção de consulta N1QL do Couchbase. Os clientes agora podem aproveitar os índices FTS diretamente com o N1QL. Isso oferece aos desenvolvedores uma API única para combinar a correspondência exata de predicados do N1QL e a pesquisa avançada do FTS.

O único desafio constante para muitos desenvolvedores de aplicativos com bancos de dados relacionais é o desempenho das consultas. A solução de problemas de desempenho de consultas geralmente se limita ao que os bancos de dados relacionais oferecem: obter um servidor de banco de dados maior ou índices melhores.

Com o Couchbase, o desempenho da consulta N1QL também depende de componentes semelhantes. Mas, ao contrário do RDBMS relacional, a arquitetura de isolamento de serviços do Couchbase significa que os serviços de consulta e índice podem ser dimensionados de forma independente. Com o dimensionamento adequado e o planejamento da capacidade, o Couchbase pode oferecer um desempenho extremamente rápido, conforme mostrado em um exemplo Benchmark Altoros NoSQL relatório.

Além dos predicados de consulta - N1QL e pesquisa

Os clientes podem atingir um tempo de resposta de milissegundos para consultas com índices apropriados. No entanto, há momentos em que os predicados de consulta usados pelos índices do Couchbase GSI não são conhecidos com antecedência. A solução ideal é ter um sistema de indexação que possa funcionar com qualquer combinação dos predicados de consulta disponíveis.

A indexação adaptativa do Couchbase pode abordar muitos desses casos de uso. O Couchbase Full-Text Search é outra abordagem para casos de uso de padrões irregulares. Ele oferece recursos de pesquisa de texto e fuzzy em qualquer campo do documento.

Vamos considerar o documento de gerenciamento de atividades abaixo. Uma atividade:

Sempre pertencem a um cliente (conta)
Também podem ter vários contatos da organização do cliente e são representados por uma matriz de contatos
Pode incluir vários participantes, representados por uma série de usuários.
Pode ser do tipo compromisso ou tarefa, sendo que ambos têm seus atributos específicos correspondentes, como título, data de início, data de vencimento etc.
Uma atividade do tipo Tarefa tem uma matriz de lista de tarefas

O caso de uso

John, um representante de serviços de um call center da Acme Ltd, precisa recuperar todas as atividades do cliente enquanto estiver ao telefone com um cliente. O cliente pode fornecer um ou vários dos valores abaixo para que John consulte o aplicativo:

Título da atividade: A consulta deve retornar todas as atividades que tenham esse texto, em qualquer lugar do título da atividade.
Nome do cliente: o nome do cliente inserido pode estar incompleto, portanto, a consulta precisa usar um curinga para fazer a correspondência com o nome do cliente.
Nome do contato, e-mail ou telefone de contato: O cliente também pode fornecer detalhes da pessoa de contato. Esses dados também podem estar incompletos.
Um nome de participante: o cliente também pode fornecer o nome do gerente de conta, um funcionário da Acme com quem o cliente tenha interagido e que tenha participado da atividade.
Data da atividade: o cliente pode fornecer um intervalo de datas e horários para as atividades.
O representante de serviço pode receber uma ou mais das informações acima. O padrão não é fixo.
O tempo de resposta da consulta precisa ser de aproximadamente 1 segundo
O volume de dados é de 3 milhões por ano e o período de retenção é de 3 anos.

Quais são os desafios para recuperar essas informações?

Pode haver até oito campos que o cliente pode fornecer e nenhum deles é obrigatório. Isso representaria um desafio para um projeto eficiente de índice GSI porque a chave principal do índice precisa estar presente para a seleção do índice. Como resultado, os índices GSI não podem abranger todos os casos.
Correspondência curinga: o título da atividade, o nome do cliente e do contato, o e-mail ou o telefone fornecidos podem estar incompletos, portanto, uma técnica de correspondência de predicado N1QL exata não funcionará.
Tanto os contatos quanto os participantes são objetos filhos das atividades. No modelo de dados JSON, os contatos e os participantes são representados como duas matrizes separadas. Se precisarmos de um índice de cobertura, ele deverá incluir um ou mais elementos de ambos os arrays.

As soluções

1. A abordagem mais simples é usar os predicados N1QL:

SELECT meta(a).id, a.title, a.startDate, a.account.name, a.contacts, a.participants
FROM crm a 
WHERE 
  a.type='activity' 
AND a.activityType='Appointment'
AND
(
    LOWER(a.title) LIKE '%artificial intelligence%'
AND LOWER(a.account.name) LIKE '%collins%' 
AND ANY c in a.contacts SATISFIES LOWER(c.name) LIKE '%rogers%' END
AND ANY c in a.contacts SATISFIES LOWER(c.email) = 'elliottpamela@gmail.com' END 
AND ANY c in a.contacts SATISFIES c.phone LIKE '%6816%' END
AND ANY p in a.participants SATISFIES LOWER(p.name)LIKE '%james%' END 
AND a.startDate between '2016-08-29' AND '2016-08-30'
)

SELECIONAR meta(a).id, a.título, a.startDate, a.conta.nome, a.contatos, a.participantes

DE crm a

ONDE

a.tipo='atividade'

E a.activityType='Nomeação'

(

INFERIOR(a.título) GOSTO '1TP3Inteligência artificial%'

E INFERIOR(a.conta.nome) GOSTO '%collins%'

E QUALQUER c em a.contatos SATISFAÇÕES INFERIOR(c.nome) GOSTO '%rogers%' FIM

E QUALQUER c em a.contatos SATISFAÇÕES INFERIOR(c.e-mail) = 'elliottpamela@gmail.com' FIM

E QUALQUER c em a.contatos SATISFAÇÕES c.telefone GOSTO '%6816%' FIM

E QUALQUER p em a.participantes SATISFAÇÕES INFERIOR(p.nome)GOSTO '%james%' FIM

E a.startDate entre '2016-08-29' E '2016-08-30'

)

Os seguintes índices GSI também seriam necessários:

CREATE INDEX crm_activity_appt_startDate_accid_dur ON `crm`(`activityType`,`startDate`,`accid`,`duration`) WHERE `type` = 'activity'
CREATE INDEX act_account_name_type ON `crm`(lower((`account`).`name`)) WHERE `type` = 'activity'
CREATE INDEX act_contacts_name_type ON `crm`(DISTINCT ARRAY lower(`c`.`name`) FOR c in contacts END) WHERE `type` = 'activity'
CREATE INDEX act_contacts_email_type ON `crm`(DISTINCT ARRAY lower(`c`.`email`) FOR c in contacts END) WHERE `type` = 'activity'
CREATE INDEX act_contacts_phone_type ON `crm`(DISTINCT ARRAY c.phone FOR c in contacts END) WHERE `type` = 'activity'
CREATE INDEX act_participants_name_type ON `crm`(DISTINCT ARRAY lower(`p`.`name`) FOR p in participants END) WHERE `type` = 'activity'

CRIAR ÍNDICE crm_activity_appt_startDate_accid_dur ON `crm`(`activityType`,`startDate`,`acidente`,`duração`) ONDE `tipo` = 'atividade'

CRIAR ÍNDICE act_account_name_type ON `crm`(inferior((`conta`).`nome`)) ONDE `tipo` = 'atividade'

CRIAR ÍNDICE act_contacts_name_type ON `crm`(DISTINTO ARRAY inferior(`c`.`nome`) PARA c em contatos FIM) ONDE `tipo` = 'atividade'

CRIAR ÍNDICE act_contacts_email_type ON `crm`(DISTINTO ARRAY inferior(`c`.`e-mail`) PARA c em contatos FIM) ONDE `tipo` = 'atividade'

CRIAR ÍNDICE act_contacts_phone_type ON `crm`(DISTINTO ARRAY c.telefone PARA c em contatos FIM) ONDE `tipo` = 'atividade'

CRIAR ÍNDICE act_participants_name_type ON `crm`(DISTINTO ARRAY inferior(`p`.`nome`) PARA p em participantes FIM) ONDE `tipo` = 'atividade'

Observe que a consulta acima pode usar um ou todos os índices disponíveis para melhorar o desempenho da consulta. No entanto, ainda pode haver problemas de desempenho devido à necessidade de o plano de consulta usar a operação IntersectScan.

2. Alavancagem do índice FTS

O Couchbase Full-Text Search poderia ajudar nesse caso de uso, devido ao seu recurso de pesquisa não exata e à capacidade de pesquisar os campos em qualquer ordem. Aqui está um índice FTS que pode cobrir os critérios de pesquisa.

2.1 Usando CURL - Isso é compatível com o Couchbase 5.5

SELECT meta(a).id, a.title,a.startDate, a.account.name, a.contacts, a.participants
FROM CURL("http://localhost:8094/api/index/all_acts/query", 
          {"request":"POST","header":"Content-Type: application/json", "data":
          '{   "explain":false,"fields": ["*"],
                "highlight": {},
                "query": {"conjuncts":
                      [  {"field":"title", "match": "artificial intelligence"} 
                      ,  {"field":"contacts.name", "match":"rogers"}
                      ,  {"field":"contacts.email", "match":"eliottpamela@gmail.com"} 
                      ,  {"field":"contacts.phone", "wildcard":"*6816*"} 
                      ,  {"field":"participants.name", "match":"james"} 
                      ,  {"field":"account.name", "match":"collins"}
                      ,  {"field":"startDate","start": "2016-08-29", "end":"2016-08-30", "inclusive_start": true, 
                                      "inclusive_end": true} 
                      ] 
                  }
          }',
          "user":"Administrator:password"}) result
          UNNEST result.hits h
          INNER JOIN crm a ON (h.id = meta(a).id) AND a.type='activity'

SELECIONAR meta(a).id, a.título,a.startDate, a.conta.nome, a.contatos, a.participantes

DE CURL("http://localhost:8094/api/index/all_acts/query",

{"request" (solicitação):"POST","cabeçalho":"Content-Type: application/json", "dados":

'{"explain":false, "fields": ["*"],

"highlight": {},

"query" (consulta): {"conjuncts":

[ {"field": "title", "match": "artificial intelligence"}

, {"field": "contacts.name", "match": "rogers"}

, {"field": "contacts.email", "match": "eliottpamela@gmail.com"}

, {"field": "contacts.phone", "wildcard": "*6816*"}

, {"field": "participants.name", "match": "james"}

, {"field": "account.name", "match": "collins"}

, {"field": "startDate", "start": "2016-08-29", "end": "2016-08-30", "inclusive_start": true,

"inclusive_end": true}

]

}

}',

"usuário":"Administrador:senha"}) resultado

INÚTIL resultado.sucessos h

INNER JUNTAR crm a ON (h.id = meta(a).id) E a.tipo='atividade'

2.2 Com a integração N1QL/FTS usando SEARCH_QUERY

SELECT meta(a).id, a.title,a.startDate, a.account.name, a.contacts, a.participants
FROM SEARCH_QUERY("all_acts",{"explain":false,"fields": ["*"],"highlight": {}, 
    "query": {"conjuncts":[ {"field":"title", "match": "artificial intelligence"} 
                          , {"field":"contacts.name", "match":"rogers"} 
                          ,  {"field":"contacts.email", "match":"eliottpamela@gmail.com"} 
                          ,  {"field":"contacts.phone", "wildcard":"*6816*"} 
                          ,  {"field": "participants.name", "match":"james"} 
                          ,  {"field": "account.name", "match":"collins"}
                          ,  {"field": "startDate","start": "2016-08-29", "end":"2016-08-30", "inclusive_start": true, 
                                   "inclusive_end": true}
                          ] }}
              ) as result
          UNNEST result.hits h
          INNER JOIN crm a ON (h.id = meta(a).id) AND a.type='activity'

SELECIONAR meta(a).id, a.título,a.startDate, a.conta.nome, a.contatos, a.participantes

DE PESQUISA("all_acts",{"explicar":falso,"campos": ["*"],"destaque": {},

"query" (consulta): {"conjuncts":[ {"campo":"título", "match": "inteligência artificial"}

, {"campo":"contacts.name", "match":"rogers"}

, {"campo":"contacts.email", "match":"eliottpamela@gmail.com"}

, {"campo":"contacts.phone", "curinga":"*6816*"}

, {"campo": "participants.name", "match":"james"}

, {"campo": "account.name", "match":"collins"}

, {"campo": "startDate","start": "2016-08-29", "fim":"2016-08-30", "inclusive_start": verdadeiro,

"inclusive_end": verdadeiro}

] }}

) como resultado

INÚTIL resultado.sucessos h

INNER JUNTAR crm a ON (h.id = meta(a).id) E a.tipo='atividade'

2.3 Com a integração N1QL/FTS usando o predicado N1QL SEARCH

SELECT meta(a).id, a.title,a.startDate, a.account.name, a.contacts, a.participants
FROM crm a
WHERE a.type='activity'
AND a.activityType='Appointment'
AND SEARCH(a,
   {"conjuncts":
     [  {"field":"title", "match": "artificial intelligence"},
        {"field":"contacts.name", "match":"rogers"},
        {"field":"contacts.email", "match":"eliottpamela@gmail.com"},
        {"field":"contacts.phone", "wildcard":"*6816*"},
        {"field": "participants.name", "match":"james"},
        {"field": "account.name", "match":"collins"},
        {"field": "startDate","start": "2016-08-29", "end":"2016-08-30", "inclusive_start": true, "inclusive_end": true}
     ]
    }, 
    {"index":"all_acts"}) /* good practice to provide the specific index name */

SELECIONAR meta(a).id, a.título,a.startDate, a.conta.nome, a.contatos, a.participantes

DE crm a

ONDE a.tipo='atividade'

E a.activityType='Nomeação'

E PESQUISA(a,

{"conjuncts":

[ {"campo":"título", "match": "inteligência artificial"},

{"campo":"contacts.name", "match":"rogers"},

{"campo":"contacts.email", "match":"eliottpamela@gmail.com"},

{"campo":"contacts.phone", "curinga":"*6816*"},

{"campo": "participants.name", "match":"james"},

{"campo": "account.name", "match":"collins"},

{"campo": "startDate","start": "2016-08-29", "fim":"2016-08-30", "inclusive_start": verdadeiro, "inclusive_end": verdadeiro}

]

{"índice":"all_acts"}) /* é uma boa prática fornecer o nome do índice específico */

Observações:

O exemplo acima aproveita a consulta composta do FTS com a construção conjunta para combinar todos os predicados em um único SEARCH(). Consulte a documentação do Couchbase FTS para obter mais detalhes sobre Tipo de consulta FTS
A declaração acima deve ser construída programaticamente para incluir apenas os predicados de pesquisa necessários.
O design do índice FTS deve incluir os campos que são usados na função SEARCH()
O predicado N1QL a.type='activity' deve estar presente na consulta para a seleção do índice FTS

O predicado N1QL SEARCH_QUERY e SEARCH faz parte do recurso de integração N1QL/FTS disponível no Couchbase v6.5 e atualizarei o blog com a documentação quando ela estiver disponível.

Para obter mais detalhes sobre a sintaxe de consulta do FTS https://docs.couchbase.com/server/6.0/fts/full-text-intro.html

N1QL e resumo da pesquisa:

A integração N1QL/FTS permite que uma consulta use a construção de pesquisa FTS diretamente como predicados de pesquisa
O uso do índice FTS na consulta N1QL alivia a necessidade de ter um índice exato para cada padrão de consulta
O N1QL/FTS oferece uma opção adicional para os desenvolvedores explorarem ao lidar com problemas de desempenho de consultas
O índice FTS é adequado quando você precisa pesquisar em vários campos em qualquer ordem
O índice FTS é adequado para casos em que você precisa pesquisar campos em várias matrizes

Recursos

Baixar: Faça o download do Couchbase Server 6.5
Documentação: Couchbase Server 6.5 O que há de novo
Todos os blogs 6.5

Gostaríamos muito de saber o que você achou dos recursos da versão 6.5 e como eles beneficiarão sua empresa no futuro. Compartilhe seu feedback nos comentários ou na seção fórum.

Binh Le

Platform

Self-Managed

Services

Capabilities

Why Couchbase?

Migrate to Capella

By Use Case

By Industry

By Application Need

Popular Docs

By Developer Role

Quickstart

Resource Center

About

Partnerships

Our Services

Partners: Register a Deal

Ready to register a deal with Couchbase?

Marriott

Todas as publicações

N1QL E SEARCH: Aproveite o índice de pesquisa de texto completo (FTS) no N1QL

Além dos predicados de consulta - N1QL e pesquisa

O caso de uso

Quais são os desafios para recuperar essas informações?

As soluções

1. A abordagem mais simples é usar os predicados N1QL:

2. Alavancagem do índice FTS

2.1 Usando CURL - Isso é compatível com o Couchbase 5.5

2.2 Com a integração N1QL/FTS usando SEARCH_QUERY

2.3 Com a integração N1QL/FTS usando o predicado N1QL SEARCH

N1QL e resumo da pesquisa:

Recursos

Autor

Postado por Binh Le

Deixar uma resposta Cancelar resposta