{"id":12792,"date":"2022-02-16T08:34:12","date_gmt":"2022-02-16T16:34:12","guid":{"rendered":"https:\/\/www.couchbase.com\/blog\/?p=12792"},"modified":"2025-06-13T21:25:06","modified_gmt":"2025-06-14T04:25:06","slug":"leveraging-your-ml-models-with-couchbase-analytics-user-defined-functions-udf","status":"publish","type":"post","link":"https:\/\/www.couchbase.com\/blog\/pt\/leveraging-your-ml-models-with-couchbase-analytics-user-defined-functions-udf\/","title":{"rendered":"Aproveitamento de seus modelos de ML com as fun\u00e7\u00f5es definidas pelo usu\u00e1rio (UDF) do Couchbase Analytics"},"content":{"rendered":"

Com o Couchbase 7.0, agora voc\u00ea pode permitir a integra\u00e7\u00e3o de UDFs do Python com o Couchbase Analytics. Em Parte 1 desta s\u00e9rie do blog<\/a>Na se\u00e7\u00e3o \"Como configurar o Couchbase\", abordamos os aspectos essenciais para configurar o Couchbase e o Analytics for Machine Learning (ML).<\/span><\/p>\n

O ML transformou radicalmente as maneiras pelas quais as organiza\u00e7\u00f5es entendem as necessidades de seus clientes. Os dom\u00ednios de an\u00e1lise avan\u00e7ada, como a an\u00e1lise preditiva (rotatividade de clientes, sentimento do cliente etc.) e a modelagem financeira, est\u00e3o cada vez mais dependentes do processamento de dados em escala, quase em tempo real, e da extra\u00e7\u00e3o de insights valiosos.<\/span><\/p>\n

Para ajudar nossos clientes a obter insights anal\u00edticos em tempo real, criamos um pipeline cont\u00ednuo de modelos de aprendizado de m\u00e1quina baseados em Python para o Couchbase Analytics. Nesta postagem, eu passo pelas etapas a seguir para mostrar a voc\u00ea como aplicar algoritmos externos a dados residentes no Couchbase.<\/span><\/p>\n

Seis etapas para aplicar modelos de ML em seus dados NoSQL:<\/span><\/h4>\n
    \n
  1. Treinar o modelo<\/span><\/li>\n
  2. Codificar o modelo<\/span><\/li>\n
  3. Empacotar e implantar o c\u00f3digo<\/span><\/li>\n
  4. Importar os dados necess\u00e1rios para este projeto<\/span><\/li>\n
  5. Escrevendo o UDF<\/span><\/li>\n
  6. Usando o UDF em sua inst\u00e2ncia para o CB (Modo DP)<\/span><\/li>\n<\/ol>\n

    Antes de come\u00e7armos, vamos encontrar um conjunto de dados que ser\u00e1 uma demonstra\u00e7\u00e3o interessante dos recursos que estamos criando. H\u00e1 resenhas de filmes em v\u00e1rios sites diferentes, mas para ter uma compreens\u00e3o hol\u00edstica das resenhas dos cr\u00edticos, n\u00e3o h\u00e1 lugar melhor do que o Rotten Tomatoes. Esse site permite comparar as classifica\u00e7\u00f5es dadas por usu\u00e1rios comuns (pontua\u00e7\u00e3o do p\u00fablico) e as classifica\u00e7\u00f5es ou resenhas dadas pelos cr\u00edticos (tomat\u00f4metro<\/em>) que s\u00e3o membros certificados de v\u00e1rias corpora\u00e7\u00f5es de escritores ou associa\u00e7\u00f5es de cr\u00edticos de cinema.<\/span><\/p>\n

    Os dois conjuntos de dados usados para este blog podem ser encontrados em <\/span>kaggle.com<\/span><\/a>. Esses arquivos s\u00e3o bastante grandes, portanto, um link para eles \u00e9 fornecido para que voc\u00ea possa baix\u00e1-los quando estiver acompanhando.<\/span><\/p>\n

    No <\/span>filmes<\/span><\/em> cada registro representa um filme dispon\u00edvel no Rotten Tomatoes, com o URL usado para extrair o t\u00edtulo do filme, a descri\u00e7\u00e3o, os g\u00eaneros, a dura\u00e7\u00e3o, o diretor, os atores, as classifica\u00e7\u00f5es dos usu\u00e1rios e as classifica\u00e7\u00f5es dos cr\u00edticos. No <\/span>cr\u00edticas de filmes<\/span><\/em> cada registro representa uma resenha cr\u00edtica publicada no Rotten Tomatoes, com o URL usado para extrair o nome do cr\u00edtico, a publica\u00e7\u00e3o da resenha, a data, a pontua\u00e7\u00e3o e o conte\u00fado.<\/span><\/p>\n

    Treinamento do modelo de ML<\/span><\/h4>\n

    Antes de come\u00e7ar a explorar o poder da integra\u00e7\u00e3o entre ML e NoSQL, voc\u00ea precisar\u00e1 desenvolver e treinar um modelo de aprendizado de m\u00e1quina em Python.<\/span><\/p>\n

    Para os fins deste blog, usaremos um modelo simples de regress\u00e3o log\u00edstica que utiliza a biblioteca scikit-learn. Em sua ess\u00eancia, o modelo recebe dados e analisa seus sentimentos em rela\u00e7\u00e3o \u00e0s cr\u00edticas de filmes. Voc\u00ea pode seguir as etapas descritas abaixo ou fazer o download de todos os arquivos necess\u00e1rios em nosso <\/span>Reposit\u00f3rio do GitHub<\/span><\/a>.\u00a0<\/span><\/p>\n

    Para este blog, estamos usando um algoritmo preditivo de c\u00f3digo aberto no conjunto de dados de resenhas de filmes para determinar o sentimento, ou seja, para determinar se as resenhas s\u00e3o positivas ou negativas para um determinado filme. Nos exemplos de hoje, j\u00e1 treinamos o modelo usando um subconjunto do arquivo que voc\u00ea baixou anteriormente. Para os fins deste blog, utilizamos um arquivo CSV (valores separados por v\u00edrgula) para importar nossos dados.\u00a0<\/span><\/p>\n

    Abaixo est\u00e1 um exemplo do c\u00f3digo do pr\u00f3prio modelo:<\/span><\/p>\n

    \"\"<\/p>\n

    A totalidade do exemplo de c\u00f3digo pode ser encontrada no arquivo <\/span>Reposit\u00f3rio do GitHub.<\/span><\/a><\/p>\n

    Ao executar o script Python do modelo mostrado acima, voc\u00ea dever\u00e1 obter o seguinte resultado:<\/span><\/p>\n

    \"\"<\/p>\n

    Voc\u00ea pode ler mais sobre as m\u00e9tricas do scikit-learn, como precis\u00e3o, recall, pontua\u00e7\u00e3o f1 e suporte <\/span>aqui<\/span><\/a>. Agora temos um modelo de aprendizado de m\u00e1quina funcional e com bom desempenho, totalmente treinado em Python.<\/span><\/p>\n

    Criando uma biblioteca Python<\/span><\/h4>\n

    Para fazer refer\u00eancia ao modelo de aprendizado de m\u00e1quina, voc\u00ea precisar\u00e1 criar uma biblioteca Python. Abaixo est\u00e1 a biblioteca para este exemplo espec\u00edfico:<\/span><\/p>\n

    \"\"<\/p>\n

    H\u00e1 dois componentes principais da biblioteca:<\/span><\/p>\n

    Construtor de modelos<\/b>-Esse construtor cria um arquivo chamado <\/span>modelo_de_sentimento<\/span><\/em> no <\/span>dutos<\/em> <\/span>do nosso ambiente Jupyter.<\/span><\/p>\n

    m\u00e9todo getSentiment<\/b>-Esse m\u00e9todo prev\u00ea o sentimento do cliente associado ao par\u00e2metro (ou argumento) passado para ele.<\/span><\/p>\n

    Salve o arquivo como <\/span>sentimento.py<\/span><\/i> dentro do <\/span>dutos<\/span><\/i> com o arquivo <\/span>modelo_de_sentimento<\/span><\/i>.<\/span><\/p>\n

    Empacotamento e implanta\u00e7\u00e3o da biblioteca<\/span><\/h4>\n

    Essa \u00e9 uma etapa essencial para o que vir\u00e1 a seguir: desbloquear o poder das fun\u00e7\u00f5es definidas pelo usu\u00e1rio do Python! Preste aten\u00e7\u00e3o aos detalhes, pois ela depende mais da sintaxe do que qualquer outra. Certifique-se de ler atentamente a documenta\u00e7\u00e3o apropriada. Siga o link <\/span>para saber mais sobre fun\u00e7\u00f5es definidas pelo usu\u00e1rio<\/span><\/a>.<\/span><\/p>\n

    Para empacotar o modelo e a biblioteca que criamos nas etapas anteriores, usaremos o utilit\u00e1rio shiv. Se o shiv ainda n\u00e3o estiver instalado, use o comando <\/span>pip install shiv<\/span><\/i> (ou <\/span><\/i>pip3 install shiv<\/span><\/i> dependendo de seu ambiente). Al\u00e9m disso, se voc\u00ea estiver interessado em ler a documenta\u00e7\u00e3o desse utilit\u00e1rio de linha de comando, poder\u00e1 encontr\u00e1-la <\/span>aqui<\/span><\/a>.\u00a0<\/span><\/p>\n

    Etapas para empacotar o modelo:<\/b><\/p>\n