{"id":12630,"date":"2021-12-23T08:01:18","date_gmt":"2021-12-23T16:01:18","guid":{"rendered":"https:\/\/www.couchbase.com\/blog\/?p=12630"},"modified":"2024-08-30T03:03:43","modified_gmt":"2024-08-30T10:03:43","slug":"how-couchbase-simplifies-data-science-part-2","status":"publish","type":"post","link":"https:\/\/www.couchbase.com\/blog\/pt\/how-couchbase-simplifies-data-science-part-2\/","title":{"rendered":"Como o Couchbase simplifica a ci\u00eancia de dados (Parte 2)"},"content":{"rendered":"

Este blog tem a coautoria de Karen Yuan, estagi\u00e1ria do ensino m\u00e9dio<\/em><\/p>\n

Em nosso Artigo anterior,<\/a> aprendemos a fazer an\u00e1lise explorat\u00f3ria de dados usando o servi\u00e7o Couchbase Query. Tamb\u00e9m aprendemos a ler com efici\u00eancia os dados de treinamento com as APIs de consulta no Couchbase Python SDK e a salv\u00e1-los perfeitamente em um dataframe pandas adequado para aprendizado de m\u00e1quina (ML). E, por fim, armazenamos modelos de ML e seus metadados no Couchbase. Neste artigo, aprenderemos a fazer previs\u00f5es, armazen\u00e1-las no Couchbase e usar os gr\u00e1ficos de consulta para analis\u00e1-las.<\/p>\n

Previs\u00e3o em tempo real<\/h4>\n

O cientista de dados usa o modelo treinado para gerar previs\u00f5es.<\/p>\n

Usaremos o fluxo de previs\u00e3o da Figura 1 para prever a pontua\u00e7\u00e3o de rotatividade em tempo real e armazenar a previs\u00e3o no Couchbase. Usaremos o modelo de previs\u00e3o de rotatividade que treinamos no artigo anterior.<\/p>\n

\"Real<\/p>\n

Fun\u00e7\u00e3o para ler o modelo e seus metadados armazenados no Couchbase:<\/strong><\/p>\n

def read_model_from_couchbase(model_id):\r\n\u00a0 \u00a0 \u00a0bucket = cluster.bucket('model_repository')\r\n\u00a0 \u00a0 \u00a0model_bytes = bucket.get(model_id).value\r\n\u00a0 \u00a0 \u00a0model = pickle.loads(model_bytes)\r\n\u00a0 \u00a0 \u00a0key = model_id + \"_metadata\"\r\n\u00a0 \u00a0 \u00a0feature_names = bucket.get(key).value['feature_names']\r\n\u00a0 \u00a0 \u00a0return {'model': model, 'feature_names': set(feature_names)}<\/pre>\n
Fun\u00e7\u00e3o para ler os dados do cliente armazenados no Couchbase:<\/strong><\/p>\n
# We will use the Query interface in the Couchbase Python SDK to get multiple customer\r\n# records that satisfy a condition. Alternatively, the GET interface in the Couchbase Python SDK can \r\n# be used to get individual customer records e.g. bucket.get(customer_key).value\r\ndef read_data_from_couchbase(select_clause = \"\", where_clause = \"\"):\r\n     if select_clause:\r\n        query_statement = \"SELECT customer.*, \" + select_clause \r\n     else:\r\n        query_statement = \"SELECT customer.*\"\r\n\r\n     query_statement = query_statement + \" FROM `online_streaming` as customer\"\r\n\r\n     if where_clause:\r\n        query_statement = query_statement + \" WHERE \" + where_clause\r\n     # Use the Query API to get customer records\r\n     query_result = cb.query(query_statement)\r\n     return pd.DataFrame.from_dict(list(query_result))<\/pre>\n
O seguinte prever<\/em> l\u00ea o modelo, seus metadados e registros de clientes usando as fun\u00e7\u00f5es acima. Ela converte os dados do cliente em recursos usando o mesmo processo usado durante o treinamento (ou seja, codifica\u00e7\u00e3o de um ponto). Em seguida, ela prev\u00ea a pontua\u00e7\u00e3o de rotatividade executando o modelo nos recursos.<\/p>\n
def predict(model_id, select_clause = \"\", where_clause = \"\"):\r\n     # Step 1: Read the model and its metadata from Couchbase\r\n     rv = read_model_from_couchbase(model_id)\r\n     model = rv['model']\r\n     feature_names = rv['feature_names']\r\n\r\n     # Step 2: Read customer records from Couchbase\r\n     df = read_data_from_couchbase(select_clause, where_clause)\r\n     customer_prediction = df\r\n\r\n     # Step 3: Convert the raw data into features expected by the model\r\n     df = pd.get_dummies(df)\r\n     drop_cols = set(list(df.columns)) - feature_names\r\n     df.drop(drop_cols, axis = 1, inplace = True)\r\n     df = df.reindex(columns=feature_names, fill_value=0)\r\n     # Step 4: Predict\r\n     prediction = model.predict(df)\r\n     customer_prediction['Churn Prediction'] = prediction\r\n     return customer_prediction\r\n<\/pre>\n
# Example: Predict churn for a customer with given ID \r\nprediction = predict('churn_predictor_model_v1', where_clause = \"customer.CustomerID = 100002\")[['CustomerID', 'Churn Prediction']] \r\nprediction<\/pre>\n
Previs\u00e3o de rotatividade para ID do cliente 100002<\/em> \u00e9 1, o que indica que eles provavelmente deixar\u00e3o o servi\u00e7o de streaming.<\/p>\n
\"churn<\/p>\n
A previs\u00e3o \u00e9 salva em um bucket do Couchbase chamado previs\u00f5es usando o c\u00f3digo mostrado abaixo. Crie o bucket de previs\u00f5es em seu cluster do Couchbase antes de continuar.<\/p>\n
bucket = cluster.bucket('predictions')\r\nto_save = prediction.to_dict(orient=\"records\")[0]\r\nkey = str(prediction.iloc[0]['CustomerID'])\r\nbucket.upsert(key, to_save)<\/pre>\n
Verifique se a previs\u00e3o foi salva com \u00eaxito no Couchbase.<\/p>\n
\"\"<\/p>\n
Voc\u00ea tamb\u00e9m pode executar o modelo treinado e gerar previs\u00f5es no Couchbase Analytics usando o recurso Python UDF (atualmente em visualiza\u00e7\u00e3o para desenvolvedores). Consulte o artigo sobre Execu\u00e7\u00e3o de modelos de ML usando o Couchbase Analytics Python UDF<\/a> para obter mais informa\u00e7\u00f5es.<\/p>\n
An\u00e1lise de varia\u00e7\u00f5es hipot\u00e9ticas<\/h4>\n
O cientista de dados analisar\u00e1 as previs\u00f5es para responder a perguntas que ajudem a tomar decis\u00f5es.<\/p>\n
O problema que definimos no artigo anterior era uma equipe de vendas da empresa de servi\u00e7os de streaming on-line que queria saber se o aumento do custo mensal maximizaria a receita e, ao mesmo tempo, manteria a rotatividade de clientes sob controle.<\/p>\n
Para responder a isso, usaremos o c\u00f3digo abaixo para prever as pontua\u00e7\u00f5es de rotatividade quando os custos mensais forem aumentados em $1, $2 etc. Os resultados dessa an\u00e1lise ser\u00e3o armazenados no bucket de previs\u00f5es.
\nUsando a interface do usu\u00e1rio do cluster do Couchbase, crie um escopo chamado an\u00e1lise what_if<\/em> e uma cole\u00e7\u00e3o chamada increase_monthly_cost<\/em> no bucket de previs\u00f5es. (Os escopos e as cole\u00e7\u00f5es est\u00e3o dispon\u00edveis no Couchbase Server 7.0 e posterior)<\/p>\n
# Connect to predictions bucket on Couchbase and relevant scope and collection\r\nbucket = cluster.bucket('predictions')\r\nwa_scope = bucket.scope(\"what_if_analysis\")\r\nwa_collection = wa_scope.collection(\"increase_monthly_cost\")\r\n# Predict the churn rate if the monthly cost of existing customers is increased by \r\n# $1, $2 .. $5\r\nfor increase_by in range (1, 6):\r\n      # where_cluase is set to customer.Churn = 0 because we are interested \r\n      # only in existing customers\r\n      # The following select_clause will update the MonthlyCost as shown while returning the\r\n      # query result. In each iteration of this loop the MonthlyCost will increase by $1, $2 ...\r\n      select_clause = \"customer.`MonthlyCost` + \" + str(increase_by) + \" as `MonthlyCost`\"\r\n      # The updated MonthlyCost is passed as input along with other attributes to the prediction\r\n      # function. The output tells which of the existing customers are likely to\r\n      # to churn if the MonthlyCost is increased by the specified amount. \r\n      rv = predict('churn_predictor_model_v1', select_clause = select_clause, where_clause = \"customer.Churn = 0\")\r\n      # Monthly revenues are predicted by adding the monthly cost of the customers not likely to churn.\r\n      rv['Predicted Monthly Revenue'] = (1 - rv['Churn Prediction']) * rv['MonthlyCost']\r\n      predicted_churn_rate = rv['Churn Prediction'].value_counts(normalize=True).mul(100)[1]\r\n      # Save predictions to Couchbase.\r\n      to_save = {'Monthly Cost Increase ($)': increase_by, \r\n      'Predicted Monthly Revenue': rv['Predicted Monthly Revenue'].sum(),\r\n      'Predicted Churn Rate': predicted_churn_rate}\r\n       key = \"increase_by_$\" + str(increase_by)\r\n       wa_collection.upsert(key, to_save)\r\n\r\n# Use the Query API to calculate current revenue. Store it also on the predictions bucket. This is \r\n# used for comparison\r\ncurrent = cb.query('SELECT sum(customer.`MonthlyCost`) as CurrentRevenue FROM `online_streaming` customer where customer.Churn = 0')\r\nto_save = {'Monthly Cost Increase ($)': 0, 'Predicted Monthly Revenue': list(current)[0]['CurrentRevenue'], 'Predicted Churn Rate': 0}\r\nwa_collection.upsert(\"current\", to_save)<\/pre>\n
Para analisar os resultados da previs\u00e3o usando o Couchbase Query, crie um \u00edndice prim\u00e1rio no an\u00e1lise what_if<\/em> conforme mostrado na interface do usu\u00e1rio da consulta abaixo. Observe que o contexto da consulta deve ser definido conforme mostrado.<\/p>\n
\"query
\nOs gr\u00e1ficos de consulta podem ser usados para analisar os resultados da previs\u00e3o. O gr\u00e1fico abaixo mostra que ~7% dos clientes existentes t\u00eam previs\u00e3o de cancelamento se o custo mensal for aumentado em $1, ~10% provavelmente cancelar\u00e3o se o custo mensal for aumentado em $2, etc.<\/p>\n
\"query<\/p>\n
O gr\u00e1fico abaixo mostra que a receita mensal atual \u00e9 de $3,15 milh\u00f5es. Prev\u00ea-se que essa receita aumente em ~$50K se o custo da assinatura mensal dos clientes existentes for aumentado em $1 e em ~$230k se o custo mensal for aumentado em $2. Mas prev\u00ea-se que a receita diminua se o custo mensal for aumentado em $3 ou mais, devido \u00e0 maior taxa de rotatividade prevista.<\/p>\n
\"querychart2\"
\nCom essa an\u00e1lise, podemos concluir que a equipe de vendas da empresa de servi\u00e7os de streaming on-line pode aumentar o custo da assinatura mensal em $2 para maximizar a receita e, ao mesmo tempo, manter a taxa de rotatividade sob controle.<\/p>\n
A op\u00e7\u00e3o \"Download chart\" (Baixar gr\u00e1fico) na interface do usu\u00e1rio da consulta pode ser usada para salvar os gr\u00e1ficos.<\/p>\n
Servi\u00e7o de an\u00e1lise do Couchbase<\/h4>\n
Usamos a API de consulta do Couchbase no Python SDK para ler dados do Couchbase. Se, em vez disso, voc\u00ea quiser usar a API do Couchbase Analytics, aqui est\u00e1 um exemplo para ler os dados do Couchbase e armazen\u00e1-los em um dataframe do pandas.<\/p>\n
analytics_result = cb.analytics_query(\"SELECT customer.* FROM online_streaming customer\")\r\nanalytics_raw_data = pd.DataFrame(analytics_result)<\/pre>\n
O servi\u00e7o Couchbase Analytics tamb\u00e9m pode ser usado para EDA, visualiza\u00e7\u00e3o de dados e para executar modelos de ML treinados (visualiza\u00e7\u00e3o do desenvolvedor). Consulte a se\u00e7\u00e3o <\/span>Refer\u00eancia da linguagem N1QL for Analytics<\/span><\/a> e o artigo sobre <\/span>Execu\u00e7\u00e3o de modelos de ML usando o Couchbase Analytics Python UDF<\/span><\/a> para obter mais informa\u00e7\u00f5es.<\/span><\/p>\n
Conclus\u00e3o<\/h4>\n
Neste artigo e no anterior, aprendemos como o Couchbase facilita a ci\u00eancia de dados. Usando a previs\u00e3o de rotatividade de clientes como exemplo, vimos como realizar an\u00e1lises explorat\u00f3rias usando o servi\u00e7o Query, como ler com efici\u00eancia grandes conjuntos de dados de treinamento usando o Python SDK e como armazen\u00e1-los facilmente em uma estrutura de dados adequada para ML.<\/p>\n
Tamb\u00e9m vimos como armazenar modelos de ML, seus metadados e previs\u00f5es no Couchbase e como usar os gr\u00e1ficos de consulta para analisar as previs\u00f5es.<\/p>\n
A plataforma de dados Couchbase pode ser usada para armazenar dados brutos, recursos, modelos de ML, seus metadados e previs\u00f5es no mesmo cluster que executa os servi\u00e7os de consulta e an\u00e1lise. Isso torna o processo r\u00e1pido e f\u00e1cil, reduzindo o n\u00famero de ferramentas necess\u00e1rias para a ci\u00eancia de dados.<\/p>\n
Pr\u00f3ximas etapas<\/span><\/h4>\n
Se voc\u00ea estiver interessado em aprender mais sobre aprendizado de m\u00e1quina e Couchbase, aqui est\u00e3o algumas etapas e recursos excelentes para voc\u00ea come\u00e7ar:<\/span><\/p>\n