{"id":2285,"date":"2016-06-06T01:00:01","date_gmt":"2016-06-06T01:00:01","guid":{"rendered":"https:\/\/www.couchbase.com\/blog\/?p=2285"},"modified":"2024-09-12T01:16:35","modified_gmt":"2024-09-12T08:16:35","slug":"why-spark-and-nosql","status":"publish","type":"post","link":"https:\/\/www.couchbase.com\/blog\/pt\/why-spark-and-nosql\/","title":{"rendered":"Por que usar o Spark com bancos de dados NoSQL?"},"content":{"rendered":"

Introdu\u00e7\u00e3o<\/h2>\n

Nas \u00faltimas duas semanas, o Spark tem estado em meu c\u00e9rebro. \u00c9 compreens\u00edvel, na verdade, j\u00e1 que estou preparando um webinar da O'Reilly \"Como aproveitar o Spark e o NoSQL para aplicativos orientados por dados<\/a>\" com Michael Nitschinger<\/a> e uma palestra diferente, \"Spark and Couchbase: Aumentando o banco de dados operacional com o Spark\" para Spark Summit 2016<\/a> com Matt Ingenthron<\/a>. Em outro lugar, voc\u00ea pode aprender sobre o Conector do Couchbase Spark<\/a>O que h\u00e1 em nossa nova vers\u00e3o e como us\u00e1-la. Neste blog, quero falar sobre por que a melhor combina\u00e7\u00e3o de banco de dados \u00e9 o Apache Spark e um Banco de dados NoSQL<\/a> formam uma boa combina\u00e7\u00e3o.<\/p>\n

Fa\u00edsca 101<\/h2>\n

Se voc\u00ea n\u00e3o estiver familiarizado com ele, Fa\u00edsca<\/a> \u00e9 uma estrutura de processamento de Big Data que faz an\u00e1lises, aprendizado de m\u00e1quina, processamento de gr\u00e1ficos e muito mais sobre grandes volumes de dados. \u00c9 semelhante ao Map Reduce, Hive, Impala, Mahout e outras camadas de processamento de dados criadas sobre o HDFS no Hadoop. Assim como o Hadoop, seu foco \u00e9 a otimiza\u00e7\u00e3o, mas \u00e9 melhor em muitos aspectos: em geral, \u00e9 mais r\u00e1pido, muito mais f\u00e1cil de programar e tem bons conectores para quase tudo. Diferentemente do Hadoop, \u00e9 f\u00e1cil come\u00e7ar a escrever e executar o Spark a partir da linha de comando em seu laptop e, em seguida, implant\u00e1-lo em um cluster para executar em um conjunto de dados completo.<\/p>\n

O que eu disse at\u00e9 agora pode dar a impress\u00e3o de que o Spark \u00e9 um banco de dados, mas ele \u00e9 enfaticamente n\u00e3o<\/em> um banco de dados. Na verdade, ele \u00e9 um mecanismo de processamento de dados. O Spark l\u00ea dados em massa<\/em> que est\u00e1 armazenado em algum lugar como HDFS, Amazon S3 ou Couchbase Server, realiza algum processamento nesses dados e grava os resultados para que possam ser usados posteriormente. \u00c9 um sistema baseado em trabalho, como o Hadoop, em vez de um sistema on-line, como o Couchbase ou o Oracle. Isso significa que o Spark sempre paga um custo de inicializa\u00e7\u00e3o que o exclui de cargas de trabalho r\u00e1pidas do tipo leitura\/grava\u00e7\u00e3o aleat\u00f3ria. Assim como o Hadoop, o Spark \u00e9 excelente quando se trata da taxa de transfer\u00eancia geral do sistema, mas isso ocorre \u00e0s custas da lat\u00eancia.<\/p>\n

Em resumo, o Couchbase Server e o Spark resolvem problemas diferentes, mas ambos s\u00e3o bons para resolver. Vamos falar sobre por que as pessoas os usam juntos.<\/p>\n

Caso de uso #1 de NoSQL e Spark: Operacionaliza\u00e7\u00e3o da an\u00e1lise\/aprendizagem de m\u00e1quina<\/h2>\n

N\u00e3o h\u00e1 d\u00favida sobre isso: os dados s\u00e3o um \u00f3timo material. Os grandes aplicativos on-line que s\u00e3o executados no Couchbase tendem a ter uma grande quantidade deles. As pessoas criam mais dados todos os dias quando fazem compras on-line, reservam viagens ou enviam mensagens umas \u00e0s outras. Quando procuro um cat\u00e1logo de produtos e coloco uma nova lente de c\u00e2mera no carrinho, algumas informa\u00e7\u00f5es precisam ser armazenadas no Couchbase para que eu possa concluir minha compra e receber meus novos produtos pelo correio.<\/p>\n

Muito mais pode ser feito com os dados da minha viagem de compras que s\u00e3o invis\u00edveis para mim: eles s\u00e3o analisados para ver quais produtos s\u00e3o comumente comprados juntos, para que a pr\u00f3xima pessoa que colocar essa lente em seu carrinho de compras receba melhores recomenda\u00e7\u00f5es de produtos para que tenha maior probabilidade de comprar. Ele pode ser verificado quanto a sinais de fraude para ajudar a proteger a mim e ao varejista contra bandidos. Ela pode ser rastreada para descobrir se eu preciso de um cupom ou de algum outro incentivo para concluir uma compra sobre a qual estou indeciso. Todos esses s\u00e3o exemplos de aprendizado de m\u00e1quina e minera\u00e7\u00e3o de dados que as empresas podem fazer usando o Spark.<\/p>\n

<\/p>\n

Nessa ampla fam\u00edlia de casos de uso, o Spark fornece modelos de aprendizado de m\u00e1quina, previs\u00f5es, os resultados de grandes trabalhos de an\u00e1lise e assim por diante, e o Couchbase os torna interativos e os dimensiona para um grande n\u00famero de usu\u00e1rios. Alguns outros exemplos disso, al\u00e9m das recomenda\u00e7\u00f5es de compras on-line, incluem classificadores de spam para aplicativos de comunica\u00e7\u00e3o em tempo real, an\u00e1lise preditiva que personaliza listas de reprodu\u00e7\u00e3o para usu\u00e1rios de um aplicativo de m\u00fasica on-line e modelos de detec\u00e7\u00e3o de fraude para aplicativos m\u00f3veis que precisam tomar decis\u00f5es instant\u00e2neas para aceitar ou rejeitar um pagamento. Eu tamb\u00e9m incluiria nessa categoria um amplo grupo de aplicativos que s\u00e3o, na verdade, armazenamento de dados de \"\u00faltima gera\u00e7\u00e3o\", em que grandes quantidades de dados precisam ser processadas de forma barata e, em seguida, fornecidas de forma interativa a muitos e muitos usu\u00e1rios. Por fim, os cen\u00e1rios da Internet das coisas tamb\u00e9m se enquadram aqui, com a diferen\u00e7a \u00f3bvia de que os dados representam as a\u00e7\u00f5es de m\u00e1quinas em vez de pessoas.<\/p>\n

Tecnicamente, o que todos esses casos de uso t\u00eam em comum \u00e9 a divis\u00e3o em um banco de dados operacional e um cluster de processamento anal\u00edtico, cada um otimizado para sua carga de trabalho. Essa divis\u00e3o \u00e9 como a divis\u00e3o entre sistemas OLTP e OLAP, atualizada para a era do Big Data. J\u00e1 falamos sobre o Spark do lado anal\u00edtico, agora vamos falar sobre o Couchbase e o lado operacional.<\/p>\n

Couchbase: Acesso r\u00e1pido a dados operacionais em escala<\/h2>\n

O Couchbase Server foi criado para executar aplicativos r\u00e1pidos, dimension\u00e1veis, f\u00e1ceis de gerenciar e \u00e1geis o suficiente para evoluir junto com os requisitos de neg\u00f3cios. Os tipos de aplicativos que tendem a usar o aprendizado de m\u00e1quina e a an\u00e1lise do Spark tamb\u00e9m tendem a precisar dos recursos oferecidos pelo Couchbase:<\/p>\n