Anunciando o novo conector do Couchbase Spark
O Couchbase Spark Connector 1.2.0 já está disponível. Ele inclui novos recursos e aprimoramentos significativos, além de suporte para o Apache Spark 1.6.
Em nome da nossa excelente equipe de desenvolvimento de produtos, tenho o prazer de anunciar a última versão 1.2.0 do Couchbase Spark Connector. Como sempre, o momento não é coincidência, pois na próxima semana Spark Summit 2016 está acontecendo em São Francisco. Estamos patrocinando o evento e, como resultado, você poderá encontrar a mim e a meus colegas no estande da Couchbase (B7). Também daremos uma palestra às 16h15 na quarta-feira, 8 de junho, sobre "Aumentando o banco de dados operacional com o Spark" - compareça para conhecer os últimos desenvolvimentos do Couchbase e do Spark.
Detalhes da versão
Essa versão nos atualiza com a versão 1.6 do Apache Spark e oferece vários novos recursos e aprimoramentos. Especificamente, a versão 1.2.0 do Couchbase Spark Connector:
- É compatível com o Apache Spark 1.6,
- Adiciona suporte a Java e Scala para as APIs de visualização do Couchbase, visualização espacial e consulta N1QL em RDDs,
- Adiciona suporte à nova API de pesquisa de subdocumentos em RDDs e SparkContext (requer o Couchbase Server 4.5),
- Permite que a API Java use o Spark SQL diretamente,
- Amplia as expressões de filtro SparkSQL existentes para incluir suporte a todos os filtros Spark, inclusive expressões de filtro aninhadas,
- Adiciona aprimoramentos ao suporte do Spark Streaming (ainda experimental neste estágio),
- Inclui várias outras correções de bugs e aprimoramentos.
Consulte o Notas de versão do conector do Couchbase Spark 1.2.0 para ver a lista de recursos desta versão. Consulte a seção Documentação do conector do Couchbase Spark para obter exemplos e informações de Introdução. Há também um excelente tour pelo conector em Postagem do blog de Michael se você ainda não o viu.
O Conector é distribuído a partir do Maven Central (assim como o spark-packages.org), portanto, se quiser fazer experiências com ele usando o spark-shell, isso é tudo de que você precisa para começar a trabalhar:
> $SPARK_HOME/bin/spark-shell -packages com.couchbase.client:spark-connector_2.10:1.2.0
O caminho a seguir
Tem sido muito empolgante conversar com clientes e parceiros sobre como eles planejam usar o Spark e o Couchbase juntos. Seus comentários e projetos do mundo real ajudarão a orientar os futuros recursos do conector. Se você ainda não experimentou o conector, faça-o e adicione seu feedback e suas ideias sobre os próximos passos do conector. De nossa parte, estamos ansiosos pela nova funcionalidade do Spark 2.x (consulte a postagem de pré-lançamento no blog da Databricks), bem como pelo fornecimento de aprimoramentos adicionais à interface do Spark Streaming.
Boa codificação, sem bugs e com operações rápidas na memória!
