{"id":10577,"date":"2021-02-16T09:00:15","date_gmt":"2021-02-16T17:00:15","guid":{"rendered":"https:\/\/www.couchbase.com\/blog\/?p=10577"},"modified":"2021-02-10T06:05:47","modified_gmt":"2021-02-10T14:05:47","slug":"hands-on-migration-from-relational-to-collections","status":"publish","type":"post","link":"https:\/\/www.couchbase.com\/blog\/pt\/hands-on-migration-from-relational-to-collections\/","title":{"rendered":"Migra\u00e7\u00e3o pr\u00e1tica de relacional para cole\u00e7\u00f5es"},"content":{"rendered":"

O principal resultado deste blog \u00e9 ensinar como voc\u00ea pode migrar facilmente seus dados relacionais para o Couchbase, reduzindo seu TCO e capacitando sua plataforma de dados para responder aos ciclos de lan\u00e7amento r\u00e1pidos que conhecemos e amamos! Durante a migra\u00e7\u00e3o, voc\u00ea pode at\u00e9 mesmo manter os nomes individuais\/espa\u00e7os-chave que j\u00e1 estruturou usando escopos e cole\u00e7\u00f5es. Este blog \u00e9 uma esp\u00e9cie de am\u00e1lgama dos recursos rec\u00e9m-lan\u00e7ados explicados em outros blogs e atualiza\u00e7\u00f5es recentes, mas, diferentemente desses blogs, inclui alguns exemplos de como voc\u00ea pode migrar seus dados relacionais para o Couchbase.<\/p>\n

Uma das coisas brilhantes sobre o Couchbase \u00e9 que realmente ouvimos as necessidades da nossa comunidade e continuamos a desenvolver nossos produtos para oferecer a melhor experi\u00eancia poss\u00edvel aos nossos clientes. Escrevi este blog de forma pr\u00e1tica se voc\u00ea quiser acompanhar, mas tamb\u00e9m pode pular a etapa de extra\u00e7\u00e3o e trabalhar apenas com um TSV que forneci!<\/p>\n

Se voc\u00ea estiver acompanhando, os pr\u00e9-requisitos s\u00e3o um RDBMS para extrair dados, um interpretador python e um servidor Couchbase (seja no Docker, VM, f\u00edsico etc.).<\/p>\n

Vou usar um exemplo on-line para nosso banco de dados de demonstra\u00e7\u00e3o. Vinculado aqui<\/a> \u00e9 o banco de dados de amostra com tr\u00eas tabelas: cliente, agentes e pedidos.<\/p>\n

Migrar dados para o Couchbase \u00e9 muito f\u00e1cil, pois vamos imitar nossa estrutura de tabela usando nosso novo recurso de escopos e cole\u00e7\u00f5es. Para come\u00e7ar, precisamos de um espa\u00e7o de armazenamento l\u00f3gico. Neste exemplo, estamos usando um bucket por banco de dados, portanto, s\u00f3 precisamos criar um bucket. O esquema ser\u00e1 mapeado para um escopo, portanto, um escopo. Por fim, cada uma das tabelas ser\u00e1 mapeada para uma cole\u00e7\u00e3o com o mesmo nome, ou seja, um total de tr\u00eas cole\u00e7\u00f5es.<\/p>\n

\"\"<\/p>\n

Cria\u00e7\u00e3o de buckets, escopos e cole\u00e7\u00f5es:<\/b><\/p>\n

Temos muitas op\u00e7\u00f5es dispon\u00edveis aqui. O SDK, a API REST, a CLI do Couchbase (sem esquecer o shell do Couchbase) e a GUI da Web. Vou usar a API REST, pois a vantagem \u00e9 que podemos acess\u00e1-la pela linha de comando e n\u00e3o h\u00e1 necessidade de instalar nada! Para quem n\u00e3o conhece a interface REST, a documenta\u00e7\u00e3o aqui<\/a> explicar\u00e1 outros m\u00e9todos alternativos.<\/p>\n

As etapas a seguir especificar\u00e3o os comandos necess\u00e1rios para configurar seu bucket, escopo e cole\u00e7\u00f5es:<\/p>\n

Execute os dois comandos a seguir para criar seu bucket de dados e seu escopo:<\/p>\n

curl -X POST -u Administrator:password https:\/\/127.0.0.1:8091\/pools\/default\/buckets -d name=migration -d bucketType=couchbase -d ramQuotaMB=100\r\ncurl -X POST -u Administrator:password https:\/\/127.0.0.1:8091\/pools\/default\/buckets\/migration\/collections<\/a> -d name=reference<\/pre>\n
Agora, crie as tr\u00eas cole\u00e7\u00f5es para as quais mapearemos os dados da tabela:<\/p>\n
curl -u Administrator:password -X POST https:\/\/localhost:8091\/pools\/default\/buckets\/migration\/collections\/reference -d name=$TABLE_NAME<\/pre>\n
Basta alterar a vari\u00e1vel $TABLE_NAME conforme necess\u00e1rio para criar as cole\u00e7\u00f5es de agentes, pedidos e clientes, respectivamente.<\/p>\n
(H\u00e1 links para as p\u00e1ginas de documenta\u00e7\u00e3o dessas APIs no Ap\u00eandice)<\/p>\n
Com tudo criado, v\u00e1 at\u00e9 a se\u00e7\u00e3o Buckets e clique no link \"Scopes & Collections\" (Escopos e cole\u00e7\u00f5es) ao lado do nome do bucket que voc\u00ea criou; o meu se chama migration (migra\u00e7\u00e3o). Se voc\u00ea expandir o escopo que criamos, ver\u00e1 as tr\u00eas cole\u00e7\u00f5es que criamos.<\/p>\n
\"\"<\/p>\n
 <\/p>\n
Extra\u00e7\u00e3o de dados do nosso RDBMS<\/strong><\/p>\n
Agora que j\u00e1 temos nosso bucket, escopo e cole\u00e7\u00f5es, estamos prontos para exportar nossos dados relacionais. Escrevi um arquivo roteiro curto<\/a> que extrai os dados armazenados no banco de dados MySQL de amostra para TSV, o que \u00e9 compat\u00edvel com nossas ferramentas de importa\u00e7\u00e3o, ou voc\u00ea mesmo pode exportar os dados. Se j\u00e1 tiver configurado o banco de dados, basta executar o script e alterar as vari\u00e1veis para usar o nome de usu\u00e1rio e a senha que voc\u00ea configurou. Depois de executar o script, voc\u00ea ver\u00e1 tr\u00eas arquivos .tsv criados contendo os dados de cada tabela do banco de dados de amostra.<\/p>\n
#!\/usr\/bin\/python3\r\n\r\nimport subprocess\r\nimport json\r\nimport re\r\n\r\nsql_commands='{ \"commands\": { \"agents\": \"SELECT * FROM agents;\", \"customer\": \"SELECT * FROM customer\", \"orders\": \"SELECT * FROM orders;\" } }'\r\ndb_name = \"sample\"\r\nusername = \"root\"\r\npassword = \"rootroot\"\r\n\r\nsql_commands = json.loads(sql_commands)\r\nfor command_name in sql_commands[\"commands\"]:\r\n    print(\"Running command: \" + command_name)\r\n    \r\n    sql_statement = \"--execute={0}\".format(sql_commands[\"commands\"][command_name])\r\n    command = subprocess.run([\"\/usr\/local\/mysql\/bin\/mysql\", db_name, \"--user={0}\".format(username), \"--password={0}\".format(password), sql_statement], capture_output=True)\r\n    with open(command_name+\"_out.tsv\", 'w') as command_output_file:\r\n        command_without_trailing_white_space = re.sub(b\" +\\\\t\", b'\\\\t', command.stdout)\r\n        command_output_file.write(command_without_trailing_white_space.decode('ascii'))<\/pre>\n
Aqui est\u00e1 um exemplo de sa\u00edda TSV. Se estiver trabalhando apenas na parte de importa\u00e7\u00e3o, v\u00e1 em frente e use isso:<\/p>\n
AGENT_CODE AGENT_NAME WORKING_AREA COMMISSION PHONE_NO COUNTRY\r\nA007 Ramasundar Bangalore 0.15 077-25814763\r\nA003 Alex London 0.13 075-12458969\r\nA008 Alford New York 0.12 044-25874365\r\nA011 Ravi Kumar Bangalore 0.15 077-45625874\r\nA010 Santakumar Chennai 0.14 007-22388644\r\nA012 Lucida San Jose 0.12 044-52981425\r\nA005 Anderson Brisban 0.13 045-21447739\r\nA001 Subbarao Bangalore 0.14 077-12346674\r\nA002 Mukesh Mumbai 0.11 029-12358964\r\nA006 McDen London 0.15 078-22255588\r\nA004 Ivan Torento 0.15 008-22544166\r\nA009 Benjamin Hampshair 0.11 008-22536178<\/pre>\n
 <\/p>\n
Importa\u00e7\u00e3o de dados para o Couchbase<\/strong><\/p>\n
Nossa ferramenta de importa\u00e7\u00e3o rica em recursos, o cbimport, facilita muito a importa\u00e7\u00e3o de dados de v\u00e1rios formatos. Recentemente, implementamos algumas funcionalidades de importa\u00e7\u00e3o em nossa interface gr\u00e1fica na Web, tornando o processo ainda mais acess\u00edvel. Veja abaixo uma captura de tela da nossa ferramenta de importa\u00e7\u00e3o Web Gui. Para chegar at\u00e9 aqui, fa\u00e7a login na GUI da Web do Couchbase e v\u00e1 para \"Documents\" (Documentos) -> \"Import\" (Importar).<\/p>\n
\"\"<\/p>\n
Aqui, vamos importar nossos TSVs usando o bot\u00e3o \"Select File to Import\" (Selecionar arquivo para importar). Observe que, ao carregar um arquivo, muitos campos s\u00e3o preenchidos para voc\u00ea. D\u00ea uma olhada nos dados importados e verifique se eles correspondem ao que voc\u00ea espera, considerando a estrutura relacional anterior. Temos apenas algumas etapas curtas a serem conclu\u00eddas para importar nossos dados.<\/p>\n
Primeiro, especifique uma cole\u00e7\u00e3o para a qual importar os dados, por exemplo, agents_out.tsv mapeia para a cole\u00e7\u00e3o \"agents\". Tamb\u00e9m vamos fazer a correspond\u00eancia entre as linhas individuais do nosso banco de dados relacional anterior e os IDs de documentos no Couchbase. Novamente, isso \u00e9 feito facilmente com a nossa ferramenta de importa\u00e7\u00e3o usando a se\u00e7\u00e3o \"Import With Document ID\" (Importar com ID de documento). Em todas as minhas importa\u00e7\u00f5es de dados, usei a chave prim\u00e1ria dos dados relacionais como o ID do documento no Couchbase, o que \u00e9 muito \u00fatil, pois cada chave em uma cole\u00e7\u00e3o deve ser exclusiva. Por exemplo, em agents_out.tsv, usei a chave prim\u00e1ria \"AGENT_CODE\". Execute essa etapa para cada um dos .tsvs: agentes, pedidos e clientes.<\/p>\n
 <\/p>\n
E a\u00ed est\u00e1, apenas para recapitular, fizemos o seguinte:<\/p>\n
    \n
  1. Exportamos nossos dados do banco de dados legado para TSV<\/li>\n
  2. Criamos um escopo e cole\u00e7\u00f5es com base nas tabelas que estamos importando<\/li>\n
  3. Importou os dados usando a ferramenta de migra\u00e7\u00e3o de dados para uma cole\u00e7\u00e3o espec\u00edfica, dentro de um escopo.<\/li>\n<\/ol>\n
    Ok, ent\u00e3o agora que tenho meus dados no Couchbase, preciso aprender uma nova maneira de consultar os dados? Muito pelo contr\u00e1rio, por que n\u00e3o ir at\u00e9 a GUI da Web do Couchbase e consultar alguns de seus dados rec\u00e9m-importados usando N1QL? Ele \u00e9 compat\u00edvel com SQL++ e, se voc\u00ea j\u00e1 escreveu uma consulta SQL antes, vai se sentir em casa<\/a>O port\u00e3o est\u00e1 aberto, entrem! N\u00e3o s\u00f3 facilitaremos a elabora\u00e7\u00e3o de consultas, como tamb\u00e9m ajudaremos voc\u00ea a criar o \u00edndice certo com nosso Servi\u00e7o de consultor de \u00edndices<\/a>Se voc\u00ea quiser usar um \u00edndice, basta inserir a consulta que deseja realizar e o consultor sugerir\u00e1 um \u00edndice. Oferecemos suporte at\u00e9 mesmo a JOINs:<\/p>\n
    SELECT orders.AGENT_CODE, orders.ORD_AMOUNT, agents.AGENT_NAME\r\nFROM `bigdata`.reference.orders as orders\r\nJOIN `bigdata`.reference.agents as agents\r\nON orders.AGENT_CODE = meta(agents).id;<\/pre>\n
    Esse \u00e9 um \u00f3timo come\u00e7o na dire\u00e7\u00e3o certa para fazer a transi\u00e7\u00e3o do sistema relacional para o NoSQL, se voc\u00ea quiser saber mais sobre como modelar seus dados para aproveitar ao m\u00e1ximo o Couchbase, confira nosso guia de modelagem de dados<\/a>.<\/p>\n
    Quer saber mais sobre escopos e cole\u00e7\u00f5es? Recomendo o blog da Shivani<\/a><\/p>\n
     <\/p>\n
    Ap\u00eandice:<\/b><\/p>\n