Bulk Loading Documents into Couchbase

문서 대량 로드 카우치베이스

이 블로그 게시물은 Couchbase에 데이터를 JSON으로 로드하는 방법에 대한 예시입니다. 이 글의 목적상, RDBMS에서 CSV로 추출한 데이터를 JSON으로 변환합니다. Oracle, SQL server, MySQL 등에 익숙한 RDBMS DBA와 관리자는 아마도 NoSQL을 실험하고 테스트할 방법을 찾고 있을 것입니다. 종종 NoSQL 사용의 첫 번째 단계는 가지고 있는 모든 것을 JSON으로 변환하는 것입니다..

카우치베이스는 JSON과 바이너리 데이터를 지원하지만, 이 글에서는 가장 풍부한 데이터 유형인 JSON을 살펴보고자 합니다. 이 점을 이해하는 것이 중요한데, JSON 이외의 형식으로 문서를 카우치베이스에 로드하면 데이터가 바이너리로 로드되어 뷰나 인덱스를 작성하려고 할 때 뷰 유연성에 영향을 줄 수 있기 때문입니다. 이제 몇 가지 문서를 로드해 보겠습니다. 이를 달성하는 방법에는 두 가지가 있지만 이 글의 목적상 로드하려는 모든 문서가 이미 압축되거나 압축되지 않은 JSON 형식이라고 가정하겠습니다. 다음 섹션에서는 JSON 데이터를 로드하는 한 가지 가능한 경로에 대해 설명합니다.

다음과 같은 일부 Couchbase ETL 파트너는 다음과 같습니다. Talend는 GUI를 원하거나, CSV 파일을 다루고 싶지 않거나, 데이터를 CSV로 커밋하기 전에 데이터 순서를 바꾸고 싶거나, 여러 소스에서 데이터를 ETL한 후 Couchbase Server에 저장해야 할 필요가 있는 경우 Couchbase용 커넥터를 제공합니다. Talend는 원하는 경우 Couchbase에 로드하기 전에 문서를 직접 JSON 파일로 매핑하고 저장할 수 있습니다.

이 가이드는 Linux 또는 Mac, 패키지 관리자 및 Ruby에 어느 정도 익숙하다고 가정합니다.

추가 SDK 설정 정보는 여기를 참조하세요: www.couchbase.com/developers/

데이터를 준비하고 로드하는 데 사용되는 단계는 다음과 같습니다:

데이터 준비: CSV를 JSON으로 변환하는 몇 가지 예제 도구를 살펴보세요.
데이터 로드: Ruby 스크립트를 통해 카우치베이스에 데이터를 로드하는 몇 가지 방법을 살펴봅니다.

Linux 및 Mac용 사전 요구 사항: 기능적인 빌드 환경이 필요합니다!

Libcouchbase: 이 스크립트는 Ruby를 사용하므로 couchbase 젬을 설치하기 전에 libcouchbase가 설치되어 있어야 합니다.
- C 클라이언트 라이브러리 설치
루비젬: 루비 카우치베이스 래퍼를 설치할 수 있는 루비젬이 있는지 확인합니다.
- 제가 사용한 보석은 다음과 같습니다.
  - '루비-진도 표시줄'
  - 'couchbase'
  - 'yaji'
  - 'optparse'
Yajl 파서: 이 또한 YAJI의 전제 조건으로 설치해야 합니다.
- YAJI 구문 분석기 페이지와 라이브러리 지침 포함
카우치베이스 젬을 설치합니다: GEM 설치 카우치베이스

설정에 성공했다면 제가 제공한 루비 스크립트가 실행되어야 합니다. 스트림로더에 -h를 전달하고 구문 메시지가 표시되는지 확인할 수 있습니다. 마지막으로, 나열된 GEM인 Yaji, optparse, couchbase 및 ruby-progressbar도 설치하는 것을 잊지 마세요. 링크는 이 글 하단에 제공됩니다.

데이터 준비

데이터 준비 방법 1: 간단하고 빠르며 일관성이 있습니다: csvtojson NodeJS 스크립트

Google을 통해 찾을 수 있으며 다른 서비스도 있습니다.
NPM 알라를 통해 설치 npm 설치 -g csvtojson

다음은 참조용 변환 예시입니다:

Austins-MBP:complaintstemp austin$ npm info csvtojson
{ name: 'csvtojson',
  description: 'A tool concentrating on converting csv data to JSON with customised parser supporting',
  'dist-tags': { latest: '0.3.21' },
Austins-MBP:complaintstemp austin$ which csvtojson
/usr/local/bin/csvtojson
Austins-MBP:complaintstemp austin$ csvtojson data.gov_Consumer_Complaints.csv

Austins-MBP:불만 처리 austin$ npm 정보 csvtojson

{ 이름: 'csvtojson',

설명: '사용자 정의 파서를 지원하여 csv 데이터를 JSON으로 변환하는 데 집중하는 도구',

'dist-tags': { 최신: '0.3.21' },

Austins-MBP:불만 처리 austin$ 어느 csvtojson

/usr/local/bin/csvtojson

Austins-MBP:불만 처리 austin$ csvtojson 데이터.정부_소비자_불만.csv

데이터 준비 방법 2: 루비 스크립트 작성: csv2json.rb

루비는 단일 스레드이므로 프로세스를 완료하는 데 걸리는 시간은 달라질 수 있습니다.

이 스크립트에 대한 추가 참고 사항은 다음과 같습니다. YAJL 파서 대신 기본 JSON 모듈을 사용하여 Couchbase로의 데이터 스트리밍을 처리하지 않습니다.

아래 스크립트는 필요한 유일한 변경 사항을 보여줍니다. 이렇게 하면 변환 중 메모리 사용량이 개선됩니다. 이전에 YAJL을 설치하지 않았다면 간단히 이 작업을 수행할 수 있습니다: 'gem 설치 yajl-ruby'

#!/usr/bin/env ruby
require 'rubygems'
require 'csv'
require 'pathname'
#require 'JSON'
require 'yajl/json_gem'

Dir["./**/*.csv"].each do |csv_file_path|

  puts csv_file_path
  file_name = Pathname.new(csv_file_path).basename(".csv").to_s

  File.open("#{file_name}.json",'w') do |json_file|

  jsonData = CSV.read(csv_file_path,
     :headers =&gt; true, :header_converters =&gt; :symbol).map{|csv_row| csv_row.to_hash}

    json_file.write(JSON.pretty_generate(jsonData));
  end
end

#!/usr/bin/env ruby

require 'rubygems'

require 'csv'

require '경로명'

1TP5'JSON' 필요

require 'yajl/json_gem'

Dir["./**/*.csv"].각 do |CSV_파일_경로|

풋 CSV_파일_경로

파일_이름 = 경로 이름.new(CSV_파일_경로).기본 이름(".csv").to_s

파일.열기("#{file_name}.json",'w') do |json_file|

jsonData = CSV.읽기(CSV_파일_경로,

:헤더 => true, :header_converters => :기호).지도{|csv_row| csv_row.to_hash}

json_file.쓰기(JSON.pretty_generate(jsonData));

끝

전환 후 단계

변환이 완료되면 ZIP으로 파일을 압축할 차례입니다:

 Austins-MBP:complaintstemp austin$ ls
Consumer_Complaints.csv        Consumer_Complaints.json    csv2json.rb
 
Austins-MBP:complaintstemp austin$ zip Consumer_Complaints.zip Consumer_Complaints.json
  adding: Consumer_Complaints.json (deflated 95%)

Austins-MBP:불만 처리 austin$ ls

소비자_불만.csv 소비자_불만.json csv2json.rb

Austins-MBP:불만 처리 austin$ zip 소비자_불만.zip 소비자_불만.json

추가: 소비자_불만.json (수축 95%)

zip 파일을 디렉토리에 넣습니다. 저는 ~/Downloads/json_files/ 내 홈 디렉토리에 있습니다.

Austins-MBP:complaintstemp austin$ cp Consumer_Complaints.zip ~/Downloads/json_files/

1	Austins-MBP:불만 처리 austin$ cp 소비자_불만.zip ~/다운로드/json_files/

데이터가 준비되면 로드를 시작할 준비가 된 것입니다. 다음 예제에서는 데이터를 Couchbase에 대량으로 가져오는 몇 가지 일반적인 방법에 대해 설명합니다.

Couchbase 설치에는 다음과 같은 기본 제공 도구가 제공됩니다. cbcdocloader. 최대 20MB 크기의 개별 문서 파일을 압축하거나 디렉터리 내에 저장하여 로드합니다. 이 글을 쓰는 시점에 cbcdocloader 를 사용하려면 디렉토리에 여러 개의 JSON 형식 파일이 포함되어 있어야 합니다. 두 번째로, 제가 Ruby로 작성한 도구에 대해 설명할 것인데, 이 도구는 Couchbase의 세르게이 아사바예프의 YAJI 루비 젬. 참조된 코드는 무료로 사용할 수 있으며 사용하기 편한 언어로 다시 작성할 수 있습니다.

문서 로드 방법 1: 사용 cbcdocloader

디렉토리 내의 개별 파일 집합을 사용하는 것은 일반적인 사용 사례이지만, 불러올 파일 및 디렉토리의 구조에 따라 원하는 문서가 로드된 후 표시되는 방식이 달라집니다. 이러한 구조를 유지하려면 로드할 파일과 디렉터리를 .zip 파일 안에 패키징하는 것이 좋습니다.

문서 ID 키 이름은 제공된 문서 파일을 기반으로 합니다.

참고: t그의 방법은 대용량 통합 문서 파일에는 적합하지 않습니다. 대용량 모놀리식 파일의 경우 아래의 방법 2에서 로드하는 방법을 예시하겠습니다.

그런 다음 다음 명령을 사용하여 파일을 로드합니다:

cbdocloader -u Administrator -p s3kre7Pa55 -b MyBucketToLoad -n 127.0.0.1:8091 -s 1000 
~/json_files/beer-sample.zip

도심형 로더 -u 관리자 -p s3kre7Pa55 -b 내버킷 로드 -n 127.0.0.1:8091 -s 1000

~/json_files/맥주-샘플.zip

참고:
'-s 1000'은 버킷의 메모리 크기입니다. 버킷에 맞게 이 값을 조정해야 합니다.
또한 버킷은 다음과 같이 존재할 필요가 없습니다. cbcdocloader 를 사용하면 생성되지만 '-s' 플래그를 설정하기 전에 리소스 사용량을 확인하여 사용 가능한 RAM이 있는지 확인해야 합니다.

모든 것이 성공적으로 완료되면 문서가 로드되었는지 여부, 바이트 수 등이 표시된 출력이 표시됩니다.


bucket: 2014-10-02-ny-json.zip, msgs transferred...
       :                total |       last |    per sec
 byte  :            242446488 |  242446488 |  3115728.2

버킷: 2014-10-02-ny-json.zip, msgs 전송...

: 합계 | 마지막 | 당 초

바이트 : 242446488 | 242446488 | 3115728.2

다음은 지정된 디렉터리에 있는 많은 .zip 파일을 로드하는 간단한 스크립트입니다:

#!/bin/bash
JSON_Dir=~/json_files/
for ZipFile in $JSON_Dir/*.zip ; 
do /Applications/Couchbase Server.app/Contents/Resources/couchbase-core/bin/cbdocloader  
    -u Administrator -p s3kre7Pa55 -b MyBucketToLoad                                  
    -n 127.0.0.1:8091 -s 1000 $ZipFile
 done

#!/bin/bash

JSON_Dir=~/json_files/

에 대한 ZipFile in $JSON_Dir/*.zip ;

do /애플리케이션/카우치베이스 서버.앱/콘텐츠/리소스/카우치베이스-핵심/bin/도심형 로더

-u 관리자 -p s3kre7Pa55 -b 내버킷 로드

-n 127.0.0.1:8091 -s 1000 $ZipFile

완료

문서 로드 방법 2: streamloadjson

다른 방법은 단일 모놀리식 파일에서 쉼표로 구분된 모든 문서를 로드하는 것입니다.

이 방법을 수행하기 위해 YAJI JSON 스트림 파서를 사용하는 작지만 효과적인 스크립트를 준비했습니다. streamjsonload.

이 프로그램의 옵션은 다음과 같습니다:

~$ ruby streamloadjson.rb -h
ruby json loader
    -f, --jsonfile jsonfile          JSON formatted filename
    -b, --bucketname BUCKETNAME      bucket name
    -n, --hostname hostname          hostname/ip address
    -r, --root JSONroot              JSON root to parse
    -d, --docid SearchKey            JSON Key ID
    -h, --help                       This menu

~$ ruby streamloadjson.rb -h

ruby json 로더

-f, --jsonfile jsonfile JSON 형식 파일 이름

-b, --버킷명 버킷 이름 버킷 이름

-n, --호스트 이름 호스트 이름 호스트 이름/IP 주소

-r, --root JSONroot JSON root 에 parse

-d, --docid 검색 키 JSON 키 ID

-h, --도움말 이 메뉴

아래에서 fathers.json.txt와 같은 테스트 JSON 파일이 있는 문서를 로드하려면 다음과 같이 호출할 수 있습니다:

ruby streamloadjson.rb -b TestBucket -f fathers.json -n localhost -d id -r /fathers/

1	ruby streamloadjson.rb -b 테스트 버킷 -f 아버지.json -n localhost -d id -r /아버지/

스크립트는 아래와 같은 출력을 제공해야 합니다:

Reading from fathers.json
JSON path processed is /fathers/
Couchbase  node is localhost
29999 Time: 00:00:07 |&gt;&gt;---=---=---=---=---| Doc Loading

읽기 에서 아버지.json

JSON 경로 처리됨 는 /아버지/

카우치베이스 노드 는 localhost

29999 시간: 00:00:07 |>>---=---=---=---=---| 문서 로드 중

YAJI 파서 사용의 가장 큰 장점 중 하나는 메모리 사용량이 매우 적다는 것입니다. 즉, 입력 데이터를 페이지 매김하고 여러 스트림으로 분할하여 카우치베이스에 로드할 수 있습니다. 루비는 싱글 스레드이기 때문에 신중한 프로세스가 생성되지만 다른 언어도 멀티 스레딩에 사용될 수 있습니다. 이러한 예제는 Couchbase Labs Github 리포지토리에 있습니다.

몇 가지 주의해야 할 사항이 있습니다, 이 도구는 모놀리식 문서 파일만 로드하고, '-d'가 제공되지 않으면 자동으로 ID를 생성하려고 시도하며, 문서가 로드되지 않으면 -r로 '루트'를 미세 조정해야 합니다.

로더에 대한 최신 코드는 내 깃허브 리포지토리에서도 제공했지만 아래에 인라인으로 제공했습니다:

#!/usr/bin/env ruby

#An example JSON file for testing is at:
# https://github.com/ysharplanguage/FastJsonParser/raw/master/JsonTest/TestData/fathers.json.txt

require 'ruby-progressbar'
require 'rubygems'
require 'couchbase'
require 'yaji'
require 'optparse'

options = {}

optparse = OptionParser.new do |opts|
opts.banner = 'ruby json loader'

opts.on('-f', '--jsonfile jsonfile', 'JSON formatted filename') do |jsonfile|
options[:jsonfile] = jsonfile
end

opts.on('-b', '--bucketname BUCKETNAME', 'bucket name') do |bucketname|
options[:bucketname] = bucketname
end

opts.on('-n', '--hostname hostname', 'hostname/ip address') do |hostname|
options[:hostname] = hostname
 end

opts.on('-r', '--root JSONroot', 'JSON root to parse') do |root|
options[:root] = root
 end

opts.on('-d', '--docid SearchKey', 'JSON Key ID') do |docid|
options[:docid] = docid
 end

opts.on('-h', '--help', 'This menu') { puts opts; exit}
end

optparse.parse!

json_file = options[:jsonfile]
bucket = options[:bucketname]
host = options[:hostname]
root = options[:root]
docid = options[:docid]

#set some defaults if not passed
unless host
      host=localhost
end

unless root
    root="/"
end

puts "Reading from #{json_file}"
puts "JSON path processed is #{root}"
puts "Couchbase  node is #{host}"

# Connect to couchbase host and bucket provided on the command line
client = Couchbase.connect(:bucket =&gt; bucket, :host =&gt; host)

#Create the progressbar
progressbar=ProgressBar.create(:title =&gt; "Doc Loading",
                               :starting_at =&gt; 0,
                               :total =&gt; nil,
                               :throttle_rate =&gt; 0.01,
                               :format =&gt; '%a |%b&gt;&gt;%i| %p%% %t',
                               :length =&gt; 50)

parser = YAJI::Parser.new(File.open(json_file))

  parser.each(root.to_s).with_index do |doc,i|
  unless docid
     hashinfo=doc.hash.abs
     prikey="Doc_#{i}:#{hashinfo}"
  end
prikey="#{docid}:#{doc["#{docid}"]}"

  client.set("#{prikey}", doc)
  print("rProcessed #{i} Documents")
  progressbar.increment
  end
progressbar.finished?
puts

#!/usr/bin/env ruby

1TP5테스트용 JSON 파일 예제는 다음과 같습니다:

# https://github.com/ysharplanguage/FastJsonParser/raw/master/JsonTest/TestData/fathers.json.txt

require '루비-진도 표시줄'

require 'rubygems'

require 'couchbase'

require 'yaji'

require 'optparse'

옵션 = {}

optparse = 옵션 파서.new do |옵션|

옵션.배너 = '루비 제이슨 로더'

옵션.on('-f', '--jsonfile 제이슨파일', 'JSON 형식의 파일 이름') do |jsonfile|

옵션[:jsonfile] = jsonfile

끝

옵션.on('-b', '--버킷명 버킷명', '버킷 이름') do |버킷명|

옵션[:버킷명] = 버킷명

끝

옵션.on('-n', '--호스트이름 호스트이름', '호스트 이름/IP 주소') do |호스트 이름|

옵션[:호스트 이름] = 호스트 이름

끝

옵션.on('-r', '--root JSONroot', '구문 분석할 JSON 루트') do |root|

옵션[:root] = root

끝

옵션.on('-d', '--docid SearchKey', 'JSON 키 ID') do |docid|

옵션[:docid] = docid

끝

옵션.on('-h', '--help', '이 메뉴') { 풋 옵션; exit}

끝

optparse.parse!

json_file = 옵션[:jsonfile]

버킷 = 옵션[:버킷명]

호스트 = 옵션[:호스트 이름]

root = 옵션[:root]

docid = 옵션[:docid]

#전달되지 않으면 일부 기본값 설정

아니면 호스트

호스트=localhost

끝

아니면 root

root="/"

끝

풋 "#{json_file}에서 읽기"

풋 "처리된 JSON 경로는 #{root}입니다."

풋 "카우치베이스 노드는 #{호스트}입니다."

# 명령줄에 제공된 카우치베이스 호스트 및 버킷에 연결합니다.

클라이언트 = 카우치베이스.연결(:버킷 => 버킷, :호스트 => 호스트)

#C진행률 표시줄 만들기

진행률 표시줄=진행률 표시줄.create(:title => "문서 로드 중",

:시작_at => 0,

:합계 => nil,

:스로틀_속도 => 0.01,

:형식 => '%a |%b>>%i| %p%% %t',

:길이 => 50)

파서 = YAJI::파서.new(파일.열기(json_file))

파서.각(root.to_s).with_index do |doc,i|

아니면 docid

해시정보=doc.해시.복근

prikey="Doc_#{i}:#{hashinfo}"

끝

prikey="#{docid}:#{doc["#{docid}"]}"

클라이언트.set("#{prikey}", doc)

인쇄("rProcessed #{i} Documents")

진행률 표시줄.증분

끝

진행률 표시줄.완료?

풋

작업 완료

데이터가 로드되면 Couchbase 콘솔에 로그인하여 쿼리 및 인덱싱을 위한 개발 보기로 작업을 시작하세요.

다음을 사용하는 경우 N1QL이 포함된 Couchbase Server 4.0 기본 인덱스를 생성하여 Couchbase SQL과 유사한 인터페이스를 즉시 탐색하고 SDK를 통해 N1QL 쿼리의 강력한 기능을 활용할 수 있습니다!

YAJL을 제공해 주신 오픈 소스 커뮤니티의 훌륭한 분들과 YAJI 파서를 제공해 주신 Sergey Avseyev에게 많은 감사를 드립니다. Sergey는 Ruby SDK 작업을 담당하는 매우 지식이 풍부한 Couchbase 리소스이며, 여러분 중 누구라도 JRuby SDK를 사용해 보고 피드백을 제공해 주셨으면 좋겠습니다.

링크:

CB 예제 Github - https://github.com/agonyou/cb-examples/
YAJI 스트림 파서 - https://github.com/avsej/yaji
YAJL JSON Gem - https://github.com/brianmario/yajl-ruby
csv2json Gem - https://rubygems.org/gems/csv2json/
카우치베이스 서버 4(N1QL 포함) - -. http://www.couchbase.com/nosql-databases/downloads

오스틴 고니유, 솔루션 엔지니어, 카우치베이스

댓글 하나

티토 시우로 3월 4, 2016에서 4:57 오전

'./cbdocloader -u tito -p foobar -b test -n 192.168.1.4:8091 -s 1000 /Users/tito/Desktop/을 실행하면 다음과 같습니다.sample.zip \'로 설정되어 있고 샘플 파일에 문서가 두 개만 있는 JSON 배열이 포함되어 있으면 전체 파일 내용을 하나의 문서로 가져옵니다. 즉, cbdocloader는 문서가 JSON 객체의 배열이라는 것을 인식하지 못하는 것 같습니다. 또한 편집기에 \'경고: JSON은 배열이 아니어야 합니다\'라는 메시지가 표시됩니다. cbdocloader는 어떻게 작동해야 하나요? 고마워요.

로그인 하여 답글 남기기
1. 티토 시우로 3월 4, 2016에서 5:09 오전
  
  그런데 \''에 있는 샘플 JSON을 사용하면 http://www.rubydoc.info/gems/c..., 똑같은 문제가 발생합니다. 두 경우 모두 파일 내용은 유효한 JSON입니다. cbdocloader가 협조하지 않는 것 같습니다. :-/
  
  로그인 하여 답글 남기기
모하메드 부드라 8월 6, 2017에서 1:31 오후

잘 정리하면 다음과 같이 사용할 수도 있습니다. https://sqlify.io/convert/csv/to/json 을 사용하여 JSON으로 변환한 다음 자체 스크립트를 롤링하는 대신 정상적으로 문서를 로드합니다.

로그인 하여 답글 남기기

Platform

Self-Managed

Services

Capabilities

Why Couchbase?

Migrate to Capella

By Use Case

By Industry

By Application Need

Popular Docs

By Developer Role

Quickstart

Resource Center

About

Partnerships

Our Services

Partners: Register a Deal

Ready to register a deal with Couchbase?

Marriott

모든 게시물

CSV 데이터를 JSON으로 변환하고 Couchbase에 문서 일괄 로드하기