구글 클라우드의 카우치베이스 서버를 통한 고성능

Couchbase Server는 JSON 문서 데이터베이스와 키-값 저장소를 통합한 오픈 소스, 다중 모델 NoSQL 분산 데이터베이스입니다. 카우치베이스 서버는 엔터프라이즈 웹, 모바일 및 사물 인터넷 애플리케이션을 위한 일관된 고성능, 가용성 및 확장성을 제공하도록 설계된 메모리 중심 아키텍처를 기반으로 구축되었습니다. 또한, 카우치베이스 서버는 구글 컴퓨트 엔진에서 매우 우수한 성능을 발휘하여 가격 대비 성능이 뛰어납니다. Google은 Google Cloud 블로그 게시물에 다음과 같은 일련의 결과를 게시했습니다. 여기 이 게시물에서는 플랫폼에서 수행한 전체 테스트 실행을 안내해드리고자 합니다.

지난 한 해 동안 기술 파트너들은 다음과 같은 흥미로운 Google 컴퓨트 엔진의 성능 통계를 보고해 왔습니다. 카산드라 초당 1백만 건의 쓰기를 견딜 수 있습니다. 저희는 이를 도전으로 받아들여 규모를 얼마나 더 확장하고 가격 대비 성능을 낮출 수 있는지 알아보기로 결정했습니다. 이 백서에서는 실험 결과를 자세히 설명합니다.

본론에 들어가기에 앞서, 벤치마크 측정에 도움을 준 데이비드 하이크니(Couchbase)와 데이브 릭비(Couchbase)와 모든 가이드를 제공한 이반 산타 마리아 필호(Google)에게 감사의 말씀을 전하고 싶습니다.

요약

카우치베이스 서버는 초당 110만 건의 쓰기를 견딜 수 있었습니다. 데이터 세트 크기는 200바이트의 값 크기를 가진 30억 개의 항목이었습니다. 순수 쓰기 워크로드만이 데이터베이스에서 흥미롭지만 까다로운 워크로드 유형은 아닙니다. IoT(사물 인터넷) 애플리케이션을 개발하는 많은 고객들이 비슷한 문제에 직면해 있습니다. 테스트 결과는 Google Cloud Platform의 Couchbase Server가 대량의 데이터를 고속으로 쓰는 IoT 앱에 매우 적합하다는 것을 증명합니다.

벤치마크 세부 정보

이 여정에서 두 가지 주요 벤치마크 구성을 시도해 보았습니다.

• 벤치마크 A: 이 벤치마크 구성은 3B 항목에 걸쳐 작동했습니다. 이 측정은 다음에 게시된 구성을 시뮬레이션했습니다. Google 클라우드의 카산드라.
• 벤치마크 B: 이 두 번째 측정은 1억 개의 항목으로 구성된 더 작은 데이터 세트에서 수행되었습니다. 이 측정은 다음에서 게시한 구성을 시뮬레이션했습니다. 구글 클라우드의 에어로스파이크.

자세한 내용을 설명하기 전에 이러한 벤치마크를 직접 사용해 보거나 스크립트를 통해 자세한 내용을 살펴볼 수 있습니다. 다음은 깃허브 리포지토리.

벤치마크 A:

50개 노드(n1-standard-16)에서 3B 항목에 대해 초당 110만 쓰기

• 초당 110만 쓰기, 총 항목 수 30억 개
• 평균 지연 시간 15ms
• 95번째% 지연 시간은 27ms였습니다.
• 1시간 동안 벤치마크를 실행하는 데 드는 총 비용은 시간당 $56.3입니다.

아래 그래프는 워밍업과 시간이 지남에 따라 110만 건에 이르는 지속적인 쓰기를 보여줍니다.

아래 그래프는 테스트 실행 중 중간값과 95% 지연 시간을 나타낸 것입니다.

기본 데이터 세트 및 버킷 구성

• 총 30억 개의 항목에서 운영되는 워크로드
• 각 항목의 값은 정확히 200바이트입니다.

카우치베이스 서버 구성:

• 이번 실행을 위해 선택한 OS는 Debian이었습니다(Debian Wheezy 백포트).
• 클러스터 구성
  • 서버 RAM 할당량이 50GB로 설정됨
  • 디스크 대기열 용량이 5백만 항목으로 설정되었습니다.
  • IO 스레드는 작성자 스레드 4개, 리더 스레드 1개였습니다.
• 버킷 구성:
  • 모든 3B 항목은 단일 버킷에 상주하도록 구성되었습니다.
  • 중복성을 위해 2개의 별도 노드에 2개의 데이터 사본이 유지되었습니다. 버킷 구성에서 마스터 복사본 외에 복제본 1개를 지정했습니다.
  • 버킷 퇴거 정책이 "가치 퇴거"로 설정되었습니다.
  • 버킷 RAM 할당량이 노드당 50GB로 설정되었습니다.
  • 압축이 비활성화되었습니다.

가상 머신 구성

• VM 수: 50
• VM 크기: n1-standard-16

VM 크기에는 선택할 수 있는 옵션이 많았습니다. 하지만 저희는 16코어의 n1-standard-16이 최적의 가격 대비 성능에 가장 적합하다는 것을 알게 되었습니다. 테스트는 각 노드에 총 60GB RAM이 장착된 50개의 n1-standard-16 VM으로 실행되었습니다.

• 저장소: 500GB SSD 영구 디스크

구글 클라우드 스토리지는 카우치베이스 서버에서 뛰어난 성능을 발휘했습니다. 프로덕션 로드를 위한 현실적인 배포를 위해 비일시적 영구 스토리지 옵션을 사용했습니다. Couchbase Server에서 가장 최적의 처리량은 SSD 퍼시스턴트 디스크 옵션을 통해 달성되었습니다. 500GB SSD를 사용한 Couchbase Server 영구 디스크 를 데이터 볼륨으로 설정했습니다. 카우치베이스 서버가 데이터베이스 작업에 10GB 루트 볼륨을 사용하지 않았습니다. 데이터 볼륨에서 저널링이 비활성화되었습니다(시간 없음).

• 노드당 비용: $1.12 / 시간.
• 50개 노드 사용 시 총 비용: $56.30 / 시간

워크로드 속성 및 "ReplicateTo" 플래그로 추가된 내구성

베개싸움 도구를 사용하여 부하를 생성했습니다. 추가적인 내구성 보장을 제공하기 위해, 각 쓰기에 "ReplicateTo" 플래그를 추가하도록 pillowfight 도구를 수정했습니다. 이 옵션은 쓰기 작업이 카우치베이스 서버에서 유지 관리하는 데이터의 두 복사본에 모두 도달한 후에만 쓰기가 승인되도록 합니다.

카우치베이스 서버는 모든 쓰기에 활성 마스터 복제본을 사용하고 중복성을 위해 보조 복제본을 유지합니다. Couchbase Server에는 DCP(데이터베이스 변경 프로토콜)라는 강력한 복제 기술이 내장되어 있습니다. DCP는 변경 사항을 보조 복제본으로 스트리밍합니다. Couchbase는 효율적인 메모리 내 캐시를 통해 기본 쓰기 모델에서 밀리초 미만의 지연 시간을 유지할 수 있습니다. 그러나 복제된 쓰기는 노드 장애 시에도 견고한 내구성을 제공하며 장애 조치 시 데이터가 손실되지 않도록 보장합니다.

로드 생성 구성:

로드 생성은 32개의 클라이언트와 n1-highcpu-8 VM을 사용하여 수행했습니다.

다음은 pillowfight로 클라이언트 인스턴스 1개를 실행하는 데 사용된 명령줄 옵션입니다.

./cbc-pillowfight -min-size=200 -최대 크기=200 -num-threads=2 -num-items=93750000 -set-pct=100 -spec=couchbase://cb-server-1/charlie -batch-size=50 -num-cycles=468750000 -sequential -no-population -rate-limit=20000 -tokens=275 -durability

벤치마크 B:

40개 노드(n1-standard-8)에서 1억 건 이상의 항목에 대해 초당 1백만 건 쓰기

• 총 1억 개의 항목으로 초당 1백만 건 쓰기
• 평균 지연 시간 18ms
• 95번째% 지연 시간은 36밀리초였습니다.
• 1시간 동안 벤치마크를 실행하는 데 드는 총 비용은 시간당 $21.28입니다.

기본 데이터 세트 및 버킷 구성

• 총 1억 개의 항목에서 운영되는 워크로드
• 각 항목의 값은 정확히 200바이트입니다.

카우치베이스 서버 구성:

• 이번 실행을 위해 선택한 OS는 Debian이었습니다(Debian Wheezy 백포트).
• 클러스터 구성
  • 서버 RAM 할당량이 24GB로 설정됨
  • 디스크 대기열 용량이 5백만 항목으로 설정되었습니다.
  • IO 스레드는 작성자 스레드 2개, 리더 스레드 1개였습니다.
• 버킷 구성:
  • 모든 1억 개 항목은 단일 버킷에 저장되도록 구성되었습니다.
  • 중복성을 위해 2개의 별도 노드에 2개의 데이터 사본이 유지되었습니다. 버킷 구성에서 마스터 복사본 외에 복제본 1개를 지정했습니다.
  • 버킷 퇴거 정책이 "가치 퇴거"로 설정되었습니다.
  • 버킷 RAM 할당량이 노드당 24GB로 설정되었습니다.
  • 압축이 비활성화되었습니다.

가상 머신 구성

• VM 수: 40
• VM 크기: n1-standard-8

이 적은 수의 항목 수에서는 8코어의 n1-standard-8이 최적의 가격 대비 성능에 가장 적합하다는 것을 확인했습니다. 테스트는 각 노드에 총 30GB RAM이 장착된 n1-standard-8 VM 40개를 사용하여 실행되었습니다.

• 스토리지: 500GB 표준 영구 디스크

구글 클라우드 스토리지는 카우치베이스 서버에서 뛰어난 성능을 발휘했습니다. 프로덕션 로드를 위한 현실적인 배포를 위해 비일시적 영구 스토리지 옵션을 사용했습니다. 표준 퍼시스턴트 디스크 옵션을 통해 Couchbase Server의 최적의 가격 대비 성능을 달성할 수 있었습니다. Couchbase Server 500GB 사용 영구 디스크 를 데이터 볼륨으로 설정했습니다. 카우치베이스 서버가 데이터베이스 작업에 10GB 루트 볼륨을 사용하지 않았습니다. 데이터 볼륨에서 저널링이 비활성화되었습니다(시간 없음).

• 노드당 비용: $0.53 / 시간.
• 40개 노드 사용 시 총 비용: $21.28 / 시간

워크로드 속성 및 "ReplicateTo" 플래그로 추가된 내구성

베개싸움 도구를 사용하여 부하를 생성했습니다. 추가적인 내구성 보장을 제공하기 위해, 각 쓰기에 "ReplicateTo" 플래그를 추가하도록 pillowfight 도구를 수정했습니다. 이 옵션은 쓰기 작업이 카우치베이스 서버에서 유지 관리하는 데이터의 두 복사본에 모두 도달한 후에만 쓰기가 승인되도록 합니다.

카우치베이스 서버는 모든 쓰기에 활성 마스터 복제본을 사용하고 중복성을 위해 보조 복제본을 유지합니다. Couchbase Server에는 DCP(데이터베이스 변경 프로토콜)라는 강력한 복제 기술이 내장되어 있습니다. DCP는 변경 사항을 보조 복제본으로 스트리밍합니다. Couchbase는 효율적인 메모리 내 캐시를 통해 기본 쓰기 모델에서 밀리초 미만의 지연 시간을 유지할 수 있습니다. 그러나 복제된 쓰기는 노드 장애 시에도 견고한 내구성을 제공하며 장애 조치 시 데이터가 손실되지 않도록 보장합니다.

로드 생성 구성:

로드 생성은 32개의 클라이언트와 n1-highcpu-8 VM을 사용하여 수행했습니다.

다음은 pillowfight로 클라이언트 인스턴스 1개를 실행하는 데 사용된 명령줄 옵션입니다.

./cbc-pillowfight -min-size=200 -최대 크기=200 -num-threads=2 -num-items=93750000 -set-pct=100 -spec=couchbase://cb-server-1/charlie -batch-size=50 -num-cycles=468750000 -sequential -no-population -rate-limit=20000 -tokens=275 -durability

결론

초당 1백만 건의 쓰기 작업은 엄청난 양이며, 많은 분들이 시스템에서 이런 종류의 처리량을 달성하지 못할 수도 있지만, 완전히 복제된 쓰기를 사용하는 Cassandra에 비해 6배 더 나은 가격/성능으로 구글 클라우드의 50개 노드에서 30억 개 이상의 항목을 초당 1백만 건의 쓰기를 수행할 수 있다는 사실은 위안이 됩니다!