대용량의 고속 데이터를 관리하려면 고유한 문제가 발생합니다. 데이터를 수집하는 데이터베이스의 기능부터 데이터 볼륨 증가에 따른 솔루션의 총소유비용(TCO)까지. Couchbase의 새로운 마그마 스토리지 엔진 는 분석 워크로드를 위한 고성능을 제공하면서 최적의 비용으로 이러한 데이터를 저장할 수 있는 강력한 사례를 제공합니다. 이 블로그에서는 고객 사이트에서 실제로 구현된 Magma와 그 이점에 대해 설명합니다.
Infosys는 Couchbase와 협력하여 관광 업계의 한 대형 고객을 지원하고 있습니다. 이 고객은 고객에게 한 차원 높은 경험을 제공하는 업계 최고의 사용 사례를 지원하기 위해 Couchbase를 핵심 기술로 사용하고 있습니다. 여기에는 클라이언트가 운영하는 여러 사이트에서 정보를 스트리밍하는 IoT 기반 장치가 포함됩니다. 이 데이터는 20가지가 넘는 다양한 종류의 데이터 포인트로 구성되어 있으며 초당 수천 개의 데이터가 생성되는 고속 데이터입니다. 이 데이터는 로컬 카우치베이스 클러스터로 스트리밍되어 클라우드 기반 분석 클러스터로 전송되기 전에 처리됩니다.
이 솔루션은 시간이 지남에 따라 게스트 선호도와 행동에 대한 귀중한 인사이트를 비즈니스에 제공할 뿐만 아니라 중요한 규제 요구 사항을 충족하고 있습니다. 이 프로그램의 성공으로 최근 숙소와 게스트 수가 4배나 증가했으며, 이로 인해 데이터의 양이 엄청나게 증가했습니다. 카우치베이스 클러스터는 이러한 데이터의 홍수를 쉽게 흡수했으며, 분석 클러스터는 데이터에 대한 인사이트에 대한 비즈니스의 증가하는 요구를 효율적으로 충족시켰습니다.
데이터 볼륨이 증가함에 따라 이에 발맞춰 클러스터의 규모를 늘려야 했고, 이로 인해 클러스터 운영 비용이 증가했습니다. 향후 배포 횟수를 고려할 때, 고객은 분석 클러스터를 실행하는 데 드는 총소유비용(TCO)을 최적화하는 방안을 모색하고 있었습니다.
카우치베이스 마그마 스토리지 엔진의 출시는 완벽한 타이밍에 이루어졌고, 저희는 이 새로운 기술을 가장 먼저 도입한 기업 중 하나였습니다. 저희는 기본 Couchstore 기반 클러스터(Couchstore는 최초의 딥 스토리지 엔진입니다)에서 데이터를 가져오는 아카이브 클러스터를 생성하고 6주 동안의 TTL 를 메인 클러스터에 추가했습니다. 메인 클러스터에는 14개의 데이터 노드가 있었지만, Mag마를 실행하는 아카이브 클러스터의 크기를 4개의 데이터 노드만으로 줄일 수 있었습니다. 이는 필요한 하드웨어와 스토리지 용량을 3.5배나 줄인 것입니다. 그 결과 연간 약 $800K의 비용을 절감할 수 있었습니다! 더 늘릴 수도 있었지만 향후 12~14개월 동안의 성장을 수용할 수 있는 충분한 여유 공간을 남겨두었습니다.
이렇게 획기적으로 줄일 수 있었던 것은 마그마의 두 가지 핵심 기능 덕분이었습니다:
-
- 디스크 크기가 노드당 1.5TB 제한에 비해 노드당 10TB로 증가했습니다(Magma에서는 최대 권장).
- 버킷의 레지던시 비율을 5%로 줄였습니다(최저 권장 사항은 1%).
블록 압축으로 인한 디스크 사용량 절감이라는 또 다른 흥미로운 이점을 관찰할 수 있었습니다. 상당히 균일한 데이터의 경우, 문서당 디스크 사용량이 2.28KB/doc에서 1.47KB/doc로 감소하여 Couchstore에 비해 Magma 엔진에서 거의 50% 더 나은 압축을 보였습니다.
Magma의 주요 이점
다음 단계로 Magma의 분석 및 이벤트 기능을 지원하는 7.1.2 버전의 Couchbase를 도입하고 Magma 클러스터의 데이터 분리 기능을 개선할 계획입니다. 과거 연구에 필요한 특정 데이터를 효율적으로 찾을 수 있도록 데이터를 월별, 연도별로 분리할 수 있게 될 것입니다.
Magma의 내부 작동 방식에 관심이 있으시다면 VLDB 2022에서 발표된 논문을 살펴보는 것을 추천합니다. 여기.
