권장 사항: 사고 관리자 역할 맡기기

  • 각 사건에 대한 논의를 관리할 수 있는 지도자가 선택되어야 합니다. 그 지도자는 대화를 관리해야 합니다. 대개 수사 과정은 결실을 맺기 전에 중단될 수 있다. 이유는 통화 중 누군가가 잠재적인 문제에 대해 다른 견해를 가지고 있기 때문이거나, 현재 수사에 대해 이해하지 못하고 자신의 의도를 밀어붙이기 때문이다.

권장 사항: 사고 기록을 유지하세요

  • 이 리더는 사건 기록을 유지하는 데 책임을 지어야 합니다(아마도 위임 절차를 통해). 결국 이 기록은 공식 보고서로 작성되지만, 실시간 기록을 보관할 가장 좋은 장소는 Webex(또는 다른) 통화의 채팅 창입니다. 이는 통화에 참여하는 사람이 일어난 일, 논의된 사항, 그리고/또는 지금까지 시도된 사항들을 되짚어볼 수 있게 해줍니다. 웹엑스 채팅은 다양한 플랫폼에서 지원되며, 공급업체나 업무 공간에 없을 수 있는 사람을 포함하여 통화에 초대된 모든 사람에게 제공됩니다.

권장 사항: 건축 문서 준비

  • 사고 발생 시에 질문해야 하는 수의 감소를 통해 MTTR을 크게 줄일 수 있습니다. 정보 준비가 되면 보완 조치에 대한 제안을 신속하게 할 수 있으며, 제안의 정확성과 성공 가능성을 향상시킬 수 있습니다.
  • Couchbase의 경우 일부 정보는 표준이며, 그 예로는 다음과 같습니다.
    • 사용된 제품 버전(서버 및 SDK 포함)
    • 클러스터 크기
    • Couchbase 서비스의 레이아웃
    • 최고 문서 수, 평균 문서 크기, 일반적인 문서 성장 속도
    • 전체 데이터 크기와 평균 데이터 보유 기간
    • 사용된 버킷 유형(Couchbase, Ephemeral, Memcached) 및 이젝션 유형(Value, Full)
  • 어떤 건축물이라도 갖추어야 하는 중요한 요소는
    • 기본 하드웨어 및/또는 가상화 플랫폼에 대한 정보
    • 수송 전방 및 후방 애플리케이션
  • 또한 시스템의 버전 업그레이드, 노드 추가/제거/재시작 등과 같은 변경 사항에 대한 정확한 기록을 유지하는 것이 중요합니다. 이러한 이벤트는 발생 시 기록해야 합니다. 그래야 사고 발생 시 정확한 기록을 다시 작성할 필요가 없습니다.
  • 최적의 경우, 이 정보의 (잠재적으로 정제된) 버전은 인시던트를 처리하는 모든 Couchbase 지원 엔지니어에게 제공되어야 합니다.

권장 사항: 잘 정의된 사건 단계별 진행

  • 사고 조사에는 체계적인 순서가 있어야 합니다.
  • 추천하는 조치는 다음과 같습니다:
    • 사고 이전의 일지 및 사건의 시간적 흐름 보존
    • 서비스 재개
    • 원인 분석
    • 복구

권장 사항: 가능한 한 빨리 모든 로그를 지원 티켓에 업로드하세요.

  • 로그 업데이트에는 시간이 소요됩니다. Couchbase 지원 요청 로그를 보유하는 것은 추가 시간이 소요됩니다. 티켓을 열고 나면 가능한 모든 로그를 즉시 업로드해 주시기 바랍니다.
  • 대부분의 경우 이러한 로그는 원인 분석에 사용되므로, 로그 보존 및 서비스 재개 작업은 이미 완료되어야 합니다.
  • 최적의 경우 고객은 Couchbase 지원의 도움 없이 서비스 재개가 가능해야 합니다. 서비스 재개를 위해 도움이 필요할 경우 모든 로그를 업로드하는 작업의 우선순위를 높여야 합니다.

권장 사항: 각 환경에서 배포할 수 있도록 추가 서버를 준비하세요.

  • 클라우드 네이티브 기술은 고장난 노드를 추가 노드로 교체하도록 설계되었습니다.

권장 사항: 기계 및 클러스터의 크기를 적절히 설정하세요.

  • Couchbase를 포함한 클라우드 데이터베이스는 여러 기계에 부하를 분산하도록 설계되었습니다. 또한 기계가 손실되거나 클러스터에서 제거될 경우 복구할 수 있도록 설계되었습니다. Couchbase의 경우 이는 부하 분산, 회복 또는 재조정. 복구 옵션을 수행하기 위해 클러스터에 충분한 추가 리소스가 있어야 합니다.

권장 사항: 상위에서부터 아래로의 분류

  • 트리제이는 서비스 복구를 시도하는 사람에게 명확성을 제공합니다. 왜냐하면 그들은 자신이 ‘무엇에 대해 걱정할 필요가 없는지’ 분명히 알고 있기 때문입니다.
  • 트리어지는 특정 구성 요소가 아니라 전체 시스템에서 시작해야 합니다. 사용 환경과 애플리케이션에 특화된 일련의 스크립트를 개발하여 어떤 시스템이 응답하고 어떤 시스템이 응답하지 않았는지 확인할 수 있어야 합니다.

권장 사항: 편견 피하기

  • 경험이 많은 지원 엔지니어들은 (예를 들어 의사처럼) 일련의 테스트를 거치거나 로그에 있는 주요 지표를 검토하기 전까지는 고객의 특정 불만을 무시하는 경향이 있습니다. 이 과정은 분류 프로세스의 일부이지만, 이를 통해 관찰 편향도 방지됩니다. 편향은 다음 요인 중 하나로 인해 발생할 수 있습니다:
    • 이것은 문제점이 나타나거나 관찰되는 시스템의 영역입니다. – 이것이 반드시 문제의 원인이 되는 것은 아닙니다.
    • 이 부분의 건축물은 가장 최신입니다. 또는 이전에도 우리에게 문제를 일으켰습니다. – 유용한 관찰이지만, 이는 분석이 잘못된 부분에 초점을 맞추게 할 수 있습니다.
    • 문제는 제가 책임지는 스택 영역에 있을 수 없습니다. – 개인적 자부심은 문제의 원인이 될 수 있는 지역에 대한 조사를 방해할 수 있다.
    • 저는 그 건축물의 그 부분을 이해하지 못합니다. – 이는 구조물의 한 부분에 대한 피하기 또는 과도한 집중을 유발할 수 있다.
  • 사고 리더의 주요 역할 중 하나는 편견을 피하고 모든 선택지가 사실상 배제될 때까지 고려될 수 있도록 하는 것입니다.

권장 사항: 시험 티켓

  • 생산에 들어가기 위해 준비 중인 새로운 애플리케이션은 로그 업데이트에 제약이 없도록 하기 위해 테스트 티켓을 생성하는 프로세스를 거쳐야 합니다.

내부 Tier 1 지원 제공

상승 경로

  1. 내부 지원(중점 분야)
  2. 문제의 원인이 제품 결함의 디버깅과 관련이 있는 경우 내부 지원팀은 적절한 우선순위 수준으로 Couchbase 기술 지원팀에 문의해야 합니다.
  3. 문제의 원인이 아키텍처 검토, 인덱스 정의, 쿼리 구문 또는 클라이언트 SDK 코드와 관련된다면 내부 지원팀에 솔루션 엔지니어 또는 전문 서비스 담당자가 연락해야 합니다.
  4. 문제 해결 방법에 따라 티켓은 엔지니어링 팀으로 전달될 수 있습니다.

내부 지원 팀 구축

먼저 내부 Tier 1 지원 팀을 구성할 때 지원 제공자들이 다음의 가이드와 모범 사례를 모두 검토하고 이해하는 것이 중요합니다.

  • 백업 및 복원 가이드 (곧 제공 예정)
  • 클러스터 설정 (곧 제공될 예정)
  • 데이터 모델링
  • 개발 최적 사례 (곧 발표 예정)
  • 모니터링
  • 보안 (곧 제공 예정)
  • 테스트 (곧 출시 예정)

사용 사례가 쿼리를 포함하는 경우:

이 가이드들을 잘 이해하면 1등급 지원 문제 대부분에 대한 지원을 제공할 수 있을 것입니다.

타임아웃 및 RTO

때로는 고객과 Couchbase 간의 상호작용이 시간 초과될 수 있습니다. 시간 초과 문제가 발생하면 open-tracing API를 사용하면 원인을 파악하거나 시간 초과가 실제로 발생하는 위치를 확인할 수 있습니다. open-tracing를 사용하는 방법은 언어에 따라 다릅니다. 이러한 API의 공개는 jaegertracing이나 다른 상용 제품과 같은 다른 도구를 사용하여 시간 초과가 발생하는 원인을 파악하는 데 도움이 될 것입니다.

응답 시간 모니터링(RTO)은 오픈 트레이싱의 일부이며, 이를 4개 부분으로 나눌 수 있습니다.

  • 데이터 서비스(KV 엔진): 한계치를 초과하는 KV 작업 로그
  • 터치 스루 로깅(SDK): 서비스당 한도치를 초과하는 요청 로그
  • 오리펀 로깅(SDK): 요청이 시간 초과된 경우 로그 응답
  • 시간 초과 메시지 개선 (SDK)
데이터 서비스

데이터 서비스 추적 기능을 사용하려면 먼저 데이터 서비스에서 RTO를 활성화해야 합니다.

curl -u Administrator:password -X POST localhost:8091/pools/default/settings/memcached/global 
    --data tracing_enabled=true/false

그 결과 memcached.log에 다음 메시지가 나타납니다.

2018-07-17T15:30:05.308518Z INFO 37: HELO [{"a":"libcouchbase/2.9.2 (Darwin-17.6.0; x86_64; 
    Clang 9.1.0.9020039)","i":"00000000b35f58aa/39cc1fd4eeaf1d67"}] 
    TCP 노들레이, XATTR, XERROR, 버킷 선택, Snappy, JSON, 추적 
    [ 127.0.0.1:55200 - 127.0.0.1:11210 (인증되지 않음)]
...
2018-07-17T15:30:07.084239Z 경고 37: 느린 작동. 
    {"cid":"00000000b35f58aa/39cc1fd4eeaf1d67/0","duration":"1771 ms", 
    "trace":"request=329316910555375:1771975 
             get=329316911686879:35 
             bg.wait=329316911701108:4715 
             bg.load=329318677724103:1766022 
             get=329318682489143:21",
    "command":"GET","peer":"127.0.0.1:55200"}
이름 정의 댓글
요청 KV-Engine에서 요청을 수신(OS로부터)하고 응답을 보내는 과정입니다. 요청에 대한 KV-Engine의 전체적인 시각.
bg.wait KV-Engine가 백그라운드 가져오기에 필요한 작업을 감지하는 것에서부터 디스크에서 읽기 시작하는 것까지입니다. 장기간 지속되는 활동은 Reader Threads에서 논쟁이 있음을 시사합니다.
bg.load KV-Engine가 디스크에서 문서를 읽는 것부터 문서 로딩까지의 모든 과정에서 발생합니다. 장시간 실행은 디스크 서브시스템의 속도가 느리다는 것을 시사합니다.
얻다 KV-Engine에서 GET 요청을 분석하고 처리하는 과정까지. 거주자가 없는 문서의 경우 이 범위를 두 번 확인할 수 있습니다.
get.if KV-Engine에서 GET _IF 요청을 분석하고 이를 처리합니다. get와 유사하지만 특정 요청에 사용됩니다(예: XATTR 처리).
get.stats KV-Engine에서 STATS 요청을 분석하고 처리하는 과정까지. 다양한 STATS 키에는 서로 다른 비용이 있습니다(예: 디스크 상태 정보는 더 느립니다).
매장 KV-Engine에서 STORE 요청을 분석하고 처리하는 과정까지. 일반적으로 빠른 속도(HashTable에 데이터를 추가해야 하는 경우에만 필요함).
set.with.meta KV-Engine에서 SET_WITH_META 요청을 분석하고 처리하는 과정입니다. 스토어와 비슷하지만 XDCR/복원 업데이트를 위한 기능입니다.
SDK 로깅

SDK 로깅은 기본적으로 활성화되어 있습니다. 아래는 RTO 로그의 예입니다.

{
  "service": "kv",
  "count": 15,
  "top": [
    {
      "operation_name": "get",
      "last_operation_id": "0x21",
      "last_local_address": "10.211.55.3:52450",
      "last_remote_address": "10.112.180.101:11210",
      "last_local_id": "66388CF5BFCF7522/18CC8791579B567C",
      "total_duration_us": 18908,
      "encode_us": 256,
      "dispatch_us": 825,
      "decode_us": 16,
      "server_duration_us": 14
    }
  ]
}
이름 정의 댓글
operation_name 수술 유형
last_operation_id 작업 유형과 ID의 조합 local_id와 함께 사용하면 문제 해결에 유용합니다.
last_local_address 이 작업에 사용된 로컬 소켓
last_remote_address 이 요청에 사용된 서버의 소켓 이 요청을 처리한 노드가 무엇인지 확인하는 데 유용합니다.
last_local_id 이 ID는 서버와 협상하여 결정됩니다. 양측의 로깅 정보를 연관시키는데 사용할 수 있습니다.
total_duration_us 전체 작업을 수행하는 데 걸린 총 시간
encode_us 클라이언트가 요청을 인코딩하는 데 걸린 시간 JSON이 더 길수록 더 크고 복잡해집니다.
dispatch_us 클라이언트가 요청을 보낸 시점부터 클라이언트의 링 버퍼에 응답이 도착하는 시점까지의 시간 네트워크를 탐색하는 데 소요된 시간은 dispatch_us – server_duration_us를 빼서 확인할 수 있습니다.
decode_us 클라이언트가 응답을 디코딩하는 데 걸린 시간 JSON이 더 길수록 더 크고 복잡해집니다.
server_duration_us 서버가 작업을 수행하는 데 걸린 시간. -
원어민 로그깅

SDK에서는 이 기능을 기본적으로 활성화합니다. 이 기능은 요청이 시간 초과된 경우의 응답을 집계합니다. 즉, KV get가 시간 초과를 초과하거나 오류가 애플리케이션에 반환되고, 몇 시간 후에 응답이 수신되는 경우입니다. WARN 레벨의 로그 간격은 10초이며 서비스별 샘플 크기는 10입니다. 아래는 오리진 로그의 예입니다.

{
  "service": "kv",
  "count": 2,
  "top": [
    {
      "s": "kv:get",
      "i": "0x21",
      "c": "66388CF5BFCF7522/18CC8791579B567C",
      "b": "default",
      "l": "192.168.1.101:11210",
      "r": "10.112.181.101:12110",
      "d": 120
    }
  ]
}
이름 정의
s 서비스 유형
i 작업 ID
c 연결 ID
b 버킷
l LocalEndpoint와 포트
r 원격 엔드포인트 및 포트
d 시간(US)
t 시간 제한

이 세 가지 로그를 조합하면 문제 해결사가 클라이언트에서 서버까지 그리고 그 반대 방향까지의 타이밍을 추적할 수 있어야 합니다. 이는 타이밍이 맞지 않았거나 느리게 실행되는 작업을 식별하는 데 도움이 될 것입니다. 이 정보를 지원하기 위해 제공하면 시간 초과 원인을 파악하는 데 큰 도움이 될 것입니다.

서비스 재개

각 Couchbase 노드에는 Couchbase를 유지 관리하고 운영에 필요한 서비스를 제공하기 위해 여러 서비스가 실행됩니다. 때로는 지원의 도움을 받아야 하며, 때로는 이러한 서비스 중 일부를 복구 작업에서 재개해야 할 수도 있습니다. 프로세스의 전체 목록은 아래에서 확인할 수 있습니다. https://docs.couchbase.com/server/current/install/server-processes.html

Couchbase Services

클러스터 관리자

그것이 하는 일: 관리자 UI 및 REST 기반 관리 API를 제공하며, 클러스터 멤버십 관리, 재밸런싱 관리 등을 수행합니다.

왜 재시작해야 하는가: 연결이 풀리지 않음, 재조정은 ‘멈추지’ 않을 것이다.’

재시작의 영향:

  • 자동 재부팅 시간보다 빠르게 재부팅되지 않는 한 운영에 영향을 미치지 않아야 합니다. 그 경우 재부팅하면 재부팅이 발생할 수 있습니다.

방법:

curl --data “erlang:halt().” -u : http://:8091/diag/eval
메미캐시드

그것이 하는 일: 이것은 데이터 서비스입니다. 이 서비스는 모든 v버킷과 해당 버킷 내의 데이터를 관리합니다.

왜 재시작해야 하는가:

  • 지원자의 안내 없이 재시작하지 마십시오.
  • 이러한 조치는 노드에 대한 강제 장애 조치가 필요하고 UI가 사용 불가능할 경우에 수행됩니다.

재시작의 영향: 데이터 노드의 하드 장애 조치를 유발합니다.

방법:

pkill memcached
프로젝터

그것이 하는 일: 이 프로세스는 각 데이터 노드에서 실행됩니다. 이 프로세스는 DCP 메시지를 소비하고 필터를 적용하며 인덱스 항목을 포맷하며 해당 메시지를 인덱서로 전송합니다.

왜 재시작해야 하는가:

  • 새로운 인덱스 빌드가 ‘멈춰’ 있는 것 같다’
  • items_queued와 items_pending가 증가하고 감소하지 않음

재시작의 영향:

  • 지난 검문소에서 계속 진행해야 하며, 항공기 내 운항에 직접적인 영향은 없습니다.
  • 이미 At_plus 또는 Request_plus 쿼리에 영향을 미치고 있을 가능성

방법:

pkill 프로젝터
인덱서

그것이 하는 일: 인덱서는 각 인덱스 노드에서 실행됩니다. 인덱스 레코드를 메모리 및 디스크에 관리합니다. 이 프로세스는 쿼리 엔진이 쿼리 후보를 선택하기 위해 호출됩니다.

왜 재시작해야 하는가:

  • 인덱서 프로세스의 메모리 사용량이 무한대로 증가하고 있습니다.
  • 기존 메타데이터 메모리 누수 (6.0.2에서 수정됨)

재시작의 영향:

  • 이 인덱서가 관리하는 인덱스를 사용하고 있는 경우 비행 중의 문의는 실패할 수 있습니다. 귀하의 고객들은 이 행사에 대해 코딩을 해야 합니다.
  • 중복된 인덱스 정의가 있는 경우 새 쿼리에 영향을 미치지 않습니다.

방법:

pkill 인덱서
쿼리 서비스

그것이 하는 일: 쿼리 서비스는 각 쿼리 노드에서 실행됩니다. 각 N1QL 쿼리는 하나의 노드에 할당됩니다. 쿼리 서비스의 호출은 필요에 따라 Index 서비스, Data Service 및 FTS Service로 전송됩니다.

왜 재시작해야 하는가:

  • 기억 사용량이 무한대로 증가하고 있다

재시작의 영향:

  • 이 쿼리 노드에 할당되면 비행 중 쿼리는 실패합니다. 귀하의 고객들은 이 행사에 대해 코딩을 해야 합니다.
  • 새로운 쿼리는 이 노드로 전송되지 않으며 정상적으로 작동할 것입니다.

방법:

pkill cbq-engine
XDCR 서비스

그것이 하는 일: goxdcr 프로세스는 각 데이터 노드에서 실행됩니다. 이 프로세스는 소스 및 대상 측에서 수행되는 데이터 복제 작업을 담당합니다.

왜 재시작해야 하는가:

  • CPU 사용량이 높음
  • 로그에 있는 연결 시간 초과
  • changes_left stat이 내려가는 대신 계속 증가하고 있습니다.
  • bandwidth_usage stat 0

재시작의 영향:

  • 마지막 검사점에서 다시 시작되며, CPU 및 대역폭 사용량이 일시적으로 증가할 수 있습니다.

방법:

pkill goxdcr

데이터베이스의 확장성을 과거의 일로 남겨두세요

각 스택 추가마다 추가 비용이 발생하고 관리해야 할 항목도 더 많아집니다. 2분 안에 절약할 수 있는 금액을 추산해 보세요.