권장 사항: 사고 관리자 역할 맡기기
- 각 사건에 대한 논의를 관리할 수 있는 지도자가 선택되어야 합니다. 그 지도자는 대화를 관리해야 합니다. 대개 수사 과정은 결실을 맺기 전에 중단될 수 있다. 이유는 통화 중 누군가가 잠재적인 문제에 대해 다른 견해를 가지고 있기 때문이거나, 현재 수사에 대해 이해하지 못하고 자신의 의도를 밀어붙이기 때문이다.
권장 사항: 사고 기록을 유지하세요
- 이 리더는 사건 기록을 유지하는 데 책임을 지어야 합니다(아마도 위임 절차를 통해). 결국 이 기록은 공식 보고서로 작성되지만, 실시간 기록을 보관할 가장 좋은 장소는 Webex(또는 다른) 통화의 채팅 창입니다. 이는 통화에 참여하는 사람이 일어난 일, 논의된 사항, 그리고/또는 지금까지 시도된 사항들을 되짚어볼 수 있게 해줍니다. 웹엑스 채팅은 다양한 플랫폼에서 지원되며, 공급업체나 업무 공간에 없을 수 있는 사람을 포함하여 통화에 초대된 모든 사람에게 제공됩니다.
권장 사항: 건축 문서 준비
- 사고 발생 시에 질문해야 하는 수의 감소를 통해 MTTR을 크게 줄일 수 있습니다. 정보 준비가 되면 보완 조치에 대한 제안을 신속하게 할 수 있으며, 제안의 정확성과 성공 가능성을 향상시킬 수 있습니다.
- Couchbase의 경우 일부 정보는 표준이며, 그 예로는 다음과 같습니다.
- 사용된 제품 버전(서버 및 SDK 포함)
- 클러스터 크기
- Couchbase 서비스의 레이아웃
- 최고 문서 수, 평균 문서 크기, 일반적인 문서 성장 속도
- 전체 데이터 크기와 평균 데이터 보유 기간
- 사용된 버킷 유형(Couchbase, Ephemeral, Memcached) 및 이젝션 유형(Value, Full)
- 어떤 건축물이라도 갖추어야 하는 중요한 요소는
- 기본 하드웨어 및/또는 가상화 플랫폼에 대한 정보
- 수송 전방 및 후방 애플리케이션
- 또한 시스템의 버전 업그레이드, 노드 추가/제거/재시작 등과 같은 변경 사항에 대한 정확한 기록을 유지하는 것이 중요합니다. 이러한 이벤트는 발생 시 기록해야 합니다. 그래야 사고 발생 시 정확한 기록을 다시 작성할 필요가 없습니다.
- 최적의 경우, 이 정보의 (잠재적으로 정제된) 버전은 인시던트를 처리하는 모든 Couchbase 지원 엔지니어에게 제공되어야 합니다.
권장 사항: 잘 정의된 사건 단계별 진행
- 사고 조사에는 체계적인 순서가 있어야 합니다.
- 추천하는 조치는 다음과 같습니다:
- 사고 이전의 일지 및 사건의 시간적 흐름 보존
- 서비스 재개
- 원인 분석
- 복구
권장 사항: 가능한 한 빨리 모든 로그를 지원 티켓에 업로드하세요.
- 로그 업데이트에는 시간이 소요됩니다. Couchbase 지원 요청 로그를 보유하는 것은 추가 시간이 소요됩니다. 티켓을 열고 나면 가능한 모든 로그를 즉시 업로드해 주시기 바랍니다.
- 대부분의 경우 이러한 로그는 원인 분석에 사용되므로, 로그 보존 및 서비스 재개 작업은 이미 완료되어야 합니다.
- 최적의 경우 고객은 Couchbase 지원의 도움 없이 서비스 재개가 가능해야 합니다. 서비스 재개를 위해 도움이 필요할 경우 모든 로그를 업로드하는 작업의 우선순위를 높여야 합니다.
권장 사항: 각 환경에서 배포할 수 있도록 추가 서버를 준비하세요.
- 클라우드 네이티브 기술은 고장난 노드를 추가 노드로 교체하도록 설계되었습니다.
권장 사항: 기계 및 클러스터의 크기를 적절히 설정하세요.
- Couchbase를 포함한 클라우드 데이터베이스는 여러 기계에 부하를 분산하도록 설계되었습니다. 또한 기계가 손실되거나 클러스터에서 제거될 경우 복구할 수 있도록 설계되었습니다. Couchbase의 경우 이는 부하 분산, 회복 또는 재조정. 복구 옵션을 수행하기 위해 클러스터에 충분한 추가 리소스가 있어야 합니다.
권장 사항: 상위에서부터 아래로의 분류
- 트리제이는 서비스 복구를 시도하는 사람에게 명확성을 제공합니다. 왜냐하면 그들은 자신이 ‘무엇에 대해 걱정할 필요가 없는지’ 분명히 알고 있기 때문입니다.
- 트리어지는 특정 구성 요소가 아니라 전체 시스템에서 시작해야 합니다. 사용 환경과 애플리케이션에 특화된 일련의 스크립트를 개발하여 어떤 시스템이 응답하고 어떤 시스템이 응답하지 않았는지 확인할 수 있어야 합니다.
권장 사항: 편견 피하기
- 경험이 많은 지원 엔지니어들은 (예를 들어 의사처럼) 일련의 테스트를 거치거나 로그에 있는 주요 지표를 검토하기 전까지는 고객의 특정 불만을 무시하는 경향이 있습니다. 이 과정은 분류 프로세스의 일부이지만, 이를 통해 관찰 편향도 방지됩니다. 편향은 다음 요인 중 하나로 인해 발생할 수 있습니다:
- 이것은 문제점이 나타나거나 관찰되는 시스템의 영역입니다. – 이것이 반드시 문제의 원인이 되는 것은 아닙니다.
- 이 부분의 건축물은 가장 최신입니다. 또는 이전에도 우리에게 문제를 일으켰습니다. – 유용한 관찰이지만, 이는 분석이 잘못된 부분에 초점을 맞추게 할 수 있습니다.
- 문제는 제가 책임지는 스택 영역에 있을 수 없습니다. – 개인적 자부심은 문제의 원인이 될 수 있는 지역에 대한 조사를 방해할 수 있다.
- 저는 그 건축물의 그 부분을 이해하지 못합니다. – 이는 구조물의 한 부분에 대한 피하기 또는 과도한 집중을 유발할 수 있다.
- 사고 리더의 주요 역할 중 하나는 편견을 피하고 모든 선택지가 사실상 배제될 때까지 고려될 수 있도록 하는 것입니다.
권장 사항: 시험 티켓
- 생산에 들어가기 위해 준비 중인 새로운 애플리케이션은 로그 업데이트에 제약이 없도록 하기 위해 테스트 티켓을 생성하는 프로세스를 거쳐야 합니다.
내부 Tier 1 지원 제공
상승 경로
- 내부 지원(중점 분야)
- 문제의 원인이 제품 결함의 디버깅과 관련이 있는 경우 내부 지원팀은 적절한 우선순위 수준으로 Couchbase 기술 지원팀에 문의해야 합니다.
- 문제의 원인이 아키텍처 검토, 인덱스 정의, 쿼리 구문 또는 클라이언트 SDK 코드와 관련된다면 내부 지원팀에 솔루션 엔지니어 또는 전문 서비스 담당자가 연락해야 합니다.
- 문제 해결 방법에 따라 티켓은 엔지니어링 팀으로 전달될 수 있습니다.
내부 지원 팀 구축
먼저 내부 Tier 1 지원 팀을 구성할 때 지원 제공자들이 다음의 가이드와 모범 사례를 모두 검토하고 이해하는 것이 중요합니다.
사용 사례가 쿼리를 포함하는 경우:
이 가이드들을 잘 이해하면 1등급 지원 문제 대부분에 대한 지원을 제공할 수 있을 것입니다.
타임아웃 및 RTO
때로는 고객과 Couchbase 간의 상호작용이 시간 초과될 수 있습니다. 시간 초과 문제가 발생하면 open-tracing API를 사용하면 원인을 파악하거나 시간 초과가 실제로 발생하는 위치를 확인할 수 있습니다. open-tracing를 사용하는 방법은 언어에 따라 다릅니다. 이러한 API의 공개는 jaegertracing이나 다른 상용 제품과 같은 다른 도구를 사용하여 시간 초과가 발생하는 원인을 파악하는 데 도움이 될 것입니다.
응답 시간 모니터링(RTO)은 오픈 트레이싱의 일부이며, 이를 4개 부분으로 나눌 수 있습니다.
- 데이터 서비스(KV 엔진): 한계치를 초과하는 KV 작업 로그
- 터치 스루 로깅(SDK): 서비스당 한도치를 초과하는 요청 로그
- 오리펀 로깅(SDK): 요청이 시간 초과된 경우 로그 응답
- 시간 초과 메시지 개선 (SDK)
데이터 서비스
데이터 서비스 추적 기능을 사용하려면 먼저 데이터 서비스에서 RTO를 활성화해야 합니다.
curl -u Administrator:password -X POST localhost:8091/pools/default/settings/memcached/global
--data tracing_enabled=true/false
그 결과 memcached.log에 다음 메시지가 나타납니다.
2018-07-17T15:30:05.308518Z INFO 37: HELO [{"a":"libcouchbase/2.9.2 (Darwin-17.6.0; x86_64;
Clang 9.1.0.9020039)","i":"00000000b35f58aa/39cc1fd4eeaf1d67"}]
TCP 노들레이, XATTR, XERROR, 버킷 선택, Snappy, JSON, 추적
[ 127.0.0.1:55200 - 127.0.0.1:11210 (인증되지 않음)]
...
2018-07-17T15:30:07.084239Z 경고 37: 느린 작동.
{"cid":"00000000b35f58aa/39cc1fd4eeaf1d67/0","duration":"1771 ms",
"trace":"request=329316910555375:1771975
get=329316911686879:35
bg.wait=329316911701108:4715
bg.load=329318677724103:1766022
get=329318682489143:21",
"command":"GET","peer":"127.0.0.1:55200"}
| 이름 | 정의 | 댓글 |
|---|---|---|
| 요청 | KV-Engine에서 요청을 수신(OS로부터)하고 응답을 보내는 과정입니다. | 요청에 대한 KV-Engine의 전체적인 시각. |
| bg.wait | KV-Engine가 백그라운드 가져오기에 필요한 작업을 감지하는 것에서부터 디스크에서 읽기 시작하는 것까지입니다. | 장기간 지속되는 활동은 Reader Threads에서 논쟁이 있음을 시사합니다. |
| bg.load | KV-Engine가 디스크에서 문서를 읽는 것부터 문서 로딩까지의 모든 과정에서 발생합니다. | 장시간 실행은 디스크 서브시스템의 속도가 느리다는 것을 시사합니다. |
| 얻다 | KV-Engine에서 GET 요청을 분석하고 처리하는 과정까지. | 거주자가 없는 문서의 경우 이 범위를 두 번 확인할 수 있습니다. |
| get.if | KV-Engine에서 GET _IF 요청을 분석하고 이를 처리합니다. | get와 유사하지만 특정 요청에 사용됩니다(예: XATTR 처리). |
| get.stats | KV-Engine에서 STATS 요청을 분석하고 처리하는 과정까지. | 다양한 STATS 키에는 서로 다른 비용이 있습니다(예: 디스크 상태 정보는 더 느립니다). |
| 매장 | KV-Engine에서 STORE 요청을 분석하고 처리하는 과정까지. | 일반적으로 빠른 속도(HashTable에 데이터를 추가해야 하는 경우에만 필요함). |
| set.with.meta | KV-Engine에서 SET_WITH_META 요청을 분석하고 처리하는 과정입니다. | 스토어와 비슷하지만 XDCR/복원 업데이트를 위한 기능입니다. |
SDK 로깅
SDK 로깅은 기본적으로 활성화되어 있습니다. 아래는 RTO 로그의 예입니다.
{
"service": "kv",
"count": 15,
"top": [
{
"operation_name": "get",
"last_operation_id": "0x21",
"last_local_address": "10.211.55.3:52450",
"last_remote_address": "10.112.180.101:11210",
"last_local_id": "66388CF5BFCF7522/18CC8791579B567C",
"total_duration_us": 18908,
"encode_us": 256,
"dispatch_us": 825,
"decode_us": 16,
"server_duration_us": 14
}
]
}
| 이름 | 정의 | 댓글 |
|---|---|---|
| operation_name | 수술 유형 | |
| last_operation_id | 작업 유형과 ID의 조합 | local_id와 함께 사용하면 문제 해결에 유용합니다. |
| last_local_address | 이 작업에 사용된 로컬 소켓 | |
| last_remote_address | 이 요청에 사용된 서버의 소켓 | 이 요청을 처리한 노드가 무엇인지 확인하는 데 유용합니다. |
| last_local_id | 이 ID는 서버와 협상하여 결정됩니다. | 양측의 로깅 정보를 연관시키는데 사용할 수 있습니다. |
| total_duration_us | 전체 작업을 수행하는 데 걸린 총 시간 | |
| encode_us | 클라이언트가 요청을 인코딩하는 데 걸린 시간 | JSON이 더 길수록 더 크고 복잡해집니다. |
| dispatch_us | 클라이언트가 요청을 보낸 시점부터 클라이언트의 링 버퍼에 응답이 도착하는 시점까지의 시간 | 네트워크를 탐색하는 데 소요된 시간은 dispatch_us – server_duration_us를 빼서 확인할 수 있습니다. |
| decode_us | 클라이언트가 응답을 디코딩하는 데 걸린 시간 | JSON이 더 길수록 더 크고 복잡해집니다. |
| server_duration_us | 서버가 작업을 수행하는 데 걸린 시간. | - |
원어민 로그깅
SDK에서는 이 기능을 기본적으로 활성화합니다. 이 기능은 요청이 시간 초과된 경우의 응답을 집계합니다. 즉, KV get가 시간 초과를 초과하거나 오류가 애플리케이션에 반환되고, 몇 시간 후에 응답이 수신되는 경우입니다. WARN 레벨의 로그 간격은 10초이며 서비스별 샘플 크기는 10입니다. 아래는 오리진 로그의 예입니다.
{
"service": "kv",
"count": 2,
"top": [
{
"s": "kv:get",
"i": "0x21",
"c": "66388CF5BFCF7522/18CC8791579B567C",
"b": "default",
"l": "192.168.1.101:11210",
"r": "10.112.181.101:12110",
"d": 120
}
]
}
| 이름 | 정의 |
|---|---|
| s | 서비스 유형 |
| i | 작업 ID |
| c | 연결 ID |
| b | 버킷 |
| l | LocalEndpoint와 포트 |
| r | 원격 엔드포인트 및 포트 |
| d | 시간(US) |
| t | 시간 제한 |
이 세 가지 로그를 조합하면 문제 해결사가 클라이언트에서 서버까지 그리고 그 반대 방향까지의 타이밍을 추적할 수 있어야 합니다. 이는 타이밍이 맞지 않았거나 느리게 실행되는 작업을 식별하는 데 도움이 될 것입니다. 이 정보를 지원하기 위해 제공하면 시간 초과 원인을 파악하는 데 큰 도움이 될 것입니다.
서비스 재개
각 Couchbase 노드에는 Couchbase를 유지 관리하고 운영에 필요한 서비스를 제공하기 위해 여러 서비스가 실행됩니다. 때로는 지원의 도움을 받아야 하며, 때로는 이러한 서비스 중 일부를 복구 작업에서 재개해야 할 수도 있습니다. 프로세스의 전체 목록은 아래에서 확인할 수 있습니다. https://docs.couchbase.com/server/current/install/server-processes.html

클러스터 관리자
그것이 하는 일: 관리자 UI 및 REST 기반 관리 API를 제공하며, 클러스터 멤버십 관리, 재밸런싱 관리 등을 수행합니다.
왜 재시작해야 하는가: 연결이 풀리지 않음, 재조정은 ‘멈추지’ 않을 것이다.’
재시작의 영향:
- 자동 재부팅 시간보다 빠르게 재부팅되지 않는 한 운영에 영향을 미치지 않아야 합니다. 그 경우 재부팅하면 재부팅이 발생할 수 있습니다.
방법:
curl --data “erlang:halt().” -u : http://:8091/diag/eval
메미캐시드
그것이 하는 일: 이것은 데이터 서비스입니다. 이 서비스는 모든 v버킷과 해당 버킷 내의 데이터를 관리합니다.
왜 재시작해야 하는가:
- 지원자의 안내 없이 재시작하지 마십시오.
- 이러한 조치는 노드에 대한 강제 장애 조치가 필요하고 UI가 사용 불가능할 경우에 수행됩니다.
재시작의 영향: 데이터 노드의 하드 장애 조치를 유발합니다.
방법:
pkill memcached
프로젝터
그것이 하는 일: 이 프로세스는 각 데이터 노드에서 실행됩니다. 이 프로세스는 DCP 메시지를 소비하고 필터를 적용하며 인덱스 항목을 포맷하며 해당 메시지를 인덱서로 전송합니다.
왜 재시작해야 하는가:
- 새로운 인덱스 빌드가 ‘멈춰’ 있는 것 같다’
- items_queued와 items_pending가 증가하고 감소하지 않음
재시작의 영향:
- 지난 검문소에서 계속 진행해야 하며, 항공기 내 운항에 직접적인 영향은 없습니다.
- 이미 At_plus 또는 Request_plus 쿼리에 영향을 미치고 있을 가능성
방법:
pkill 프로젝터
인덱서
그것이 하는 일: 인덱서는 각 인덱스 노드에서 실행됩니다. 인덱스 레코드를 메모리 및 디스크에 관리합니다. 이 프로세스는 쿼리 엔진이 쿼리 후보를 선택하기 위해 호출됩니다.
왜 재시작해야 하는가:
- 인덱서 프로세스의 메모리 사용량이 무한대로 증가하고 있습니다.
- 기존 메타데이터 메모리 누수 (6.0.2에서 수정됨)
재시작의 영향:
- 이 인덱서가 관리하는 인덱스를 사용하고 있는 경우 비행 중의 문의는 실패할 수 있습니다. 귀하의 고객들은 이 행사에 대해 코딩을 해야 합니다.
- 중복된 인덱스 정의가 있는 경우 새 쿼리에 영향을 미치지 않습니다.
방법:
pkill 인덱서
쿼리 서비스
그것이 하는 일: 쿼리 서비스는 각 쿼리 노드에서 실행됩니다. 각 N1QL 쿼리는 하나의 노드에 할당됩니다. 쿼리 서비스의 호출은 필요에 따라 Index 서비스, Data Service 및 FTS Service로 전송됩니다.
왜 재시작해야 하는가:
- 기억 사용량이 무한대로 증가하고 있다
재시작의 영향:
- 이 쿼리 노드에 할당되면 비행 중 쿼리는 실패합니다. 귀하의 고객들은 이 행사에 대해 코딩을 해야 합니다.
- 새로운 쿼리는 이 노드로 전송되지 않으며 정상적으로 작동할 것입니다.
방법:
pkill cbq-engine
XDCR 서비스
그것이 하는 일: goxdcr 프로세스는 각 데이터 노드에서 실행됩니다. 이 프로세스는 소스 및 대상 측에서 수행되는 데이터 복제 작업을 담당합니다.
왜 재시작해야 하는가:
- CPU 사용량이 높음
- 로그에 있는 연결 시간 초과
- changes_left stat이 내려가는 대신 계속 증가하고 있습니다.
- bandwidth_usage stat 0
재시작의 영향:
- 마지막 검사점에서 다시 시작되며, CPU 및 대역폭 사용량이 일시적으로 증가할 수 있습니다.
방법:
pkill goxdcr