왜 중요한가

당직 업무에는 모양이 있습니다. 알림이 울립니다. 지친 엔지니어가 런북을 열고, 일련의 단계를 따르고, 무언가를 재시작하고, 작동했는지 확인한 뒤, 다시 잠듭니다. 일주일 뒤에 같은 알림이 울리고, 같은 단계를 따릅니다. 열 번째가 되면 누군가 말합니다. 왜 사람이 이걸 하고 있지?

맞는 말입니다. 알려진 해결책을 손으로 반복하는 것은 느리고, 오류가 나기 쉽고, 하는 사람을 갉아먹습니다. 코드로 쓴 같은 단계는 몇 초 안에, 매번 같은 방식으로 실행되고 기록을 남깁니다. Wikipedia는 런북을 운영자가 수행하는 일상 절차의 모음으로 설명합니다. 이를 실행 가능하게 만들고, 경우에 따라 스스로 실행되게 만드는 것이 문서화에서 자동화로 가는 걸음입니다.

그 걸음은 위험이기도 합니다. 사람이 읽는 런북은 각 단계에서 사람의 판단을 거칩니다. 코드는 그렇지 않습니다. 틀린 자동 재시작은 영원히 반복되거나, 건강한 서비스를 내리거나, 더 깊은 문제를 훨씬 나빠질 때까지 가릴 수 있습니다. 많은 장애가 잘못된 일을 빠르게 한 선의의 복구로 길어지거나 일어났습니다. Wikipedia는 스스로 관리하는 시스템이라는 오랜 목표인 자율 컴퓨팅을 설명하며, 실용적인 교훈은 자율에는 한도가 필요하다는 것입니다.

이 주제는 문서에서 스크립트, 자동 행동으로 조심스럽게 나아가는 방법을 설명합니다. 지식 관리(주제 3.9 — 지식 관리), 모니터링(주제 3.10 — 모니터링과 이벤트 관리), 인시던트 관리(주제 3.2 — 인시던트 관리), 자동화 전략(주제 6.1 — 자동화 전략) 위에 서 있습니다. AI 운영(주제 5.2 — AIOps) 및 행동하는 에이전트(주제 5.5 — 에이전트형 AI와 사람의 감독)와 연결됩니다.

핵심 개념

런북. 특정하고 반복되는 운영 작업이나 상황을 위한 문서화된 절차입니다. Wikipedia가 런북을 설명합니다. 좋은 런북에는 트리거, 번호 매긴 단계, 기대 결과, 검증 단계, 에스컬레이션 경로가 있습니다. 주제 3.9 — 지식 관리를 참조하세요.

런북 자동화. 런북을 단계의 일부 또는 전부를 실행하는 코드로 구현하는 것으로, 보통 사람이 콘솔이나 채팅 명령으로, 또는 시스템 이벤트로 촉발합니다. 속도, 일관성, 기록의 이점과 함께 런북의 논리를 유지합니다.

자동 복구. 사람이 시작하지 않고 알림이나 이벤트에 대응해 이루어지는 자동 시정 조치입니다. 예로는 실패한 프로세스 재시작, 가득 찬 임시 디렉터리 비우기, 워커 풀 확장, 대기 시스템으로의 페일오버가 있습니다. Wikipedia의 자율 컴퓨팅 문서는 스스로 결함을 탐지하고 바로잡는 시스템을 목표로 설명합니다. 실무에서 자동 복구는 잘 이해되는 좁은 범위의 결함을 다룹니다.

단계적 진행. 팀은 흔히 단계를 거칩니다. 쓰여진 런북, 사람이 실행하는 스크립트가 있는 런북, 스크립트가 먼저 점검을 모으고 사람이 명령 하나로 촉발하는 런북, 알림이 행동을 제안하고 승인을 요청하는 것, 알림이 한도 안에서 혼자 행동을 실행하는 것입니다. 각 단계에는 이전 단계의 증거가 필요합니다. 실제 결과가 따르는 행동에서는 단계를 건너뛰지 마세요.

자동 행동의 자격. 흔하고, 원인과 해결책이 잘 이해되고, 해결책이 안전하고 되돌릴 수 있고, 증상이 그것을 확실히 식별하는 결함입니다. 멈춘 상태 없는 워커나 가득 차는 로그 디렉터리가 예입니다. 나쁜 후보는 데이터를 삭제하거나, 접근을 바꾸거나, 비즈니스 영향에 대한 판단에 의존하는 모든 것입니다.

안전 조건. 행동하기 전에 상황이 정말 맞는지 점검하세요. 알림이 최신이고, 서비스가 예상된 상태이고, 배포나 유지보수가 진행 중이 아니고, 행동이 방금 실행된 것이 아니어야 합니다. 행동한 뒤에는 결과를 검증하세요. Wikipedia는 하지 않고도 어떤 일이 일어날지 보여 주는 예행연습인 드라이 런을 설명하며, 새 자동화에 유용한 모드입니다.

한도. 일정 기간 동안 행동이 실행될 수 있는 횟수, 한 번에 건드릴 수 있는 인스턴스의 수, 실행 시간에 상한을 두세요. Wikipedia가 속도 제한을 설명합니다. 한도는 폭주를 한정된 사건으로 바꾸며, 한도를 넘으면 사람을 호출해야 합니다.

회로 차단기와 백오프. 자동 행동이 반복해서 실패하거나 반복해서 발동하면 영원히 재시도하는 대신 멈추고 에스컬레이션하세요. Wikipedia는 반복된 실패가 한동안 추가 시도를 막는 스위치를 작동시키는 회로 차단기 패턴을 설명합니다. 재시도 사이에 휴지를 두고, 상태 사이를 오락가락하는 것을 막기 위해 Wikipedia가 설명하는 이력 현상(hysteresis)을 더하세요.

멱등성. 반복해도 안전한 행동입니다. Wikipedia가 멱등성을 설명합니다. 이미 재시작 중인 서비스를 재시작해도 두 번째 재시작 폭풍을 일으켜서는 안 됩니다. 먼저 상태를 점검하는 행동을 설계하세요.

워치독과 내장 복구. 플랫폼은 자체 복구 메커니즘을 제공합니다. 충돌한 서비스를 재시작하는 프로세스 감독자, 실패하는 인스턴스를 교체하는 컨테이너 플랫폼, 멈춘 시스템을 재설정하는 Wikipedia가 설명하는 워치독 타이머입니다. 맞는 곳에서는 맞춤 스크립트보다 내장 메커니즘을 선호하고, 그것이 하는 일을 이해하세요.

페일오버와 확장. 대기 시스템으로의 자동 페일오버와 용량의 자동 확장은 플랫폼이 흔히 제공하는 자동 복구의 형태입니다. Wikipedia가 페일오버와 오토스케일링을 설명합니다. 이들도 시험과 한도가 필요합니다. 상황을 악화시킬 수 있기 때문입니다. 잠깐의 이상으로 촉발된 페일오버가 건강한 서비스를 중단시킬 수 있습니다.

문제 가리기. 조용히 결함을 고치는 자동화는 악화되는 원인을 숨길 수 있습니다. 서비스가 매시간 재시작된다면 그 재시작은 고쳐야 할 문제의 증상입니다. 각 자동화가 얼마나 자주 발동하는지 추적하고, 높아지는 비율을 조사할 문제로 다루세요. 주제 3.3 — 문제 관리를 참조하세요.

로그, 감사, 알림. 모든 자동 행동은 무엇이 촉발했고, 무엇을 점검했고, 무엇을 했고, 결과가 어땠는지 기록해야 하며, 소유 팀에 알려야 합니다. 조용한 자동화는 시스템에 대한 이해를 갉아먹습니다. Wikipedia가 감사 추적을 일반적으로 설명합니다.

시험. 점검이 행동을 멈춰야 하는 경우를 포함해, 안전한 환경에서 현실적인 결함으로 자동화를 시험하세요. Wikipedia는 의도적으로 실패를 주입하는 프랙티스인 카오스 엔지니어링을 설명하며, 복구가 올바르게 동작하는지 시험하는 데도 쓸 수 있습니다. 주제 3.12 — 서비스 연속성 관리를 참조하세요.

오너십과 검토. 각 자동화에는 오너가 있고, 검토가 있는 버전 관리에 있으며, 등록부에 나타납니다. 얼마나 자주 발동하는지, 성공했는지, 근본 원인을 고쳐야 하는지 정기적으로 검토하세요.

접근과 보안. 복구 도구는 운영 환경에 대한 힘이 있습니다. 각 행동에 필요한 좁은 권한의 자체 신원을 주고, 코드와 트리거를 변조로부터 보호하세요. 주제 3.13 — 정보 보안 관리를 참조하세요.

사람의 스킬. 자동화가 일상적인 결함을 처리하면 사람들이 시스템에 대한 감각을 잃을 수 있습니다. 런북을 읽을 수 있게 유지하고, 수동 운영을 연습하고, 자동화를 게임 데이에 포함하세요. 주제 6.1 — 자동화 전략을 참조하세요.

렌즈는 어떻게 맞물리는가. 이 주제는 운영 지점의 자동화 렌즈입니다. 애자일 프랙티스는 인시던트마다 검토하며 작은 단계로 단계적 진행을 올라가기를 제안합니다. AI는 여기서 설명한 한도 아래 행동을 제안하고 런북을 선택할 수 있습니다. 분석은 발동 비율, 성공, 가려진 문제를 측정합니다.

모범 사례

  1. 좋은 런북으로 시작합니다. 절차를 먼저 손으로 쓰고, 시험하고, 사용하세요. 작동하지 않는 절차의 자동화는 더 빨리 깨질 뿐입니다.
  2. 후보를 신중하게 고릅니다. 신뢰할 수 있는 신호가 있는 빈번하고, 잘 이해되고, 안전하고, 되돌릴 수 있는 해결책을 찾으세요. 절약되는 당직 시간과 위험으로 순위를 매기세요.
  3. 사다리를 오릅니다. 증거가 쌓이는 만큼만 스크립트에서 명령 하나 트리거로, 승인이 있는 제안된 행동으로, 자동 행동으로 옮겨 가세요. 단계마다 결정을 기록하세요.
  4. 전후에 점검합니다. 상황이 맞는지, 충돌하는 활동이 진행 중이 아닌지, 행동이 통했는지 검증하세요. 점검이 하나라도 실패하면 멈추고 에스컬레이션하세요.
  5. 한도와 차단기를 설정합니다. 빈도, 범위, 지속 시간에 상한을 두세요. 행동이 너무 자주 발동하거나 두 번 실패하면 멈추고 사람을 호출하세요.
  6. 행동을 멱등적이고 되돌릴 수 있게 만듭니다. 먼저 상태를 점검하고 되돌아가는 길을 적으세요. 둘 다 시험하세요.
  7. 기록하고, 알리고, 보이게 합니다. 모든 자동 행동을 기록하고, 소유 팀에 알리고, 발동 비율을 대시보드에 보여 주세요.
  8. 원인을 고칩니다. 각 자동화가 얼마나 자주 발동하는지 세고, 비율이 높거나 오르면 문제를 제기하세요. 자동화를 해결의 대체물이 아니라 해결로 가는 다리로 다루세요.
  9. 안전한 조건에서 시험합니다. 거부되어야 하는 경우를 포함해 현실적인 결함과 경계 사례로 연습하세요. 자동화를 게임 데이에 포함하세요.
  10. 소유하고 검토합니다. 오너를 지정하고, 코드를 검토가 있는 버전 관리에 두고, 각 자동화를 등록하고, 분기마다 무엇을 유지, 변경, 폐기할지 검토하세요.

팀과 논의할 질문

우리는 어떤 알림을 매번 같은 방식으로 고치며, 각각 얼마나 걸립니까? 인시던트와 알림 데이터를 쓰세요. 호출의 대부분을 차지하는 소수가 예상됩니다. 더 깊이 들어가려면, 하나를 골라 런북이 정확한지 확인하세요.

이 해결책이 실행되지 말아야 할 때 실행되면 무엇이 잘못될 수 있습니까? 잘못된 트리거나 잘못된 대상을 상상해 보세요. 불쾌한 사례가 몇 가지 예상됩니다. 더 깊이 들어가려면, 각각에 점검이나 한도를 더하세요.

자동화가 커지는 문제를 가리고 있음을 어떻게 알겠습니까? 무엇이 보일지 물으세요. "아무것도 안 보인다"가 예상됩니다. 더 깊이 들어가려면, 발동 횟수를 세고 문제를 제기할 임계값을 정하기로 합의하세요.

한 번의 실행이 입힐 수 있는 최대 피해는 무엇이며, 어떻게 멈춥니까? 범위를 말해 보세요. 불확실함이 예상됩니다. 더 깊이 들어가려면, 상한을 정하고 정지를 연습하세요.

우리가 이 작업을 마지막으로 손으로 한 것은 언제이며, 당직자 모두가 여전히 할 수 있습니까? 마지막 때를 물으세요. 오래전일 것으로 예상됩니다. 더 깊이 들어가려면, 연습을 일정에 올리세요.

복구를 AI가 제안하거나 고를 수 있는 곳은 어디이며, 여전히 사람이 승인해야 하는 것은 무엇입니까? AI는 증상을 런북에 맞추고 행동을 제안할 수 있습니다. 어떤 행동이 승인이 필요하고 누가 결정하는지 물으세요. 더 깊이 들어가려면, AI가 제안하고 사람이 승인하며 제안이 얼마나 자주 맞았는지 측정하는 시험을 고르세요.

실제 적용: 서비스 관리 사례

한 국영 철도의 승객 정보 팀은 데이터 서비스가 공급하는 400개 역의 디스플레이를 운영합니다. 일주일에 두 번쯤 피드 프로세서가 멈추고 디스플레이가 옛 시각에서 얼어붙습니다. 당직 엔지니어가 호출받아 로그인하고, 프로세스가 멈췄는지 확인하고, 재시작하고, 갱신을 확인합니다. 대부분 밤에, 약 20분이 걸립니다.

팀은 런북을 적고, 두 번의 인시던트에 시도해 보며 다듬습니다. 알림 확인, 진행 중인 배포가 없는지 점검, 프로세스가 5분간 로그에 쓰지 않았는지 점검, 재시작, 2분 대기, 출력 타임스탬프가 최신인지 점검, 인시던트 기록입니다. 이를 드라이 런 모드가 있는 스크립트로 바꾸고, 한 달 동안 엔지니어가 채팅 명령 하나로 촉발합니다. 매번 성공합니다.

그다음 제안 모드로 알림에 연결합니다. 알림이 스크립트의 점검 결과와, 당직 엔지니어에게 승인을 요청하는 버튼을 게시합니다. 한 달 뒤 모든 승인이 옳았고 2분이 채 걸리지 않았습니다. 팀은 엄격한 조건 아래 자동으로 실행되도록 합의합니다. 점검이 통과할 때만, 한 시간에 최대 두 번, 배포 중에는 절대 안 되며, 두 번째 재시작이 해결하지 못하면 사람을 호출합니다. 각 실행을 기록하고 팀 채널에 게시합니다.

자동화는 처음 두 달에 19번 발동합니다. 검토 결과 멈춤이 특정 데이터 공급자의 심야 갱신 뒤에 더 자주 일어남이 드러나는데, 팀이 호출마다 혼자 처리할 때는 알아채지 못한 것입니다. 공급자와 문제를 제기합니다. 한 번의 실행에서 차단기가 재시작 두 번이 실패한 뒤 작동해 엔지니어를 호출하고, 엔지니어는 디스크가 가득 찼음을 발견합니다. 런북이 다루지 않은 원인입니다.

달라진 점은 엔지니어가 이런 일 대부분을 자면서 넘기고 디스플레이가 3분 안에 복구된다는 것입니다. 여전히 어려운 점은 공급자가 아직 데이터 형식을 고치지 않았다는 것, 신입 엔지니어가 수동 절차를 해 본 적이 없다는 것을 팀이 알아채고 그들의 스킬을 걱정한다는 것, 디스크 점검이라는 추가 단계가 놀라운 일을 겪은 뒤에야 더해졌다는 것입니다. 리드는 분기별 수동 연습을 일정에 올리고 스크립트에 디스크 점검을 더합니다.

네 가지 관점

제품 및 전달 팀

복구하기 쉬운 서비스를 만드세요. 상태 엔드포인트, 안전한 재시작, 멱등적인 작업, 분명한 로그입니다. 코드와 함께 런북을 쓰고, 자동화가 드러내는 원인을 고치세요.

서비스 및 운영 팀

런북과 자동화를 소유하세요. 쓰고, 시험하고, 제한하고, 기록하고, 검토합니다. 수동 스킬을 살려 두고, 잦은 발동을 고쳐야 할 문제로 다루세요.

리더십과 거버넌스

증거를 바탕으로 사다리를 오르는 것을 지원하고, 발동 비율과 가려진 문제 점검을 요청하세요. 원인을 고칠 시간에 재원을 대세요. 자가 치유 시스템이라는 주장을 경계하세요.

고객과 사용자

더 빠른 복구와 눈에 띄는 장애의 감소를 보아야 합니다. 자동 수정이 통하지 않았거나 문제를 일으켰다면, 규칙을 바로잡을 수 있도록 제공자에게 알리세요.

애자일, AI, 자동화, 분석

애자일

인시던트마다 복구를 개선하세요. 런북을 다듬고, 점검을 더하거나, 사다리를 한 단계 오르세요. 변경을 작고 검토되게 유지하세요. 주의: 나쁜 밤 뒤에 한꺼번에 자동화하지 마세요. 시험과 함께 한 번에 하나의 수정을 하세요.

AI

AI는 알림을 런북에 맞추고, 단계를 제안하고, 인시던트 메모로 새 런북의 초안을 쓸 수 있으며, 행동하는 것에는 승인이 따릅니다. 오너를 지정하고 제안의 정확도를 측정하세요. 주의: 비정상적인 알림에서 행동을 고르는 AI는 잘못 고를 수 있으므로, 승인된 행동의 목록으로 제한하세요. 주제 5.5 — 에이전트형 AI와 사람의 감독을 참조하세요.

자동화

이 주제는 운영에서의 자동화 렌즈입니다. 안전 조건, 한도, 차단기, 멱등성, 로그, 검토입니다. 주의: 자동 복구는 문제를 가리고 악화시킬 수 있으므로, 발동 횟수를 세고, 실행에 상한을 두고, 실패하면 에스컬레이션하세요. 주제 6.1 — 자동화 전략을 참조하세요.

분석

자동화별 발동 비율, 성공률, 복구 시간, 피한 호출 수, 차단기 작동, 패턴에서 제기된 문제를 추적하세요. 주의: 피한 호출 수는 부풀리기 쉽고 높아지는 발동 비율을 가릴 수 있으므로, 둘을 함께 추적하세요. 주제 7.4 — 관측 가능성과 텔레메트리와 서비스 관리 지표(Service Management Metrics) 책을 참조하세요.

흔한 실패 유형

  • 시험되지 않은 런북 자동화. 해결책이 빠른 속도로 틀립니다. 먼저 손으로 시험하세요.
  • 한도 없음. 루프나 오발이 반복됩니다. 실행에 상한을 두고 차단기를 쓰세요.
  • 숨겨진 문제. 재시작이 원인을 가립니다. 발동 횟수를 세고 원인을 고치세요.
  • 행동 전 점검 없음. 행동이 건강하거나 바쁜 시스템을 칩니다. 조건을 검증하세요.
  • 조용한 자동화. 아무도 무엇을 했는지 모릅니다. 기록하고 알리세요.
  • 스킬이 사라짐. 아무도 손으로 할 수 없습니다. 연습하세요.
  • 과도한 권한의 도구. 한 번의 침해가 모든 것에 닿습니다. 좁은 신원을 쓰세요.

성숙도 모델

영역 시작 발전 표준화 관리 오케스트레이션
런북 머릿속이나 이메일에 있다 주요 알림에 대해 작성되어 있다 알림과 연결된 시험된 런북 인시던트 뒤에 런북 품질을 검토한다 서비스 전반에서 런북을 코드로 유지한다
자동화 없음 사람이 촉발하는 스크립트 제안이 있는 승인되고 시험된 행동 선택된 행동이 한도와 함께 자동으로 실행된다 사람의 통제 아래 위험에 따라 안전한 행동을 고른다
안전 없음 기본 로깅 점검, 한도, 차단기, 롤백 안전을 시험하고 감사한다 공유 플랫폼에 안전이 내장된다
학습 소방 활동 가끔의 검토 발동 비율을 추적하고 원인을 문제로 제기한다 재발을 측정하고 줄인다 팀과 공급자 사이에 학습을 공유한다

체크리스트

  • 자동화 전에 런북을 쓰고, 시험하고, 손으로 사용했다.
  • 각 자동화에 트리거, 사전 조건, 검증, 에스컬레이션이 있다.
  • 행동이 멱등적이고 되돌릴 수 있다.
  • 한도와 회로 차단기가 빈도와 범위에 상한을 둔다.
  • 모든 실행을 기록하고 소유 팀에 알린다.
  • 각 자동화가 얼마나 자주 발동하는지 추적하고 패턴에서 문제를 제기한다.
  • 자동화가 버전 관리에 있고, 검토되고, 오너와 함께 등록되어 있다.
  • 수동 운영을 연습하고 현실적인 결함으로 자동화를 시험한다.

AI 프롬프트

인시던트 메모를 런북 초안으로 바꿉니다.

Here are notes from three incidents that had the same fix: [paste, personal data removed].
Draft a runbook with: trigger, preconditions to check, numbered steps with expected results, verification, rollback, and escalation. Use only what the notes say; write [missing] for anything not stated.
List what you are unsure of.

자동화의 안전 공백을 찾습니다.

Here is a description of an auto-remediation: trigger, checks, action, and limits: [paste].
List which of these are missing or unclear: precondition checks, post-action verification, rate limit, circuit breaker, idempotence, rollback, logging, notification, owner. Quote the text for each you consider present. Do not assume any.
List what you are unsure of.

발동 데이터를 검토합니다.

Here is a log of when each automation fired in the last month, with result: [paste].
Count firings per automation, list those that are rising or clustered at the same time of day, and list questions to find causes. Do not guess causes.
List what you are unsure of.

AI 스킬

  • runbook: 자동화하기 전에 절차를 쓰고 시험할 때 사용합니다.
  • chaos-testing: 복구를 현실적인 결함에 대해 시험할 때 사용합니다.
  • root-cause-analysis: 자동화가 가리는 원인을 찾을 때 사용합니다.
  • on-call-rotation: 지속 가능한 당직 체계를 설계할 때 사용합니다.
  • incident-response-plan: 자동화 주변의 역할과 에스컬레이션을 정의할 때 사용합니다.

주요 출처

  • Betsy Beyer and others (eds.), Site Reliability Engineering (2016), chapters on eliminating toil and on automation, free at sre.google.
  • Lisanne Bainbridge, "Ironies of Automation" (Automatica, 1983): 자동화가 사람의 역할을 놀라운 방식으로 바꾸는 이유.
  • Wikipedia, "Runbook" and "Autonomic computing": 문서와 열망의 개관.
  • Wikipedia, "Circuit breaker design pattern": 반복되는 실패를 멈추기 위한 패턴.

참고 문헌

  1. Runbook — Wikipedia — https://en.wikipedia.org/wiki/Runbook
  2. Autonomic computing — Wikipedia — https://en.wikipedia.org/wiki/Autonomic_computing
  3. Circuit breaker design pattern — Wikipedia — https://en.wikipedia.org/wiki/Circuit_breaker_design_pattern
  4. Watchdog timer — Wikipedia — https://en.wikipedia.org/wiki/Watchdog_timer
  5. Idempotence — Wikipedia — https://en.wikipedia.org/wiki/Idempotence
  6. Rate limiting — Wikipedia — https://en.wikipedia.org/wiki/Rate_limiting
  7. Failover — Wikipedia — https://en.wikipedia.org/wiki/Failover
  8. Autoscaling — Wikipedia — https://en.wikipedia.org/wiki/Autoscaling
  9. Chaos engineering — Wikipedia — https://en.wikipedia.org/wiki/Chaos_engineering
  10. Hysteresis — Wikipedia — https://en.wikipedia.org/wiki/Hysteresis
  11. Dry run (testing) — Wikipedia — https://en.wikipedia.org/wiki/Dry_run_(testing)
  12. Site Reliability Engineering: How Google Runs Production Systems — Google — https://sre.google/sre-book/table-of-contents/