왜 중요한가

모든 서비스에는 변경과 신뢰성 사이의 긴장이 있습니다. 고객은 새 기능을 원하고 서비스가 작동하기를 원합니다. 변경을 빠르게 밀어붙이는 팀은 장애를 일으키고, 안정성을 지키는 팀은 모든 것을 느리게 합니다. 둘을 저울질할 방법이 없으면 논쟁은 가장 목소리가 큰 사람이나 마지막 인시던트가 결판짓습니다.

사이트 신뢰성 엔지니어링은 이 절충을 명시적으로 만드는 방법을 제공합니다. 완벽한 신뢰성은 가능하지도, 원하는 것도 아니라는 생각에서 출발합니다. 사용자의 기기와 네트워크가 그보다 더 자주 실패하는데, 사용자는 99.999퍼센트와 99.99퍼센트 가용성의 차이를 알 수 없으며, 9가 하나 늘어날 때마다 비용은 훨씬 더 듭니다. 그래서 팀은 사용자가 필요로 하는 것에 맞는 목표를 합의하고, 이를 측정하고, 목표와 완벽 사이의 여유를 위험을 위한 예산으로 사용합니다.

SRE는 2000년대 초 구글에서 시작되었고 회사가 온라인에 공개한 책에 설명되어 있습니다. 다른 많은 조직이 그 일부를 채택했습니다. 서비스 관리에서 그 가치는 ITIL이 서비스 수준 관리, 가용성 관리, 지속적 개선이라고 부르는 생각의 구체적이고 엔지니어링다운 버전을 제공한다는 점입니다. 이 주제는 주요 생각을 설명하고, 그것들이 작동하게 한 맥락 없이 그대로 베끼는 것을 경계합니다.

핵심 개념

SRE란. Wikipedia는 사이트 신뢰성 엔지니어링을 확장 가능하고 신뢰할 수 있는 시스템을 만들기 위해 소프트웨어 엔지니어링의 측면을 IT 인프라와 운영에 적용하는 원칙과 프랙티스의 집합이라고 설명합니다. SRE 팀에는 보통 운영 업무를 자동화하고 신뢰성을 위한 설계에 참여하는, 소프트웨어와 시스템 기술을 가진 사람들이 있습니다.

서비스 수준 지표(SLI). 요청 중 성공하는 비율, 300밀리초 안에 완료되는 비율처럼 사용자가 경험하는 서비스의 어떤 측면의 측정값입니다. 좋은 지표는 측정하기 쉬운 것이 아니라 사용자가 신경 쓰는 것을 반영합니다.

서비스 수준 목표(SLO). "롤링 30일 동안 요청의 99.9퍼센트가 성공한다"처럼 일정 기간에 걸친 지표의 목표입니다. 목표는 서비스를 운영하는 사람들과 서비스에 의존하는 사람들 사이에 합의된 내부 목표입니다. Wikipedia는 서비스 수준 목표를 서비스 수준 협약의 일부로 설명합니다.

서비스 수준 협약(SLA). 서비스가 합의된 수준 아래로 떨어지면 흔히 금전적인 결과가 따르는 계약입니다. SLA는 보통 내부 SLO보다 느슨한 목표를 정하므로, 팀은 위반 전에 경고를 받습니다. 주제 3.7 — 서비스 수준 관리를 참조하세요.

오류 예산. 허용되는 비신뢰성의 양입니다. 목표가 99.9퍼센트라면 예산은 나머지 0.1퍼센트입니다. 예산이 남아 있는 동안 팀은 더 빨리 릴리스하는 것처럼 위험을 감수할 수 있습니다. 예산을 다 쓰면 팀은 변경을 늦추고 신뢰성에 투자합니다. 예산은 신뢰성과 변경 사이의 절충을 논쟁이 아니라 공유되고 측정 가능한 결정으로 만듭니다.

토일(Toil). 수작업이고, 반복적이고, 자동화할 수 있고, 전술적이며, 지속적인 가치를 더하지 않으면서 서비스와 함께 커지는 일입니다. 예로는 서비스를 수동으로 재시작하는 일, 같은 유형의 요청을 손으로 처리하는 일, 시끄러운 알림을 확인하는 일이 있습니다. SRE 프랙티스는 토일에 쓰는 시간의 비율을 흔히 절반 정도로 제한하고, 나머지를 그것을 줄이는 엔지니어링 업무에 씁니다.

모니터링과 알림. 알림은 실행 가능해야 하고 사용자가 느끼는 증상에 연결되어 있으며 명확한 대응이 있어야 합니다. 아무도 조치하지 않는 시끄러운 알림은 사람들이 이를 무시하도록 가르칩니다. 주제 3.10 — 모니터링과 이벤트 관리와 주제 7.4 — 관측 가능성과 텔레메트리를 참조하세요.

인시던트 대응과 비난 없는 검토. SRE는 인시던트 동안의 명확한 역할, 소통, 그리고 시스템을 살펴 추적되는 조치를 만들어 내는 사후의 구조화된 검토를 강조합니다. 주제 3.2 — 인시던트 관리와 주제 3.3 — 문제 관리를 참조하세요.

용량과 성능. SRE는 성장이 장애를 일으키지 않도록 수요를 예측하고, 한계를 시험하고, 용량을 계획하는 것을 포함합니다. 주제 3.11 — 가용성, 용량, 성능을 참조하세요.

릴리스 엔지니어링과 변경. 흔히 점진적 롤아웃과 자동 롤백을 갖춘, 신뢰할 수 있고 반복 가능한 릴리스가 SRE 업무의 일부입니다. 주제 2.2 — 지속적 전달을 참조하세요.

실패 연습하기. 카오스 엔지니어링은 실제 인시던트보다 먼저 약점을 찾기 위해 통제된 상태에서 고의로 실패를 주입합니다. 게임 데이는 대응을 리허설합니다. 주제 3.12 — 서비스 연속성 관리를 참조하세요.

SRE와 DevOps. 둘은 많은 생각을 공유합니다. 흔한 설명은 SRE가 SLO, 오류 예산, 토일 한도 같은 특정한 프랙티스 집합으로 DevOps 원칙을 구현하는 한 방법이라는 것입니다. 주제 2.5 — DevOps를 참조하세요.

SRE와 ITIL. SLO와 오류 예산은 서비스 수준 관리 곁에, 비난 없는 검토는 문제 관리 곁에, 토일 감축은 지속적 개선을 뒷받침하는 곳에 있습니다. SRE는 기술 팀이 그런 일을 어떻게 할 수 있는지를 설명하고, ITIL은 조직이 전반적으로 필요로 하는 프랙티스를 설명합니다.

베끼기의 한계. SRE는 특정한 규모와 인력을 가진 매우 큰 엔지니어링 조직에서 개발되었습니다. 작은 팀은 그 구조를 베낄 수 없고 베낄 필요도 없습니다. 몇 가지 생각으로 시작하세요. 사용자 중심 지표를 고르고, 목표를 정하고, 예산을 다 쓰면 무엇을 할지 적어 두세요.

렌즈는 어떻게 맞물리는가. SRE는 대체로 운영 중인 서비스에 대한 애자일 렌즈의 엔지니어링 측면입니다. AI는 사람의 검토 아래 알림 분류와 인시던트 요약을 도울 수 있습니다. 자동화는 토일에 맞서는 주된 도구입니다. 분석은 SLI와 토일 및 인시던트에 대한 데이터를 제공합니다.

모범 사례

  1. 사용자의 경험을 반영하는 지표를 고릅니다. 사용자가 "작동한다"고 말할 것이 무엇인지 물으세요. 로드되는 페이지, 완료되는 결제, 도착하는 파일입니다. CPU 사용률이 아니라 그것을 측정하세요.
  2. 서비스에 의존하는 사람들과 목표를 정합니다. 실제 필요에 맞는 숫자를 기간과 측정 방법과 함께 적어 합의하세요. 필요가 바뀌면 다시 검토하세요.
  3. 오류 예산을 결정에 사용합니다. 위험한 변경을 동결하는 것처럼 예산이 거의 소진되면 무엇이 일어나는지, 누가 결정하는지 적으세요. 그것이 처음 중요해지기 전에 합의하세요.
  4. 목표를 협약보다 엄격하게 유지합니다. 계약을 위반하기 전에 문제를 알아채도록 내부 목표를 정하세요. 주제 3.7 — 서비스 수준 관리를 참조하세요.
  5. 토일을 세고 제한합니다. 반복적인 수작업에 시간이 얼마나 드는지 추적하고 한도를 정하세요. 나머지는 가장 큰 토일의 원천을 제거하는 데 쓰세요.
  6. 증상에 알림을 걸고 알림을 실행 가능하게 유지합니다. 각 알림은 사용자에게 무엇이 잘못되었고 무엇을 해야 하는지 말해야 합니다. 아무도 조치하지 않는 알림은 제거하거나 고치세요.
  7. 온콜을 공평하고 지속 가능하게 나눕니다. 교대당 호출 수를 제한하고, 교육과 문서화된 에스컬레이션 경로를 제공하고, 부하를 정기적으로 검토하세요. 주제 8.3 — 조직 변화와 도입을 참조하세요.
  8. 비난 없이 인시던트를 검토하고 끝까지 이행합니다. 타임라인, 기여 요인, 책임자와 날짜가 있는 조치를 쓰세요. 조치가 완료되었는지 확인하세요.
  9. 안전한 조건에서 실패를 연습합니다. 스테이징이나 제한된 노출로, 분명한 정지 버튼과 함께 게임 데이와 작은 카오스 실험을 하세요.
  10. 작게 시작합니다. 중요한 서비스 하나를 골라 SLI 한두 개와 SLO를 정의하고, 확장하기 전에 결과에서 배우세요.

팀과 논의할 질문

사용자는 이 서비스에서 "작동한다"가 무엇을 뜻한다고 말하겠으며, 우리는 그것을 측정합니까? 지표의 출발점입니다. 팀은 흔히 서버 상태를 대신 측정합니다. 대시보드는 녹색인데 사용자가 불만이었던 마지막 때를 물으세요. 더 깊이 들어가려면, 측정할 사용자 대상 지표 하나를 고르세요.

이 서비스는 실제로 얼마나 신뢰할 수 있어야 하며, 누가 결정했습니까? 목표는 흔히 "파이브 나인"처럼 습관으로 정해집니다. 서비스가 멈추면 사용자가 무엇을 하는지, 한 시간의 다운타임이 얼마의 비용인지 물으세요. 의견 불일치가 예상됩니다. 더 깊이 들어가려면, 목표의 초안을 쓰고 고객과 확인하세요.

오류 예산을 다 쓰면 무엇을 하며, 실제로 그렇게 할 것입니까? 한 번도 적용되지 않은 정책은 사람들이 이를 무시하도록 가르칩니다. 신뢰성이 나빠졌는데도 변경이 계속되었던 마지막 때를 물으세요. 더 깊이 들어가려면, 작고 구체적인 대응과 누가 결정하는지를 합의하세요.

우리 팀의 가장 큰 토일의 원천 세 가지는 무엇이며, 각각을 없애려면 무엇이 필요합니까? 사람들에게 반복 작업을 나열하고 시간을 추정해 달라고 하세요. 수동 재시작, 데이터 수정, 접근 요청이 예상됩니다. 더 깊이 들어가려면, 항목 하나를 골라 자동화하는 데 드는 일을 1년에 걸쳐 절약되는 시간과 비교해 추정하세요.

지난달 온콜 담당자들이 받은 호출은 몇 건이며, 그중 사람의 조치가 필요했던 것은 몇 건이었습니까? 이 질문은 알림의 질과 업무량을 시험합니다. 숫자를 요청하세요. 아무도 모른다면 그것이 발견입니다. 더 깊이 들어가려면, 고치거나 삭제할 가장 시끄러운 알림을 고르세요.

AI는 알림이나 인시던트 요약에서 어디서 도울 수 있으며, 그 실수를 어떻게 알아챌 것입니까? AI는 알림을 묶고, 요약의 초안을 쓰고, 런북 단계를 제안할 수 있습니다. 실제 신호를 가리거나 원인을 지어낼 수도 있습니다. 누가 소유하고 출력을 어떻게 확인하는지 물으세요. 더 깊이 들어가려면, 사람의 프로세스와 나란히 요약 도구를 시범 운영하고 비교하세요.

실제 적용: 서비스 관리 사례

한 국립 도서관의 디지털 아카이브 팀은 연구자를 위한 검색 서비스를 운영합니다. 여섯 명의 팀이 순번으로 온콜을 맡습니다. 밤 호출은 일주일에 한 번꼴로 오는데, 대부분 누군가 손으로 비워 주는 배치 서버의 디스크 공간 알림입니다. 경영진은 연간 계획에 "99.99퍼센트 가용성"을 요구하지만, 아무도 현재 성능을 측정하지 않았습니다.

팀 리드는 더 작은 실험을 제안합니다. 연구자 두 명과 함께 팀은 지표 하나를 정의합니다. 2초 안에 결과를 반환하는 검색 요청의 비율입니다. 한 달 동안 측정하니 99.2퍼센트입니다. 연구자들은 검색이 5초를 넘을 때만 느리다고 느끼며 그것은 요청의 약 0.3퍼센트로, 대부분 야간 인덱스 재구축 중에 일어난다고 말합니다. 그들은 30일 동안 2초 안에 99.5퍼센트라는 목표와 오류 예산 정책에 합의합니다. 한 기간에 예산의 75퍼센트 넘게 쓰면 팀은 급하지 않은 릴리스를 멈추고 가장 큰 원인을 고칩니다.

팀은 토일도 셉니다. 손으로 디스크를 비우는 데 한 달에 약 두 시간이 들고 누군가를 깨웁니다. 정리를 자동화하고, 디스크가 가득 찰 때가 아니라 급격히 증가할 때 알림을 추가하고, 백업에서 인덱스를 복원하는 게임 데이를 리허설합니다.

달라진 점은 밤 호출이 줄고, 첫 분기에 예산이 줄어들자 릴리스가 한 번 중지되었으며 원인이 느린 쿼리 하나로 추적되었다는 것입니다. 여전히 어려운 점은 상급 관리자들이 교체에 합의하지 않아 연간 계획에는 여전히 "99.99퍼센트"가 적혀 있다는 것, 인덱스 재구축이 다른 부서가 운영하는 스토리지 서비스에 의존한다는 것, 다른 시간대의 연구자들이 서비스를 같은 방식으로 경험하는지 팀이 확신하지 못한다는 것입니다. 리드는 계획의 문구를 다음 검토에 가져갑니다.

네 가지 관점

제품 및 전달 팀

목표와 예산을 운영 팀과 공유하세요. 신뢰성 작업을 백로그에 포함하고, 점진적으로 릴리스하고, 변경의 효과를 지켜보세요. 예산을 다 썼을 때는 원인을 줄이는 노력에 동참하세요.

서비스 및 운영 팀

사용자와 함께 지표를 정의하고, 알림을 실행 가능하게 유지하고, 토일을 없애는 엔지니어링에 시간을 쓰세요. 온콜 부하와 인시던트 데이터를 계획에 가져오세요. 추적되는 조치로 이어지는 검토를 쓰세요.

리더십과 거버넌스

실제 필요를 반영하는 목표에 합의하고, 변경을 늦춰야 할 때 예산 정책을 지지하세요. 토일 감축과 신뢰성 작업을 위한 시간에 재원을 대세요. 완벽을 요구하지 마세요.

고객과 사용자

"작동한다"가 여러분에게 무엇을 뜻하는지 질문받고 목표가 무엇인지 들어야 합니다. 문제를 분명히 보고하고 무엇이 이루어졌는지 듣기를 기대하세요. 목표가 필요에 맞지 않아 보이면 그렇다고 말하세요.

애자일, AI, 자동화, 분석

애자일

SRE는 지속적 전달과 개선에 측정 가능한 신뢰성 목표를 더합니다. 목표를 정할 때 이해관계자를 참여시키고 정기적으로 검토하세요. 주의: 오류 예산이 판단을 대체하지는 않습니다. 데이터 유출 같은 일부 인시던트는 예산과 상관없이 중요합니다.

AI

AI는 관련 알림을 묶고, 가능한 원인을 제안하고, 인시던트 요약의 초안을 쓸 수 있습니다. 각 사용에는 책임자, 결정에 책임지는 사람, AI의 제안을 실제로 일어난 일과 비교할 방법이 필요합니다. 주의: 소음을 줄이려고 알림을 억제하는 AI는 실제 장애를 가릴 수 있으므로, 알려진 인시던트로 시험하세요. 주제 5.2 — AIOps를 참조하세요.

자동화

재시작, 정리, 일상적인 접근, 반복되는 진단 같은 토일을 로그, 한도, 끌 수 있는 방법과 함께 자동화하세요. 주의: 프로덕션에서 동작하는 자동화는 인시던트를 악화시킬 수 있으므로, 속도 제한과 수동 정지를 추가하세요. 주제 6.6 — 런북 자동화와 자동 복구를 참조하세요.

분석

SLI, SLO 달성도, 오류 예산 소진, 토일 시간, 알림의 질을 사용하세요. 주의: 달성하기 쉽다는 이유로 고른 목표나 사용자 경험의 일부를 무시하는 지표는 잘못된 안도감을 주므로, 사용자 불만과 대조해 확인하세요. 주제 7.4 — 관측 가능성과 텔레메트리와 서비스 관리 지표(Service Management Metrics) 책을 참조하세요.

흔한 실패 유형

  • 다른 곳의 숫자 베끼기. 필요를 모른 채 "파이브 나인"을 채택합니다. 사용자의 필요와 비용으로 결정하세요.
  • 사용자를 놓치는 지표. 대시보드는 녹색인데 사용자가 불평합니다. 사용자가 경험하는 것을 측정하세요.
  • 아무도 따르지 않는 예산 정책. 예산을 다 썼는데 변경이 계속됩니다. 대응을 미리 합의하고 적용하세요.
  • 알림 소음. 온콜 담당자가 호출을 무시합니다. 모든 알림을 실행 가능하게 만드세요.
  • 정상으로 여겨지는 토일. 팀이 자동화할 시간을 얻지 못합니다. 세고 한도를 정하세요.
  • 운영의 이름만 바꾼 SRE. 프랙티스를 채택하지 않았습니다. 지표, 목표, 예산을 정의하세요.
  • 영웅 문화. 한 사람이 모든 인시던트를 해결합니다. 지식과 런북을 공유하세요.

성숙도 모델

영역 시작 발전 표준화 관리 오케스트레이션
지표와 목표 사용자 대상 지표가 없다 인프라 지표만 핵심 서비스에 사용자 중심 SLI와 SLO가 있다 목표를 사용자 및 비용과 함께 검토한다 의존하는 서비스 전반에 목표를 조율한다
오류 예산 없음 논의되었다 문서화된 정책을 적용한다 정책의 결과를 검토한다 예산을 팀과 파트너 전반에 공유한다
토일 측정하지 않는다 비공식적으로 파악한다 세고 제한한다 추적되는 자동화로 줄인다 공유 도구로 서비스 전반에서 줄인다
인시던트 학습 비난 일부 검토 추적되는 조치가 있는 비난 없는 검토 조치 완료와 재발을 측정한다 학습을 조직 전반에 공유한다

체크리스트

  • 중요한 서비스마다 사용자 대상 지표가 적어도 하나 있다.
  • 각각에 그것에 의존하는 사람들과 합의한 목표가 있다.
  • 오류 예산이 거의 소진되면 무슨 일이 일어나는지 적어 두었다.
  • 내부 목표가 협약보다 엄격하다.
  • 토일을 추적하고 한도가 있다.
  • 알림이 실행 가능하며, 시끄러운 것은 고치거나 제거한다.
  • 온콜 부하를 측정하며 지속 가능하다.
  • 인시던트 검토는 비난이 없고 조치는 완료까지 추적한다.

AI 프롬프트

후보 지표의 초안을 작성합니다.

Our service: [describe what it does and who uses it]. What users complain about: [list].
Propose up to five candidate service level indicators, each with what it measures, how it could be computed from [available data sources], and one way it could mislead. Do not choose an objective.
List what you are unsure of.

오류 예산 소진을 계산합니다.

Our objective: [for example, 99.5 percent of requests under two seconds over 30 days]. Here are daily counts of good and total events for the period: [paste data].
Calculate attainment so far, the error budget used as a percentage, and the daily burn rate, showing each calculation. Do not predict beyond the data.
List what you are unsure of.

토일 후보의 순위를 매깁니다.

Here is a list of repetitive tasks our team does, with how often and how long each takes: [paste list].
Compute hours per month for each, rank them, and for the top five list one question about whether automating it is safe. Do not recommend specific tools.
List what you are unsure of.

AI 스킬

  • service-level-agreement: 목표를 협약과 관련지을 때 사용합니다.
  • postmortem: 추적되는 조치가 있는 비난 없는 검토를 진행할 때 사용합니다.
  • chaos-testing: 안전한 실패 실험을 계획할 때 사용합니다.
  • capacity-planning: 수요와 한계를 예측할 때 사용합니다.

주요 출처

  • Betsy Beyer, Chris Jones, Jennifer Petoff, and Niall Richard Murphy (eds.), Site Reliability Engineering: How Google Runs Production Systems (2016), sre.google에서 무료로 볼 수 있음: 프랙티스의 주된 출처.
  • Betsy Beyer and others (eds.), The Site Reliability Workbook (2018): 도입을 위한 실용적인 안내.
  • Wikipedia, "Site reliability engineering": 중립적인 개관.
  • Wikipedia, "Service-level objective": 용어의 배경.

참고 문헌

  1. Site reliability engineering — Wikipedia — https://en.wikipedia.org/wiki/Site_reliability_engineering
  2. Service-level objective — Wikipedia — https://en.wikipedia.org/wiki/Service-level_objective
  3. Service level indicator — Wikipedia — https://en.wikipedia.org/wiki/Service_level_indicator
  4. Service-level agreement — Wikipedia — https://en.wikipedia.org/wiki/Service-level_agreement
  5. Capacity planning — Wikipedia — https://en.wikipedia.org/wiki/Capacity_planning
  6. Reliability engineering — Wikipedia — https://en.wikipedia.org/wiki/Reliability_engineering
  7. Chaos engineering — Wikipedia — https://en.wikipedia.org/wiki/Chaos_engineering
  8. Observability (software) — Wikipedia — https://en.wikipedia.org/wiki/Observability_(software)
  9. Postmortem documentation — Wikipedia — https://en.wikipedia.org/wiki/Postmortem_documentation
  10. Site Reliability Engineering: How Google Runs Production Systems — Google — https://sre.google/sre-book/table-of-contents/