가용성, 용량, 성능
가용성, 용량, 성능 관리는 서비스가 직면하는 수요에 대해 쓸 수 있고, 충분히 크고, 충분히 빠르게 유지합니다. 목표가 사용자의 필요에서 나오고, 위험이 중복성과 시험을 통해 설계로 제거되며, 예측을 신뢰하는 대신 현실과 대조해 확인할 때 작동합니다.
왜 중요한가
사용자는 다른 무엇보다 먼저 서비스를 세 가지로 판단합니다. 내가 쓸 수 있는가, 많은 사람이 쓸 때도 버티는가, 빠른가. 이 가운데 어느 하나의 실패든 손실된 작업, 포기된 구매, 화난 전화로 나타납니다. 그런데도 셋은 나쁜 날이 오기 전까지는 소홀히 하기 쉽습니다. 트래픽이 두 배가 되는 출시, 마지막 한 시간에 모두가 시스템으로 몰리는 마감, 아무도 모든 것이 의존한다는 것을 깨닫지 못한 단일 구성 요소의 고장입니다.
이 프랙티스는 그런 나쁜 날을 미리 생각함으로써 피하기 위해 존재합니다. 서비스가 얼마나 많은 장애를 견딜 수 있고 그것이 얼마나 드는지, 얼마나 많은 수요를 처리해야 하고 그 수요가 어떻게 늘 것인지, 얼마나 빨리 응답해야 하는지 묻습니다. 중복성 같은 설계 선택, 사용자보다 먼저 한계를 찾는 시험, 확인되고 갱신되는 예측으로 답합니다.
ITIL 4는 세 가지 관련된 프랙티스를 설명합니다. 가용성 관리, 용량 및 성능 관리, 그리고 밀접하게 관련된 서비스 연속성 관리(주제 3.12 — 서비스 연속성 관리)입니다. 엔지니어링 팀은 이를 SLO와 오류 예산(주제 2.6 — 사이트 신뢰성 엔지니어링)을 사용하는 신뢰성 엔지니어링, 성능 엔지니어링, 용량 계획으로 만납니다. 이 주제는 생각을 모으고 과도한 도금 없이 쓰는 방법을 설명합니다. 9가 하나 늘어날 때마다 비용이 더 들므로 더 높은 가용성이 언제나 더 나은 것은 아닙니다. 서비스 수준 관리(주제 3.7 — 서비스 수준 관리)와 모니터링(주제 3.10 — 모니터링과 이벤트 관리)에 연결됩니다.
핵심 개념
가용성. 필요할 때 서비스가 합의된 기능을 수행하는 능력입니다. Wikipedia는 가용성을 시스템이 기능하는 시간의 비율로 설명합니다. 보통 한 달 99.9퍼센트처럼 일정 기간에 대한 백분율로 표현되며, 이는 약 43분의 다운타임을 허용합니다. 수치는 사용자에게 "기능한다"가 무엇을 뜻하는지 정의할 때에만 의미가 있습니다.
신뢰성과 유지보수성. 신뢰성은 서비스가 고장 없이 얼마나 오래 실행되는지이고, 유지보수성은 얼마나 빨리 복구할 수 있는지입니다. 가용성은 둘 다에 달려 있습니다. Wikipedia의 신뢰성 엔지니어링과 평균 고장 간격(MTBF) 문서가 지표를 설명합니다. 많은 현대 서비스에서 드문 고장보다 빠른 복구가 더 달성하기 쉽습니다.
중복성과 단일 장애점. 중복성은 하나의 고장이 서비스를 멈추지 않도록 예비 구성 요소를 두는 것입니다. 단일 장애점은 그것이 고장 나면 모든 것이 멈추는 구성 요소입니다. Wikipedia의 중복성과 단일 장애점 문서가 생각을 설명합니다. 사람, 공급자, 만료되는 인증서를 포함한 단일 장애점을 찾는 것이 핵심적인 가용성 과제입니다.
내결함성과 우아한 성능 저하. 내결함성 시스템은 부분이 고장 나도 계속 작동하고, 우아하게 성능이 저하되는 시스템은 일부 기능을 잃지만 핵심을 유지합니다. 예를 들어 쇼핑 사이트는 추천을 끄고도 주문을 처리할 수 있습니다. 완전한 내결함성이 너무 비싼 곳에서는 후자를 위해 설계하세요.
페일오버. 주 구성 요소가 고장 나면 대기 구성 요소로 전환하는 것입니다. 시험해야 합니다. 시험되지 않은 페일오버는 필요할 때 실패하는 경우가 많습니다. 주제 3.12 — 서비스 연속성 관리를 참조하세요.
용량. 서비스가 제공할 수 있는 최대 처리량입니다. 용량 관리는 합의된 비용으로 현재와 미래의 수요를 충족하기에 충분하되 필요 이상으로 많지 않게 보장합니다. Wikipedia의 용량 계획 문서가 설명합니다.
수요. 서비스에 가해지는 부하입니다. 사용자, 요청, 데이터 양. 수요는 시간, 요일, 계절, 행사에 따라 달라지고 출시, 캠페인, 외부 사건의 영향을 받습니다. 평균보다 패턴을 이해하는 것이 더 중요합니다.
확장성과 오토스케일링. 자원을 추가하여 더 많은 부하를 처리하는 능력입니다. 클라우드 플랫폼은 부하가 오르면 용량을 더하는 자동 확장을 허용합니다. 도움이 되지만 계획의 필요를 없애지는 않습니다. 한계가 있고, 돈이 들며, 확장할 수 없는 데이터베이스를 고쳐 주지 않습니다. 주제 4.5 — 재무 관리와 FinOps를 참조하세요.
성능. 서비스가 얼마나 빠르고 효율적으로 응답하는가입니다. 흔한 지표는 지연 시간(요청이 걸리는 시간), 처리량(처리되는 요청 수), 오류율입니다. Wikipedia가 엔지니어링에서의 지연 시간을 설명합니다. 사용자는 느린 꼬리를 알아채므로 평균만이 아니라 95번째 같은 백분위수를 보세요. 주제 3.7 — 서비스 수준 관리를 참조하세요.
대기행렬과 포화. 시스템이 완전한 사용에 가까워지면 대기 시간이 급격히 늘어납니다. Wikipedia가 설명하는 대기행렬 이론은 용량의 95퍼센트로 운영되는 서비스가 60퍼센트인 서비스와 왜 그렇게 다르게 느껴지는지 설명합니다. 여유를 두세요.
성능 엔지니어링과 테스트. 끝에서만이 아니라 개발 내내 성능을 위해 설계하고 시험하는 것입니다. 부하 테스트는 예상 수요를 가하고, 스트레스 테스트는 그것을 넘어 한계점을 찾습니다. Wikipedia가 둘 다 설명합니다. 현실적인 데이터와 함께 프로덕션과 닮은 환경에서 시험하세요.
예측. 이력, 알려진 행사, 성장으로부터 미래의 수요를 추정하는 것입니다. Wikipedia가 예측 방법을 설명합니다. 예측은 불확실합니다. 가정을 기록하고, 범위를 보여 주고, 예측을 실제로 일어난 일과 비교하세요. 주제 7.5 — 예측 분석과 전망을 참조하세요.
비용 절충. 가용성이나 용량을 높일 때마다 돈이 듭니다. 알맞은 수준은 사업에 대한 장애와 느림의 비용에 달려 있습니다. 비용을 부담하는 사람들과 절충을 명시하고 적어 두세요.
렌즈는 어떻게 맞물리는가. 애자일 프랙티스는 신뢰성 작업을 백로그의 일부로 다루고 일찍, 자주 시험합니다. AI는 검토 아래 이상을 감지하고 예측을 뒷받침할 수 있습니다. 자동화는 자원을 확장하고 페일오버합니다. 분석은 세 프랙티스 모두에 데이터를 제공합니다.
모범 사례
- 사용자의 필요에서 가용성 목표를 정합니다. 서비스가 한 시간, 하루, 일주일 멈추면 무슨 일이 일어나는지 물으세요. 그에 맞는 목표와 비용을 정하세요. "가용"의 정의를 사용자의 관점에서 쓰세요.
- 단일 장애점을 찾습니다. 중요한 서비스의 구성 요소와 의존 관계를 매핑하고, 각각이 고장 나면 어떻게 되는지 물으세요. 인증서, 라이선스, 사람, 공급자를 포함하세요.
- 장애를 염두에 두고 설계합니다. 비용이 정당화되는 곳에는 중복성을 쓰고, 구성 요소가 독립적으로 고장 나게 하고, 핵심을 지키기 위해 무엇을 끌 수 있는지 결정하세요.
- 페일오버와 복구를 시험합니다. 안전한 환경에서 페일오버를 리허설하고 걸리는 시간을 기록하세요. 리허설이 드러낸 것을 고치세요.
- 수요 패턴을 압니다. 시간, 요일, 계절별 부하 데이터를 수집하고 출시와 마감 같은 알려진 다가오는 행사를 나열하세요. 평균이 아니라 피크를 계획하세요.
- 여유를 남깁니다. 중요한 구성 요소를 완전한 용량에 가깝게 운영하지 마세요. 조치할 시간에 경고하는 알림 임계값을 정하세요.
- 사용자보다 먼저 성능을 시험합니다. 주요 릴리스 전과 알려진 피크 전에 현실적인 시나리오로 부하 및 스트레스 테스트를 실행하세요. 시스템이 어디서 깨지는지 배우세요.
- 예측하고 확인합니다. 가정과 함께 예측을 만들고, 실제와 정기적으로 대조하고, 조정하세요. 단일 숫자가 아니라 범위를 공유하세요.
- 꼬리를 지켜봅니다. 백분위수 지연 시간과 오류율을 보고하고 가장 느린 요청을 조사하세요. 평균은 운이 나쁜 사용자의 경험을 가립니다.
- 비용과 위험을 공개적으로 저울질합니다. 오너에게 각 수준의 가용성과 용량의 비용을 보여 주고, 결정과 누가 했는지 기록하세요.
팀과 논의할 질문
이 서비스가 한 시간 멈추면 사용자는 무엇을 잃으며, 우리 목표는 그에 맞습니까? 이 질문은 목표를 영향에 연결합니다. 사용자마다 다른 답이 예상됩니다. 실제 예를 요청하세요. 더 깊이 들어가려면, 비용과 함께 목표를 쓰고 고객과 확인하세요.
기계가 아닌 것을 포함해 우리의 단일 장애점은 무엇입니까? 중요한 서비스 하나의 의존 관계를 그려 보세요. 놀라움이 예상됩니다. 아무도 추적하지 않는 인증서, 한 명의 엔지니어, 대비책이 없는 공급자입니다. 더 깊이 들어가려면, 줄일 것 하나를 고르세요.
우리가 마지막으로 페일오버를 시험한 때는 언제이며, 어떻게 되었습니까? 날짜와 결과를 물으세요. "한 번도 안 했다"나 "테스트 환경에서는 됐다"가 예상됩니다. 더 깊이 들어가려면, 명시된 복구 시간과 함께 리허설을 계획하세요.
이 서비스에서 1년 중 가장 바쁜 시간은 언제이며, 우리는 준비되어 있습니까? 마감, 출시, 세일을 생각하세요. 지난번에 무슨 일이 있었는지 물으세요. 더 깊이 들어가려면, 다음 피크를 위한 부하 테스트를 계획하세요.
우리의 마지막 세 번의 용량 예측은 얼마나 정확했습니까? 이 질문은 학습을 시험합니다. 아무도 확인하지 않았을 것으로 예상됩니다. 예측을 실제와 비교하세요. 더 깊이 들어가려면, 검토 주기를 합의하고 가정을 기록하세요.
AI는 수요를 예측하거나 문제를 일찍 감지하는 데 어떻게 도울 수 있으며, 틀렸다는 것을 어떻게 알겠습니까? AI는 텔레메트리에서 패턴을 찾을 수 있습니다. 노이즈에 맞출 수도 있습니다. 누가 소유하고 무엇과 비교할지 물으세요. 더 깊이 들어가려면, 한 분기 동안 AI 예측을 기존 방법과 나란히 실행하세요.
실제 적용: 서비스 관리 사례
한 국가 학자금 대출 기관이 신청 포털을 운영합니다. 한 해의 대부분은 하루에 수천 명의 사용자를 처리합니다. 연간 신청 마감 직전 이틀에는 백 배가 훨씬 넘게 처리합니다. 2년 전에는 마지막 저녁에 다운되었고, 작년에는 긴급 확장과 하룻밤의 초과 근무로 견뎠습니다.
서비스 오너는 다음 마감보다 훨씬 앞서 1월에 시작합니다. 지난 3년간의 시간별 트래픽 데이터를 요청하고 일관된 모양을 발견합니다. 마지막 주 동안의 완만한 상승, 마지막 날의 급격한 상승, 마지막 세 시간의 피크입니다. 그녀는 팀에 단일 장애점을 찾아 달라고 요청합니다. 포털이 고정된 속도 제한이 있는 공급자가 운영하는 신원 확인 서비스에 의존하며, 이것이 처리량을 예상 피크의 약 절반으로 제한하게 됨을 발견합니다.
팀은 세 가지를 합니다. 공급자와 더 높은 속도 제한을 협상하여 마지막 주에 임시 증설을 받습니다. 3월과 6월에 전년도 패턴에 30퍼센트를 더해 부하 테스트를 실행하고, 예상 피크의 약 70퍼센트에서 데이터베이스가 병목이 됨을 발견하여 읽기 복제본을 추가하고 비싼 쿼리 몇 개를 캐싱해 고칩니다. 그리고 성능 저하 모드를 준비합니다. 마지막 날에 부하가 임계값을 넘으면 저축 계산기 같은 필수적이지 않은 기능을 끕니다.
마감일에 포털은 피크를 처리합니다. 신원 확인 서비스는 가장 바쁜 시간에 느려지지만 실패하지 않고, 성능 저하 모드는 40분 동안 한 번 활성화됩니다. 달라진 점은 다운타임도 초과 근무 위기도 없었다는 것입니다. 여전히 어려운 점은 공급자의 한도가 해마다 초기화되는 계약상의 문제라는 것, 30퍼센트 증가라는 예측은 가정이었고 실제 증가는 22퍼센트였으므로 팀이 과소비했을 수 있다는 것, 아무도 지역 전체의 장애를 시험하지 않았고 그것은 여전히 서비스를 멈추게 한다는 것입니다. 오너는 이를 내년 계획에 기록합니다.
네 가지 관점
제품 및 전달 팀
장애와 부하를 염두에 두고 설계하세요. 구성 요소를 독립적으로 만들고, 만들면서 성능을 시험하고, 한계를 알아야 합니다. 성능 저하 모드와 속도 제한을 설계에 포함하세요.
서비스 및 운영 팀
수요 패턴과 용량 여유를 아세요. 페일오버를 리허설하고, 느린 꼬리를 지켜보고, 추세에 일찍 경고하세요. 의존 관계 지도를 최신으로 유지하세요.
리더십과 거버넌스
비용과 위험을 살피며 가용성과 용량 수준을 결정하고, 그 뒤의 증거를 요구하세요. 장비뿐 아니라 시험과 리허설에 재원을 대세요. 알려진 피크를 경계하세요.
고객과 사용자
가장 바쁜 시기와 장애가 여러분에게 드는 비용을 제공자에게 알리세요. 어느 수준의 가용성이 계획되어 있고 놓치면 무슨 일이 일어나는지 물으세요.
애자일, AI, 자동화, 분석
애자일
신뢰성과 성능 작업을 백로그에 포함하고, 파이프라인에서 일찍, 자주 시험하고, 각 인시던트와 피크에서 배우세요. 주의: 신뢰성을 "나중으로" 미루면 최악의 순간에 드러나는 부채가 쌓입니다.
AI
AI는 이상을 감지하고, 이력과 행사로부터 수요를 예측하고, 확장 조치를 제안할 수 있으며, 비용과 위험에 대해서는 오너와 사람의 결정이 따릅니다. 주의: 평범한 날로 훈련된 모델은 전례 없는 사건에서 실패할 수 있으므로, 단순한 기준선과 비교하고 사람이 책임지게 하세요. 주제 5.2 — AIOps를 참조하세요.
자동화
확장, 페일오버, 상태 점검, 부하 테스트를 파이프라인에서 한도와 로그와 함께 자동화하세요. 주의: 오토스케일링은 비용을 부풀리거나 결함 있는 릴리스를 가릴 수 있으므로, 예산과 알림을 정하고 확장 규칙을 시험하세요. 주제 6.6 — 런북 자동화와 자동 복구를 참조하세요.
분석
수요, 사용률, 지연 시간 백분위수, 오류율, 예측 정확도를 수집하세요. 주의: 사용률 목표는 부하를 옮겨 조작될 수 있고 평균은 느린 꼬리를 가리므로, 사용자 경험 데이터와 대조해 확인하세요. 주제 7.5 — 예측 분석과 전망과 서비스 관리 지표(Service Management Metrics) 책을 참조하세요.
흔한 실패 유형
- 습관에 의한 목표. 이유 없이 "파이브 나인"을 약속합니다. 사용자의 필요와 비용에서 목표를 정하세요.
- 숨겨진 단일 장애점. 인증서나 사람이 모든 것을 멈춥니다. 의존 관계를 넓게 매핑하세요.
- 시험되지 않은 페일오버. 필요할 때 실패합니다. 정기적으로 리허설하세요.
- 평균을 위한 계획. 피크가 시스템을 압도합니다. 알려진 피크를 계획하고 여유를 남기세요.
- 확인되지 않는 예측. 오류가 반복됩니다. 예측을 실제와 비교하세요.
- 만능 해법으로서의 오토스케일링. 비용과 병목이 남습니다. 한계를 시험하고 예산을 정하세요.
- 평균만. 느린 꼬리가 무시됩니다. 백분위수를 보고하세요.
성숙도 모델
| 영역 | 시작 | 발전 | 표준화 | 관리 | 오케스트레이션 |
|---|---|---|---|---|---|
| 가용성 | 사후 대응 | 핵심 서비스에 목표가 있다 | 목표, 중복성, 시험된 페일오버가 있다 | 가용성을 사용자 경험에 비추어 측정한다 | 서비스와 공급자 전반에 가용성을 설계하고 관리한다 |
| 용량 | 바닥나면 추가한다 | 기본 모니터링 | 수요 패턴을 알고 가정과 함께 예측한다 | 예측 정확도를 검토한다 | 감독 아래 자동으로 용량을 계획하고 조정한다 |
| 성능 | 불만만 | 일부 지표 | 백분위수 목표와 릴리스 전 부하 테스트 | 성능 추세와 회귀를 추적한다 | 수명주기 전반에 성능을 엔지니어링한다 |
| 비용 인식 | 알 수 없다 | 대략 안다 | 오너와 함께 절충을 문서화한다 | 비용과 위험을 정기적으로 검토한다 | 비용, 위험, 신뢰성을 함께 최적화한다 |
체크리스트
- 가용성 목표가 명확한 정의와 함께 사용자의 필요와 비용에 기반한다.
- 중요한 서비스의 단일 장애점을 매핑하고 추적한다.
- 페일오버를 리허설하고 시간을 쟀다.
- 수요 패턴과 다가오는 피크를 안다.
- 주요 릴리스와 알려진 피크 전에 부하 테스트를 실행한다.
- 예측이 가정을 기록하고 실제와 대조한다.
- 백분위수 지연 시간과 오류율을 보고한다.
- 비용과 위험의 절충을 오너와 함께 기록한다.
AI 프롬프트
단일 장애점을 찾습니다.
Here is a description of how [service] works and what it depends on: [paste].
List each component and dependency, and for each one say what the description implies would happen if it failed, or "not stated". Mark candidate single points of failure and questions to ask. Do not assume redundancy that is not described.
List what you are unsure of.
수요 패턴을 요약합니다.
Here is hourly request data for [period]: [paste summary or data].
Describe the daily, weekly, and seasonal patterns you can see, give the peak-to-average ratio, and list dates that look unusual. Do not forecast.
List what you are unsure of.
부하 테스트 계획의 초안을 작성합니다.
Our service: [describe]. Expected peak: [number and pattern]. Known limits or concerns: [list].
Draft a test plan with scenarios, load levels, what to measure, what would make us stop, and risks of testing. Specify that it is run only in a safe environment.
List what you are unsure of.
AI 스킬
- capacity-planning: 수요를 예측하고 자원을 계획할 때 사용합니다.
- load-testing: 부하 테스트를 설계하고 실행할 때 사용합니다.
- performance-testing: 속도와 응답성을 살필 때 사용합니다.
- demand-forecasting: 명시된 불확실성과 함께 미래의 수요를 추정할 때 사용합니다.
- chaos-testing: 장애가 어떻게 퍼지는지 시험할 때 사용합니다.
주요 출처
- Betsy Beyer and others (eds.), Site Reliability Engineering (2016): 과부하 처리와 로드 밸런싱에 대한 장, sre.google에서 무료로 볼 수 있음.
- PeopleCert, ITIL certification pages: 가용성 및 용량 프랙티스에 대한 소유자의 설명.
- Wikipedia, "High availability" and "Capacity planning": 주요 생각의 개관.
- Wikipedia, "Queueing theory": 대기와 포화의 배경이 되는 수학.
참고 문헌
- Availability — Wikipedia — https://en.wikipedia.org/wiki/Availability
- High availability — Wikipedia — https://en.wikipedia.org/wiki/High_availability
- Capacity planning — Wikipedia — https://en.wikipedia.org/wiki/Capacity_planning
- Reliability engineering — Wikipedia — https://en.wikipedia.org/wiki/Reliability_engineering
- Mean time between failures — Wikipedia — https://en.wikipedia.org/wiki/Mean_time_between_failures
- Single point of failure — Wikipedia — https://en.wikipedia.org/wiki/Single_point_of_failure
- Redundancy (engineering) — Wikipedia — https://en.wikipedia.org/wiki/Redundancy_(engineering)
- Load testing — Wikipedia — https://en.wikipedia.org/wiki/Load_testing
- Queueing theory — Wikipedia — https://en.wikipedia.org/wiki/Queueing_theory
- Forecasting — Wikipedia — https://en.wikipedia.org/wiki/Forecasting
- Site Reliability Engineering: How Google Runs Production Systems — Google — https://sre.google/sre-book/table-of-contents/