왜 중요한가

운영 팀은 데이터에 빠져 허우적댑니다. 현대적인 서비스는 매일 수백만 줄의 로그, 수천 개의 지표, 수백 건의 알림을 내보냅니다. 사람이 모두 읽을 수는 없으므로, 무엇을 볼지 정하는 임계값과 규칙을 둡니다. 규칙은 늘어나고, 서로 얽히고, 낡습니다. 대부분의 알림은 소음으로 드러나고, 진짜 문제 몇몇은 그 사이에 숨습니다.

AIOps는 2010년대 중반 분석 회사 Gartner가 "algorithmic IT operations"에서 만든 용어로, 지금은 흔히 "AI for IT operations"로 읽히며 도움을 약속합니다. 머신러닝으로 무엇이 정상인지 학습하고, 그렇지 않을 때 알아채고, 관련된 알림을 하나의 이벤트로 묶고, 원인이 어디에 있을지 제안합니다. Wikipedia는 AIOps를 IT 운영을 강화하기 위한 인공지능의 적용으로 설명합니다. 벤더는 이를 강한 어조로 내세웁니다. 실천가들은 소음 감소 같은 일부 사용에서는 실질적인 이득을, 완전 자동 진단 같은 다른 사용에서는 실망을 보고합니다.

서비스 관리에서 질문은 실용적입니다. AIOps의 어느 부분이 믿을 만한 가치를 주는가, 어떻게 확인하는가, 사람이 어떻게 통제권을 유지하는가. 이 주제는 주요 기법, 전형적인 실패 유형, 합리적인 도입 경로를 설명합니다. 모니터링(주제 3.10 — 모니터링과 이벤트 관리)과 관측 가능성(주제 7.4 — 관측 가능성과 텔레메트리) 위에 서 있으며, 인시던트 관리(주제 3.2 — 인시던트 관리) 및 런북 자동화(주제 6.6 — 런북 자동화와 자동 복구)와 겹칩니다.

핵심 개념

AIOps. 이상 탐지, 이벤트 상관관계 분석, 근본 원인 제안, 예측 같은 작업을 지원하기 위해 운영 데이터에 AI 기법, 주로 머신러닝과 통계를 쓰는 것입니다. 단일 제품이 아니라 기법의 집합이며, 역량은 크게 다릅니다.

이상 탐지. 기대와 다른 데이터 포인트나 패턴을 찾는 것입니다. Wikipedia가 이상 탐지와 그 방법을 설명합니다. 운영에서 모델은 요청의 정상적인 일간 및 주간 패턴을 학습해 이탈을 표시할 수 있습니다. 정상은 일정하지 않습니다. Wikipedia가 설명하는 계절성은 월요일 아침이 일요일 밤과 다르게 보인다는 뜻입니다. 좋은 탐지기는 이를 고려합니다.

시계열. 응답 시간이나 오류 수처럼 시간에 따라 기록된 데이터입니다. Wikipedia가 시계열 분석을 설명합니다. 대부분의 운영 지표는 시계열이며, AIOps 기법은 이를 모델링하고 예측하는 방법 위에 세워집니다.

이벤트 상관관계 분석과 소음 감소. 하나의 원인에서 비롯된 알림을 단일 인시던트로 합치고 중복과 알려진 소음을 억제하는 것입니다. Wikipedia가 이벤트 상관관계 분석을 설명합니다. Wikipedia가 군집 분석으로 설명하는 클러스터링 기법은 유사성으로 항목을 묶습니다. 좋은 상관관계 분석은 알림 이백 건을 하나로 바꾸고 유력한 출처의 이름을 댑니다.

근본 원인 제안. 토폴로지, 변경 기록, 로그, 과거 인시던트를 이용해 결함이 어디에 있을 법한지 제안하는 것입니다. 제안은 가설입니다. 최근의 변경이나 의존성을 가리킬 때 가장 유용하고, 원인이 새로울 때 가장 신뢰하기 어렵습니다.

예측 운영. 사흘 안에 찰 디스크나 고장 날 가능성이 높은 구성 요소처럼 문제가 생기기 전에 예측하는 것입니다. Wikipedia가 예지 정비와 예측 분석을 설명합니다. 예측은 확률이며, 각각에는 오경보와 놓침의 비용이 있습니다. 주제 7.5 — 예측 분석과 전망을 참조하세요.

로그 분석. 자연어 처리와 통계의 기법을 써서 새 메시지 유형이나 빈도 변화 같은 로그의 패턴을 찾는 것입니다. Wikipedia가 로그 분석을 설명합니다.

운영에서의 생성형 AI. 대규모 언어 모델은 인시던트 타임라인을 요약하고, 알림을 쉬운 말로 옮기고, 런북 단계의 초안을 쓰고, 환경에 대한 질문에 답할 수 있습니다. 유연성을 더하지만 지어낸 내용의 위험도 더합니다. 주제 5.4 — 인시던트, 지식, 변경을 위한 생성형 AI를 참조하세요.

정밀도, 재현율, 오류 비용. 탐지기는 두 가지 방식으로 틀릴 수 있습니다. 오경보(거짓 양성)를 내거나 진짜 문제를 놓칩니다(거짓 음성). Wikipedia가 두 유형의 오류와 정밀도 및 재현율 척도를 설명합니다. 하나를 줄이도록 조정하면 다른 하나가 늘어납니다. 알맞은 균형은 각각의 비용에 달려 있고, 서비스마다 다른 설정이 어울립니다.

개념 드리프트. 모델은 과거 데이터에서 배우는데 세상은 바뀝니다. 새 릴리스, 새 트래픽 패턴, 새 인프라입니다. Wikipedia는 예측 대상의 통계적 특성이 시간이 지남에 따라 바뀌는 개념 드리프트를 설명합니다. 1월에 정확했던 모델은 모니터링하고 재훈련하지 않으면 6월에는 오도할 수 있습니다.

설명 가능성. 대응하는 사람은 제안이 왜 나왔는지, 즉 어떤 지표가 움직였고 어떤 이벤트가 묶였고 어떤 변경이 변화에 앞섰는지 볼 수 있으면 제안을 더 신뢰하고 더 유용하게 바로잡습니다. Wikipedia가 설명 가능한 인공지능과 블랙박스 문제를 설명합니다. 운영에서는 근거를 보여 주는 접근을 선호하세요.

데이터 품질과 범위. AIOps에는 좋은 데이터가 필요합니다. 완전하고, 일관되고, 타임스탬프가 올바르고, 서비스와 오너가 표시된 데이터입니다. 데이터가 빠지거나 일관되지 않으면 놓친 신호와 잘못된 연결이 생깁니다. 주제 4.4 — 구성 관리와 주제 7.2 — 데이터 기반과 데이터 거버넌스를 참조하세요.

자율 및 자가 치유 개념. 스스로 결함을 탐지하고 고치는 시스템이라는 오랜 목표로, Wikipedia는 이를 자율 컴퓨팅으로 설명합니다. 실패한 프로세스를 다시 시작하는 것처럼 일부는 오늘날 실용적입니다. 폭넓은 자가 치유는 훨씬 어렵습니다. 주제 6.6 — 런북 자동화와 자동 복구를 참조하세요.

사람의 감독. 대응하는 사람이 계속 책임집니다. AIOps의 출력은, 좁게 정의된 행동이 시험되고 자동 실행이 승인된 경우가 아니라면, 사람의 결정을 위한 입력입니다. 주제 5.5 — 에이전트형 AI와 사람의 감독을 참조하세요.

렌즈는 어떻게 맞물리는가. AIOps는 서비스 관리의 운영 부분을 위해 AI와 분석을 결합합니다. 애자일 프랙티스는 당직자의 피드백과 함께 한 서비스에서 하는 작은 시험을 제안합니다. 자동화는 AIOps의 출력을 소비합니다. 예를 들어 티켓을 열거나 안전한 점검을 실행합니다.

모범 사례

  1. 분명한 불편에서 시작합니다. 한 서비스의 알림이 너무 많은 것 같은 문제 하나와 교대당 호출 수 같은 척도를 고르세요. 거기서 AIOps를 시험하세요.
  2. 먼저 데이터를 정돈합니다. 로그와 지표가 완전한지, 타임스탬프가 일관된지, 서비스와 오너가 표시되어 있는지 확인하세요. 모델을 탓하기 전에 공백을 고치세요.
  3. 과거 인시던트로 시험합니다. 과거 데이터를 도구에 재생하고 무엇을 표시하고, 묶고, 제안했을지 물으세요. 오경보와 놓침을 세세요.
  4. 단순한 방법과 비교합니다. 고정 임계값과 기본 규칙과 비교하세요. 단순한 방법이 똑같이 해낸다면 그것을 쓰세요. 아무것도 더하지 않는 복잡성에 값을 치르지 마세요.
  5. 설명 가능한 출력을 선호합니다. 알림이나 제안된 원인 뒤의 근거를 보여 주는 도구를 고르세요. 대응하는 사람이 그것을 보고 이의를 제기할 수 있도록 요구하세요.
  6. 자문 모드로 시작합니다. 도구가 제안하고 사람이 결정하게 하세요. 자동 행동을 허용하기 전에 몇 주 동안 제안을 실제 일어난 일과 대조해 검토하세요.
  7. 자동 행동을 제한합니다. 좁고, 잘 이해되고, 되돌릴 수 있는 행동만, 속도 제한, 로그, 수동 중지와 함께 허용하세요. 행동의 종류마다 켜기 전에 검토하세요.
  8. 모델을 모니터링합니다. 오경보, 놓침, 유용했던 제안의 비중을 추적하세요. 주요 릴리스 뒤의 드리프트를 지켜보고 필요하면 재훈련하거나 재구성하세요.
  9. 당직자를 참여시킵니다. 도구 안에서 제안을 평가하도록 요청하고 그들의 피드백을 매주 검토하세요. 그들이 유용성의 최고 판단자입니다.
  10. 억제된 것을 기록합니다. 시스템이 숨기거나 합친 알림의 로그를 보관하고 표본을 정기적으로 검토하세요. 최악의 실패는 억제에서 일어납니다.

팀과 논의할 질문

어떤 알림이 우리 당직 시간을 가장 많이 낭비하며, 어떤 AI보다 먼저 더 나은 규칙이 이를 고칠 수 있습니까? 데이터에서 시작하세요. 많은 소음 문제는 단순한 수정으로 풀립니다. 몇 개의 규칙이 대부분의 소음을 차지할 것으로 예상됩니다. 더 깊이 들어가려면, 그것들을 고친 뒤 AI가 무엇을 더할 수 있는지 다시 평가하세요.

도구가 우리의 지난 세 인시던트 동안 돌고 있었다면 무엇을 알려 주었을 것이며, 그것이 도움이 되었겠습니까? 재생하거나 시뮬레이션하세요. 엇갈린 결과가 예상됩니다. 무엇을 놓쳤을지 물으세요. 더 깊이 들어가려면, 도구가 가장 유망해 보이는 인시던트 유형을 고르세요.

도구가 진짜 알림을 억제했는지 어떻게 알겠습니까? 이는 감독을 시험합니다. "알 수 없다"가 예상됩니다. 더 깊이 들어가려면, 억제된 이벤트의 로그, 정기적인 표본, 절대 억제하지 않는 것에 대한 규칙에 합의하세요.

자동 행동이 잘못되면 누가 책임지며, 그 한도는 무엇입니까? 오너의 이름을 대고 허용된 행동을 나열하세요. 모호한 답이 예상됩니다. 더 깊이 들어가려면, 승인 없이 허용되는 행동의 짧은 목록을 각각의 롤백과 함께 작성하세요.

주요 릴리스나 트래픽 변화 뒤에 모델이 드리프트했음을 어떻게 탐지하겠습니까? 계획을 요청하세요. 없을 것으로 예상됩니다. 더 깊이 들어가려면, 오경보율 같은 지표와 주요 릴리스마다의 검토 날짜를 고르세요.

당직자는 이 도구에서 무엇을 원하며, 무엇이 그들이 신뢰를 멈추게 하겠습니까? 그들에게 직접 물으세요. 맥락과 오경보에 대한 실용적인 답이 예상됩니다. 더 깊이 들어가려면, 답을 시험의 인수 기준으로 바꾸세요.

실제 적용: 서비스 관리 사례

한 국립 기상 서비스의 운영 팀은 온프레미스와 클라우드 시스템이 섞인 환경에서 예보 파이프라인과 공개 API를 운영합니다. 당직자는 하루에 약 300건의 알림을 받는데, 대부분 몇몇 시끄러운 출처에서 옵니다. 한 벤더가 자동 상관관계 분석과 근본 원인 제안을 갖춘 AIOps 플랫폼을 제안합니다.

운영 리드는 조건을 달아 시범 운영에 동의합니다. 첫째, 팀이 가장 시끄러운 규칙 12개를 정리해 양의 약 절반을 없앱니다. 둘째, 인시던트 14건을 포함한 6개월치 데이터를 자문 모드의 플랫폼에 재생합니다. 재생에서 플랫폼은 알림을 잘 묶습니다. 알림 80건을 낸 평균적인 인시던트가 세 묶음으로 나타납니다. 14건 중 9건에서 첫 징후를 올바르게 표시하고, 첫 증상이 로그에 있던 3건은 놓치며, 아직 학습하지 못한 패턴이 있는 정기 야간 재처리에서 오경보를 냅니다.

팀은 파이프라인 하나에 두 달 동안 자문 모드로 배포하고, 당직자가 각 제안을 유용, 보통, 틀림으로 평가합니다. 약 55퍼센트가 유용으로, 15퍼센트가 틀림으로 평가되며, 틀린 경우는 대개 기록되지 않은 최근 변경이 원인입니다. 그 뒤 플랫폼은 묶인 인시던트에 대해 티켓을 자동으로 여는 것만 허용되고, 그 밖에는 아무것도 허용되지 않습니다. 팀은 억제된 알림을 매주 검토하며, 주요 릴리스 뒤에 모델의 트래픽 기준선이 이제 틀렸음을 발견하고 재훈련해야 합니다.

달라진 점은 당직자가 훨씬 적고 더 잘 묶인 알림을 받는다는 것입니다. 여전히 어려운 점은 플랫폼의 제안이 정확한 변경 기록에 달려 있는데 기록이 불완전하다는 것, 새로운 장애에는 덜 도움이 된다는 것, 벤더의 가격이 데이터 양에 따라 커져 팀이 수집량을 제한한다는 것입니다. 리드는 놓침에 대한 추가 검토를 거친 뒤에야 다른 파이프라인으로 시범 운영을 넓힐 계획입니다.

네 가지 관점

제품 및 전달 팀

좋은 텔레메트리를 내보내세요. 일관된 로그, 서비스 레이블이 있는 지표, 배포와 변경의 기록입니다. 설계 지식을 운영 팀과 공유하고, 여러분의 서비스에 대한 도구의 제안을 확인하는 데 도움을 주세요.

서비스 및 운영 팀

도구를 어시스턴트로 쓰세요. 제안을 평가하고, 억제된 항목을 검토하고, 놓침을 보고하세요. 규칙이 통하는 곳에서는 단순하게 유지하고, 결정과 행동의 오너십은 직접 지니세요.

리더십과 거버넌스

데모가 아니라 재생 시험과 시범 운영의 결과를 요청하세요. 자동 행동에 한도를 정하세요. 데이터 품질과 훈련에 재원을 대세요. 완전 자율 운영이라는 주장을 경계하세요.

고객과 사용자

중단이 더 적고 더 짧아지는 것을 느껴야 하며, 문제를 전달받는 방식에는 변화가 없어야 합니다. 여러분이 알아채기 전에 인시던트가 놓쳤다면 제공자에게 알리세요.

애자일, AI, 자동화, 분석

애자일

당직자의 잦은 피드백과 함께 한 서비스에서 시험한 다음, 단계적으로 넓히세요. 인시던트마다 놓침을 검토하고 조정하세요. 주의: 변경을 기록하지 않고 모델을 계속 조정하면 행동을 예측할 수 없게 되므로, 변경 이력을 유지하세요.

AI

도구 자체가 오너, 시험 데이터, 검토가 있는 AI 시스템입니다. 다른 것과 똑같이 다루세요. 해도 되는 일을 기록하고, 모니터링하고, 업데이트 뒤에 시험하세요. 주의: 벤더는 예고 없이 모델을 바꿀 수 있으므로, 변경을 어떻게 알리는지 묻고 정기적으로 시험하세요. 주제 5.6 — AI 거버넌스, 위험, 규정 준수를 참조하세요.

자동화

AIOps의 출력을 티켓 생성, 진단 정보 수집, 알려진 실패 프로세스 재시작처럼 좁고 시험된 자동 행동에 한도와 로그와 함께 연결하세요. 주의: 불확실한 예측에서 고른 자동 행동은 인시던트를 악화시킬 수 있으므로, 높은 확신과 롤백을 요구하세요. 주제 6.6 — 런북 자동화와 자동 복구를 참조하세요.

분석

알림 양, 유용한 비중, 오경보, 인시던트 검토에서 발견된 놓침, 탐지 시간, 진단 시간을 측정하세요. 주의: 알림 양을 낮추는 일은 진짜 알림을 숨겨서도 이룰 수 있으므로, 항상 인시던트와 놓침에 견주어 비교하세요. 주제 7.4 — 관측 가능성과 텔레메트리와 서비스 관리 지표(Service Management Metrics) 책을 참조하세요.

흔한 실패 유형

  • 약속을 사기. 벤더의 데모를 증거로 받아들입니다. 재생과 시범 운영으로 자기 데이터에서 시험하세요.
  • 나쁜 데이터. 모델이 일관되지 않은 로그와 레이블에서 배웁니다. 데이터를 먼저 고치세요.
  • 검토 없는 억제. 진짜 알림이 숨겨집니다. 억제된 것을 기록하고 표본 추출하세요.
  • 불투명한 제안. 대응하는 사람이 판단할 수 없습니다. 근거를 보여 주는 도구를 선호하세요.
  • 이른 자동화. 잘못된 행동이 빠르게 일어납니다. 자문으로 시작하고 행동을 제한하세요.
  • 무시된 모델 드리프트. 정확도가 조용히 떨어집니다. 변경 뒤에 모니터링하고 재훈련하세요.
  • 이득 없는 복잡성. 단순한 규칙으로 충분합니다. 단순한 방법과 비교하세요.

성숙도 모델

영역 시작 발전 표준화 관리 오케스트레이션
데이터 기반 일관되지 않다 주요 출처를 수집한다 일관되고, 레이블이 붙고, 오너가 있는 텔레메트리 데이터 품질을 측정하고 개선한다 거버넌스와 함께 팀과 공급자 사이에 데이터를 공유한다
AI 활용 벤더의 주장 한 서비스에서 시범 운영 재생과 피드백을 갖춘 자문 사용 결과를 측정하고 그에 따라 행동한다 감독과 함께 운영 전반에 AI가 통합된다
자동화 없음 티켓 생성 한도가 있는 좁고 승인된 행동 행동을 검토하고 개선한다 사람의 통제 아래 위험에 따라 더 폭넓게 자동화한다
모델 관리 없음 임시방편 조정 드리프트와 오류 모니터링 변경과 연결된 재훈련 도구 전반의 지속적 평가

체크리스트

  • 시범 운영을 위한 구체적인 문제와 척도를 골랐다.
  • 단순한 규칙으로 가장 심한 알림 소음부터 고쳤다.
  • 과거 인시던트로 도구를 시험하고 놓침과 오경보를 세었다.
  • 단순한 방법과 비교했다.
  • 출력을 대응하는 사람에게 설명할 수 있다.
  • 어떤 행동이든 허용하기 전에 자문 모드로 운영한다.
  • 자동 행동은 좁고, 기록되고, 속도가 제한되고, 되돌릴 수 있다.
  • 드리프트를 모니터링하고 억제된 알림을 검토한다.

AI 프롬프트

재생 결과를 점검합니다.

Here are the results of replaying [number] past incidents through our AIOps tool: for each, the first real symptom, what the tool flagged and when, and what it suggested: [paste].
Compute for each incident whether the tool flagged the problem before the first page, and list false alarms and misses. Summarize counts and note incidents where the data is unclear. Do not rate the tool overall.
List what you are unsure of.

억제된 알림을 검토합니다.

Here is a sample of alerts that the system suppressed or merged last week, with details: [paste sample].
For each, say whether the details suggest it was noise, a duplicate of another alert, or possibly a real problem, and give your reason. Mark those you cannot judge.
List what you are unsure of.

시범 운영의 인수 기준 초안을 작성합니다.

Our service: [describe]. Our current pain: [describe, with numbers if known]. Our constraints: [list].
Draft acceptance criteria for a two-month pilot of an AIOps tool: measures, thresholds we should agree beforehand, what would make us stop, and what automatic actions are not allowed. Do not state vendor claims as facts.
List what you are unsure of.

AI 스킬

  • anomaly-analysis: 운영 데이터의 비정상 패턴을 살펴볼 때 사용합니다.
  • trend-analysis: 지표가 시간에 따라 어떻게 변하는지 볼 때 사용합니다.
  • data-quality: AIOps가 의존하는 입력을 점검할 때 사용합니다.
  • mlops: 사용 중인 모델을 모니터링하고 유지할 때 사용합니다.
  • root-cause-analysis: 제안된 원인을 증거에 대해 시험할 때 사용합니다.

주요 출처

  • Betsy Beyer and others (eds.), Site Reliability Engineering (2016), chapter on monitoring distributed systems, free at sre.google: AIOps가 기대고 있는 기초.
  • PeopleCert, ITIL certification pages: 모니터링 및 이벤트 관리 프랙티스에 대한 소유자의 설명.
  • Wikipedia, "AIOps" and "Anomaly detection": 용어와 기법의 개관.
  • Wikipedia, "Concept drift": 모델이 시간이 지나며 나빠지는 주된 이유.

참고 문헌

  1. AIOps — Wikipedia — https://en.wikipedia.org/wiki/AIOps
  2. Anomaly detection — Wikipedia — https://en.wikipedia.org/wiki/Anomaly_detection
  3. Event correlation — Wikipedia — https://en.wikipedia.org/wiki/Event_correlation
  4. Time series — Wikipedia — https://en.wikipedia.org/wiki/Time_series
  5. Seasonality — Wikipedia — https://en.wikipedia.org/wiki/Seasonality
  6. Cluster analysis — Wikipedia — https://en.wikipedia.org/wiki/Cluster_analysis
  7. Precision and recall — Wikipedia — https://en.wikipedia.org/wiki/Precision_and_recall
  8. Type I and type II errors — Wikipedia — https://en.wikipedia.org/wiki/Type_I_and_type_II_errors
  9. Concept drift — Wikipedia — https://en.wikipedia.org/wiki/Concept_drift
  10. Explainable artificial intelligence — Wikipedia — https://en.wikipedia.org/wiki/Explainable_artificial_intelligence
  11. Predictive maintenance — Wikipedia — https://en.wikipedia.org/wiki/Predictive_maintenance