인시던트, 지식, 변경을 위한 생성형 AI
생성형 AI는 인시던트를 요약하고, 지식 문서와 포스트모템의 초안을 쓰고, 변경 평가를 도울 수 있습니다. 첫 초안에서 시간을 가장 많이 절약하고 사실에서는 가장 적게 절약하므로, 쓰기와 읽기에 쓰고, 모든 주장을 기록과 대조해 확인하고, 보내거나 승인하는 것에는 이름이 있는 사람이 책임지게 하세요.
왜 중요한가
서비스를 운영하는 일의 많은 부분은 쓰기와 읽기입니다. 인시던트 중에는 누군가 상태 업데이트를 쓰는 동안 다른 이들은 채팅 로그를 읽습니다. 그 뒤에는 누군가 타임라인과 리뷰를 씁니다. 지식 문서는 읽을 수 있는 것으로 바꿔야 하는 티켓 해결 메모로 시작합니다. 변경 요청에는 설명, 위험 평가, 계획이 필요합니다. 이런 작업은 시간이 많이 들고, 반복적이며, 모두가 바빠서 늦게 그리고 허술하게 이루어지는 경우가 많습니다.
생성형 AI는 이런 종류의 일에 잘 맞습니다. 대규모 언어 모델은 긴 스레드를 읽고 몇 초 만에 요약을 만들 수 있습니다. 거친 메모를 깔끔한 초안으로 바꾸고 리뷰의 구조를 제안할 수 있습니다. 잘 쓰면 숙련된 사람을 판단과 대화로 풀어 줍니다. 잘못 쓰면 자신 있고 유창하지만 틀린 텍스트를 만듭니다. 지어낸 시각이 든 타임라인, 아무도 찾지 못한 근본 원인, 존재하지 않는 런북 단계입니다.
차이는 일을 어떻게 설정하느냐에 있습니다. 모델에게 실제 기록을 주고, 그것만 쓰라고 요청하고, 출처를 보여 주게 하고, 무엇이든 공유하기 전에 사람이 확인하게 하세요. 이 주제는 인시던트, 지식, 변경의 세 영역에 대한 실용적인 패턴을 제공합니다. 주제 5.1 — 서비스 관리에서의 AI의 일반적인 생각 위에 서 있으며, 인시던트 관리(주제 3.2 — 인시던트 관리), 문제 관리(주제 3.3 — 문제 관리), 지식 관리(주제 3.9 — 지식 관리), 변경 실현(주제 3.4 — 변경 실현)과 관련됩니다. 거버넌스 질문은 주제 5.6 — AI 거버넌스, 위험, 규정 준수에 있습니다.
핵심 개념
생성형 AI. 프롬프트로부터 텍스트와 코드 같은 새 콘텐츠를 만드는 시스템입니다. Wikipedia가 생성형 AI와 대규모 언어 모델을 설명합니다. 서비스 업무에서 주된 출력은 텍스트입니다. 요약, 초안, 설명, 구조화된 메모입니다.
환각. 유창하지만 뒷받침되지 않거나 거짓인 출력입니다. Wikipedia가 AI의 환각을 설명합니다. 드문 버그가 아니라 이 모델들이 작동하는 방식의 속성입니다. 위험은 모델이 받지 못한 사실, 즉 정확한 시각, 원인, 정책 번호, API 옵션을 물을 때 가장 높습니다.
근거 두기. 모델에게 원천 자료를 주고 오직 그것에서만 답하도록 요청하는 것입니다. Wikipedia가 설명하는 검색 증강 생성은 관련 문서를 찾아 제공합니다. 인시던트에서 원천은 타임라인, 채팅, 모니터링 데이터이고, 지식에서는 티켓과 기존 문서이며, 변경에서는 변경 기록과 과거의 비슷한 변경입니다. 근거 두기는 오류를 줄이지만 없애지는 못합니다.
컨텍스트 윈도. 모델이 한 번에 고려할 수 있는 텍스트의 양입니다. Wikipedia가 컨텍스트 윈도를 설명합니다. 긴 인시던트 채팅은 이를 넘을 수 있으므로, 긴 입력은 나눠서 요약합니다. 중요한 자료가 빠졌는지 확인하세요.
요약. 긴 텍스트를 요점으로 줄이는 것입니다. Wikipedia가 자동 요약을 설명합니다. 요약은 설계상 세부를 잃고 왜곡할 수도 있습니다. 원본에 대한 안내서로, 확인할 수단과 함께 쓰는 것이 가장 좋습니다.
결정이 아니라 초안. 가장 안전한 사용은 사람이 편집하고 소유할 첫 초안을 만드는 것입니다. 결과물에는 그 사람의 이름이 들어가고 그가 책임집니다. 이는 판단을 사람에게 두고 모델은 기계적인 부분에 씁니다.
프롬프트와 지시. 모델에게 주는 텍스트입니다. 역할, 작업, 출처, 형식, 정보가 없을 때 할 일을 담은 분명한 지시는 결과를 개선합니다. 주제 5.7 — AI 스킬과 프롬프트를 참조하세요.
기밀성. 인시던트 채팅과 티켓에는 비밀, 개인 데이터, 보안 세부 사항이 담기는 경우가 많습니다. 텍스트가 어디로 가는지가 중요합니다. 조직이 호스팅하는 모델인지, 계약 아래 있는 벤더의 서비스인지, 알려지지 않은 약관의 공개 도구인지. 무엇이 어디로 가도 되는지 정하세요. 주제 5.6 — AI 거버넌스, 위험, 규정 준수를 참조하세요.
프롬프트 인젝션. 티켓 본문이나 로그 줄처럼 모델에게 주는 자료 속의 텍스트에 모델의 행동을 바꾸려는 지시가 담길 수 있습니다. Wikipedia가 프롬프트 인젝션을 설명합니다. 모든 입력을 신뢰할 수 없는 것으로 다루고, 행동할 권한이 있는 모델이 알 수 없는 출처의 콘텐츠를 읽게 하지 마세요.
자동화 편향. 특히 피곤하거나 바쁠 때 자동화된 제안을 신뢰하는 경향입니다. Wikipedia가 자동화 편향을 설명합니다. 인시던트 중에 유창한 제안은 대응하는 사람들을 잘못된 길로 보낼 수 있습니다. AI 출력을 가설로 다루세요.
인시던트. 유용한 작업으로는 새 대응자를 위한 스레드 요약, 검토할 상태 업데이트 초안, 기록에서 타임스탬프가 있는 사건 타임라인 추출, 비슷한 과거 인시던트 찾기, 리뷰를 위한 질문 제안이 있습니다. 위험한 작업은 근본 원인을 사실로 진술하는 것과 검토 없이 고객에게 업데이트를 보내는 것입니다.
지식. 유용한 작업으로는 해결된 티켓을 문서 초안으로 바꾸기, 문서를 쉬운 말로 다시 쓰기, 제목과 태그 제안, 중복 찾기가 있습니다. 위험한 작업은 기술 점검 없이 초안을 게시하는 것과 모델이 올바른 해결책을 안다고 의존하는 것입니다.
변경. 유용한 작업으로는 변경 설명에서 빠진 정보 점검, 큰 풀 리퀘스트 요약, 테스트 케이스 제안, 비슷한 과거 변경에서 위험 요인 나열이 있습니다. 위험한 작업은 모델의 말만으로 변경을 승인하거나 위험을 "낮음"으로 평가하는 것입니다.
코드와 스크립트. 모델은 스크립트, 쿼리, 구성의 초안을 쓸 수 있습니다. Wikipedia가 더 넓은 의미의 코드 생성을 설명합니다. 생성된 코드에는 오류, 보안 결함, 라이선스 문제가 있을 수 있습니다. 신뢰할 수 없는 코드로 다루세요. 검토하고, 시험하고, 파이프라인을 통과시키세요. 주제 3.4 — 변경 실현과 주제 4.2 — 소프트웨어 자산 관리를 참조하세요.
기록과 감사. AI를 어떻게 썼는지 기록하세요. 프롬프트, 제공한 출처, 출력, 검토자, 바뀐 내용입니다. Wikipedia가 감사 추적을 설명합니다. 이는 학습과 책임을 뒷받침합니다.
렌즈는 어떻게 맞물리는가. 생성형 AI는 AI 렌즈의 가장 눈에 띄는 형태 가운데 하나입니다. 애자일 프랙티스는 일하는 사람들의 피드백이 있는 짧은 시험을 제안합니다. 자동화는 검토 관문과 함께 초안을 도구에 흘려 넣을 수 있습니다. 분석은 어떤 사용이 시간을 절약하고 어떤 사용이 재작업을 낳는지 보여 줍니다.
모범 사례
- 기록을 주고 그것만 쓰라고 말합니다. 실제 타임라인, 티켓, 변경을 붙여 넣거나 검색해 가져오고, 제공된 텍스트만 쓰도록 모델에게 지시하세요. 정보가 없으면 "명시되지 않음"이라고 쓰게 하세요.
- 인용과 참조를 요청합니다. 사람이 각 주장을 빠르게 확인할 수 있도록 모델이 사용한 줄이나 문서를 인용하게 하세요.
- 사실과 추론을 분리합니다. 기록에서 가져온 사실을 먼저, 분명히 표시된 가설을 그다음에 요청하세요. 가설이 발견처럼 보이지 않게 하세요.
- 사람 오너를 둡니다. 모델이 무엇을 초안으로 썼든, 업데이트를 보내거나 문서를 게시하거나 변경을 승인하는 사람이 내용을 소유합니다. 이를 프로세스에 명시하세요.
- 검토되지 않은 출력을 외부로 보내지 않습니다. 고객, 규제 기관, 대중에게 가는 상태 업데이트는 사람의 검토와 승인이 필요합니다. 내부 초안은 위험이 더 낮지만 그래도 확인이 필요합니다.
- 데이터를 보호합니다. 콘텐츠의 민감도에 승인된 도구를 쓰세요. 가능하면 비밀과 개인 데이터를 제거하고, 자격 증명을 절대 붙여 넣지 마세요.
- 숫자, 이름, 시각을 확인합니다. 지어냄이 가장 많이 드러나는 곳입니다. 초안의 모든 수치를 원천과 비교하세요.
- 실제 사례로 시험합니다. 진실을 아는 과거 인시던트와 티켓에서 접근을 돌려 보고 실패하는 곳을 기록하세요. 발견을 공유하고 지시를 갱신하세요.
- 사용을 기록합니다. AI가 도왔다는 것을 출처와 검토자와 함께 기록하세요. 수정을 추적해 어떤 작업이 맞는지 배우세요.
- 검토하고 폐기합니다. 어떤 사용이 시간을 절약하고 어떤 사용이 재작업을 낳는지 검토하세요. 도움이 되지 않는 것은 멈추세요.
팀과 논의할 질문
우리의 인시던트 및 변경 업무에서 시간이 가장 많이 드는 쓰기와 읽기 작업은 무엇이며, 그중 위험이 낮은 것은 무엇입니까? 목록을 만드세요. 타임라인, 상태 업데이트, 리뷰 초안, 변경 설명이 예상됩니다. 위험으로 분류하세요. 더 깊이 들어가려면, AI로 시도할 위험이 낮은 작업 하나를 고르세요.
AI가 쓴 인시던트 요약을 신뢰하기 전에 무엇을 확인해야 합니까? 시각, 원인, 영향을 생각해 보세요. 시각과 원인은 확인이 필요하다는 합의가 예상됩니다. 더 깊이 들어가려면, 짧은 점검표를 작성하세요.
AI 도구에 절대 들어가서는 안 되는 정보는 무엇이며, 어떻게 따르기 쉽게 만듭니까? 비밀, 개인 데이터, 보안 세부 사항을 나열하세요. 무엇이 해당되는지에 대한 혼란이 예상됩니다. 더 깊이 들어가려면, 단순한 규칙과 나머지를 위한 안전한 도구에 합의하세요.
AI의 요약이나 초안이 지식 기반을 더 나쁘게 만들고 있다면 어떻게 알겠습니까? 틀린 단계와 반복되는 오류를 생각해 보세요. "알 수 없다"가 예상됩니다. 더 깊이 들어가려면, 매달 AI의 도움을 받은 문서의 정확성을 표본 추출하세요.
언제 AI가 변경의 위험을 제안하게 하며, 누가 결정합니까? 논의해 보세요. 승인에 대한 신중함과 빠진 정보에 대한 프롬프트에는 편안함이 예상됩니다. 더 깊이 들어가려면, AI는 질문과 비슷한 과거 변경을 제안할 수 있고 위험은 사람이 평가한다는 데 합의하세요.
우리 팀에서 누가 AI 출력을 잘 확인하며, 그 스킬을 어떻게 퍼뜨립니까? 확인은 스킬입니다. 자신 있는 몇 사람이 예상됩니다. 더 깊이 들어가려면, 팀이 결함 있는 초안을 함께 확인하는 짧은 연습을 진행하세요.
실제 적용: 서비스 관리 사례
한 국영 철도의 운영 기술 팀은 신호 지원 시스템을 운영합니다. 주요 인시던트마다 엔지니어 한 명이 채팅 로그, 모니터링 그래프, 티켓 메모로 리뷰를 쓰는 데 반나절을 씁니다. 리뷰는 늦고, 최근 것들은 부실했습니다.
팀 리드는 리뷰의 첫 초안을 위해 생성형 AI 어시스턴트를 시험합니다. 입력을 보존하거나 훈련에 쓰지 않는 벤더와 철도의 계약 아래 호스팅됩니다. 인시던트마다 엔지니어는 채팅 로그와 티켓 이력을 내보내 직원 이름을 제거하고 어시스턴트에게 이런 지시를 줍니다. 제공된 텍스트만 쓸 것, 각 항목이 출처 줄을 인용하는 타임라인을 만들 것, 영향은 명시된 대로 나열할 것, 무엇이 도움이 되었고 무엇이 대응을 늦췄는지 나열할 것, 텍스트에 없는 것은 "명시되지 않음"으로 표시할 것, 가설은 그렇게 표시된 별도 섹션에 넣을 것.
과거 인시던트에 대한 첫 시험에서 초안의 타임라인은 정확하지만, 재시작 시각을 02:15로 적었습니다. 채팅에는 "한 15분쯤, 아마도"라고 되어 있고 티켓에는 02:22로 되어 있어서, 엔지니어가 바로잡습니다. 초안은 또한 원인으로 "결함 있는 네트워크 스위치"를 나열했는데, 이는 채팅에서 추측으로 나왔다가 나중에 반증된 것입니다. 리뷰는 지시대로 이를 가설로 옮겼지만 반증된 사실은 적지 않았습니다. 엔지니어는 둘 다 고치고 초안을 네 시간이 아니라 두 시간 만에 팀에 보냅니다.
인시던트 열 건 뒤에 팀은 첫 초안이 약 3분의 1의 시간이 든다고 추정합니다. 엔지니어가 모든 시각과 원인을 원천과 대조해 확인하고, 리뷰에 AI가 첫 버전을 초안으로 썼음을 기록한다는 규칙을 더합니다. 또한 아직은 변경 기록의 위험 평가에 AI를 쓰지 않기로 결정합니다.
달라진 점은 리뷰가 하루 안에 도착하고 무엇이 도움이 되었는지에 대한 세부가 더 많다는 것입니다. 여전히 어려운 점은 엔지니어가 증거가 약하게만 뒷받침하는 원인에 대한 모델의 표현을 받아들이는 일이 있다는 것, 내보낸 채팅에 기밀 세부가 가끔 남는다는 것, 한 엔지니어가 초안 작성 스킬이 퇴화할까 걱정한다는 것입니다. 리드는 엔지니어가 AI 없이 리뷰 하나를 쓰고 비교하는 분기별 세션을 일정에 올립니다.
네 가지 관점
제품 및 전달 팀
자신의 기록으로 변경 설명, 테스트 아이디어, 릴리스 노트의 초안을 AI로 쓰고 검토하세요. 생성된 코드는 신뢰할 수 없는 것으로 다루세요. 다른 변경처럼 시험하고 스캔하세요.
서비스 및 운영 팀
스레드를 요약하고 업데이트, 리뷰, 문서의 초안을 쓰는 데 AI를 쓰되 출처를 첨부하세요. 모든 시각, 이름, 원인을 확인하고, 게시하는 것을 소유하세요.
리더십과 거버넌스
데이터와 승인에 대한 규칙을 정하고 그것을 충족하는 도구에 재원을 대세요. 절약한 시간과 잡아낸 오류의 증거를 요청하세요. AI 출력을 사실의 기록으로 받아들이지 마세요.
고객과 사용자
사람이 확인한 업데이트를 받아야 합니다. 받은 것에서 오류를 보면 제공자에게 알리세요. 들은 내용에 AI가 어떻게 쓰이는지 물어보세요.
애자일, AI, 자동화, 분석
애자일
그 일을 하는 사람들과 함께 한 번에 하나의 쓰기 작업을 시험하고, 피드백을 모으고, 지시를 개선하세요. 리뷰는 짧고 자주 하세요. 주의: 더 빠른 초안이 성찰을 짧게 만들게 하지 마세요. 리뷰의 가치는 배움에 있습니다.
AI
모든 사용을 기록에 근거하게 하고, 출처를 보여 주고, 사람이 책임지게 하세요. 과거 사례로 시험하고 AI 사용을 기록하세요. 주의: 유창한 텍스트는 약한 증거를 가립니다. 모델에게 확신도와 출처를 표시하게 하고 그것을 확인하세요. 주제 5.7 — AI 스킬과 프롬프트를 참조하세요.
자동화
배관을 자동화하세요. 기록 내보내기, 비밀 제거, 모델 호출, 티켓에 초안 첨부, 검토자에게 알림입니다. 게시 전에 검토 관문을 유지하세요. 주의: 초안을 자동으로 게시하는 파이프라인은 오류를 퍼뜨리므로, 승인을 요구하세요. 주제 6.2 — 워크플로 자동화와 오케스트레이션을 참조하세요.
분석
리뷰를 만드는 데 걸리는 시간, 초안에 가한 편집, 발견된 오류, 작업 유형별 사용을 추적하세요. 주의: 만든 초안을 세면 양에 보상이 가고, 절약한 시간은 흔히 추정치이므로, 최종 문서의 품질을 표본 추출하세요. 서비스 관리 지표(Service Management Metrics) 책과 주제 7.3 — 측정과 보고를 참조하세요.
흔한 실패 유형
- 기억에서 나온 사실. 모델이 시각과 원인을 지어냅니다. 기록을 제공하고 인용을 요구하세요.
- 검토되지 않은 외부 업데이트. 틀린 정보가 고객에게 닿습니다. 사람의 승인을 요구하세요.
- 프롬프트 속 비밀. 민감한 데이터가 유출됩니다. 승인된 도구를 쓰고 비밀을 제거하세요.
- 도장 찍기. 검토자가 확인 없이 초안을 받아들입니다. 점검표를 제공하고 검토를 표본 추출하세요.
- 모델을 조작하는 입력. 적대적인 텍스트가 행동을 바꿉니다. 입력을 신뢰할 수 없는 것으로 다루세요.
- 위험 평가에 AI 쓰기. 유창한 "낮음"이 신뢰받습니다. AI는 질문하는 데 쓰고 위험은 사람이 평가하게 하세요.
- 스킬 퇴화. 사람들이 쓰기와 확인을 멈춥니다. 연습을 유지하고 품질을 검토하세요.
성숙도 모델
| 영역 | 시작 | 발전 | 표준화 | 관리 | 오케스트레이션 |
|---|---|---|---|---|---|
| 사용 | 개인의 실험 | 공유된 팁 | 인시던트, 지식, 변경을 위한 승인된 패턴 | 결과로 패턴을 검토한다 | 거버넌스와 함께 패턴이 도구에 통합된다 |
| 근거와 확인 | 모델의 기억 | 일부 출처를 보여 준다 | 출처를 인용하고 사실을 기록과 대조해 확인한다 | 오류를 추적하고 환류한다 | 사람의 승인과 함께 검증을 부분적으로 자동화한다 |
| 데이터 보호 | 불분명하다 | 인식한다 | 승인된 도구와 규칙 | 규정 준수를 모니터링한다 | 통제가 도구와 파이프라인에 내장된다 |
| 책임 | 불분명하다 | 비공식적이다 | 각 출력에 이름이 있는 오너 | 오너와 검토를 감사한다 | 서비스 전반에 책임이 통합된다 |
체크리스트
- 생성형 AI에 맡길 위험이 낮은 쓰기 작업 몇 가지를 골랐다.
- 모델에게 기록을 주고 그것만 쓰라고 말한다.
- 출력이 출처를 인용하고 사실과 가설을 분리한다.
- 이름이 있는 사람이 모든 출력을 공유 전에 소유하고 검토한다.
- 민감한 콘텐츠에는 승인된 도구를 쓰고 비밀을 제거한다.
- 시각, 이름, 숫자, 원인을 원천과 대조해 확인한다.
- AI가 도운 때와 검토자를 기록한다.
- AI가 혼자 변경을 승인하거나 근본 원인을 진술하게 하지 않는다.
AI 프롬프트
출처가 있는 인시던트 타임라인을 만듭니다.
Below is the chat log and ticket history of an incident, with names removed: [paste].
Produce a timeline table with columns: time (exactly as written; write "not stated" if no time), event, and the quoted source line. Then list impact as stated in the text, and a separate section "Hypotheses mentioned" with who raised each and whether the text shows it was confirmed or ruled out. Do not add anything not in the text.
List what you are unsure of.
해결된 티켓에서 지식 문서의 초안을 작성합니다.
Here is a resolved ticket with notes, personal data removed: [paste]. Here are existing articles on related topics: [paste titles and summaries].
Draft a new article with a title in plain words, symptom, steps, and how to check it worked. Use only the ticket. Mark missing information with [missing], and list existing articles that might duplicate this one.
List what you are unsure of.
변경 설명을 점검합니다.
Here is a change description: [paste]. Our required items: [list].
List which required items are missing or unclear, list questions a reviewer should ask, and list any statements in the description that look inconsistent with each other. Do not rate the risk or recommend approval.
List what you are unsure of.
AI 스킬
- postmortem: AI가 초안을 쓰고 사람이 소유하는 인시던트 리뷰를 구조화할 때 사용합니다.
- prompt-engineering: 분명하고 근거 있는 지시를 쓸 때 사용합니다.
- runbook: 절차를 점검되고 시험된 런북으로 바꿀 때 사용합니다.
- release-notes: 검토할 릴리스 노트의 초안을 쓸 때 사용합니다.
- change-request: 좋은 변경 설명에 무엇이 담겨야 하는지 정의할 때 사용합니다.
주요 출처
- NIST, AI Risk Management Framework: AI 사용의 위험을 식별하고 관리하기 위한 구조.
- OWASP, guidance on risks for applications built on large language models (owasp.org): 프롬프트 인젝션과 관련 위험에 대한 커뮤니티의 조언.
- Wikipedia, "Generative AI" and "Hallucination (artificial intelligence)": 기술과 주된 실패 유형의 개관.
- Wikipedia, "Automation bias": 사람들이 자동화된 제안을 과신하는 이유.
참고 문헌
- Generative AI — Wikipedia — https://en.wikipedia.org/wiki/Generative_AI
- Large language model — Wikipedia — https://en.wikipedia.org/wiki/Large_language_model
- Hallucination (artificial intelligence) — Wikipedia — https://en.wikipedia.org/wiki/Hallucination_(artificial_intelligence)
- Retrieval-augmented generation — Wikipedia — https://en.wikipedia.org/wiki/Retrieval-augmented_generation
- Automatic summarization — Wikipedia — https://en.wikipedia.org/wiki/Automatic_summarization
- Prompt injection — Wikipedia — https://en.wikipedia.org/wiki/Prompt_injection
- Automation bias — Wikipedia — https://en.wikipedia.org/wiki/Automation_bias
- Context window — Wikipedia — https://en.wikipedia.org/wiki/Context_window
- Postmortem documentation — Wikipedia — https://en.wikipedia.org/wiki/Postmortem_documentation
- Audit trail — Wikipedia — https://en.wikipedia.org/wiki/Audit_trail
- AI Risk Management Framework — NIST — https://www.nist.gov/itl/ai-risk-management-framework
- OWASP — OWASP Foundation — https://owasp.org