AIOps
AIOpsは、機械学習を運用データに適用して、アラートのノイズを減らし、異常を見つけ、イベントを相関させ、原因を示唆します。過去のインシデントに照らしてテストされ、対応する人々に説明可能に保たれ、判断の代わりではなくオンコールのスタッフのアシスタントとして扱われるときに、効果を発揮します。
なぜ重要か
運用チームはデータに溺れています。現代のサービスは、毎日、数百万行のログ、数千のメトリクス、数百のアラートを発します。人はそのすべてを読めないため、何を見るかを決めるしきい値とルールを設定します。ルールは増え、相互に作用し、劣化します。アラートの大半はノイズであり、本物の問題がその中に隠れます。
AIOpsは、2010年代半ばにアナリスト企業のGartnerが「algorithmic IT operations」から作った造語で、現在は一般に「AI for IT operations」と読まれ、助けを約束します。機械学習を使って、何が通常かを学び、そうでないときに気づき、関連するアラートをひとつのイベントにまとめ、原因がどこにありそうかを示唆します。Wikipediaは、AIOpsを、IT運用を強化するための人工知能の応用と説明しています。ベンダーは強い言葉で提示します。実践者は、ノイズの削減のようないくつかの使い方では本当の成果を、完全な自動診断のようなものでは失望を報告しています。
サービスマネジメントにとって、問いは実際的です。AIOpsのどの部分が確かな価値をもたらすか、それをどう確認するか、どうやって人の統制を保つか。このトピックは、主な技法、典型的な失敗のパターン、採用への妥当な道筋を説明します。監視(トピック 3.10 — 監視とイベント管理)とオブザーバビリティ(トピック 7.4 — オブザーバビリティとテレメトリ)を土台とし、インシデント管理(トピック 3.2 — インシデント管理)とランブック自動化(トピック 6.6 — ランブック自動化と自動修復)と重なります。
中核となる概念
AIOps。 異常検知、イベントの相関、根本原因の示唆、予測のようなタスクを支えるために、運用データにAIの技法、主に機械学習と統計を使うことです。単一の製品ではなく技法の集合であり、能力は大きく異なります。
異常検知。 期待されるものと異なるデータ点やパターンを見つけることです。Wikipediaが異常検知とその手法を説明しています。運用では、モデルがリクエストの通常の日次と週次のパターンを学び、逸脱に印を付けることがあります。通常は一定ではありません。Wikipediaが説明する季節性により、月曜の朝は日曜の夜とは異なって見えます。優れた検出器はこれを考慮します。
時系列。 応答時間やエラー数のように、時間にわたって記録されたデータです。Wikipediaが時系列分析を説明しています。運用のメトリクスの大半は時系列で、AIOpsの技法はそのモデル化と予測の手法を土台にしています。
イベントの相関とノイズの削減。 ひとつの原因から生じたアラートをひとつのインシデントにまとめ、重複と既知のノイズを抑制します。Wikipediaがイベント相関を説明しています。Wikipediaがクラスター分析として説明するクラスタリングの技法は、類似性によって項目をグループ化します。優れた相関は、200のアラートを、ありそうな発生源の名前を添えたひとつにします。
根本原因の示唆。 トポロジー、変更記録、ログ、過去のインシデントを使って、障害がどこにありそうかを示唆します。示唆は仮説です。最近の変更や依存先を指すときに最も有用で、原因が新しいときには最も信頼できません。
予測運用。 三日でいっぱいになるディスクや、故障しそうなコンポーネントのように、問題が起きる前に予測することです。Wikipediaが予知保全と予測分析を説明しています。予測は確率であり、それぞれに誤報と見逃しのコストがあります。トピック 7.5 — 予測分析と予測を参照してください。
ログ分析。 新しいメッセージの種類や頻度の変化のようなログのパターンを見つけるために、自然言語処理と統計の技法を使います。Wikipediaがログ分析を説明しています。
運用における生成AI。 大規模言語モデルは、インシデントのタイムラインを要約し、アラートを平易な言葉に翻訳し、ランブックの手順を下書きし、環境についての質問に答えられます。柔軟性を加えますが、作り話の内容のリスクも加えます。トピック 5.4 — インシデント、ナレッジ、変更のための生成AIを参照してください。
適合率、再現率、誤りのコスト。 検出器は二つの形で誤りえます。誤報を出す(偽陽性)か、本物の問題を見逃す(偽陰性)か。Wikipediaが両方の種類の誤りと、適合率と再現率の指標を説明しています。一方を減らすように調整すると、他方が増えます。適切なバランスは、それぞれのコストに左右され、サービスごとに異なる設定に値します。
コンセプトドリフト。 モデルは過去のデータから学習しますが、世界は変わります。新しいリリース、新しいトラフィックのパターン、新しいインフラ。Wikipediaは、予測されているものの統計的性質が時間とともに変わるコンセプトドリフトを説明しています。一月に正確だったモデルは、監視され再訓練されなければ、六月には誤解を招くかもしれません。
説明可能性。 対応者は、なぜその提案がされたか、つまりどのメトリクスが動き、どのイベントがまとめられ、どの変更がシフトに先立ったかを見られれば、提案をより信頼し、より有用に訂正します。Wikipediaは、説明可能な人工知能とブラックボックスの問題を説明しています。運用では、証拠を示すアプローチを好みます。
データの質とカバレッジ。 AIOpsには、完全で、一貫し、正しくタイムスタンプが付き、サービスとオーナーのラベルが付いた、良いデータが必要です。欠けたり一貫しなかったりするデータは、見逃されたシグナルと誤ったリンクを生みます。トピック 4.4 — 構成管理とトピック 7.2 — データ基盤とデータガバナンスを参照してください。
自律的、自己修復的な考え方。 Wikipediaが自律型コンピューティングとして説明する、自分で障害を検知して直すシステムという、長年の目標です。失敗したプロセスの再起動のように、一部は今日実用的です。広範な自己修復ははるかに困難です。トピック 6.6 — ランブック自動化と自動修復を参照してください。
人による監督。 対応者は説明責任を負い続けます。狭く定義された行動が、自動で実行されるようテストされ承認されていない限り、AIOpsの出力は人の判断への入力です。トピック 5.5 — エージェント型AIと人による監督を参照してください。
レンズはどう当てはまるか。 AIOpsは、サービスマネジメントの運用部分で、AIとアナリティクスを組み合わせます。アジャイルのプラクティスは、オンコールのスタッフのフィードバックを得ながら、ひとつのサービスで小さく試すことを示唆します。自動化は、チケットを開く、安全なチェックを実行するなど、AIOpsの出力を利用します。
ベストプラクティス
- 明確な痛みから始める。 単一のサービスでアラートが多すぎるといった問題をひとつと、シフトあたりの呼び出し数のような指標を選びます。そこでAIOpsを試します。
- まずデータを整える。 ログとメトリクスが完全で、タイムスタンプが一貫し、サービスとオーナーのラベルが付いているかを確認します。モデルを責める前にギャップを直します。
- 過去のインシデントでテストする。 過去のデータをツールに再生し、何に印を付け、まとめ、示唆したかを問います。誤報と見逃しを数えます。
- 単純な方法と比較する。 固定のしきい値や基本的なルールと比べます。単純な方法で同じ程度なら、それを使います。何も加えない複雑さにお金を払ってはいけません。
- 説明可能な出力を好む。 アラートや示唆された原因の背後にある証拠を示すツールを選びます。対応者がそれを見て、異議を唱えられることを求めます。
- 助言モードで始める。 ツールに提案させ、人に決めさせます。自動の行動を許す前に、数週間、提案を実際に起きたことと照らしてレビューします。
- 自動の行動を制限する。 狭く、よく理解され、元に戻せる行動だけを、レート制限、ログ、手動の停止とともに許します。有効にする前に、行動の種類ごとにレビューします。
- モデルを監視する。 誤報、見逃し、役立った提案の割合を追跡します。大きなリリースの後のドリフトに注意し、必要なら再訓練または再構成します。
- オンコールの人々を関わらせる。 ツールの中で提案を評価してもらい、毎週そのフィードバックをレビューします。彼らが有用性の最良の判断者です。
- 抑制されたものを記録する。 システムが隠したりまとめたりしたアラートのログを保ち、サンプルを定期的にレビューします。最悪の失敗が起きるのは、抑制のところです。
チームで話し合うための問い
どのアラートがオンコールの時間を最も無駄にしていて、AIより先に、より良いルールが解決しないか。 データから始めます。多くのノイズの問題は、単純な修正で解けます。少数のルールがノイズの大半を占めると予想できます。さらに掘り下げるために、それらを直し、そのうえでAIが何を加えられるかを評価し直します。
直近の三回のインシデントの間ツールが動いていたら、何を教えてくれ、それは役立ったか。 再生またはシミュレーションを行います。まちまちな結果が予想されます。何を見逃したかを尋ねてください。さらに掘り下げるために、ツールが最も有望に見えるインシデントの種類を選びます。
ツールが本物のアラートを抑制したことを、どうやって知るのか。 これは監督を試す問いです。「知らない」が予想されます。さらに掘り下げるために、抑制されたイベントのログ、定期的なサンプル、決して抑制しないもののルールを合意します。
自動の行動が誤ったとき、誰が説明責任を負い、その限界は何か。 オーナーを指名し、許される行動を一覧にします。曖昧な答えが予想されます。さらに掘り下げるために、承認なしで許される行動の短い一覧を、それぞれのロールバックとともに書きます。
大きなリリースやトラフィックの変化の後に、モデルがドリフトしたことを、どう検知するか。 計画を求めてください。なしと予想できます。さらに掘り下げるために、誤報率のような指標と、大きなリリースのたびのレビュー日を選びます。
オンコールのスタッフはこのツールに何を求め、何があれば信頼しなくなるか。 彼らに直接尋ねてください。文脈と誤報についての実際的な答えが予想されます。さらに掘り下げるために、答えを試行の受け入れ基準に変えます。
実践:サービスマネジメントの例
ある国の気象サービスの運用チームは、オンプレミスとクラウドが混在する環境で、予報パイプラインと公開APIを運用しています。オンコールのスタッフは一日に約300件のアラートを受け取り、その大半は少数のうるさい発生源から来ます。ベンダーは、自動の相関と根本原因の示唆を持つAIOpsプラットフォームを提案します。
運用リードは、条件付きでパイロットに同意します。まず、チームは最もうるさい12のルールを整理し、量の約半分を取り除きます。次に、14件のインシデントを含む六か月分のデータを、助言モードでプラットフォームに再生します。再生では、プラットフォームはアラートをよくまとめます。80件のアラートを生んだ平均的なインシデントが、三つのグループとして現れます。14件のインシデントのうち九件で最初の兆候に正しく印を付け、最初の症状がログにあった三件を見逃し、学習していないパターンを持つ定型的な夜間の再処理に誤報を出します。
チームは、ひとつのパイプラインで二か月間、助言モードでこれを展開し、オンコールのスタッフが各提案を有用、中立、誤りのいずれかで評価します。約55パーセントが有用、15パーセントが誤りと評価され、誤りは通常、最近の未記録の変更が原因のところです。その後、プラットフォームは、まとめられたインシデントについてのみ、自動でチケットを開くことが許され、それ以外は許されません。チームは抑制されたアラートの週次レビューを続け、大きなリリースの後に、トラフィックについてのモデルのベースラインが誤っていることに気づき、再訓練しなければなりませんでした。
何が変わったか。オンコールのスタッフは、はるかに少なく、よくまとめられたアラートを受け取ります。何がまだ難しいか。プラットフォームの提案は、不完全な正確な変更記録に依存しています。新しい種類の障害にはあまり役立ちません。ベンダーの価格はデータ量とともに増えるため、チームは取り込むものを制限しています。リードは、見逃しをさらにレビューした後でのみ、パイロットを別のパイプラインに広げる計画です。
四つの視点
プロダクトとデリバリーのチーム
良いテレメトリを出しましょう。一貫したログ、サービスのラベルを持つメトリクス、デプロイと変更の記録。設計の知識を運用チームと共有し、自分たちのサービスについてのツールの提案を確認する手伝いをしてください。
サービスと運用のチーム
ツールをアシスタントとして使いましょう。提案を評価し、抑制されたものをレビューし、見逃しを報告します。ルールが機能するところでは単純に保ち、判断と行動のオーナーシップを保ってください。
リーダーシップとガバナンス
デモではなく、再生テストとパイロットの結果を求めましょう。自動の行動に制限を設けます。データの質と研修に資金を出してください。完全に自律した運用という主張には注意しましょう。
顧客とユーザー
中断が減り、短くなるのを感じるはずで、問題があなたにどう伝えられるかには変化を感じないはずです。自分が気づく前にインシデントが見逃されていたなら、提供者に伝えましょう。
アジャイル、AI、自動化、アナリティクス
アジャイル
ひとつのサービスで、オンコールのスタッフから頻繁にフィードバックを得ながら試し、段階的に広げます。インシデントのたびに見逃しをレビューし、調整します。注意:変更を記録せずにモデルを絶えず調整すると、振る舞いが予測できなくなります。変更履歴を保ってください。
AI
ツール自体が、オーナー、テストデータ、レビューを持つAIシステムです。他と同じように扱ってください。何をしてよいかを記録し、監視し、更新の後にテストします。注意:ベンダーは予告なしにモデルを変えることがあります。変更をどう告知するかを尋ね、定期的にテストしてください。トピック 5.6 — AIのガバナンス、リスク、コンプライアンスを参照してください。
自動化
チケットの作成、診断情報の収集、既知の失敗しているプロセスの再起動のような、狭くテストされた自動の行動に、AIOpsの出力を、制限とログとともに接続します。注意:不確かな予測から選ばれた自動の行動は、インシデントを悪化させえます。高い確信度とロールバックを求めてください。トピック 6.6 — ランブック自動化と自動修復を参照してください。
アナリティクス
アラートの量、有用だった割合、誤報、インシデントレビューで見つかった見逃し、検知までの時間、診断までの時間を測ります。注意:アラートの量を減らすことは、本物のアラートを隠すことでも達成できます。常にインシデントと見逃しに照らして比べてください。トピック 7.4 — オブザーバビリティとテレメトリと『サービスマネジメント指標』を参照してください。
よくある失敗パターン
- 約束を買う。 ベンダーのデモが証拠と受け取られます。再生とパイロットで、自分たちのデータでテストしましょう。
- データが悪い。 モデルが一貫しないログとラベルから学びます。まずデータを直しましょう。
- レビューのない抑制。 本物のアラートが隠されます。抑制されたものを記録し、サンプリングしましょう。
- 不透明な提案。 対応者が判断できません。証拠を示すツールを好みましょう。
- 早すぎる自動化。 誤った行動が速く起きます。助言から始め、行動を制限しましょう。
- モデルのドリフトの無視。 精度が静かに劣化します。変更の後に監視し、再訓練しましょう。
- 利得のない複雑さ。 単純なルールで足ります。単純な方法と比べましょう。
成熟度モデル
| 観点 | 開始 | 発展 | 標準化 | 管理 | オーケストレーション |
|---|---|---|---|---|---|
| データ基盤 | 一貫しない | 主要な情報源が収集される | 一貫し、ラベルが付き、オーナーのいるテレメトリがある | データの質が測定され、改善される | データがガバナンスのもと、チームとサプライヤーをまたいで共有される |
| AIの利用 | ベンダーの主張 | ひとつのサービスでパイロット | 再生とフィードバックを伴う助言的な利用 | 結果が測定され、対応される | AIが監督のもと、運用全体に統合される |
| 自動化 | なし | チケットの作成 | 制限を伴う、狭く承認された行動 | 行動がレビューされ、改善される | リスクに応じた、人の統制のもとでの、より広い自動化 |
| モデルのケア | なし | 場当たり的な調整 | ドリフトと誤りの監視 | 再訓練が変更に結び付く | ツールをまたいだ継続的な評価 |
チェックリスト
- パイロットのために、具体的な問題と指標を選んだ。
- 最初に単純なルールで、アラートのノイズの最悪のものを直した。
- 過去のインシデントでツールをテストし、見逃しと誤報を数えた。
- 単純な方法と比べた。
- 出力が対応者に説明可能である。
- 行動を許す前に、助言モードで動かしている。
- 自動の行動が、狭く、ログがあり、レート制限され、元に戻せる。
- ドリフトを監視し、抑制されたアラートをレビューしている。
AIプロンプト
再生の結果を確認する。
Here are the results of replaying [number] past incidents through our AIOps tool: for each, the first real symptom, what the tool flagged and when, and what it suggested: [paste].
Compute for each incident whether the tool flagged the problem before the first page, and list false alarms and misses. Summarize counts and note incidents where the data is unclear. Do not rate the tool overall.
List what you are unsure of.
抑制されたアラートをレビューする。
Here is a sample of alerts that the system suppressed or merged last week, with details: [paste sample].
For each, say whether the details suggest it was noise, a duplicate of another alert, or possibly a real problem, and give your reason. Mark those you cannot judge.
List what you are unsure of.
パイロットの受け入れ基準を下書きする。
Our service: [describe]. Our current pain: [describe, with numbers if known]. Our constraints: [list].
Draft acceptance criteria for a two-month pilot of an AIOps tool: measures, thresholds we should agree beforehand, what would make us stop, and what automatic actions are not allowed. Do not state vendor claims as facts.
List what you are unsure of.
AIスキル
- anomaly-analysis: 運用データの異常なパターンを調べるときに使います。
- trend-analysis: メトリクスが時間とともにどう変わるかを見るときに使います。
- data-quality: AIOpsが依存する入力を確認するときに使います。
- mlops: 使用中のモデルを監視し、維持するときに使います。
- root-cause-analysis: 示唆された原因を証拠に照らしてテストするときに使います。
主要な情報源
- Betsy Beyer and others (eds.), Site Reliability Engineering (2016), chapter on monitoring distributed systems, free at sre.google: AIOpsが土台にする基礎。
- PeopleCert, ITIL certification pages: 監視とイベント管理のプラクティスについての所有者の説明。
- Wikipedia, "AIOps" and "Anomaly detection": 用語と技法の概観。
- Wikipedia, "Concept drift": モデルが時間とともに劣化する主な理由。
参考文献
- AIOps — Wikipedia — https://en.wikipedia.org/wiki/AIOps
- Anomaly detection — Wikipedia — https://en.wikipedia.org/wiki/Anomaly_detection
- Event correlation — Wikipedia — https://en.wikipedia.org/wiki/Event_correlation
- Time series — Wikipedia — https://en.wikipedia.org/wiki/Time_series
- Seasonality — Wikipedia — https://en.wikipedia.org/wiki/Seasonality
- Cluster analysis — Wikipedia — https://en.wikipedia.org/wiki/Cluster_analysis
- Precision and recall — Wikipedia — https://en.wikipedia.org/wiki/Precision_and_recall
- Type I and type II errors — Wikipedia — https://en.wikipedia.org/wiki/Type_I_and_type_II_errors
- Concept drift — Wikipedia — https://en.wikipedia.org/wiki/Concept_drift
- Explainable artificial intelligence — Wikipedia — https://en.wikipedia.org/wiki/Explainable_artificial_intelligence
- Predictive maintenance — Wikipedia — https://en.wikipedia.org/wiki/Predictive_maintenance