なぜ重要か

トラブルの最初の兆候は、利用者ではなく、自分たちのシステムから来るべきです。それが監視の約束です。サービスの健全性を継続的に観察し、大半の利用者が気づく前に逸脱に気づきます。実際には、多くのチームが、チームが誰も行動しないアラートに埋もれている間に、依然として利用者が先に問題を報告していると気づきます。

二つの体験の違いは設計です。しきい値を超えるたびにアラートを上げる監視の仕組みは、受け取る人々にアラートを無視することを教えます。Wikipediaは、これを病院で最初に研究された現象であるアラーム疲労と説明しています。多すぎるアラームにさらされたスタッフは鈍感になり、重要なものを見逃します。利用者が体験することを測り、行動が必要なときだけ警告し、対応者に文脈を与える仕組みは、監視を早期警戒システムに変えます。

監視には、障害を捉えること以上の大きな役割もあります。キャパシティ計画、パフォーマンスの作業、リリースが健全かの確認、何を改善するかの判断のためのデータを提供します。このトピックは、有用な監視とノイズを分ける語彙とプラクティスを説明します。インシデント管理(トピック 3.2 — インシデント管理)、可用性とキャパシティ(トピック 3.11 — 可用性、キャパシティ、パフォーマンス)、オブザーバビリティ(トピック 7.4 — オブザーバビリティとテレメトリ)と密接につながります。

中核となる概念

監視。 サービスとそのコンポーネントの状態についてのデータを収集し、処理し、使うことです。Wikipediaは、システム監視とネットワーク監視を、障害とパフォーマンスのためにシステムを見守るプラクティスと説明しています。監視は既知の問いに答えます。動いているか、速いか、いっぱいになっていないか。

イベント。 ITIL 4では、サービスやその他の構成アイテムの管理にとって意味のある、あらゆる状態の変化です。イベントは、情報、警告、例外のいずれかでありえます。多くのイベントは通常のもので、行動を要しません。プラクティスは、どれが要するかを決めることに関するものです。

アラート。 イベントに注意が必要なことの通知です。すべてのイベントがアラートになるべきではありません。良いアラートは、何かに今すぐ行動が必要であること、何が悪いか、どこを見るべきかを人に伝えます。

アラーム疲労。 アラートが多すぎる、あるいは誤報が多すぎるときに起きる、アラートへの感度の喪失です。Wikipediaのアラーム疲労の記事を参照してください。兆候には、読まれずに確認されるアラート、ミュートされたチャンネル、遅れて発見されるインシデントがあります。規律の問題ではなく、設計の問題です。

メトリクス、ログ、トレース。 テレメトリの一般的な三種類です。メトリクスは、リクエスト率やメモリ使用量のような、時間経過に伴う数値の測定です。ログは、イベントのタイムスタンプ付きの記録です。トレースは、分散システムの各部分を通るリクエストを追います。Wikipediaのテレメトリとログ管理の記事が、一般的な考え方を説明しています。合わせて、監視と、オブザーバビリティで扱うより深い調査の両方を支えます。

オブザーバビリティ。 システムの出力から内部の状態を理解する能力です。Wikipediaは、ソフトウェアにおけるオブザーバビリティを、想定していなかった問いにまで監視を広げるものと説明しています。両者は重なります。監視は既知の障害を見守り、オブザーバビリティは未知の障害を調べる助けになります。トピック 7.4 — オブザーバビリティとテレメトリを参照してください。

症状と原因。 症状は、応答が遅いなど、利用者やサービスが体験するものであり、原因は、ディスクがいっぱいなど、その背後にあるものです。症状へのアラートは、利用者が影響を受けていることを教えます。考えうるすべての原因へのアラートは、ノイズを生みます。多くのチームは症状にアラートを出し、原因レベルのメトリクスを調査に使います。

しきい値とベースライン。 「CPUが90パーセント超」のような固定のしきい値は単純で、しばしば誤ります。通常の水準は時間と負荷によって変わるからです。ベースラインは、時間帯ごとに何が通常かを学び、逸脱にアラートを出します。Wikipediaの異常検知の記事が、その考え方と注意点を説明しています。

イベントの相関。 関連するイベントを組み合わせて根本の問題を見つけ、ひとつの故障したコンポーネントからの百のアラートをひとつにします。Wikipediaがイベント相関を説明しています。ルールに基づくことも、機械学習を使うこともあります。トピック 5.2 — AIOpsを参照してください。

合成監視と実ユーザー監視。 合成監視は、利用者を模したスクリプトのテストを実行し、旅路が機能しているかを定期的に確認します。実ユーザー監視は、実際の利用者の体験を記録します。Wikipediaが両方を説明しています。合成のチェックは静かな時間帯の停止を捉え、実ユーザーのデータは人々が実際に体験することを示します。

アプリケーションパフォーマンス管理。 応答時間やエラー率を含む、アプリケーションのパフォーマンスと可用性を監視するためのツールとプラクティスです。Wikipediaがこの分野を説明しています。

行動可能性。 すべてのアラートに、たとえそれが「ランブックを確認する」であっても、定義されたアクションがあるべきです。何をすべきか人が言えないなら、アラートは取り除くか、レポートに変えます。トピック 3.9 — ナレッジ管理を参照してください。

振り分けとエスカレーション。 アラートは、オンコールのスケジュールを使って、行動できる人々に向かい、確認がなければエスカレーションされます。トピック 3.2 — インシデント管理を参照してください。

イベント管理とITIL。 ITIL 4は「監視とイベント管理」を、サービスとサービスのコンポーネントを体系的に観察し、選ばれた状態の変化を記録し報告するプラクティスと説明しています。重点は、どのイベントが重要か、それぞれについて何をするかを決めることにあります。

レンズはどう当てはまるか。 監視は、継続的デリバリーのフィードバック側です。変更が健全かを示します。アジャイルのプラクティスは、アラートの質をバックログの項目として扱います。AIは、レビューのもとで、ノイズを減らし、イベントを相関させ、要約できます。自動化は、よく理解されたイベントに作用できます。アナリティクスは、傾向とノイズのコストを示します。

ベストプラクティス

  1. 利用者が感じることにアラートを出す。 失敗したリクエスト、遅いページ、失敗したジョブのような症状から始めます。原因が信頼できる早期警告でない限り、原因のメトリクスは呼び出しではなく診断に使います。
  2. すべてのアラートを行動可能にする。 アラートごとに、それが何を意味し、誰が行動し、最初に何をするかを書きます。ランブックにリンクします。アクションのないアラートは取り除きます。
  3. 量を低く保つ。 オンコールの人がシフトごとに受け取るアラートを数え、上限を設けます。最もうるさいアラートを毎週レビューし、直すか削除します。
  4. 緊急には呼び出し、それ以外はチケットにする。 誰かが今すぐ行動しなければならないときにだけ、電話や呼び出しを使います。他のシグナルは、キューやレポートに送ります。違いを明確に定義します。
  5. ベースラインを慎重に使う。 通常の水準が時間と負荷で変わるところでは、時間を考慮したしきい値や異常検知を使い、レビューします。対応する人々に説明できないモデルを信頼してはいけません。
  6. 関連するアラートをまとめる。 同じ原因からのイベントを相関させ、依存先が故障したときは下流のアラートを抑制します。文脈を添えて、ひとつのメッセージを送ります。
  7. 利用者の視点からチェックする。 主要な旅路に合成のチェックを加え、体験には実ユーザーのデータを使います。サーバーが「稼働」していても、利用者はサインインできないことがあります。
  8. 監視を監視する。 アラートが人に届くこと、呼び出しの仕組みが機能すること、監視の無言の故障自体が検知されることをテストします。時折、端から端までのテストを実施します。
  9. インシデントの後にレビューする。 どのアラートが鳴り、どれが鳴るべきで、どれがノイズだったかを問います。インシデントレビューで調整します。トピック 3.3 — 問題管理を参照してください。
  10. ダッシュボードと文脈を共有する。 開発者、運用、サポートが同じデータにアクセスでき、最近の変更の影響が見えるようにします。誰も使わないダッシュボードは避けます。

チームで話し合うための問い

監視より先に利用者が教えてくれた直近のインシデントは何で、なぜそうなったのか。 これは盲点を見つけます。利用者が何を見たかを見てください。旅路の端にギャップがあると予想できます。さらに掘り下げるために、加える利用者から見えるチェックをひとつ選びます。

先月、オンコールの人々が受け取ったアラートは何件で、そのうち行動が必要だったのは何件か。 一緒に数えてください。誰も知らなければ、それが発見です。行動可能なアラートの割合が低いと予想できます。さらに掘り下げるために、最もうるさい五つのアラートを選び、それぞれの運命を決めます。

私たちが無視しているアラートはどれで、削除したら何が起きるか。 アラートを無視することは、疲労の兆候です。それぞれが最後に重要だったのはいつかを尋ねてください。さらに掘り下げるために、レビュー日を決めて、ひとつを削除または降格します。

何のために誰が起こされ、起こす価値があると全員が合意しているか。 呼び出しの基準を合意してください。意見の不一致が予想され、それは有用です。さらに掘り下げるために、一段落のルールを書き、一か月試します。

監視自体が止まったら、どうやって気づくか。 これはメタ監視を試す問いです。沈黙か、曖昧な答えが予想されます。さらに掘り下げるために、ハートビートのチェックか、毎日のテストアラートを加え、誰が見守るかを合意します。

アラートについて、AIに何をしてほしく、何が人の判断にとどまらなければならないか。 AIは、アラートのグループ化、原因の提案、文脈の要約ができます。本物のアラートを抑制することもあります。どの行動に承認が必要かを尋ねてください。さらに掘り下げるために、グループ化と要約に限った試行を選び、隠されたものをレビューします。

実践:サービスマネジメントの例

ある地域の空港の運用技術チームは、手荷物処理、チェックイン、フライト情報の表示を監視しています。六人のチームは、一日に約400件のアラートを受け取ります。オンコールのスタッフは、通知をちらりと見て、大半をミュートすると言います。先月、ターミナルのネットワークスイッチの故障が40分間気づかれず、乗客が表示が空白だと苦情を述べて初めて発覚しました。

チームリードは、一週間をかけてデータを見ます。一日400件のアラートのうち、約350件は12のルールから来ており、自己清掃するデバイスのディスク警告や、使われていないポートのインターフェースのばたつきなどです。人の対応が必要なのは、一日に約15件だけでした。リードとチームは三つの変更に合意します。12のうるさいルールを削除するか、日次レポートに降格する。各ターミナルから毎分、表示ページとチェックイン画面を読み込み、二回連続で失敗したら呼び出す、二つの合成チェックを加える。そして、故障したスイッチが、百ではなく、影響を受けた表示を名指しするひとつのアラートを生むよう、相関を設定する。

翌月、オンコールのアラートは一日約20件に減り、次のスイッチの故障は三分以内に検知され、影響を受けたターミナルを一覧にするひとつの呼び出しで通知されました。週次レビューで、チームは、相関によって抑制されるべきでなかったアラートがひとつ抑制されていたことを見つけ、ルールを訂正します。

何が変わったか。人々は呼び出しを信頼し、対応します。何がまだ難しいか。手荷物処理のベンダーの機器は、チームがフィルタリングできない形式で独自のアラートを送るため、ノイズが残ります。夜勤のスタッフの一部は、日次レポートが読まれないのではないかと心配しています。監視システム自体が故障した場合に何が起きるかは、まだ誰もテストしていません。リードはドリルを予定し、毎日のテストアラートを加えました。

四つの視点

プロダクトとデリバリーのチーム

シグナルを組み込みましょう。意味のあるメトリクス、ログ、トレース、利用者の旅路を反映したヘルスチェック。アラートと一緒にランブックを書きます。各リリースの影響を見守ってください。

サービスと運用のチーム

アラートの質を所有しましょう。最もうるさいアラートを毎週レビューし、人々を過負荷から守り、すべての呼び出しにアクションがあることを確認します。アラートが通る経路をテストしてください。

リーダーシップとガバナンス

モニターの数ではなく、行動可能なアラートの数を求めましょう。うるさいアラートを直す時間に資金を出します。勤務時間外の繰り返される呼び出しを、スタッフと品質へのコストとして扱ってください。

顧客とユーザー

自分が気づく前に、提供者から問題を聞き、何が影響を受けているかを知らされるべきです。見えていることを時刻とともに報告し、監視が見逃した場所を提供者に伝えましょう。

アジャイル、AI、自動化、アナリティクス

アジャイル

アラートとダッシュボードを、プロダクトの一部として扱います。各インシデントとリリースの後に、小さな歩みで改善します。対応する人々とレビューします。注意:新しい機能のたびに古いものを取り除かずにモニターを加えると、ノイズが増えます。

AI

AIは、通常のパターンを学習し、関連するアラートをグループ化し、考えられる原因を提案し、アラートの嵐を要約できます。オーナーと人の判断を伴います。過去のインシデントでテストしてください。注意:アラートを抑制するモデルは、まれだが本物の障害を隠すことがあります。抑制したものと見逃したものを測定してください。トピック 5.2 — AIOpsを参照してください。

自動化

失敗しているプロセスの再起動のような、よく理解されたイベントへの対応と、アラートの振り分けと補強を、制限とログとともに自動化します。注意:永遠に再試行する自動修復は、失敗しているシステムを隠したり悪化させたりしえます。レート制限とエスカレーションを加えてください。トピック 6.6 — ランブック自動化と自動修復を参照してください。

アナリティクス

アラートの量、行動可能だった割合、確認までの時間、監視によって検知されたインシデントと利用者によって検知されたインシデントを追跡します。注意:アラートの数だけなら、何も発火しなくなるまでしきい値を上げることで操作されえます。インシデントと突き合わせてください。トピック 7.4 — オブザーバビリティとテレメトリと『サービスマネジメント指標』を参照してください。

よくある失敗パターン

  • 何にでもアラートを出す。 人々がチャンネルをミュートします。症状にアラートを出し、残りは取り除きましょう。
  • アクションのないアラート。 対応者が何をすべきか分かりません。ランブックにリンクするか、アラートを削除しましょう。
  • 固定のしきい値だけ。 忙しい時間帯に誤報が出ます。時間を考慮した方法やベースラインの方法を慎重に使いましょう。
  • 利用者が先に気づく。 利用者から見えるチェックにギャップがあります。合成と実ユーザーの監視を加えましょう。
  • メタ監視がない。 監視が無言で故障します。ハートビートとドリルを加えましょう。
  • ダッシュボードの乱立。 誰も見ません。判断を支える少数を保ちましょう。
  • 不透明なモデルを信頼する。 対応者がそれが何をしたか説明できません。ルールとロジックをレビュー可能に保ちましょう。

成熟度モデル

観点 開始 発展 標準化 管理 オーケストレーション
アラートの設計 すべてのしきい値でアラートが出る 一部に主要なアラートがある ランブックを伴う、症状に基づく行動可能なアラート アラートの質が測定され、毎週レビューされる アラートがサービスをまたいで適応し、相関される
カバレッジ サーバーのみ 一部のアプリケーション 利用者の旅路が合成と実ユーザーのデータでチェックされる カバレッジがインシデントの後にレビューされる カバレッジが全体像とサプライヤーをまたいで一貫している
ノイズ 圧倒的 認識されている 量が制限され、レビューされる ノイズが測定され、減っている ノイズが、監督を伴う相関と自動化で管理される
対応 手作業 チームへの呼び出し エスカレーション付きで振り分けられる 対応時間が追跡される 安全な行動が人の統制のもとで自動化される

チェックリスト

  • アラートが、利用者が感じる症状に基づいている。
  • すべてのアラートに、定義されたアクションとリンクされたランブックがある。
  • シフトごとのオンコールのアラートの量が測定され、制限されている。
  • 最もうるさいアラートを毎週レビューしている。
  • 主要な利用者の旅路に合成チェックがある。
  • 関連するアラートが相関されている。
  • アラートが人に届くことと、監視の故障が検知されることをテストしている。
  • アラートに作用するAIや自動化に、オーナー、制限、レビューがある。

AIプロンプト

うるさいアラートを順位づけする。

Here is a list of alert rules with the number of times each fired last month and how many led to action: [paste].
Rank them by number of non-actionable firings, list the top ten, and give one question per rule to ask about whether to remove, change, or keep it. Do not recommend deleting any.
List what you are unsure of.

アラートの文面を下書きする。

The situation to alert on: [describe]. Who acts: [role]. The first checks they should make: [list].
Draft an alert title (under 80 characters) and a body (under 80 words) that says what is wrong, what users may be experiencing, and the first step, with a link placeholder for the runbook. Do not speculate about causes.
List what you are unsure of.

相関ルールをテストする。

Here is a correlation rule: [describe]. Here is a list of recent events with timestamps and sources: [paste].
List which events the rule would group, which it would suppress, and any case where a real separate problem could be hidden. Do not propose a new rule.
List what you are unsure of.

AIスキル

  • runbook: 各アラートに伴うアクションを書くときに使います。
  • anomaly-analysis: メトリクスの異常なパターンを調べるときに使います。
  • key-risk-indicators: 早期警戒の指標を選ぶときに使います。
  • on-call-rotation: 持続可能なオンコールの仕組みを設計するときに使います。

主要な情報源

  • Betsy Beyer and others (eds.), Site Reliability Engineering (2016), chapter on monitoring distributed systems, free at sre.google.
  • Rob Ewaschuk, "My Philosophy on Alerting" (2013): 症状に基づくアラートについての、よく知られた短いエッセイ。
  • Wikipedia, "Alarm fatigue" and "Observability (software)": 主要な考え方の概観。
  • PeopleCert, ITIL certification pages: 監視とイベント管理のプラクティスについての所有者の説明。

参考文献

  1. Alarm fatigue — Wikipedia — https://en.wikipedia.org/wiki/Alarm_fatigue
  2. Observability (software) — Wikipedia — https://en.wikipedia.org/wiki/Observability_(software)
  3. Application performance management — Wikipedia — https://en.wikipedia.org/wiki/Application_performance_management
  4. Event correlation — Wikipedia — https://en.wikipedia.org/wiki/Event_correlation
  5. Log management — Wikipedia — https://en.wikipedia.org/wiki/Log_management
  6. Synthetic monitoring — Wikipedia — https://en.wikipedia.org/wiki/Synthetic_monitoring
  7. Real user monitoring — Wikipedia — https://en.wikipedia.org/wiki/Real_user_monitoring
  8. Network monitoring — Wikipedia — https://en.wikipedia.org/wiki/Network_monitoring
  9. Anomaly detection — Wikipedia — https://en.wikipedia.org/wiki/Anomaly_detection
  10. Telemetry — Wikipedia — https://en.wikipedia.org/wiki/Telemetry
  11. Site Reliability Engineering: How Google Runs Production Systems — Google — https://sre.google/sre-book/table-of-contents/