ランブック自動化と自動修復
ランブック自動化は、文書化されテストされた手順を、人またはアラートが起動できるコードに変えます。自動修復は、監視のシグナルが人なしにそれを起動できるようにします。どちらも、よく理解され、元に戻せる行動に対してのみ安全であり、制限、ログ、手動の停止、どれくらいの頻度で作動するかをレビューするオーナーが必要です。
なぜ重要か
オンコールの仕事には型があります。アラートが鳴ります。疲れたエンジニアがランブックを開き、一連のステップに従い、何かを再起動し、機能したことを確認して、眠りに戻ります。一週間後、同じアラートが鳴り、同じステップが踏まれます。十回目の後、誰かが言います。なぜ人がこれをやっているのか。
その人は正しいのです。既知の修正を手作業で繰り返すのは、遅く、誤りやすく、それを行う人々を消耗させます。同じステップがコードとして書かれれば、毎回同じ方法で、数秒で走り、記録を残します。Wikipediaは、ランブックを、運用者が行う定型的な手順の集成と説明しています。それらを実行可能にし、場合によっては自分で走らせることが、文書から自動化への一歩です。
その一歩は危険でもあります。人が読むランブックは、各ステップで人の判断を通ります。コードは通りません。誤った自動再起動は、永遠に繰り返したり、健全なサービスを落としたり、より深い問題を、はるかに悪くなるまで覆い隠したりしえます。多くの障害は、善意の修復が誤ったことを素早く行ったことで、長引いたり引き起こされたりしてきました。Wikipediaは、自分で自分を管理するシステムという長年の目標である自律型コンピューティングを説明しており、実践的な教訓は、自律性には制限が必要だということです。
このトピックは、文書からスクリプト、自動の行動へと、注意して進む方法を説明します。ナレッジ管理(トピック 3.9 — ナレッジ管理)、監視(トピック 3.10 — 監視とイベント管理)、インシデント管理(トピック 3.2 — インシデント管理)、自動化戦略(トピック 6.1 — 自動化戦略)を土台とします。AI運用(トピック 5.2 — AIOps)と、行動するエージェント(トピック 5.5 — エージェント型AIと人による監督)につながります。
中核となる概念
ランブック。 特定の、繰り返される運用タスクや状況のための、文書化された手順です。Wikipediaがランブックを説明しています。良いランブックには、トリガー、番号付きのステップ、期待される結果、検証のステップ、エスカレーションの経路があります。トピック 3.9 — ナレッジ管理を参照してください。
ランブック自動化。 ランブックを、ステップの一部またはすべてを実行するコードとして実装することで、通常は、人がコンソールやチャットのコマンドから、あるいはシステムイベントによって起動されます。ランブックのロジックを保ちつつ、速度、一貫性、記録という利点を得ます。
自動修復。 人が開始することなく、アラートやイベントに応じて自動で行う是正の行動です。例には、失敗したプロセスの再起動、いっぱいになった一時ディレクトリの消去、ワーカープールのスケールアウト、待機系へのフェイルオーバーがあります。Wikipediaの自律型コンピューティングの記事は、自分の障害を検知し直すシステムを、目標として説明しています。実際には、自動修復は、よく理解された狭い範囲の障害をカバーします。
進め方。 チームは通常、段階を経て進みます。書かれたランブック、人が実行するスクリプトを持つランブック、人がひとつのコマンドで起動し、スクリプトが最初にチェックを集めるランブック、行動を提案して承認を求めるアラート、限度内で単独で行動を実行するアラート。各段階には、前の段階からの証拠が必要です。実際の結果を伴う行動については、段階を飛ばしてはいけません。
自動の行動に値するもの。 一般的で、原因と修正がよく理解され、修正が安全で元に戻せ、症状がそれを確実に特定する障害です。例は、ハングしたステートレスなワーカーや、いっぱいになるログディレクトリです。不向きな候補には、データを削除するもの、アクセスを変えるもの、事業への影響についての判断に依存するものがあります。
安全の条件。 行動する前に、状況が本当に合っているかを確認します。アラートが現在のものか、サービスが期待される状態か、デプロイや保守が進行中でないか、行動がちょうど実行されたばかりではないか。行動した後、結果を検証します。Wikipediaは、実行せずに何が起きるかを示すリハーサルであるドライランを説明しています。新しい自動化には有用なモードです。
制限。 ある期間に行動を実行できる回数、一度に触れるインスタンスの数、実行できる時間に上限を設けます。Wikipediaがレート制限を説明しています。制限は暴走を、限られた出来事に変え、制限を超えたら人を呼ぶべきです。
サーキットブレーカーとバックオフ。 自動の行動が繰り返し失敗する、あるいは繰り返し作動するなら、永遠に再試行するのではなく、止めてエスカレーションします。Wikipediaは、繰り返しの失敗がスイッチを落とし、しばらくそれ以上の試行を止めるサーキットブレーカーパターンを説明しています。再試行の間に待ちを入れ、Wikipediaが説明するヒステリシスを使って、状態間のばたつきを防ぎます。
冪等性。 繰り返しても安全な行動です。Wikipediaが冪等性を説明しています。すでに再起動中のサービスを再起動しても、二回目の再起動の嵐を起こしてはいけません。先に状態を確認する行動を設計します。
ウォッチドッグと組み込みの復旧。 プラットフォームは独自の復旧の仕組みを提供しています。クラッシュしたサービスを再起動するプロセススーパーバイザー、失敗したインスタンスを置き換えるコンテナプラットフォーム、Wikipediaが説明する、ハングしたシステムをリセットするウォッチドッグタイマー。合うところでは、独自のスクリプトより組み込みの仕組みを好み、それが何をするかを理解します。
フェイルオーバーとスケーリング。 待機系への自動フェイルオーバーとキャパシティの自動スケーリングは、プラットフォームがよく提供する自動修復の形です。Wikipediaがフェイルオーバーとオートスケーリングを説明しています。これらにも、テストと制限が必要です。状況を悪化させうるからです。短い不具合で引き起こされたフェイルオーバーは、健全なサービスを中断しえます。
問題の覆い隠し。 障害を静かに直す自動化は、悪化する原因を隠しえます。サービスが一時間ごとに再起動されているなら、その再起動は、直す必要のある問題の症状です。各自動化がどれくらいの頻度で作動するかを追跡し、上昇する率を調べるべき問題として扱います。トピック 3.3 — 問題管理を参照してください。
ログ、監査、通知。 あらゆる自動の行動は、何がそれを引き起こし、何をチェックし、何をし、結果はどうだったかを記録し、所有するチームに通知するべきです。無言の自動化は、システムへの理解を損ないます。Wikipediaが監査証跡を一般に説明しています。
テスト。 自動化を、チェックが行動を止めるべきケースも含めて、安全な環境で現実的な障害に対してテストします。Wikipediaは、意図的に障害を注入するプラクティスであるカオスエンジニアリングを説明しており、それは修復が正しく振る舞うかのテストにもなりえます。トピック 3.12 — サービス継続性管理を参照してください。
オーナーシップとレビュー。 各自動化にはオーナーがおり、レビュー付きでバージョン管理に置かれ、登録簿に載ります。どれくらいの頻度で作動するか、成功したか、根本の原因を直すべきかを定期的にレビューします。
アクセスとセキュリティ。 修復のツールは、本番に対して力を持ちます。各行動に必要な狭い許可を持つ独自のアイデンティティを与え、コードとトリガーを改ざんから守ります。トピック 3.13 — 情報セキュリティ管理を参照してください。
人のスキル。 自動化が定型的な障害を扱えば、人々はシステムへの感覚を失うかもしれません。ランブックを読めるものに保ち、手作業での運用をリハーサルし、自動化をゲームデイに含めます。トピック 6.1 — 自動化戦略を参照してください。
レンズはどう当てはまるか。 このトピックは、運用の時点での自動化のレンズです。アジャイルのプラクティスは、インシデントのたびのレビューとともに、小さな歩みで段階を上がることを示唆します。AIは、ここで説明した制限のもとで、行動を提案し、ランブックを選べます。アナリティクスは、作動率、成功、覆い隠された問題を測ります。
ベストプラクティス
- 良いランブックから始める。 まず手作業で、手順を書き、テストし、使います。機能しない手順の自動化は、より速く壊れるだけです。
- 候補を慎重に選ぶ。 頻繁で、よく理解され、安全で、元に戻せ、確実なシグナルを持つ修正を探します。節約されるオンコールの時間とリスクで順位づけします。
- 梯子を登る。 スクリプトから、ワンコマンドの起動、承認を伴う提案された行動、証拠が蓄積されたときだけ自動の行動へと進みます。各段階で判断を記録します。
- 前と後に確認する。 状況が合っているか、競合する活動が進行していないか、行動が機能したかを検証します。チェックが失敗したら、止めてエスカレーションします。
- 制限とブレーカーを設ける。 頻度、範囲、時間に上限を設けます。行動が頻繁に作動する、あるいは二度失敗するなら、止めて人を呼びます。
- 行動を冪等で元に戻せるものにする。 先に状態を確認し、戻る道を書きます。両方をテストします。
- 記録し、通知し、見えるようにする。 すべての自動の行動を記録し、所有するチームに伝え、作動率をダッシュボードに示します。
- 原因を直す。 各自動化がどれくらいの頻度で作動するかを数え、率が高い、あるいは上昇しているときは問題を起票します。自動化を、修正の代わりではなく、そこへの橋として扱います。
- 安全な条件でテストする。 拒否されるべきものも含め、現実的な障害とエッジケースでリハーサルします。自動化をゲームデイに含めます。
- 所有してレビューする。 オーナーを指名し、コードをレビュー付きでバージョン管理に置き、各自動化を登録し、どれを残し、変え、廃止するかを四半期ごとにレビューします。
チームで話し合うための問い
毎回同じ方法で直しているアラートはどれで、それぞれにどれくらいかかるか。 インシデントとアラートのデータを使ってください。呼び出しの大半を占める少数が予想されます。さらに掘り下げるために、ひとつを選び、そのランブックが正確かを確認します。
この修正が、実行すべきでないときに実行されたら、何がうまくいかなくなりうるか。 誤ったトリガーや誤った対象を想像します。いくつかの不快なケースが予想されます。さらに掘り下げるために、それぞれにチェックや制限を加えます。
自動化が、増大する問題を覆い隠していることを、どうやって知るのか。 何が見えるかを尋ねます。「何も」が予想されます。さらに掘り下げるために、作動を数え、問題を起票するしきい値を設定することを合意します。
一回の実行が与えうる最大の損害は何で、どうやって止めるか。 範囲に名前を付けます。不確かさが予想されます。さらに掘り下げるために、上限を設定し、停止をリハーサルします。
最後にこのタスクを手作業でやったのはいつで、オンコールの全員が今もできるか。 最後はいつかを尋ねます。ずっと前と予想できます。さらに掘り下げるために、リハーサルを予定します。
AIが修復を提案または選択できるのはどこで、それでも人が承認しなければならないものは何か。 AIは、症状をランブックに対応づけ、行動を提案できます。どの行動に承認が必要で、誰が決めるかを尋ねてください。さらに掘り下げるために、AIが提案し、人が承認する試行を選び、提案がどれくらい正しかったかを測ります。
実践:サービスマネジメントの例
ある国の鉄道の旅客案内チームは、データサービスから供給される、400の駅の表示を運用しています。週に二回ほど、フィードプロセッサがハングし、表示が古い時刻で固まります。オンコールのエンジニアが呼び出され、ログインし、プロセスがハングしていることを確認し、再起動して、更新を確認します。約20分かかり、大半は夜間です。
チームはランブックを書き留め、二件のインシデントで試して洗練します。アラートを確認する、デプロイが進行中でないことを確認する、プロセスが五分間ログに書いていないことを確認する、再起動する、二分待つ、出力のタイムスタンプが最新であることを確認する、インシデントを記録する。それをドライランモードを備えたスクリプトに変え、エンジニアが一か月、ひとつのチャットコマンドでそれを起動します。毎回成功します。
次に、提案モードでアラートに接続します。アラートがスクリプトの検出結果と、オンコールのエンジニアに承認を求めるボタンを投稿します。一か月後、すべての承認が正しく、二分以内で済みました。チームは、厳格な条件のもとで自動で実行させることに同意します。チェックが通ったときだけ、一時間に最大二回、デプロイ中は決して実行せず、二回目の再起動で直らなければ人を呼ぶ。各実行を記録し、チームのチャンネルに投稿します。
自動化は最初の二か月に19回作動します。レビューにより、ハングが、あるデータサプライヤーの深夜の更新の後により頻繁に起きることが分かります。それぞれの呼び出しをひとりで扱っていたときは、チームは気づいていませんでした。彼らはサプライヤーに問題を提起します。ある実行では、二回の再起動の失敗の後にブレーカーが作動してエンジニアを呼び、エンジニアはディスクがいっぱいなことを見つけます。ランブックがカバーしていなかった原因でした。
何が変わったか。エンジニアはこれらの出来事の大半を眠ったまま過ごし、表示は三分以内に回復します。何がまだ難しいか。サプライヤーはまだデータ形式を直していません。チームは、新しいエンジニアが手作業の手順を一度も行っていないことに気づき、そのスキルを心配しています。ディスクを確認する追加のステップは、驚きの後に加えられたものでした。リードは、四半期ごとの手作業のリハーサルを予定し、ディスクのチェックをスクリプトに加えました。
四つの視点
プロダクトとデリバリーのチーム
修復しやすいサービスを作りましょう。ヘルスエンドポイント、安全な再起動、冪等な操作、明確なログ。ランブックをコードと一緒に書き、自動化が露わにする原因を直してください。
サービスと運用のチーム
ランブックと自動化を所有しましょう。書き、テストし、制限し、記録し、レビューします。手作業のスキルを生かし続け、頻繁な作動を直すべき問題として扱ってください。
リーダーシップとガバナンス
証拠とともに梯子を上ることを支え、作動率と覆い隠された問題のチェックを求めましょう。原因を直す時間に資金を出します。自己修復するシステムという主張には注意してください。
顧客とユーザー
より速い復旧と、目に見える障害の減少を感じるはずです。自動の修正が機能しなかった、あるいは問題を起こしたときは、ルールを直せるよう、提供者に伝えましょう。
アジャイル、AI、自動化、アナリティクス
アジャイル
インシデントのたびに修復を改善します。ランブックを洗練する、チェックを加える、梯子を一段上がる。変更を小さく、レビューされたものに保ちます。注意:悪い夜の後に、まとめて自動化してはいけません。テストを伴って一度にひとつの修正を行ってください。
AI
AIは、アラートをランブックに対応づけ、手順を提案し、インシデントのメモから新しいランブックを下書きでき、行動するものには承認が必要です。オーナーを指名し、提案の精度を測ります。注意:異常なアラートから行動を選ぶAIは、誤って選ぶことがあります。承認済みの行動の一覧に限定してください。トピック 5.5 — エージェント型AIと人による監督を参照してください。
自動化
このトピックは、運用における自動化のレンズです。安全の条件、制限、ブレーカー、冪等性、ログ、レビュー。注意:自動修復は問題を覆い隠し、悪化させえます。作動を数え、実行に上限を設け、失敗でエスカレーションしてください。トピック 6.1 — 自動化戦略を参照してください。
アナリティクス
自動化ごとの作動率、成功率、復旧までの時間、避けられた呼び出しの数、ブレーカーの作動、パターンから起票された問題を追跡します。注意:避けられた呼び出しは膨らませやすく、上昇する作動率を隠しえます。両方を一緒に追跡してください。トピック 7.4 — オブザーバビリティとテレメトリと『サービスマネジメント指標』を参照してください。
よくある失敗パターン
- テストされていないランブックの自動化。 修正が速度とともに誤ります。まず手作業でテストしましょう。
- 制限がない。 ループや誤作動が繰り返されます。実行に上限を設け、ブレーカーを使いましょう。
- 隠れた問題。 再起動が原因を覆い隠します。作動を数え、原因を直しましょう。
- 行動前のチェックがない。 行動が健全な、あるいは忙しいシステムに当たります。条件を検証しましょう。
- 無言の自動化。 何をしたか誰も知りません。記録して通知しましょう。
- スキルの衰え。 誰も手作業でできません。リハーサルしましょう。
- 過剰な権限のツール。 ひとつの侵害がすべてに届きます。狭いアイデンティティを使いましょう。
成熟度モデル
| 観点 | 開始 | 発展 | 標準化 | 管理 | オーケストレーション |
|---|---|---|---|---|---|
| ランブック | 頭の中かメール | 主要なアラートのために書かれている | アラートにリンクされた、テスト済みのランブックがある | ランブックの質がインシデントの後にレビューされる | ランブックがサービスをまたいでコードとして保守される |
| 自動化 | なし | 人が起動するスクリプト | 提案を伴う、承認されテストされた行動 | 選ばれた行動が制限付きで自動実行される | 安全な行動がリスクに応じて選ばれ、人が統制する |
| 安全 | なし | 基本的なログ | チェック、制限、ブレーカー、ロールバック | 安全がテストされ、監査される | 安全が共有プラットフォームに組み込まれる |
| 学習 | 火消し | 時折のレビュー | 作動率が追跡され、原因が問題として起票される | 再発が測定され、減らされる | 学びがチームとサプライヤーをまたいで共有される |
チェックリスト
- 自動化の前に、ランブックを書き、テストし、手作業で使った。
- 各自動化に、トリガー、前提条件、検証、エスカレーションがある。
- 行動が冪等で、元に戻せる。
- 制限とサーキットブレーカーが、頻度と範囲に上限を設けている。
- すべての実行が記録され、所有するチームに通知される。
- 各自動化がどれくらいの頻度で作動するかを追跡し、パターンから問題を起票している。
- 自動化がバージョン管理にあり、レビューされ、オーナーとともに登録されている。
- 手作業での運用をリハーサルし、現実的な障害で自動化をテストしている。
AIプロンプト
インシデントのメモをランブックの下書きに変える。
Here are notes from three incidents that had the same fix: [paste, personal data removed].
Draft a runbook with: trigger, preconditions to check, numbered steps with expected results, verification, rollback, and escalation. Use only what the notes say; write [missing] for anything not stated.
List what you are unsure of.
自動化の安全上のギャップを見つける。
Here is a description of an auto-remediation: trigger, checks, action, and limits: [paste].
List which of these are missing or unclear: precondition checks, post-action verification, rate limit, circuit breaker, idempotence, rollback, logging, notification, owner. Quote the text for each you consider present. Do not assume any.
List what you are unsure of.
作動のデータをレビューする。
Here is a log of when each automation fired in the last month, with result: [paste].
Count firings per automation, list those that are rising or clustered at the same time of day, and list questions to find causes. Do not guess causes.
List what you are unsure of.
AIスキル
- runbook: 自動化の前に、手順を書き、テストするときに使います。
- chaos-testing: 現実的な障害に対して修復をテストするときに使います。
- root-cause-analysis: 自動化が隠している原因を見つけるときに使います。
- on-call-rotation: 持続可能なオンコールの仕組みを設計するときに使います。
- incident-response-plan: 自動化の周りの役割とエスカレーションを定義するときに使います。
主要な情報源
- Betsy Beyer and others (eds.), Site Reliability Engineering (2016), chapters on eliminating toil and on automation, free at sre.google.
- Lisanne Bainbridge, "Ironies of Automation" (Automatica, 1983): 自動化が人の役割を意外な形で変える理由。
- Wikipedia, "Runbook" and "Autonomic computing": 文書と志向の概観。
- Wikipedia, "Circuit breaker design pattern": 繰り返される失敗を止めるパターン。
参考文献
- Runbook — Wikipedia — https://en.wikipedia.org/wiki/Runbook
- Autonomic computing — Wikipedia — https://en.wikipedia.org/wiki/Autonomic_computing
- Circuit breaker design pattern — Wikipedia — https://en.wikipedia.org/wiki/Circuit_breaker_design_pattern
- Watchdog timer — Wikipedia — https://en.wikipedia.org/wiki/Watchdog_timer
- Idempotence — Wikipedia — https://en.wikipedia.org/wiki/Idempotence
- Rate limiting — Wikipedia — https://en.wikipedia.org/wiki/Rate_limiting
- Failover — Wikipedia — https://en.wikipedia.org/wiki/Failover
- Autoscaling — Wikipedia — https://en.wikipedia.org/wiki/Autoscaling
- Chaos engineering — Wikipedia — https://en.wikipedia.org/wiki/Chaos_engineering
- Hysteresis — Wikipedia — https://en.wikipedia.org/wiki/Hysteresis
- Dry run (testing) — Wikipedia — https://en.wikipedia.org/wiki/Dry_run_(testing)
- Site Reliability Engineering: How Google Runs Production Systems — Google — https://sre.google/sre-book/table-of-contents/