なぜ重要か

あらゆるサービスには、変更と信頼性の間の緊張があります。顧客は新しい機能を求め、同時にサービスが動くことも求めます。変更を素早く押し出すチームは障害を引き起こし、安定を守るチームはすべてを遅くします。両者を天秤にかける方法がなければ、議論は声の大きい人、あるいは直近のインシデントによって決着します。

サイト信頼性エンジニアリングは、そのトレードオフを明示する方法を提供します。完全な信頼性は、可能でもなく、望まれてもいないという考え方から始まります。利用者の端末やネットワークのほうがそれより頻繁に失敗するのだから、99.999パーセントと99.99パーセントの可用性の違いを利用者は区別できず、さらに9を一つ増やすコストははるかに大きいのです。そこでチームは、利用者のニーズに合った目標に合意し、それを測り、目標と完全さの間の余地を、リスクのバジェットとして使います。

SREは2000年代前半にGoogleで始まり、同社がオンラインで公開している書籍で説明されています。他の多くの組織が、その一部を採用してきました。サービスマネジメントにとってその価値は、ITILがサービスレベル管理、可用性管理、継続的改善と呼ぶ考え方の、具体的でエンジニアリング的な版を与えてくれることです。このトピックは、主要な考え方を説明し、それらが機能した文脈を欠いたまま真似することに注意を促します。

中核となる概念

SREとは何か。 Wikipediaは、サイト信頼性エンジニアリングを、スケーラブルで信頼性の高いシステムを作るために、ソフトウェアエンジニアリングの側面をITインフラと運用に適用する一連の原則とプラクティスと説明しています。SREチームには通常、ソフトウェアとシステムのスキルを持ち、運用の仕事を自動化し、信頼性のための設計に加わる人々がいます。

サービスレベル指標(SLI)。 成功するリクエストの割合や、300ミリ秒以内に完了する割合のように、利用者が体験するサービスの側面の測定値です。優れた指標は、測定しやすいものではなく、利用者が気にかけるものを反映します。

サービスレベル目標(SLO)。 ある期間にわたる指標の目標です。たとえば「直近30日間で、99.9パーセントのリクエストが成功する」。目標は、サービスを運用する人々とそれに依存する人々との間で合意された、内部の目標です。Wikipediaはサービスレベル目標を、サービスレベル合意の一部として説明しています。

サービスレベル合意(SLA)。 サービスが合意された水準を下回ったときに、しばしば金銭的な結果を伴う契約です。SLAは通常、内部のSLOより緩い目標を設定し、チームが違反の前に警告を得られるようにします。トピック 3.7 — サービスレベル管理を参照してください。

エラーバジェット。 許容される信頼性の欠如の量です。目標が99.9パーセントなら、バジェットは残りの0.1パーセントです。バジェットが残っている間、チームはより速くリリースするなど、リスクを取れます。バジェットを使い切ったら、チームは変更を遅くし、信頼性に投資します。バジェットは、信頼性と変更のトレードオフを、議論ではなく、共有された測定可能な判断にします。

トイル。 手作業で、反復的で、自動化可能で、戦術的で、サービスとともに増えるのに恒久的な価値を加えない仕事です。サービスを手作業で再起動する、同じ種類のリクエストを手で処理する、騒がしいアラートを確認するなどが例です。SREのプラクティスは、トイルに費やす時間の割合を、しばしば半分程度に制限し、残りを、それを減らすエンジニアリングの仕事に使います。

監視とアラート。 アラートは行動可能で、利用者が感じる症状に結び付き、明確な対応を伴うべきです。誰も行動しない騒がしいアラートは、人々にそれを無視することを教えます。トピック 3.10 — 監視とイベント管理とトピック 7.4 — オブザーバビリティとテレメトリを参照してください。

インシデント対応と非難のないレビュー。 SREは、インシデント中の明確な役割、コミュニケーション、そして後で行う、システムを見て追跡されるアクションを生む構造化されたレビューを重視します。トピック 3.2 — インシデント管理とトピック 3.3 — 問題管理を参照してください。

キャパシティとパフォーマンス。 SREには、需要の予測、限界のテスト、成長が障害を引き起こさないようなキャパシティの計画が含まれます。トピック 3.11 — 可用性、キャパシティ、パフォーマンスを参照してください。

リリースエンジニアリングと変更。 多くの場合、段階的なロールアウトと自動ロールバックを伴う、信頼でき、再現可能なリリースは、SREの仕事の一部です。トピック 2.2 — 継続的デリバリーを参照してください。

失敗を練習する。 カオスエンジニアリングは、実際のインシデントより先に弱点を見つけるために、管理された形で意図的に障害を注入します。ゲームデイは対応のリハーサルです。トピック 3.12 — サービス継続性管理を参照してください。

SREとDevOps。 両者は多くの考え方を共有しています。一般的な説明では、SREは、SLO、エラーバジェット、トイルの上限といった特定のプラクティスの集合を持つ、DevOpsの原則を実装するひとつの方法です。トピック 2.5 — DevOpsを参照してください。

SREとITIL。 SLOとエラーバジェットはサービスレベル管理の隣に、非難のないレビューは問題管理の隣に、トイルの削減は継続的改善を支える位置にあります。SREは技術チームがそうした仕事をどう行えるかを記述し、ITILは組織全体に必要なプラクティスを記述します。

真似することの限界。 SREは、特定の規模と人員を持つ非常に大きなエンジニアリング組織で発展しました。小さなチームは、その構造を真似することはできず、その必要もありません。いくつかの考え方から始めましょう。利用者中心の指標を選び、目標を設定し、バジェットを使い切ったときに何をするかを書き留めます。

レンズはどう当てはまるか。 SREは、稼働中のサービスにとってのアジャイルのレンズの、エンジニアリング側の大部分です。AIは、人のレビューのもとで、アラートのトリアージやインシデントの要約を支援できます。自動化はトイルに対する主要な手段です。アナリティクスは、SLIと、トイルやインシデントのデータを供給します。

ベストプラクティス

  1. 利用者の体験を反映する指標を選ぶ。 利用者が「動いている」と言うのはどんなときかを問います。読み込まれるページ、完了する支払い、届くファイル。CPU使用率ではなく、それを測ります。
  2. サービスに依存する人々と目標を設定する。 実際のニーズに合った数値に合意し、期間と測定方法とともに書き留めます。ニーズが変わったら見直します。
  3. エラーバジェットを判断に使う。 バジェットがほぼ尽きたときに何が起きるか(リスクのある変更の凍結など)と、誰が決めるかを書きます。それが問題になる最初のときより前に合意しておきます。
  4. 目標を合意より厳しく保つ。 契約に違反する前に問題に気づけるよう、内部の目標を設定します。トピック 3.7 — サービスレベル管理を参照してください。
  5. トイルを数え、制限する。 反復的な手作業に費やす時間を追跡し、上限を設けます。残りを、トイルの最大の源を取り除くことに使います。
  6. 症状でアラートを出し、アラートを行動可能に保つ。 各アラートは、利用者にとって何が悪いかと、何をすべきかを伝えるべきです。誰も行動しないアラートは、取り除くか直します。
  7. オンコールを公平かつ持続可能に分担する。 シフトあたりの呼び出し回数を制限し、研修と文書化されたエスカレーション経路を用意し、負荷を定期的にレビューします。トピック 8.3 — 組織変革と導入を参照してください。
  8. 非難なしにインシデントをレビューし、やり遂げる。 タイムライン、寄与要因、オーナーと期日のあるアクションを書きます。アクションが完了しているか確認します。
  9. 安全な条件で失敗を練習する。 ゲームデイと小さなカオス実験を、ステージングや限定的な露出で、明確な停止ボタンとともに実施します。
  10. 小さく始める。 重要なサービスをひとつ選び、一つか二つのSLIとSLOを定義し、広げる前に結果から学びます。

チームで話し合うための問い

利用者は、このサービスで「動いている」とは何を意味すると言うだろうか。私たちはそれを測っているか。 これは指標の出発点です。チームはしばしば、代わりにサーバーの健全性を測っています。ダッシュボードが緑なのに利用者が不満だった、直近の例を求めてください。さらに掘り下げるために、利用者から見える指標をひとつ選んで測ります。

このサービスは本当にどれくらいの信頼性が必要で、それを誰が決めたのか。 目標は、「ファイブナイン」のように、習慣で設定されていることがよくあります。サービスが止まったとき利用者が何をするか、一時間の停止にいくらかかるかを尋ねてください。意見の不一致が予想されます。さらに掘り下げるために、目標を下書きし、顧客と確認します。

エラーバジェットを使い切ったら何をするか。実際にそうするか。 一度も適用されない方針は、人々にそれを無視することを教えます。信頼性が損なわれても変更が続いた直近の出来事を尋ねてください。さらに掘り下げるために、小さく具体的な対応と、誰が決めるかを合意します。

チームのトイルの最大の三つの源は何で、それぞれを取り除くには何が要るか。 反復的な作業を挙げて時間を見積もってもらいます。手作業の再起動、データの修正、アクセスのリクエストが出てくると予想できます。さらに掘り下げるために、項目をひとつ選び、自動化の作業量を、一年で節約される時間と比べて見積もります。

先月、オンコールの人々が受け取った呼び出しは何件で、そのうち人の対応が必要だったのは何件か。 これは、アラートの質と作業量を試す問いです。数字を求めてください。誰も知らなければ、それが発見です。さらに掘り下げるために、最も騒がしいアラートを選んで、直すか削除します。

アラートやインシデントの要約でAIが役立つのはどこで、その誤りにどう気づくか。 AIは、アラートのグループ化、要約の下書き、ランブックの手順の提案ができます。本物のシグナルを隠したり、原因を捏造したりもします。誰がそれを所有し、出力がどう確認されるかを尋ねてください。さらに掘り下げるために、要約ツールを人のプロセスと並行して試し、比較します。

実践:サービスマネジメントの例

ある国立図書館のデジタルアーカイブチームは、研究者向けの検索サービスを運用しています。六人のチームが交代でオンコールに就きます。夜間の呼び出しは週に一回ほど届き、そのほとんどは、誰かが手で消去するバッチサーバーのディスク容量のアラートです。経営陣は年間計画に「99.99パーセントの可用性」を求めていますが、現在の成績を誰も測っていません。

チームリードは、より小さな実験を提案します。二人の研究者とともに、チームはひとつの指標を定義します。2秒以内に結果を返す検索リクエストの割合です。一か月測ると99.2パーセントでした。研究者たちは、遅さに気づくのは検索に5秒以上かかるときだけで、それはリクエストの約0.3パーセント、主に夜間のインデックス再構築の間に起きると言います。彼らは、30日間で2秒以内が99.5パーセントという目標と、エラーバジェットの方針に合意します。ある期間にバジェットの75パーセント超を使ったら、チームは緊急でないリリースを止め、最大の原因を修正する。

チームはトイルも数えます。ディスクの手作業での消去は月に約2時間かかり、誰かを起こします。そこで消去を自動化し、ディスクがいっぱいになってからではなく、急速な増加に対するアラートを加え、バックアップからインデックスを復元するゲームデイをリハーサルします。

何が変わったか。夜間の呼び出しは減り、最初の四半期にバジェットが少なくなったときに一度リリースが止められ、原因はひとつの遅いクエリに行き着きました。何がまだ難しいか。年間計画には依然として「99.99パーセント」と書かれています。上級管理職がそれを置き換えることに合意していないからです。インデックスの再構築は、別の部門が運用するストレージサービスに依存しています。チームは、他のタイムゾーンの研究者が同じようにサービスを体験しているか確信が持てません。リードは、計画の文言を次のレビューに持ち込みます。

四つの視点

プロダクトとデリバリーのチーム

目標とバジェットを運用と共有しましょう。信頼性の仕事をバックログに含め、段階的にリリースし、変更の効果を見守ります。バジェットを使い切ったら、原因を減らす取り組みに加わってください。

サービスと運用のチーム

利用者とともに指標を定義し、アラートを行動可能に保ち、トイルを取り除くエンジニアリングに時間を使いましょう。オンコールの負荷とインシデントのデータを計画に持ち込みます。追跡されるアクションにつながるレビューを書いてください。

リーダーシップとガバナンス

実際のニーズを反映した目標に合意し、変更を遅くすることを求めるときでもバジェットの方針を支えましょう。トイルの削減と信頼性の仕事の時間に資金を出してください。完璧さを求めてはいけません。

顧客とユーザー

自分にとって「動いている」とは何を意味するかを尋ねられ、目標が何かを知らされるべきです。問題を明確に報告し、何が行われたかを聞くことを期待してください。目標が自分のニーズに合っていないと思うなら、そう伝えましょう。

アジャイル、AI、自動化、アナリティクス

アジャイル

SREは、継続的デリバリーと改善に、測定可能な信頼性の目標を加えます。目標の設定にステークホルダーを関わらせ、定期的にレビューします。注意:エラーバジェットは判断の代わりになりません。データ侵害のようなインシデントのなかには、バジェットに関係なく重大なものがあります。

AI

AIは、関連するアラートをグループ化し、考えられる原因を提案し、インシデントの要約を下書きできます。それぞれの使用に、オーナー、判断に責任を持つ人、AIの提案を実際に起きたことと比べる方法が必要です。注意:ノイズを減らすためにアラートを抑え込むAIは、本物の障害を隠すことがあります。既知のインシデントで試してください。トピック 5.2 — AIOpsを参照してください。

自動化

再起動、クリーンアップ、定型的なアクセス、繰り返される診断といったトイルを、ログ、制限、止める手段とともに自動化します。注意:本番に作用する自動化は、インシデントを悪化させることがあります。レート制限と手動の停止を加えてください。トピック 6.6 — ランブック自動化と自動修復を参照してください。

アナリティクス

SLI、SLOの達成、エラーバジェットの消費、トイルの時間、アラートの質を使います。注意:達成しやすいから選ばれた目標や、利用者体験の一部を無視する指標は、誤った安心感を与えます。利用者の苦情と突き合わせて確認してください。トピック 7.4 — オブザーバビリティとテレメトリと『サービスマネジメント指標』を参照してください。

よくある失敗パターン

  • 他者の数字を写す。 必要性を知らないまま「ファイブナイン」が採用されます。利用者のニーズとコストから決めましょう。
  • 利用者を捉え損ねる指標。 ダッシュボードは緑なのに、利用者は不満を述べます。利用者が体験することを測りましょう。
  • 誰も従わないバジェットの方針。 バジェットを使い切っても変更が続きます。事前に対応を合意し、適用しましょう。
  • アラートのノイズ。 オンコールの人が呼び出しを無視します。すべてのアラートを行動可能にしましょう。
  • 当たり前としてのトイル。 チームに自動化する時間が与えられません。数えて、上限を設けましょう。
  • 運用の言い換えとしてのSRE。 プラクティスが採用されません。指標、目標、バジェットを定義しましょう。
  • 英雄文化。 ひとりがすべてのインシデントを解決します。知識とランブックを共有しましょう。

成熟度モデル

観点 開始 発展 標準化 管理 オーケストレーション
指標と目標 利用者から見える指標がない インフラの指標のみ 主要なサービスに利用者中心のSLIとSLOがある 目標が利用者とコストとともにレビューされる 目標が依存するサービス間で調整される
エラーバジェット なし 議論されている 書かれた方針が適用される 方針の結果がレビューされる バジェットがチームとパートナーをまたいで共有される
トイル 測られていない 非公式に特定されている 数えられ、制限される 追跡される自動化で削減される 共有のツールでサービスをまたいで削減される
インシデントからの学び 責任追及 一部のレビュー アクションが追跡される、非難のないレビュー アクションの完了と再発が測定される 学びが組織全体で共有される

チェックリスト

  • 重要なサービスごとに、少なくともひとつ、利用者から見える指標がある。
  • それぞれに、依存する人々と合意した目標がある。
  • エラーバジェットがほぼ尽きたときに何が起きるかを書き留めた。
  • 内部の目標が、合意より厳しい。
  • トイルを追跡し、上限を設けている。
  • アラートが行動可能で、騒がしいものは直されるか取り除かれている。
  • オンコールの負荷が測定され、持続可能である。
  • インシデントレビューが非難なしで行われ、アクションが完了まで追跡される。

AIプロンプト

指標の候補を下書きする。

Our service: [describe what it does and who uses it]. What users complain about: [list].
Propose up to five candidate service level indicators, each with what it measures, how it could be computed from [available data sources], and one way it could mislead. Do not choose an objective.
List what you are unsure of.

エラーバジェットの消費を計算する。

Our objective: [for example, 99.5 percent of requests under two seconds over 30 days]. Here are daily counts of good and total events for the period: [paste data].
Calculate attainment so far, the error budget used as a percentage, and the daily burn rate, showing each calculation. Do not predict beyond the data.
List what you are unsure of.

トイルの候補を順位づける。

Here is a list of repetitive tasks our team does, with how often and how long each takes: [paste list].
Compute hours per month for each, rank them, and for the top five list one question about whether automating it is safe. Do not recommend specific tools.
List what you are unsure of.

AIスキル

  • service-level-agreement: 目標を合意に関連づけるときに使います。
  • postmortem: アクションを追跡する、非難のないレビューを実施するときに使います。
  • chaos-testing: 安全な失敗の実験を計画するときに使います。
  • capacity-planning: 需要と限界を予測するときに使います。

主要な情報源

  • Betsy Beyer, Chris Jones, Jennifer Petoff, and Niall Richard Murphy (eds.), Site Reliability Engineering: How Google Runs Production Systems (2016), freely available at sre.google: プラクティスの主要な情報源。
  • Betsy Beyer and others (eds.), The Site Reliability Workbook (2018): 導入のための実践的な指針。
  • Wikipedia, "Site reliability engineering": 中立的な概観。
  • Wikipedia, "Service-level objective": 用語の背景。

参考文献

  1. Site reliability engineering — Wikipedia — https://en.wikipedia.org/wiki/Site_reliability_engineering
  2. Service-level objective — Wikipedia — https://en.wikipedia.org/wiki/Service-level_objective
  3. Service level indicator — Wikipedia — https://en.wikipedia.org/wiki/Service_level_indicator
  4. Service-level agreement — Wikipedia — https://en.wikipedia.org/wiki/Service-level_agreement
  5. Capacity planning — Wikipedia — https://en.wikipedia.org/wiki/Capacity_planning
  6. Reliability engineering — Wikipedia — https://en.wikipedia.org/wiki/Reliability_engineering
  7. Chaos engineering — Wikipedia — https://en.wikipedia.org/wiki/Chaos_engineering
  8. Observability (software) — Wikipedia — https://en.wikipedia.org/wiki/Observability_(software)
  9. Postmortem documentation — Wikipedia — https://en.wikipedia.org/wiki/Postmortem_documentation
  10. Site Reliability Engineering: How Google Runs Production Systems — Google — https://sre.google/sre-book/table-of-contents/