可用性、キャパシティ、パフォーマンス
可用性、キャパシティ、パフォーマンスの管理は、サービスが直面する需要に対して、使え、十分な大きさがあり、十分に速い状態を保ちます。目標が利用者のニーズから導かれ、リスクが冗長性とテストによって設計から取り除かれ、予測が信頼されるのではなく現実と照らして確認されるときに機能します。
なぜ重要か
利用者は、何よりもまず三つのことでサービスを判断します。使えるか、多くの人が使っても耐えられるか、速いか。これらのどれかの失敗は、失われた仕事、放棄された購入、怒りの電話として現れます。それでも、この三つは、悪い日が来るまで放置されがちです。トラフィックが倍になる公開、最後の一時間に全員をシステムへ向かわせる締め切り、すべてが依存していることに誰も気づかなかった単一のコンポーネントの故障。
これらのプラクティスは、悪い日を事前に考えることで、それを避けるために存在します。サービスがどれだけの障害に耐えられ、それにいくらかかるか、どれだけの需要を扱わなければならず、その需要がどう増えるか、どれだけ速く応答すべきかを問います。答えは、冗長性のような設計上の選択、利用者より先に限界を見つけるテスト、確認され更新される予測で出されます。
ITIL 4は、三つの関連するプラクティスを説明しています。可用性管理、キャパシティとパフォーマンスの管理、そして密接に関連するサービス継続性管理(トピック 3.12 — サービス継続性管理)です。エンジニアリングチームは、これらを、SLOとエラーバジェットを使う(トピック 2.6 — サイト信頼性エンジニアリング)信頼性エンジニアリング、パフォーマンスエンジニアリング、キャパシティ計画として出会います。このトピックは、これらの考え方をまとめ、金メッキをせずに使う方法を説明します。可用性が高いほど常に良いわけではなく、追加の9ごとにコストがかかります。サービスレベル管理(トピック 3.7 — サービスレベル管理)と監視(トピック 3.10 — 監視とイベント管理)につながります。
中核となる概念
可用性。 サービスが、必要なときに合意された機能を果たす能力です。Wikipediaは、可用性を、システムが機能している時間の割合と説明しています。通常は、月に99.9パーセントのように、ある期間にわたる割合として表され、それは約43分の停止を許容します。数字は、利用者にとって「機能している」が何を意味するかを定義して初めて意味を持ちます。
信頼性と保守性。 信頼性は、サービスが故障なく動く長さであり、保守性は、復旧できる速さです。可用性は両方に依存します。Wikipediaの信頼性工学と平均故障間隔(MTBF)の記事が、これらの指標を説明しています。現代の多くのサービスでは、まれな故障よりも、素早い復旧のほうが達成しやすいです。
冗長性と単一障害点。 冗長性とは、ひとつの故障がサービスを止めないよう、予備のコンポーネントを持つことです。単一障害点とは、その故障がすべてを止めるコンポーネントです。Wikipediaの冗長性と単一障害点の記事が、その考え方を説明しています。人、サプライヤー、期限切れになる証明書を含む単一障害点を見つけることは、可用性の中核の作業です。
耐障害性と段階的な縮退。 耐障害性のあるシステムは、部品が故障しても動き続けます。段階的に縮退するシステムは、一部の機能を失っても、核を保ちます。たとえば、ショッピングサイトは推奨機能を無効にしても、注文は処理できます。完全な耐障害性がコストに見合わないなら、後者を目指して設計します。
フェイルオーバー。 主系が故障したときに、待機系のコンポーネントに切り替えることです。テストしなければなりません。テストされていないフェイルオーバーは、必要なときに失敗することが多いです。トピック 3.12 — サービス継続性管理を参照してください。
キャパシティ。 サービスが提供できる最大のスループットです。キャパシティ管理は、現在と将来の需要を、合意されたコストで満たすのに、十分で、必要以上には多くないキャパシティがあるようにします。Wikipediaのキャパシティ計画の記事が説明しています。
需要。 サービスにかかる負荷です。利用者、リクエスト、データ量。需要は時間、日、季節、イベントによって変わり、公開、キャンペーン、外部のイベントの影響を受けます。平均より、パターンを理解することが重要です。
スケーラビリティとオートスケーリング。 リソースを追加してより多くの負荷を扱う能力です。クラウドプラットフォームでは、負荷が上がるとキャパシティを追加する自動スケーリングが使えます。助けにはなりますが、計画の必要をなくしません。限界があり、お金がかかり、スケールできないデータベースを直しません。トピック 4.5 — 財務管理とFinOpsを参照してください。
パフォーマンス。 サービスがどれだけ素早く、効率的に応答するかです。一般的な指標は、レイテンシー(リクエストにかかる時間)、スループット(扱われるリクエストの数)、エラー率です。Wikipediaがエンジニアリングにおけるレイテンシーを説明しています。利用者は遅い尾を感じ取るので、平均だけでなく、95番目のようなパーセンタイルを見てください。トピック 3.7 — サービスレベル管理を参照してください。
待ち行列と飽和。 システムが完全な利用に近づくと、待ち時間は急激に増えます。Wikipediaが説明する待ち行列理論は、キャパシティの95パーセントで動くサービスが、60パーセントで動くものとなぜ大きく違うかを説明します。余裕を残してください。
パフォーマンスエンジニアリングとテスト。 パフォーマンスを、最後だけでなく開発の全体を通じて設計しテストすることです。負荷テストは想定される需要を加え、ストレステストはそれを超えて押し、限界点を見つけます。Wikipediaが両方を説明しています。現実的なデータを使い、本番に似た環境でテストします。
予測。 履歴、既知のイベント、成長から将来の需要を見積もることです。Wikipediaが予測の手法を説明しています。予測は不確かです。前提を記録し、範囲を示し、予測を実際に起きたことと比べます。トピック 7.5 — 予測分析と予測を参照してください。
コストのトレードオフ。 可用性やキャパシティの引き上げには、それぞれお金がかかります。適切な水準は、障害や遅さが事業に与えるコストに左右されます。トレードオフを、費用を負担する人々と明示し、書き留めます。
レンズはどう当てはまるか。 アジャイルのプラクティスは、信頼性の仕事をバックログの一部として扱い、早く頻繁にテストします。AIは、レビューのもとで、異常の検知と予測を支えられます。自動化は、リソースをスケールさせ、フェイルオーバーします。アナリティクスは、三つのプラクティスすべてのデータを提供します。
ベストプラクティス
- 可用性の目標を利用者のニーズから設定する。 サービスが一時間、一日、一週間止まったら何が起きるかを問います。それに合った目標とコストを設定します。「利用可能」の定義を利用者の視点から書きます。
- 単一障害点を見つける。 重要なサービスのコンポーネントと依存関係をマッピングし、それぞれが故障したら何が起きるかを問います。証明書、ライセンス、人、サプライヤーも含めます。
- 故障を前提に設計する。 コストが正当化できるところでは冗長性を使い、コンポーネントが独立して故障するようにし、核を守るために何を止めてよいかを決めます。
- フェイルオーバーと復旧をテストする。 安全な環境でフェイルオーバーをリハーサルし、かかる時間を記録します。リハーサルで明らかになったものを直します。
- 需要のパターンを知る。 時間、日、季節ごとの負荷データを集め、公開や締め切りのような今後の既知のイベントを一覧にします。平均ではなくピークを計画します。
- 余裕を残す。 重要なコンポーネントを、満杯に近い状態で動かしてはいけません。行動する時間を残して警告するアラートのしきい値を設定します。
- 利用者より先にパフォーマンスをテストする。 大きなリリースの前や既知のピークの前に、現実的なシナリオに対して負荷テストとストレステストを行います。システムがどこで壊れるかを学びます。
- 予測し、確認する。 前提とともに予測を作り、実績と照らして定期的にレビューし、調整します。単一の数字ではなく、範囲を共有します。
- 尾を見る。 パーセンタイルのレイテンシーとエラー率を報告し、最も遅いリクエストを調べます。平均は、運の悪い利用者の体験を隠します。
- コストとリスクを公然と天秤にかける。 可用性とキャパシティの各水準のコストをオーナーに示し、決定とその決定者を記録します。
チームで話し合うための問い
このサービスが一時間止まったら、利用者は何を失い、私たちの目標はそれに合っているか。 これは目標を影響に結び付けます。利用者によって答えが異なると予想できます。実際の例を求めてください。さらに掘り下げるために、コストを添えて目標を書き、顧客と確認します。
機械ではないものも含めて、私たちの単一障害点は何か。 重要なサービスひとつについて、依存関係を描いてください。驚きが予想されます。誰も追跡していない証明書、ひとりのエンジニア、バックアップのないサプライヤー。さらに掘り下げるために、減らすものをひとつ選びます。
最後にフェイルオーバーをテストしたのはいつで、何が起きたか。 日付と結果を尋ねてください。「一度もない」あるいは「テスト環境ではうまくいった」が予想されます。さらに掘り下げるために、復旧時間の目標を明示したリハーサルを計画します。
このサービスにとって一年で最も忙しい時間はいつで、私たちは備えているか。 締め切り、公開、セールを考えてください。前回何が起きたかを尋ねます。さらに掘り下げるために、次のピークに向けた負荷テストを計画します。
直近三回のキャパシティ予測は、どれくらい正確だったか。 これは学習を試す問いです。誰も確認していないと予想できます。予測を実績と比べてください。さらに掘り下げるために、レビューのサイクルを合意し、前提を記録します。
AIは、需要の予測や問題の早期検知にどう役立ち、それが誤っていることをどう知るか。 AIはテレメトリのパターンを見つけられます。ノイズに合わせすぎることもあります。誰が所有し、何と比較されるかを尋ねてください。さらに掘り下げるために、一四半期、既存の方法と並行してAIの予測を走らせます。
実践:サービスマネジメントの例
ある国の学生ローン機関は、申請ポータルを運用しています。一年の大半は、一日に数千人の利用者を扱います。年次の申請締め切りの前の最後の二日間は、その百倍をはるかに超える数を扱います。二年前は最終日の夜にクラッシュし、昨年は緊急のスケーリングと一晩の残業で乗り切りました。
サービスオーナーは、次の締め切りのずっと前の一月から始めます。過去三年間の、時間ごとのトラフィックデータを求め、一貫した形を見つけます。最後の一週間の緩やかな上昇、最終日の急な上昇、最後の三時間のピーク。彼女はチームに単一障害点の特定を求めます。ポータルは、固定のレート制限を持つサプライヤーが運用する本人確認サービスに依存しており、それが想定されるピークの約半分にスループットを制限してしまうことが分かります。
チームは三つのことを行います。サプライヤーとより高いレート制限を交渉し、最後の一週間の一時的な引き上げを得ます。三月と六月に、前年のパターンに30パーセントを加えた負荷テストを実施し、想定されるピークの約70パーセントでデータベースがボトルネックになることを見つけ、リードレプリカの追加と、高コストのクエリのいくつかのキャッシュで直します。そして縮退モードを準備します。最終日に、負荷がしきい値を超えたら、貯蓄の計算機のような必須でない機能をオフにします。
締め切りの日、ポータルはピークを処理します。本人確認サービスは最も忙しい時間に遅くなりますが、故障せず、縮退モードは一度、40分間作動します。何が変わったか。停止も残業の危機もありませんでした。何がまだ難しいか。サプライヤーの制限は、毎年リセットされる契約上の事項です。30パーセントの増加という予測は前提であり、実際の増加は22パーセントだったので、チームは使いすぎたかもしれません。リージョン全体の障害は誰もテストしておらず、それは依然としてサービスを止めるでしょう。オーナーはこれらを来年の計画に記録しました。
四つの視点
プロダクトとデリバリーのチーム
故障と負荷を前提に設計しましょう。コンポーネントを独立させ、作りながらパフォーマンスをテストし、限界を知ります。縮退モードとレート制限を設計に含めてください。
サービスと運用のチーム
需要のパターンとキャパシティの余裕を把握しましょう。フェイルオーバーをリハーサルし、遅い尾を見守り、傾向を早めに警告します。依存関係の地図を最新に保ってください。
リーダーシップとガバナンス
コストとリスクを見ながら可用性とキャパシティの水準を決め、その裏づけとなる証拠を求めましょう。機器だけでなく、テストとリハーサルに資金を出します。既知のピークに注意してください。
顧客とユーザー
最も忙しい時期と、障害が自分にとってどんなコストになるかを提供者に伝えましょう。どの水準の可用性が計画され、未達のときに何が起きるかを尋ねてください。
アジャイル、AI、自動化、アナリティクス
アジャイル
信頼性とパフォーマンスの仕事をバックログに含め、パイプラインで早く頻繁にテストし、各インシデントとピークから学びます。注意:信頼性を「後で」に回すと、最悪のときに表面化する負債が積み上がります。
AI
AIは、異常の検知、履歴とイベントからの需要の予測、スケーリング行動の提案ができ、コストとリスクの決定はオーナーと人が行います。注意:通常の日で訓練されたモデルは、前例のないイベントで失敗しえます。単純なベースラインと比べ、人に説明責任を持たせてください。トピック 5.2 — AIOpsを参照してください。
自動化
スケーリング、フェイルオーバー、ヘルスチェック、パイプラインでの負荷テストを、制限とログとともに自動化します。注意:オートスケーリングはコストを膨らませたり、欠陥のあるリリースを隠したりしえます。予算とアラートを設定し、スケーリングのルールをテストしてください。トピック 6.6 — ランブック自動化と自動修復を参照してください。
アナリティクス
需要、利用率、レイテンシーのパーセンタイル、エラー率、予測の精度を収集します。注意:利用率の目標は、負荷を動かすことで操作されえ、平均は遅い尾を隠します。利用者体験のデータで確認してください。トピック 7.5 — 予測分析と予測と『サービスマネジメント指標』を参照してください。
よくある失敗パターン
- 習慣から来る目標。 理由なく「ファイブナイン」が約束されます。利用者のニーズとコストから目標を設定しましょう。
- 隠れた単一障害点。 証明書や人がすべてを止めます。依存関係を広くマッピングしましょう。
- テストされていないフェイルオーバー。 必要なときに失敗します。定期的にリハーサルしましょう。
- 平均のための計画。 ピークがシステムを圧倒します。既知のピークに備え、余裕を残しましょう。
- 確認されない予測。 誤りが繰り返されます。予測を実績と比べましょう。
- 万能薬としてのオートスケーリング。 コストとボトルネックは残ります。限界をテストし、予算を設定しましょう。
- 平均だけ。 遅い尾が無視されます。パーセンタイルを報告しましょう。
成熟度モデル
| 観点 | 開始 | 発展 | 標準化 | 管理 | オーケストレーション |
|---|---|---|---|---|---|
| 可用性 | 事後対応型 | 主要なサービスに目標がある | 目標、冗長性、テストされたフェイルオーバーがある | 可用性が利用者体験に照らして測定される | 可用性がサービスやサプライヤーをまたいで設計・管理される |
| キャパシティ | 尽きたら追加する | 基本的な監視 | 需要のパターンが分かり、前提とともに予測される | 予測の精度がレビューされる | キャパシティが、監督のもとで自動的に計画・調整される |
| パフォーマンス | 苦情のみ | 一部の指標がある | パーセンタイルの目標と、リリース前の負荷テストがある | パフォーマンスの傾向と退行が追跡される | パフォーマンスがライフサイクル全体でエンジニアリングされる |
| コストの認識 | 不明 | おおよそ分かっている | トレードオフがオーナーとともに文書化される | コストとリスクが定期的にレビューされる | コスト、リスク、信頼性が一体として最適化される |
チェックリスト
- 可用性の目標が、利用者のニーズとコストに基づき、明確な定義とともにある。
- 重要なサービスの単一障害点がマッピングされ、追跡されている。
- フェイルオーバーをリハーサルし、時間を測った。
- 需要のパターンと今後のピークを知っている。
- 大きなリリースと既知のピークの前に負荷テストを実施する。
- 予測が前提を記録し、実績と照らして確認されている。
- パーセンタイルのレイテンシーとエラー率を報告している。
- コストとリスクのトレードオフが、オーナーとともに記録されている。
AIプロンプト
単一障害点を見つける。
Here is a description of how [service] works and what it depends on: [paste].
List each component and dependency, and for each one say what the description implies would happen if it failed, or "not stated". Mark candidate single points of failure and questions to ask. Do not assume redundancy that is not described.
List what you are unsure of.
需要のパターンを要約する。
Here is hourly request data for [period]: [paste summary or data].
Describe the daily, weekly, and seasonal patterns you can see, give the peak-to-average ratio, and list dates that look unusual. Do not forecast.
List what you are unsure of.
負荷テストの計画を下書きする。
Our service: [describe]. Expected peak: [number and pattern]. Known limits or concerns: [list].
Draft a test plan with scenarios, load levels, what to measure, what would make us stop, and risks of testing. Specify that it is run only in a safe environment.
List what you are unsure of.
AIスキル
- capacity-planning: 需要を予測し、リソースを計画するときに使います。
- load-testing: 負荷テストを設計し、実施するときに使います。
- performance-testing: 速度と応答性を調べるときに使います。
- demand-forecasting: 不確かさを明示して将来の需要を見積もるときに使います。
- chaos-testing: 障害がどう広がるかをテストするときに使います。
主要な情報源
- Betsy Beyer and others (eds.), Site Reliability Engineering (2016): 過負荷の処理とロードバランシングの章。sre.googleで無料で読めます。
- PeopleCert, ITIL certification pages: 可用性とキャパシティのプラクティスについての所有者の説明。
- Wikipedia, "High availability" and "Capacity planning": 主要な考え方の概観。
- Wikipedia, "Queueing theory": 待ちと飽和の背後にある数学。
参考文献
- Availability — Wikipedia — https://en.wikipedia.org/wiki/Availability
- High availability — Wikipedia — https://en.wikipedia.org/wiki/High_availability
- Capacity planning — Wikipedia — https://en.wikipedia.org/wiki/Capacity_planning
- Reliability engineering — Wikipedia — https://en.wikipedia.org/wiki/Reliability_engineering
- Mean time between failures — Wikipedia — https://en.wikipedia.org/wiki/Mean_time_between_failures
- Single point of failure — Wikipedia — https://en.wikipedia.org/wiki/Single_point_of_failure
- Redundancy (engineering) — Wikipedia — https://en.wikipedia.org/wiki/Redundancy_(engineering)
- Load testing — Wikipedia — https://en.wikipedia.org/wiki/Load_testing
- Queueing theory — Wikipedia — https://en.wikipedia.org/wiki/Queueing_theory
- Forecasting — Wikipedia — https://en.wikipedia.org/wiki/Forecasting
- Site Reliability Engineering: How Google Runs Production Systems — Google — https://sre.google/sre-book/table-of-contents/