オブザーバビリティとテレメトリ
オブザーバビリティとは、稼働中のシステムに新しい問いを投げかけ、それが発するデータ、つまり一貫した文脈を伴うメトリクス、ログ、トレースから答えを得る能力です。テレメトリが設計に組み込まれ、オープンな形式で標準化され、負担できるコストに保たれ、機械の健全性だけでなく、利用者体験を理解するために使われるときに成果を出します。
なぜ重要か
監視は、あらかじめ考えておいた問いに答えます。サービスは動いているか。ディスクはいっぱいではないか。レイテンシーは2秒を超えていないか。それらは良い問いであり、以前に見た障害を捉えます。しかし、現代のサービスは新しい形で故障します。あるコンポーネントの変更が、別のコンポーネントのリクエストを遅くする。ひとりの顧客の変わったデータが、まれな経路を引き起こす。三層下の依存先が劣化し、誰もそのためのダッシュボードを持っていない。
新しい障害が来たとき、チームは誰も予想しなかった問いを立てる必要があります。どのリクエストが遅いのか、どの利用者にとって、どのサービスを通って、どのリリース以来か。システムが豊かで、つながったデータを発していれば、チームは手がかりをたどれます。そうでなければ、推測し、ログを追加し、再デプロイし、障害が再び起きるのを待ちます。Wikipediaは、ソフトウェアにおけるオブザーバビリティを、制御理論から借りた考え方である、外部への出力からシステムの内部状態を理解する能力と説明しています。
実践的な仕事はテレメトリ、つまりシステムが自分自身について発するデータにあります。良いテレメトリは、設計され、一貫し、つながっているため、利用者の苦情をリクエストに、リクエストをそれが触れたサービスに、遅さを特定の呼び出しに、たどれます。このトピックは、主なテレメトリの種類、それらをポータブルにする標準、それに伴うコストとリスクを説明します。監視(トピック 3.10 — 監視とイベント管理)を土台とし、SRE(トピック 2.6 — サイト信頼性エンジニアリング)、AIOps(トピック 5.2 — AIOps)、データガバナンス(トピック 7.2 — データ基盤とデータガバナンス)につながります。
中核となる概念
テレメトリ。 システムから収集され、調べられる場所へ送られるデータです。Wikipediaがテレメトリを一般に説明しています。ソフトウェアでは、主なシグナルはメトリクス、ログ、トレースで、プロファイルやイベントのような新しいものもあります。
メトリクス。 リクエスト率、エラー率、レイテンシー、メモリ使用量、キューの深さのような、時間にわたって測定された数値です。メトリクスは保存が安く、傾向、アラート、ダッシュボードに向いています。要約するため、個々のリクエストの詳細は失われます。Wikipediaが説明する時系列データベースが効率的に保存し、Prometheusは広く使われているオープンソースの例です。
ログ。 エラーメッセージや完了したトランザクションのような、個別の出来事のタイムスタンプ付きの記録です。Wikipediaがコンピューティングにおけるログ記録を説明しています。ログは詳細を保持しますが、量が多く、保存と検索に費用がかかります。自由記述ではなく、名前の付いた一貫した項目を持つ構造化ログは、クエリしやすく、他のシグナルと結び付けやすいです。
トレース。 分散システムの各部分を通る、ひとつのリクエストの経路の記録で、どのサービスを通り、それぞれにどれくらいかかったかを示します。Wikipediaがソフトウェアにおけるトレースを説明しています。トレースは、Wikipediaが同じく説明するマイクロサービスのような、多くのサービスからなるシステムで、「時間はどこに消えたか」に答えます。
文脈と相関。 三つのシグナルを合わせて強力にするのは、共有された文脈です。ログの行をトレースと利用者のリクエストに結び付ける識別子と、あらゆるものについたサービス、バージョン、環境といったラベル。共有された文脈がなければ、三つのデータの山があるだけです。あれば、メトリクスの遅いリクエストから、トレース、それを説明するログの行へと移れます。
計装。 テレメトリを生むコードを追加することです。Wikipediaがプログラミングにおける計装を説明しています。ライブラリやエージェントを通じて自動で行うことも、「注文が行われた」のように事業にとって重要なシグナルを開発者が加えることもできます。機械が何をするかだけでなく、利用者が何をするかを計装してください。
OpenTelemetryとオープンな標準。 OpenTelemetryは、Wikipediaが説明するCloud Native Computing Foundationのもとにあるオープンソースのプロジェクトで、保存し分析するツールとは独立に、メトリクス、ログ、トレースを発するための共通の形式とツールを提供します。現在の状態は、プロジェクト自身のサイトを確認してください。狙いは、テレメトリを一度収集して、互換性のある任意のバックエンドに送れるようにし、ロックインを減らすことです。Wikipediaがオープンな標準とベンダーロックインを一般的な言葉で説明しています。トピック 3.14 — サプライヤー管理を参照してください。
監視とオブザーバビリティ。 監視は既知の状態を見守ってアラートを出し、オブザーバビリティは未知の状態を探索することを支えます。両者は補完的です。アラートは何かが誤っていることを教え、探索はなぜかを教えます。トピック 3.10 — 監視とイベント管理を参照してください。
テレメトリからのサービスレベル指標。 ある時間内に成功するリクエストの割合のようなSLIは、テレメトリから計算されます。利用者の視点から定義し、利用者のリクエストがシステムに入る場所で測ります。トピック 2.6 — サイト信頼性エンジニアリングと、Wikipediaのサービスレベル目標の記事を参照してください。
利用者と事業のテレメトリ。 Wikipediaが説明する実ユーザー監視と合成監視は、ページの読み込み時間、旅路の成功、ブラウザやアプリでのエラーなど、体験を外から示します。サインアップや支払いのような事業のイベントは、技術的な健全性を成果に結び付けます。トピック 7.7 — 体験とセンチメントの分析を参照してください。
カーディナリティとコスト。 カーディナリティは、ラベルの異なる値の数です。利用者の識別子でラベル付けされたメトリクスは、膨大なカーディナリティを持ち、メトリクスの保管先を圧倒しえます。Wikipediaがデータモデリングにおけるカーディナリティを説明しています。テレメトリの量はトラフィックと詳細さとともに増え、保存と処理のコストも増えます。何を完全な詳細で保ち、何をサンプリングし、何を集計するかを決めます。
サンプリング。 トレースやログの一部だけを保つことです。Wikipediaが統計におけるサンプリングを説明しています。サンプリングはコストを減らしますが、まれな事象を隠しえます。すべてのエラーと遅いリクエストを保ち、通常のものをサンプリングすることを検討します。
保持。 テレメトリをどれだけ保つかです。高い詳細度のデータは短く、集計はより長く保ちます。保持は、コスト、調査、プライバシーに影響します。トピック 7.2 — データ基盤とデータガバナンスを参照してください。
テレメトリにおけるプライバシーとセキュリティ。 ログとトレースには、偶然にも意図的にも、個人データ、認証情報、秘密が含まれえます。Wikipediaが個人データを説明しています。機微な項目は情報源で消去するか避け、アクセスを制御し、保持を設定します。テレメトリはセキュリティのデータ源でもあります。トピック 3.13 — 情報セキュリティ管理を参照してください。
AIのオブザーバビリティ。 AIシステムには、独自のテレメトリが必要です。入力、出力、レイテンシー、コスト、エラーと拒否の率、利用者のフィードバック、ドリフトのシグナル。記録されるデータに注意しつつ、誤った答えを調べるのに十分なものを記録します。トピック 5.1 — サービスマネジメントにおけるAIを参照してください。
プラットフォームとオーナーシップ。 多くの組織は、命名、ラベル付け、保持の標準を持つ共有のテレメトリプラットフォームと、自分たちのサービスからのシグナルを所有するチームを運用しています。プラットフォームチームがツールと指針を提供し、サービスチームが自分たちが発するものと、その使い方を所有します。
レンズはどう当てはまるか。 オブザーバビリティは、アナリティクスとAIOpsのデータの土台です。アジャイルのプラクティスは、計装を完了の定義の一部として扱います。自動化は、テレメトリを使ってスケールし、修復します。
ベストプラクティス
- 作りながら計装する。 テレメトリを機能の一部として扱います。完了の定義に含め、設計とともにレビューします。
- 名前と文脈を標準化する。 サービス名、ラベルの集合、単位、すべてのサービスを通じて運ばれるリクエストの識別子に合意します。文書化し、パイプラインで確認します。
- 構造化ログを出す。 名前の付いた一貫した項目を使い、リクエストの識別子を含め、メッセージを短く保ちます。秘密や不要な個人データを記録しないようにします。
- 重要な経路をトレースする。 主要な利用者の旅路と、サービス間の呼び出しを計装し、キューや外部呼び出しを含め、すべてのホップを通じて文脈を伝播します。
- 利用者の視点からインジケーターを定義する。 利用者との接点でテレメトリからSLIを計算し、利用者が来た目的を達成したかを示す事業イベントを加えます。
- オープンな形式を使う。 再計装なしにバックエンドを変えられるよう、テレメトリを発するのにオープンな標準を好みます。自分たちのプラットフォームでの対応を確認します。
- コストを意図して統制する。 テレメトリの予算を設定し、カーディナリティの高いラベルを避け、通常のトラフィックをサンプリングし、エラーと遅いリクエストを保ち、保持を階層化します。
- テレメトリを守る。 機微なデータを情報源で消去し、アクセスを制限し、保持のルールを適用します。テレメトリの保管先へのアクセスを監視します。
- 使いやすくする。 チームに、共有のダッシュボード、保存したクエリ、調査の仕方の研修を提供します。アラートを、関連するテレメトリとランブックにリンクします。
- インシデントの後にテレメトリをレビューする。 インシデント中に何が見えなかったかを問い、加えます。誰も使わないシグナルは取り除きます。
チームで話し合うための問い
直近のインシデントで、知りたかったのに分からなかったことは何か。 対応者に尋ねます。トレース、文脈、利用者レベルのデータにギャップが予想されます。さらに掘り下げるために、ギャップをひとつ選び、シグナルを加えます。
ひとりの利用者のリクエストを、それが触れるすべてのサービスを通じて追えるか。 実際のリクエストで試します。キューや外部呼び出しで途切れることが予想されます。さらに掘り下げるために、最初の途切れ目を通じて識別子を伝播します。
私たちがログに記録しているべきでないものは何で、記録すべきなのにしていないものは何か。 ログのサンプルを見ます。秘密、個人データ、ノイズが予想されます。さらに掘り下げるために、ルールと消去を合意します。
私たちはテレメトリにいくら使い、何を得ているか。 数字と最大の発生源を求めます。驚きが予想されます。さらに掘り下げるために、最も高価で、最も使われないシグナルを選び、削減またはサンプリングします。
私たちは現在のテレメトリツールにどれだけ縛られていて、変更には何が要るか。 見積もります。「たくさん」が予想されます。さらに掘り下げるために、オープンな標準で計装するサービスをひとつ選びます。
私たちのAI機能はどんなテレメトリを生み、そこから誤った答えを調べられるか。 尋ねてください。最小限の記録が予想されます。さらに掘り下げるために、プライバシーの制限のもとで何を記録するかを合意し、調査を試します。
実践:サービスマネジメントの例
ある国の気象サービスの公開APIは、八つの内部サービスを通じて、一日に数百万のリクエストを処理しています。利用者は、特定の地点で時折応答が遅いと不満を述べます。監視は、APIが平均ではレイテンシー目標内にあることを示し、各サービスも単独では健全に見えます。オンコールのエンジニアは、二日間その問題を追いかけます。
プラットフォームチームは、OpenTelemetryによる計装へ移行しているところです。APIのゲートウェイと八つのうち四つのサービスで、リクエストがトレース識別子を運び、各サービスがタイミング付きのスパンを記録します。トレースがあれば、エンジニアは先週の遅いリクエストを絞り込み、ほぼすべてが同じ呼び出しを通ることを確認します。名前に変わった文字を持つ地点のための地理データサービスでの検索で、通常の十倍かかっています。残りの四つのサービスはまだ計装されていませんが、ギャップは手作業で調べられるほど狭くなっています。原因はそれらのクエリのためのデータベースのインデックスの欠落で、修正には一時間かかります。
チームはコストをレビューします。テレメトリの支出は六か月で40パーセント増えており、主に、数十万の値を持つ、依頼された地点を含むメトリクスのラベルによるものです。彼らはそのラベルを取り除き、地点をトレースとログに保ち、通常のトレースの5パーセントをサンプリングしつつ、すべてのエラーと遅いリクエストを保ちます。プライバシーの責任者が、IPアドレスは一部の法域では個人データに当たると指摘した後、24時間後にログからIPアドレスを消去します。
チームはまた、事業のシグナルを加えます。空の結果を返したAPI呼び出しの数で、過去に利用者が「データなし」と報告したものです。それは、各モデルの更新の後にあるパターンを示します。
何が変わったか。調査は数日ではなく数時間で済み、コストは三分の一減りました。何がまだ難しいか。四つのサービスには、まだトレースがなく、そのうち二つは別の機関が所有しています。サンプリングのルールは、すでにサンプリングされなかったトラフィックにしか現れず、ログで見つかった、まれなエラーを隠しました。エンジニアがトレースツールをうまく使うには練習が必要です。チームは研修のセッションを予定し、エラーのあるトレースをすべて保つというルールを設けました。
四つの視点
プロダクトとデリバリーのチーム
テレメトリを機能に組み込みましょう。一貫した名前、リクエストの識別子、構造化ログ、重要な経路のスパン、事業イベント。シグナルに秘密を入れないようにし、設計の中でテレメトリをレビューしてください。
サービスと運用のチーム
テレメトリを、アラートだけでなく調査に使いましょう。ダッシュボード、クエリ、ランブックをリンクした状態に保ち、見えなかったものを開発者に伝えます。テレメトリのコストと質を見守ってください。
リーダーシップとガバナンス
プラットフォーム、標準、研修に資金を出しましょう。テレメトリが調査を短くし、利用者体験を反映している証拠を求めます。予算とプライバシーのルールを設定し、オープンな標準を好んでください。
顧客とユーザー
提供者があなたの問題を素早く原因まで追跡できるとき、恩恵を受けます。問題を報告するときは、時刻と何をしたかなど、リクエストを見つける助けとなる詳細を伝えましょう。
アジャイル、AI、自動化、アナリティクス
アジャイル
機能ごとに小さな歩みで計装を加え、インシデントのたびに洗練します。ダッシュボードをチームとレビューし、誰も使わないものは取り除きます。注意:テレメトリを最後に後付けするとギャップが生じます。完了の定義に含めてください。
AI
AIは、トレースとログの要約、異常のグループ化、テレメトリに関する質問への回答ができ、オーナーとチェックを伴います。AI機能にも、独自のテレメトリが必要です。注意:AIの分析はデータの質と文脈に依存します。ラベルが悪ければ、結論も悪くなります。トピック 5.2 — AIOpsを参照してください。
自動化
ライブラリが許すところでは計装を自動化し、パイプラインで命名とラベルの標準を強制し、制限を伴って、スケールと修復にテレメトリを使います。注意:ノイズの多いテレメトリで引き起こされる自動化は、誤作動することがあります。しきい値をテストし、制限を加えてください。トピック 6.6 — ランブック自動化と自動修復を参照してください。
アナリティクス
SLI、傾向、キャパシティ、利用者体験、テレメトリ自体のコストにテレメトリを使います。注意:サンプリングと集計はデータが示せるものを変え、カーディナリティの高いラベルはシステムを歪めたり壊したりしえます。レポートで限界を記してください。トピック 7.1 — サービスマネジメントのためのアナリティクスと『サービスマネジメント指標』を参照してください。
よくある失敗パターン
- 三つのデータの山。 メトリクス、ログ、トレースを結び付けられません。識別子とラベルを共有しましょう。
- 後付けのテレメトリ。 インシデントでギャップが現れます。機能とともに計装しましょう。
- カーディナリティの高いラベル。 コストと性能が悪化します。ラベルを制限し、詳細はトレースとログに保ちましょう。
- ログの中の秘密と個人データ。 機微なデータが漏れます。情報源で消去し、アクセスを制御しましょう。
- ひとつのツールへのロックイン。 変更にコストがかかります。オープンな標準を使いましょう。
- すべてを永久に保持する。 コストが上がります。保持を階層化し、サンプリングしましょう。
- 誰も使わないダッシュボード。 労力が無駄になります。剪定し、判断にリンクしましょう。
成熟度モデル
| 観点 | 開始 | 発展 | 標準化 | 管理 | オーケストレーション |
|---|---|---|---|---|---|
| カバレッジ | インフラのメトリクス | 主要なサービスにメトリクスとログがある | 主要な旅路で共有の文脈を持つメトリクス、ログ、トレースがある | カバレッジがインシデントの後にレビューされる | カバレッジがサービスとサプライヤーをまたいで一貫している |
| 標準 | なし | 局所的な慣習 | 命名、ラベル、オープンな形式が合意されている | 標準がパイプラインで確認される | 標準が共有され、プラットフォームとともに進化する |
| コストと保持 | 管理されていない | 認識されている | 予算、サンプリング、階層化された保持がある | シグナルごとのコストと価値がレビューされる | コストと価値が継続的に最適化される |
| 保護 | 不明確 | 基本的なアクセス制御 | 消去、アクセス、保持のルールがある | コンプライアンスが監視される | 統制が収集と保管に組み込まれる |
チェックリスト
- テレメトリが完了の定義の一部になっている。
- 合意された名前、ラベル、単位と、サービスをまたいで運ばれるリクエストの識別子がある。
- ログが構造化され、秘密と不要な個人データがない。
- 主要な利用者の旅路が端から端までトレースされている。
- SLIが、利用者との接点でテレメトリから計算されている。
- テレメトリを発するのにオープンな形式を使っている。
- サンプリングと階層化された保持を伴うテレメトリの予算がある。
- 各インシデントの後に、見えなかったものをレビューしている。
AIプロンプト
インシデントからテレメトリのギャップを見つける。
Here is the timeline of an incident and notes on what responders tried to find out: [paste].
List each question the responders could not answer, what signal would have answered it (metric, log, trace, user data), and a question for the owning team. Do not assume any signal exists.
List what you are unsure of.
ログのサンプルを機微なデータについてレビューする。
Here is a sample of log lines from our service: [paste, already partially scrubbed].
List any content that looks like secrets, personal data, or internal details, quoting the exact text, and suggest categories of scrub rules. Do not guess whether any is real.
List what you are unsure of.
命名とラベルの標準を提案する。
Our services: [list]. Our environments: [list]. Our teams: [list]. What we want to be able to filter by: [list].
Draft a one-page standard for service names, label keys, allowed values, and request identifiers, with examples. Warn about labels that could have very many distinct values. Do not name a vendor.
List what you are unsure of.
AIスキル
- anomaly-analysis: テレメトリの異常なパターンを調べるときに使います。
- data-pipeline: テレメトリがどう動き、保存されるかを設計するときに使います。
- data-governance: プライバシー、保持、アクセスのルールを定めるときに使います。
- key-risk-indicators: 早期警戒のシグナルを選ぶときに使います。
- performance-testing: テレメトリでレイテンシーとキャパシティをテストするときに使います。
主要な情報源
- OpenTelemetry (opentelemetry.io): メトリクス、ログ、トレースのためのオープンな標準とツール。
- Charity Majors, Liz Fong-Jones, and George Miranda, Observability Engineering (2022): アプローチについての実践者向けの手引き。
- Betsy Beyer and others (eds.), Site Reliability Engineering (2016), chapter on monitoring, free at sre.google.
- Wikipedia, "Observability (software)" and "Telemetry": 考え方の概観。
参考文献
- Observability (software) — Wikipedia — https://en.wikipedia.org/wiki/Observability_(software)
- Telemetry — Wikipedia — https://en.wikipedia.org/wiki/Telemetry
- Logging (computing) — Wikipedia — https://en.wikipedia.org/wiki/Logging_(computing)
- Tracing (software) — Wikipedia — https://en.wikipedia.org/wiki/Tracing_(software)
- Time series database — Wikipedia — https://en.wikipedia.org/wiki/Time_series_database
- Prometheus (software) — Wikipedia — https://en.wikipedia.org/wiki/Prometheus_(software)
- Cloud Native Computing Foundation — Wikipedia — https://en.wikipedia.org/wiki/Cloud_Native_Computing_Foundation
- Instrumentation (computer programming) — Wikipedia — https://en.wikipedia.org/wiki/Instrumentation_(computer_programming)
- Cardinality (data modeling) — Wikipedia — https://en.wikipedia.org/wiki/Cardinality_(data_modeling)
- Real user monitoring — Wikipedia — https://en.wikipedia.org/wiki/Real_user_monitoring
- Synthetic monitoring — Wikipedia — https://en.wikipedia.org/wiki/Synthetic_monitoring
- OpenTelemetry — Cloud Native Computing Foundation — https://opentelemetry.io