パイプラインと自動化された変更
デリバリーのパイプラインは、変更実現が必要とする統制、つまりテスト、セキュリティチェック、ポリシーチェック、ピアレビュー、職務の分離、あらゆる変更の証拠の記録を担えます。残る人による承認は、パイプラインにはできない判断のためのものです。
なぜ重要か
変更がまれで大きかったとき、統制とは会議を意味しました。人々が集まり、文書を読み、リリースを進めてよいと合意しました。変更が頻繁で小さくなると、会議は規模に対応できなくなりました。一日に20回リリースするチームは、20回の委員会を招集できません。しかし、同じチェックの集合を、一貫した厳格さで20回実行し、それぞれの記録を残すことはできます。
それが、パイプラインがサービスマネジメントにもたらすものです。変更をビルドしデプロイするのと同じ自動化されたシーケンスが、変更をテストし、弱点をスキャンし、ポリシーに照らしてチェックし、第二のレビュアーを求め、何が起きたかを書き留められます。その結果は、会議が提供したものよりしばしば優れた統制です。一貫していて、実際の変更に結び付き、ずっと後になっても監査人が利用できます。Wikipediaは、継続的デリバリーとテスト自動化を、これを可能にするプラクティスとして説明しています。
パイプラインはまた、統治すべき新しいものでもあります。本番を変更できる認証情報を持ち、チェックを飛ばすよう誤設定されえ、ほとんど何もテストしない緑のチェックマークを信じさせてチームを油断させかねません。このトピックは、統制としてのパイプラインの設計、監査人のための証拠の生み出し方、自動化では置き換えられない人の判断を保つ方法を説明します。継続的デリバリー(トピック 2.2 — 継続的デリバリー)と変更実現(トピック 3.4 — 変更実現)を土台とし、コードとしてのインフラ(トピック 6.3 — コードとしてのインフラとGitOps)とリリース管理(トピック 3.5 — リリースとデプロイメント管理)につながり、情報セキュリティ(トピック 3.13 — 情報セキュリティ管理)と関心を共有します。
中核となる概念
パイプライン。 変更をソースコードから本番に運ぶ、自動化された段階のシーケンスです。ビルド、テスト、スキャン、パッケージ化、デプロイ、検証。Wikipediaがソフトウェアにおけるパイプラインを説明しています。各段階は合格か不合格のどちらかで、不合格は変更を止めます。パイプラインはコードとして定義され、バージョン管理に保存されます。
継続的インテグレーションとデリバリー。 トピック 2.2 — 継続的デリバリーで説明するように、頻繁に変更をマージし、すべてのビルドをリリース可能に保ちます。パイプラインは両方の仕組みです。Wikipediaが継続的インテグレーションと継続的デリバリーを説明しています。
統制としての段階。 各段階は、目的を持つ統制です。
| 段階 | 提供する統制 |
|---|---|
| ビルド | 変更がコンパイルされ、再現可能にパッケージ化される |
| 単体テストと結合テスト | 既知の振る舞いが今も機能する |
| 静的解析とセキュリティスキャン | 一般的な欠陥と脆弱な依存関係が見つかる |
| ポリシーチェック | タグ付け、暗号化、承認済みのリージョンなどのルールが満たされる |
| ピアレビュー | 第二の人が変更を読んだ |
| 段階的なデプロイと検証 | より広く露出する前に、安全な場所で変更が機能する |
品質ゲート。 テストの合格、重大な脆弱性なし、カバレッジが下がらない、など、変更が進むために満たさなければならない条件です。Wikipediaが、より広く品質管理を説明しています。ゲートは、少なく、明確で、速くあるべきです。頻繁にオーバーライドされたり無視されたりするゲートは、チームにゲートを無視することを教えます。
自動テスト。 単体テスト、結合テスト、エンドツーエンドのテストを、すべての変更で実行します。Wikipediaがテスト自動化、単体テスト、結合テストを説明しています。価値は、どれだけ信頼できるかにあります。不安定なテストは信頼を損ないます。トピック 2.2 — 継続的デリバリーを参照してください。
セキュリティスキャン。 静的解析は弱点のパターンのコードを調べ、ソフトウェア構成分析は、使っているライブラリの既知の脆弱性を調べます。Wikipediaが、静的アプリケーションセキュリティテストとソフトウェア構成分析の両方を説明しています。多くが低リスクか誤検知なので、指摘にはトリアージが必要です。
コードとしてのポリシー。 「ストレージバケットは公開してはならない」のように、機械でチェックできるコードとして書かれ、パイプラインで適用されるルールです。要件をテスト可能にし、結果を記録可能にします。トピック 6.3 — コードとしてのインフラとGitOpsを参照してください。
職務の分離。 変更を書く人が、唯一の承認者ではありません。Wikipediaが職務の分離を説明しています。パイプラインでは、第二のレビュアーを求め、作者が自分の変更を承認するのを防ぐことで強制されます。規制が求める場合、パイプラインは誰が何をしたかを示せます。
パイプラインにおける変更の種類。 定型的な構成の更新のような標準変更は、自動チェックだけで、手作業の承認なしに通過できます。リスクの高い通常の変更は、パイプラインに人による承認のステップを加えられます。緊急の変更は、同じ記録を伴って、同じパイプラインを高速モードで使います。トピック 3.4 — 変更実現を参照してください。
証拠。 パイプラインは、何が変更されたか(コミット)、誰がレビューしたか、どのチェックが実行されその結果はどうか、誰または何がデプロイしたか、いつかを記録します。Wikipediaが監査証跡を説明しています。証拠は、それに関わる人々が変更できない場所に保管され、変更ごとに簡単に取り出せるべきです。
ソフトウェアサプライチェーン。 パイプラインは他者が提供するコンポーネントからビルドし、他者のツールを使い、デプロイされる成果物を生みます。Wikipediaは、ソフトウェアサプライチェーンと、成果物がどこから来たかの検証可能な記録である来歴(プロビナンス)の考え方を説明しています。プラクティスには、バージョンの固定、成果物への署名、部品表の維持があります。トピック 4.2 — ソフトウェア資産管理を参照してください。
段階的なロールアウトと検証。 デプロイ後、パイプラインは健全性の指標を確認し、悪化すれば自動でロールバックできます。段階的なロールアウトやフィーチャーフラグのような技法は、トピック 3.5 — リリースとデプロイメント管理で説明しています。
パイプラインのセキュリティ。 パイプラインは本番にデプロイできるため、価値の高い標的です。保護してください。パイプラインの定義を変更できる人を制限し、短期の認証情報を使い、ビルド環境を隔離し、異常な活動を監視します。パイプラインへの変更を、本番への変更と同じ慎重さで扱います。
迂回と例外。 一部の変更は収まりません。データの修正、手作業のベンダーの行動。人々に迂回路を探させる代わりに、承認を伴う記録された例外の経路を定義します。例外を定期的にレビューします。
プロダクトとしてのパイプライン。 パイプラインには、オーナー、バックログ、ドキュメント、フィードバックを返す利用者が必要です。遅くて不安定なパイプラインは、人々にそれを避けることを教えます。
レンズはどう当てはまるか。 パイプラインは、アジャイルのレンズと自動化のレンズが、ガバナンスと出会う場所です。AIは、人のレビューのもとで、テストの提案、変更のレビュー、失敗の説明ができます。アナリティクスは、パイプラインのデータを使って、デリバリーと変更の質を示します。
ベストプラクティス
- 各段階を、名前の付いた統制として設計する。 各段階について、対処するリスク、オーナー、失敗が何を意味するかを書きます。実際のリスクに対処しない段階は取り除きます。
- パイプラインを速く保つ。 一般的な経路で、数分で結果が出ることを目指します。人々が近道を探さないよう、遅いチェックは並行して、あるいは後の段階で、明確なフィードバックとともに実行します。
- パイプラインを唯一の経路にする。 本番の変更はそれを通り、残りには記録された例外の経路があります。可能なところでは直接のアクセスを塞ぎます。
- 職務の分離をツールで強制する。 資格のある第二のレビュアーを求め、作者が自分の変更を承認するのを止め、両方のアイデンティティを記録します。
- 失敗を真剣に扱う。 失敗したテストやスキャンは変更を止めます。定型的なオーバーライドを許さず、必要なときは承認と記録された理由を求めます。
- セキュリティの指摘をトリアージする。 深刻度と露出でしきい値を設定し、深刻なものを直し、残りを追跡します。指摘が読まれるよう、ルールを調整してノイズを減らします。
- 証拠を自動的に記録する。 コミット、レビュアー、チェック、結果、成果物、デプロイの詳細を、変更の作者が編集できない保管先に取得します。変更記録に結び付けます。
- パイプライン自体を守る。 定義を変更できる人を制限し、最小の範囲の短期認証情報を使い、ツールと依存関係を固定し、成果物に署名します。
- デプロイ後に検証する。 健全性の指標を確認し、悪化したらロールバックまたは一時停止します。結果を同じ記録で報告します。
- パイプラインを定期的にレビューする。 どのチェックが本物の問題を捉え、どれが無視され、実行にどれだけ時間がかかり、どんな例外が起きるかを見ます。改善し、剪定します。
チームで話し合うための問い
私たちの変更の統制のうち、パイプラインが今日提供しているものはどれで、会議やフォームにまだ頼っているものはどれか。 統制を一覧にします。自動化できる手作業のものがあると予想できます。さらに掘り下げるために、パイプラインに移すものをひとつ選びます。
監査人が先月のひとつの変更の証拠を求めたら、何を見るか。 試してください。いくつかのシステムをつなぎ合わせることになると予想できます。さらに掘り下げるために、変更ごとのひとつの記録と、それを取り出す方法を合意します。
失敗したチェックを、人々はどれくらい頻繁にオーバーライドや迂回し、それはなぜか。 データを求めてください。誰が言うより多いと予想できます。さらに掘り下げるために、最もオーバーライドされるチェックを見て、直すか取り除きます。
パイプラインの定義を変更できるのは誰で、その変更を誰がレビューするか。 これはパイプラインのセキュリティを試す問いです。広いアクセスが予想されます。さらに掘り下げるために、アクセスを制限し、パイプラインの変更にレビューを求めます。
スキャナーの指摘のうち、私たちが読んでいるものはどれで、無視しているものはどれか。 エンジニアに尋ねてください。「ほとんど無視」が予想されます。さらに掘り下げるために、人々が行動する指摘に合わせてスキャナーを調整します。
パイプラインでAIが役立つのはどこで、人の判断に残らなければならないのは何か。 AIは、テストを提案し、失敗を要約し、コードをレビューできます。リスクと例外の承認は、人のものであり続けるべきです。さらに掘り下げるために、レビューを伴って、AIが提案したテストを試します。
実践:サービスマネジメントの例
ある国の社会保障機関は、約80のアプリケーションを運用しています。給付計算システムへの変更には、週次のレビュー委員会と長いフォームが必要で、リリースは月に一度です。監査室は、委員会がほぼすべてを承認し、個々の変更の証拠が散らばっていることを見つけます。機関のエンジニアは、パイプラインのほうがうまくやれると主張します。
デリバリーマネージャーは、ひとつのアプリケーションでパイロットを行います。パイプラインがアプリケーションをビルドし、1,800の単体テストと結合テスト、過去の欠陥から作った回帰テストの集合を実行し、コードとライブラリをスキャンし、インフラの定義をポリシーに照らしてチェックし、そのシステムで作業したことのある第二のエンジニアによるレビューを求めます。すべての実行が、コミット、レビュアー、テスト結果、スキャン結果、成果物の識別子、デプロイの詳細を、エンジニアが編集できないログに記録します。
変更のプロセスは三つの経路に再設計されます。テキストの更新や軽微な構成のような定型的な変更は標準です。パイプラインが通れば、変更はパイロットグループに、次に全員にデプロイされ、委員会はありません。給付計算のルールへの変更は通常で、加えて、平易な言葉の要約とテスト結果を見る政策アナリストによる承認が必要です。緊急の修正は、短縮したテストセットと事後のレビューを伴って、同じパイプラインを使います。
監査室は30件の変更のサンプルをレビューし、そのすべてで証拠が完全であること、パイプラインがチェックの失敗により四件の変更を止めたことを確認します。また、二人のエンジニアが互いの変更を繰り返し承認していたことに気づき、レビュアーをローテーションするルールを求めます。
何が変わったか。リリースは週次になり、委員会はルールの変更に集中し、監査人は任意の変更の証拠を数分で取り出せます。何がまだ難しいか。古いアプリケーションは自動テストを実行できないため、その変更は古い経路のままです。スキャナーは多くの低リスクのライブラリの問題に印を付け、エンジニアはレポートを無視し始めました。パイプライン自身の認証情報が、必要以上に広いアクセスを持っていると分かりました。マネージャーは、スキャナーの調整、レビュアーのローテーション、パイプラインの認証情報のレビューを加えました。
四つの視点
プロダクトとデリバリーのチーム
自分たちのサービスのパイプラインを所有しましょう。速く、信頼でき、何をチェックしているかに正直に保ちます。本物の障害を捉えるテストを書き、不安定なものを直し、指摘を仕事として扱います。迂回してはいけません。
サービスと運用のチーム
パイプラインが使うチェックと、デプロイ後の健全性の指標の定義を手伝いましょう。証拠をインシデントとレビューで使います。本当の緊急のための例外の経路を保ってください。
リーダーシップとガバナンス
会議を増やすのではなく、パイプラインからの証拠を求めましょう。テスト、スキャン、パイプラインのセキュリティに資金を出します。オーバーライドと例外をレビューしてください。緑のパイプラインを安全なシステムと取り違えてはいけません。
顧客とユーザー
頻繁で、より安全な変更から恩恵を受けます。自分に影響する重要な変更は知らされ、リリースの後の問題を報告できるべきです。
アジャイル、AI、自動化、アナリティクス
アジャイル
毎回同じチェックを通る、小さく頻繁な変更は、アジャイルな統制の実践的な形です。インシデントとフィードバックからパイプラインを改善します。注意:パイプラインを完成したものとして扱ってはいけません。システムが変わるにつれて、テストのギャップは広がります。
AI
AIは、人があらゆる判断に責任を持つ形で、テストの提案、変更のレビュー、失敗の要約、指摘のトリアージができます。注意:AIが生成したテストは、ほとんど何もテストせずに通ることがあり、AIのコードレビューはセキュリティの問題を見逃すことがあります。すり抜けた欠陥を測り、リスクには人のレビューを保ってください。トピック 5.4 — インシデント、ナレッジ、変更のための生成AIを参照してください。
自動化
パイプラインは、チェックと記録を含む、本番への道の自動化です。独自のアイデンティティ、最小権限、監視を備えた重要なインフラとして保護します。注意:弱いルールに基づく自動承認は、誤った安心感を与えます。各ルールが本当は何をチェックしているかをレビューしてください。トピック 6.1 — 自動化戦略を参照してください。
アナリティクス
リードタイム、デプロイ頻度、変更失敗率、復旧までの時間、オーバーライドの数、すり抜けた欠陥、深刻度別の指摘を追跡します。注意:デリバリーの指標は操作されやすく、チームの順位づけに使ってはいけません。すり抜けた欠陥を追跡して、チェックをテストしてください。『サービスマネジメント指標』とトピック 7.3 — 測定とレポートを参照してください。
よくある失敗パターン
- 緑は安全という思い込み。 テストが薄いまま通ります。各チェックが本当は何をテストしているかをレビューし、すり抜けた欠陥を追跡しましょう。
- 定型的なオーバーライド。 チェックが迂回されます。オーバーライドをまれで、承認され、レビューされるものにしましょう。
- 遅いパイプライン。 人々が近道を探します。一般的な経路を速く保ちましょう。
- スキャナーのノイズ。 指摘が無視されます。調整してトリアージしましょう。
- 散らばった証拠。 監査に数週間かかります。ひとつの場所に自動で記録しましょう。
- 過剰な権限のパイプライン。 ひとつの侵害がすべてに届きます。アクセスを制限し、短期の認証情報を使いましょう。
- 自己承認。 作者が自分の仕事を承認します。職務の分離をツールで強制しましょう。
成熟度モデル
| 観点 | 開始 | 発展 | 標準化 | 管理 | オーケストレーション |
|---|---|---|---|---|---|
| 統制 | 手作業のチェック | ビルドと一部のテスト | すべての変更にテスト、スキャン、ポリシー、レビューがある | チェックの有効性が測定される | 統制がリスクに応じて自動的に適応し、人が監督する |
| 証拠 | フォームとメール | 一部のログ | 変更ごとの自動記録がある | 証拠が監査され、サンプリングされる | 証拠がパイプラインとサプライヤーをまたいで継続的に得られる |
| パイプラインのセキュリティ | 共有の認証情報 | 認識されている | 最小権限、固定されたツール、保護された定義 | パイプラインが監視され、テストされる | サプライチェーンが端から端まで検証される |
| フロー | 遅く手作業 | より速いビルド | 例外の経路を伴う、速い一般的な経路 | フローと失敗が測定される | デリバリーがサービスをまたいで最適化される |
チェックリスト
- パイプラインの各段階に、名前の付いた目的とオーナーがある。
- 一般的な経路が数分で走る。
- 本番の変更はパイプラインを通り、記録された例外の経路がある。
- 職務の分離がツールで強制されている。
- 失敗したチェックが変更を止め、オーバーライドが承認されレビューされる。
- 作者が編集できない保管先に、証拠が自動で記録される。
- パイプラインの定義と認証情報が保護され、レビューされている。
- すり抜けた欠陥を含め、チェックの有効性をレビューしている。
AIプロンプト
統制をパイプラインに対応付ける。
Here is our list of change controls: [paste]. Here is a description of what our pipeline does: [paste].
For each control, say whether the pipeline description appears to provide it, partly provide it, or not mention it, quoting the words. Do not assume checks that are not described.
List what you are unsure of.
失敗したパイプラインの実行をレビューする。
Here is the log of a failed run: [paste, with secrets removed].
Summarize which stage failed, the error messages, and the three most likely areas to check, labeling each as a hypothesis. Do not suggest overriding the failure.
List what you are unsure of.
監査のための証拠のサンプルを準備する。
Here are the records for [number] changes: [paste summary with commit, reviewers, checks, results].
For each, check whether it shows a reviewer who is not the author, passing tests, scan results, and deployment time, and list gaps. Do not infer anything not in the records.
List what you are unsure of.
AIスキル
- change-request: 変更と、それに必要な証拠を記述するときに使います。
- shift-left-testing: テストをパイプラインのより早い段階に移すときに使います。
- security-testing: パイプラインのセキュリティチェックを計画するときに使います。
- compliance-testing: 証拠を統制の要件と照合するときに使います。
- test-driven-development: 変更と並行してテストを作るときに使います。
主要な情報源
- Jez Humble and David Farley, Continuous Delivery (2010): デプロイメントパイプラインの基礎的な解説。
- Nicole Forsgren, Jez Humble, and Gene Kim, Accelerate (2018): デリバリーのプラクティスと成果についての研究。
- DORA (dora.dev): 継続的な研究とレポート。
- Wikipedia, "Continuous delivery" and "Software supply chain": プラクティスとそのリスクの概観。
参考文献
- Continuous delivery — Wikipedia — https://en.wikipedia.org/wiki/Continuous_delivery
- Continuous integration — Wikipedia — https://en.wikipedia.org/wiki/Continuous_integration
- Test automation — Wikipedia — https://en.wikipedia.org/wiki/Test_automation
- Unit testing — Wikipedia — https://en.wikipedia.org/wiki/Unit_testing
- Integration testing — Wikipedia — https://en.wikipedia.org/wiki/Integration_testing
- Static application security testing — Wikipedia — https://en.wikipedia.org/wiki/Static_application_security_testing
- Software composition analysis — Wikipedia — https://en.wikipedia.org/wiki/Software_composition_analysis
- Software supply chain — Wikipedia — https://en.wikipedia.org/wiki/Software_supply_chain
- Separation of duties — Wikipedia — https://en.wikipedia.org/wiki/Separation_of_duties
- Audit trail — Wikipedia — https://en.wikipedia.org/wiki/Audit_trail
- Code signing — Wikipedia — https://en.wikipedia.org/wiki/Code_signing
- DORA research — DevOps Research and Assessment — https://dora.dev/research/