AIのガバナンス、リスク、コンプライアンス
AIガバナンスは、組織が使うすべてのAIシステムに、名前のあるオーナー、データと判断についての明確なルール、害に釣り合ったリスク評価、テスト、記録を与えます。ISO/IEC 42001、NISTのAIリスクマネジメントフレームワーク、EUのAI法のようなフレームワークは、語彙と構造を提供するものであり、法的助言ではありません。
なぜ重要か
AIは、組織にいくつもの入口から同時にやって来ます。ベンダーは、すでに費用を払っているツールにAI機能を追加します。チームはアシスタントを作ります。個人は仕事に公開のチャットツールを使います。それぞれの使用には、組織がまだ問うていないかもしれない問いが伴います。どんなデータが入り、誰が見て、どれだけ正確で、誰がその判断の影響を受け、誤ったときに誰が答えるのか。
ガバナンスがなければ、それらの問いは、使用ごとに、一貫性なく、あるいは全く答えられません。その結果は、きまりの悪いものから深刻なものまで及びます。公開のツールに貼り付けられた機密文書、一部のグループを他より悪く扱うスクリーニングシステム、顧客に誤った助言をするアシスタント、統制の証拠を求めて何も見つけられない規制当局。
ガバナンスはその答えであり、重くある必要はありません。核心は、少数の習慣の集合です。使っているAIを把握する、各使用にオーナーを置く、何が悪くなりうるかに釣り合ってリスクを評価する、テストして監視する、データと人による監督のルールを設ける、記録を保つ。法律と標準は急速に発展しています。Wikipediaが説明する欧州連合の人工知能法は、リスクの区分によって義務を定めており、他の多くの法域にも規則や提案があります。このトピックは、構造と語彙を説明し、すでに持っているガバナンスの中にAIガバナンスをどう収めるかを示します。法的助言は行いません。法的な問いについては、資格のある助言者に尋ねてください。
最新のITILバージョンについての所有者の説明は、AIを、サービスマネジメントが対処しなければならない環境の内側に位置づけています(トピック 1.3 — ITIL 5を参照)。このトピックは、AIの一般的な見方(トピック 5.1 — サービスマネジメントにおけるAI)、エージェント(トピック 5.5 — エージェント型AIと人による監督)、運用モデル(トピック 5.8 — AIの運用モデルとスキル)、企業のガバナンス(トピック 8.1 — ガバナンス、リスク、コンプライアンス)につながります。
中核となる概念
ガバナンス、リスク、コンプライアンス(GRC)。 ガバナンスは組織がどう指揮され統制されるか、リスクマネジメントは目標への脅威を特定し対処すること、コンプライアンスは法律、契約、方針からの義務を満たすことです。WikipediaはGRCを、三つに対する統合的なアプローチと説明しています。AIガバナンスは、同じ論理をAIに適用します。
AIインベントリ。 使用中または開発中のすべてのAIシステムのリストです。目的、オーナー、ベンダーまたはモデル、使用するデータ、利用者と影響を受ける人々、リスクレベル、ステータス。見えないものは統治できません。組み込みのベンダー機能と、仕事に使われる個人のツールも含めます。
リスクに基づくアプローチ。 統制の水準は、潜在的な害の水準に合うべきです。会議メモの要約は、求職者の順位づけとは異なるリスクを伴います。EUのAI法は、最小から許容できないリスクまで及ぶ区分で、似たアプローチを取っており、Wikipediaが区分を説明しています。最新の条文と自分たちの状況を、法務の助言者と確認してください。
AIのリスク評価。 使用ごとに問います。誰がどう害されうるか、どれだけ起こりやすく、どれだけ深刻か、システムの限界は何か、誤ったときに何が起きるか、代替案は何か。Wikipediaがリスクマネジメント全般を説明しています。評価とオーナーの判断を記録します。Wikipediaが説明するプライバシー影響評価は、個人データに関する関連するツールです。
標準とフレームワーク。 2023年に発行されたISO/IEC 42001は、他のISOマネジメントシステム標準に構造が似た、人工知能マネジメントシステムの要求事項を定めます。米国の国立標準技術研究所(NIST)は、統治、マッピング、測定、管理の四つの機能を軸にしたAIリスクマネジメントフレームワークを公表しています。どちらも、構造と共通の語彙のための任意のツールです。現在の条文を発行元から読んでください。トピック 1.8 — サービスマネジメントのフレームワークと標準を参照してください。
法律と規制。 AIは、データ保護、消費者保護、差別、雇用、知的財産に関する法律など、既存の法律と、新しいAI固有のルールの対象です。Wikipediaは、法域をまたぐ人工知能の規制を説明しており、それは急速に変わっています。義務は、どこで事業を営み、何をするかによります。このガイドは、何が適用されるかを教えることはできません。
データ保護とプライバシー。 AIシステムは、しばしば個人データを処理します。欧州連合の一般データ保護規則(GDPR)のような法律は、適法な根拠、目的、最小化、個人の権利、場合によっては自動化された決定への制限についてのルールを定めます。WikipediaがGDPRとプライバシーを説明しています。プライバシーの責任者や法務の助言者を巻き込み、データがどこに行き、どれだけ保持され、モデルの訓練に使われるかを記録します。
バイアスと公平性。 過去のデータで訓練されたAIは、不公平なパターンを再現しえ、一部の人がより悪い結果を得ます。Wikipediaがアルゴリズムバイアスと機械学習における公平性を説明しています。使用に関連するグループ間の結果の違いをテストし、平均的な性能だけでなく、誰が影響を受けるかをレビューします。公開の前に何が許容できるかを決めます。
透明性と説明可能性。 AIシステムの影響を受ける人々は、それが使われていることを知るべきで、重要な決定では、説明と異議を唱える経路を得られるべきです。Wikipediaがアルゴリズムの透明性と説明可能なAIを説明しています。適切な水準は、利害の大きさによります。
人による監督。 システムを理解し、問い、オーバーライドでき、そのための時間と情報を持つ人です。トピック 5.5 — エージェント型AIと人による監督を参照してください。紙の上にしかない監督は、よくある発見です。
安全とセキュリティ。 AIシステムは、攻撃され(たとえばプロンプトインジェクションで)、データを漏らし、予期せず振る舞いえます。Wikipediaが説明するレッドチーミングは、敵対者を模擬してシステムをテストするプラクティスです。トピック 3.13 — 情報セキュリティ管理を参照してください。
知的財産。 モデルの訓練に使われる素材、出力の所有権、モデル自体のライセンスについて、問いが生じます。Wikipediaが知的財産と著作権を説明しています。トピック 4.2 — ソフトウェア資産管理を参照してください。これらが自分にどう影響するか、助言を求めてください。
説明責任と役割。 ガバナンスには、明確な役割が必要です。経営層のスポンサー、方針を定めリスクの高い使用をレビューする組織体、各システムのオーナー、セキュリティ、プライバシー、法務の専門家。Wikipediaが説明責任を説明しています。すべてを承認して仕事を妨げる委員会は避け、レビューはリスクの高い使用に取っておきます。
ライフサイクルの統制。 統制は、システムの生涯全体に適用されます。設計(目的、データ、リスク)、構築または購入(デューデリジェンス、契約、テスト)、展開(承認、監視)、運用(性能、ドリフト、インシデント)、廃止。トピック 3.14 — サプライヤー管理を参照してください。
記録。 証拠を保ちます。インベントリ、リスク評価、テスト結果、承認、インシデントの記録、利用のログ。記録は、監査、学習、影響を受ける人々からの異議申し立てを支えます。
レンズはどう当てはまるか。 ガバナンスは、AIのレンズを囲む統制の層です。アジャイルのプラクティスは、チームが待たずに使えるガードレールを伴う、釣り合った素早いレビューを示唆します。自動化は、機微なデータが未承認のツールに行くのを防ぐなど、ルールを強制できます。アナリティクスは、監視の証拠を提供します。
ベストプラクティス
- まずインベントリを作る。 チームに尋ね、ベンダーの設定を確認し、ネットワークと経費のデータをレビューします。各AIシステムを、オーナーと目的とともに記録します。
- リスクで分類する。 低(社内文書の下書き)、中(顧客向けの回答)、高(人の権利や安全に影響する決定)のように、例を添えた少数のリスクレベルを定義します。レビューの水準をリスクの水準に結び付けます。
- 各使用にオーナーを置く。 システムごとに、リスク評価に署名し、性能とインシデントに答える説明責任者をひとり置きます。
- 短く明確な方針を作る。 どのデータをどのツールに送ってよいか、どの使用に承認が必要か、決してしてはならないこと、誰に尋ねるかを述べます。数ページに保ち、例を公開します。
- 承認済みのツールと経路を用意する。 スタッフにAIを使う承認された方法がなければ、未承認のものを使います。適切な条件のツールと、承認への素早い経路を提供します。
- 事前に評価し、事後にテストする。 使用が稼働する前に釣り合ったリスク評価を行い、バイアスと誤用のチェックを含む現実的なケースでテストします。重要な変更の後に繰り返します。
- ベンダーと条件を確認する。 ベンダーに、データの使い方、テストの仕方、モデルの変更の知らせ方、終了時にデータがどうなるかを尋ねます。答えを記録します。トピック 3.14 — サプライヤー管理を参照してください。
- 人による監督を実際に定義する。 使用ごとに、誰が、どんな情報で、どれくらいの頻度で何をレビューするかを述べ、レビューをサンプリングします。
- 監視し、インシデントを扱う。 誤り、苦情、ドリフト、セキュリティイベントを追跡します。AIのインシデントを他のインシデントと同様に扱い、そこから学びます。トピック 3.2 — インシデント管理を参照してください。
- 定期的にレビューし、記録を保つ。 少なくとも年に一度、また法律やシステムが変わったときに、インベントリとリスクレベルを見直します。証拠をひとつの場所に保ちます。
チームで話し合うための問い
今日、私たちはどこでAIを使っていて、各使用のオーナーは誰で、何が悪くなりうるか。 最初のインベントリを作ります。特にベンダーの機能と個人のツールにギャップが予想されます。さらに掘り下げるために、最もリスクの高い三つを選び、オーナーを割り当てます。
私たちの使用のうち、人のアクセス、お金、健康、雇用に影響するものはどれで、どんなレビューを受けているか。 リスクの高い使用を探します。何がそれに当たるかについての不確かさが予想されます。さらに掘り下げるために、分類に法務とプライバシーの助言者を巻き込みます。
スタッフはAIツールにどんなデータを入れていて、ルールを知っているか。 必要なら匿名で尋ねます。驚きが予想されます。さらに掘り下げるために、例を添えた明確なルールを合意し、承認された代替案を提供します。
私たちがAIをどう統制しているかを規制当局や顧客に尋ねられたら、何を見せるか。 あるものを集めます。薄いファイルが予想されます。さらに掘り下げるために、作成する三つの文書、つまりインベントリ、方針、リスク評価をひとつ選びます。
不公平な結果をどうテストし、どのグループを見るべきか。 各使用の影響を受ける人々を考えます。誰もテストしていないと予想できます。さらに掘り下げるために、使用をひとつ選び、助言を得て、グループ間の単純な比較を設計します。
AIの使用にノーと言えるのは誰で、言ったらどうなるか。 止める力のないガバナンスは飾りです。不明確な答えが予想されます。さらに掘り下げるために、リスクの高い使用の意思決定者と、レビューのサービスレベルを指名します。
実践:サービスマネジメントの例
ある国の社会保障機関は、いくつかの場所でAIを使っています。公開ウェブサイト上のベンダーのバーチャルエージェント、ケースワーカー向けにケースメモを要約するツール、IT職員が使う開発者アシスタント、給付申請の誤りの可能性にレビューのための印を付けるパイロット。中央の記録はなく、大臣室が機関に、AIをどう統制しているかを尋ねました。
最高情報責任者は、サービスマネジメント室に、六週間でインベントリを作るよう求めます。11の使用が見つかり、IT部門の誰も知らなかった二つを含みます。ベンダーがケース管理システムでオンにしたテキスト要約機能と、ある地方事務所が個人アカウントで使っている文字起こしツールです。チームは、プライバシーの責任者と法務部門とともに、リスクで使用を分類します。申請に印を付けるパイロットは、その出力が人に対する措置につながりうるため、高リスクに分類されます。ケースメモの要約は中、開発者アシスタントは、ライセンスの問題はあるものの、低です。
各使用にオーナーが指名されます。申請のパイロットでは、オーナーが、グループ間の印の率の比較と、ツールの出力だけで誰も給付を拒否されないというルールを含む、リスク評価を委託します。文字起こしツールは、承認された代替案が見つかるまで停止され、地方事務所には、データ保護の条件を含む契約のもとで、ベンダーが承認したツールが提供されます。四ページの方針がデータと承認のルールを定め、中リスクの使用には十営業日以内の短いレビュー経路が約束されます。
何が変わったか。機関は、インベントリ、方針、最もリスクの高い使用のリスク評価を添えて、省に答えられるようになりました。何がまだ難しいか。初期設定でオンにされるベンダーの機能は出続け、機関にはそれを発見する自動の方法がありません。グループ間の比較は、機関が適法には保持できないかもしれないデータによって制限されます。レビュー経路の十日という約束は、小さなチームに負担をかけます。室は、四半期ごとのベンダー機能のレビューと、テストについての法的指針の依頼を計画しています。
四つの視点
プロダクトとデリバリーのチーム
自分たちのAIの使用を登録し、早期にリスクを評価し、現実的なケースと敵対的なケースでテストし、システムが何をしてよいかを記録しましょう。人々が結果に異議を唱えるための経路と、自分たちがオフにできる手段を組み込んでください。
サービスと運用のチーム
本番のAIシステムを監視し、インシデントを扱い、誤りと苦情を報告しましょう。データのルールに従い、自分たちのツールに現れた新しいAI機能をオーナーに伝えてください。
リーダーシップとガバナンス
プログラムを後押しし、意思決定の権限を指名し、仕事に資金を出しましょう。インベントリ、リスクレベル、テストの証拠を求めます。説明責任をベンダーや委員会に外注してはいけません。
顧客とユーザー
自分にとって重要な形でAIが使われるときはそれを知らされ、人に連絡して決定に異議を唱えられるべきです。自分のデータがどう使われるかを尋ね、誤っている、あるいは不公平に思える結果は報告しましょう。
アジャイル、AI、自動化、アナリティクス
アジャイル
承認済みのツールや、リスクの低い使用のための短いチェックリストのような、チームが従えるガードレールを伴う、素早く釣り合ったレビューを提供します。チームとともに方針を反復します。注意:遅く重いレビューは、チームにそれを迂回させます。リスクの低い経路を素早く保ってください。
AI
AIは、方針の下書き、ベンダーの条件の読解、リスク評価の準備を助けられ、法務と人のレビューを伴います。その使用にもオーナーを指名してください。注意:法律や契約のAI要約は誤っていることがあります。コンプライアンスの判断の根拠として決して使わないでください。トピック 5.1 — サービスマネジメントにおけるAIを参照してください。
自動化
インベントリの供給、データ漏洩防止ルール、リスクの低い使用の承認、ログを、例外のレビューとともに自動化します。注意:自動のブロックは、仕事を個人のデバイスに追いやりえます。承認された代替案と組にしてください。トピック 6.1 — 自動化戦略を参照してください。
アナリティクス
オーナーと評価を持つAIの使用の割合、インシデント、苦情、テスト結果、レビューにかかる時間を追跡します。注意:完了した評価の数は書類仕事に報いることがあります。質と、統制が機能しているかについて、サンプルを確認してください。『サービスマネジメント指標』とトピック 7.3 — 測定とレポートを参照してください。
よくある失敗パターン
- インベントリがない。 使用が見えないまま増えます。インベントリを作り、更新しましょう。
- 画一的なレビュー。 すべてがブロックされるか、何もレビューされません。レビューをリスクに合わせましょう。
- 誰も従えない方針。 スタッフが無視します。例を添えた短いルールを書き、承認済みのツールを提供しましょう。
- 書類としてのガバナンス。 文書はあっても統制はありません。統制が機能することをテストしましょう。
- ベンダーの主張を信じる。 条件と振る舞いが確認されていません。尋ね、テストし、記録しましょう。
- 影響を受ける人々の無視。 バイアスと害が見えません。グループ間で結果をテストし、異議を唱える手段を提供しましょう。
- AIが法的助言を提供できると考える。 誤った要約が判断を駆動します。資格のある助言者を使いましょう。
成熟度モデル
| 観点 | 開始 | 発展 | 標準化 | 管理 | オーケストレーション |
|---|---|---|---|---|---|
| インベントリとオーナーシップ | 使用が不明 | 主要な使用が一覧にされる | オーナーとリスクレベルを伴うインベントリがある | インベントリがレビューされ、探索で検証される | インベントリがカタログ、調達、統制に統合される |
| リスクとテスト | 場当たり的 | 一部に評価がある | 公開前に釣り合った評価とテストがある | 結果が監視され、対応される | システムとサプライヤーをまたいだ継続的な保証がある |
| 方針とデータ | なし | 指針の下書き | 明確な方針、承認済みのツール、データのルールがある | コンプライアンスが監視され、監査される | ルールがツールで強制され、変化に適応する |
| 監督と説明責任 | 不明確 | 名前のあるスポンサー | 定義された役割、レビュー経路、人による監督 | 監督の質がサンプリングされる | ガバナンスが企業とパートナーをまたいで調整される |
チェックリスト
- オーナーと目的を伴うAIインベントリを保っている。
- 各使用にリスクレベルがあり、レビューがそれに釣り合っている。
- 短い方針が、データ、承認、禁止される使用を扱っている。
- 承認済みのツールと素早いレビュー経路がある。
- リスクの高い使用に、バイアスを含む、記録されたリスク評価とテストがある。
- データ、テスト、モデルの変更についてのベンダーの条件が記録されている。
- 人による監督が定義され、サンプリングされている。
- 自分たちの義務について、法務とプライバシーの助言者に尋ねた。
AIプロンプト
メモからインベントリの項目を下書きする。
Here are notes on an AI use: [paste].
Draft an inventory entry with: purpose, owner (only if stated), vendor or model (only if stated), data used, people affected, decisions it influences, and proposed risk level with the reasons. Mark each item not in the notes as [missing]. Do not state legal obligations.
List what you are unsure of.
ベンダーへの質問を準備する。
We are considering an AI product from a vendor for [use]. What we know of it: [paste].
Write 20 questions for the vendor about data use and retention, training on our data, testing for accuracy and bias, security, model changes, incident notification, and exit. Do not assume answers.
List what you are unsure of.
レビュー用にリスク評価を構造化する。
AI use: [describe]. People affected: [list]. Decisions influenced: [list]. Current controls: [list].
Draft a risk assessment table with: harm, who is affected, likelihood and severity (marked as my estimate to be confirmed), existing controls, further controls to consider, and questions for the owner. Do not give legal conclusions.
List what you are unsure of.
AIスキル
- risk-register: AIのリスク、オーナー、判断を記録するときに使います。
- machine-learning-model-card: モデルの目的、データ、性能、限界を文書化するときに使います。
- legal-data-privacy-compliance: 法務の助言者向けにプライバシーの問いを整理するときに使います。
- legal-compliance-audit: 監査のための証拠と問いを準備するときに使います。
- data-governance: AIが使うデータのオーナーシップとルールを定めるときに使います。
主要な情報源
- NIST, AI Risk Management Framework: AIのリスクを管理するための、広く使われている任意のフレームワーク。
- ISO/IEC 42001 (the standard itself): AIマネジメントシステムの要求事項。現在の版は発行元から読んでください。
- The text of the European Union Artificial Intelligence Act and guidance from your own regulators: 法的義務についての権威ある情報源。
- Wikipedia, "Regulation of artificial intelligence" and "Ethics of artificial intelligence": 状況の概観。
参考文献
- Regulation of artificial intelligence — Wikipedia — https://en.wikipedia.org/wiki/Regulation_of_artificial_intelligence
- Artificial Intelligence Act — Wikipedia — https://en.wikipedia.org/wiki/Artificial_Intelligence_Act
- Ethics of artificial intelligence — Wikipedia — https://en.wikipedia.org/wiki/Ethics_of_artificial_intelligence
- Algorithmic bias — Wikipedia — https://en.wikipedia.org/wiki/Algorithmic_bias
- Fairness (machine learning) — Wikipedia — https://en.wikipedia.org/wiki/Fairness_(machine_learning)
- General Data Protection Regulation — Wikipedia — https://en.wikipedia.org/wiki/General_Data_Protection_Regulation
- Privacy impact assessment — Wikipedia — https://en.wikipedia.org/wiki/Privacy_impact_assessment
- Governance, risk, and compliance — Wikipedia — https://en.wikipedia.org/wiki/Governance,_risk,_and_compliance
- Risk management — Wikipedia — https://en.wikipedia.org/wiki/Risk_management
- Red team — Wikipedia — https://en.wikipedia.org/wiki/Red_team
- Explainable artificial intelligence — Wikipedia — https://en.wikipedia.org/wiki/Explainable_artificial_intelligence
- AI Risk Management Framework — NIST — https://www.nist.gov/itl/ai-risk-management-framework