なぜ重要か

組織が計画的にAIを採用することはまれです。あるチームがツールを買い、別のチームがプロトタイプを作り、ベンダーが機能をオンにします。それぞれの判断は、局所的には理にかなっています。合わせると、誰も設計していない全体像になります。重複したツール、一貫しない統制、不明確なオーナーシップ、請求書に表面化するコスト。何かが誤ったとき、誰が責任者か分かりません。うまくいったとき、誰もそれを再現できません。

運用モデルは、「組織として、AIとどう働くか」という問いへの答えです。役割と責任、意思決定の方法、仕事への資金提供、システムの構築や購入と稼働の維持、人々の学びを記述します。大きい必要はありません。小さな組織のモデルは一ページに収まるかもしれません。重要なのは、問いに答えがあることです。

AIでは、他の多くの技術よりもその必要が鋭くなります。AIシステムは変化するからです。モデルはベンダーに更新され、データはずれ、振る舞いはドリフトします。継続的なケアが必要で、それは、公開で終わるプロジェクトではなく、プロダクトチームが提供するものです。このトピックは、AIの運用モデルの主な要素と、それに伴うスキルを説明します。プロダクトオーナーシップ(トピック 2.8 — プロダクトとサービスのオーナーシップ)、AIガバナンス(トピック 5.6 — AIのガバナンス、リスク、コンプライアンス)、財務管理(トピック 4.5 — 財務管理とFinOps)を土台とし、組織の変化(トピック 8.3 — 組織変革と導入)につながります。

中核となる概念

運用モデル。 組織が価値をどう届けるかの記述です。構造、プロセス、人、技術、ガバナンス。Wikipediaが運用モデルを説明しています。AIの運用モデルは、AIがどう選ばれ、資金を得て、作られるか買われ、運用され、統治され、改善されるかを扱う部分です。

プロダクトとしてのAI。 AIシステムには、利用者、目的、バックログ、コスト、ライフサイクルがあります。トピック 2.8 — プロダクトとサービスのオーナーシップで説明するように、オーナーのいるプロダクトとして扱います。オーナーは、成果、データ、質、リスクと、改善するか廃止するかの判断に説明責任を負います。

ライフサイクル。 段階には、機会の特定、価値とリスクの評価、構築または購入、テスト、展開、運用と監視、改善、廃止があります。Wikipediaが説明する機械学習運用(MLOps)は、バージョニング、展開、監視、再訓練といったモデルのライフサイクルに、エンジニアリングの規律を適用します。ベンダーのモデルでも同じ段階が当てはまり、技術的な部分は少なく、契約と監視が多くなります。

役割。 典型的な役割には、経営層のスポンサー、各システムのAIプロダクトオーナー、それを構築し運用するエンジニア、使用するデータのデータオーナー、セキュリティとプライバシーのパートナー、法務の助言者、それを使う人々と影響を受ける人々がいます。小さなチームでは役割を兼ねます。名前を挙げ、誰が決めるかを明確にします。

支援チームまたはセンター・オブ・エクセレンス。 他のチームがAIをうまく使うのを助ける小さなグループです。指針、テンプレート、承認済みのツール、研修、リスクの高い使用のレビューを提供します。Wikipediaがセンター・オブ・エクセレンスを説明しています。リスクは、それがボトルネックや門番になることです。良いものは、安全な道を楽な道にし、チームのためにではなく、チームとともに働きます。

中央集権型、連合型、組み込み型のモデル。 中央集権型のモデルでは、ひとつのチームがすべての人のためにAIを構築し運用します。組み込み型のモデルでは、各プロダクトチームが自分たちのものを行います。連合型のモデルは、共有のプラットフォームと標準を、局所的なオーナーシップと組み合わせます。ほとんどの組織は、連合型の混合になります。使用の規模、利用できるスキル、リスクで選びます。

構築、購入、構成。 AIの各使用は、社内で構築することも、製品として購入することも、モデルと自分たちのデータから組み立てることもできます。Wikipediaは、構築か購入かの判断を、費用便益分析の一形態として説明しています。総コスト、ベンダーへの依存のリスク、データの管理、速度、必要になるスキルを考慮します。トピック 3.14 — サプライヤー管理を参照してください。

資金提供。 重要なAIシステムには、一度限りのプロジェクトではなく、永続的なチームを持つプロダクトとして資金を出します。利用料、ホスティング、監視、サポートといった運用コストを含めます。ユースケースごと、成果ごとのコストを追跡します。トピック 4.5 — 財務管理とFinOpsを参照してください。

プラットフォームと共有サービス。 承認済みのモデルゲートウェイ、プロンプトとスキルのライブラリ、評価の仕組み、データカタログ、ログなどの共有コンポーネントは、重複する労力を減らし、統制を容易にします。トピック 5.7 — AIスキルとプロンプトを参照してください。

データ基盤。 AIは、正確で、アクセス可能で、統治されたデータに依存します。多くのAIの取り組みは、モデルではなくデータで停滞します。トピック 7.2 — データ基盤とデータガバナンスを参照してください。

スキルと能力。 人々には、さまざまなスキルが必要です。AIにできることとできないことの理解(Wikipediaが説明するデジタルリテラシーの一形態として、AIリテラシーと呼ばれることが多い)、明確なプロンプトを書き、結果を確認すること、リスクを評価すること、システムを構築しテストすること、データを管理すること。役割によって必要な深さは異なります。Wikipediaは、スキルを築くアプローチとして、アップスキリングとリスキリングを説明しています。

やりながら学ぶ。 スキルは、フィードバックを伴う実際の仕事での実践から最も育ち、短い研修と例に支えられます。Wikipediaが説明するコミュニティ・オブ・プラクティスは、人々が何が機能するかを共有する助けになります。経験豊富な利用者と新しい利用者をペアにします。トピック 8.5 — 学習パスと認定資格を参照してください。

人々と役割への影響。 AIはタスクを変え、一部の役割では必要な人数も変えます。Wikipediaは、長年議論されてきた懸念として技術的失業を説明しています。意図についてスタッフに正直であり、設計に関わってもらい、再配置とリスキリングを計画します。トピック 8.3 — 組織変革と導入を参照してください。

価値と成果。 各AIシステムが改善すべき成果、たとえば解決までの時間、質、利用者満足度を、ベースラインと測定方法とともに定義します。Wikipediaが投資収益率とその限界を説明しています。「節約された」時間を数えるだけで、決して再配分されない節約の見積もりには注意してください。

標準と保証。 ISO/IEC 42001やNISTのAIリスクマネジメントフレームワークのようなフレームワークは、運用モデルがカバーすべきマネジメントシステムの要素を記述しています。トピック 5.6 — AIのガバナンス、リスク、コンプライアンスを参照してください。

パイロットとスケーリング。 概念実証は安価で、しばしば印象的です。問題が現れるのはスケーリングのときです。データの質、連携、セキュリティ、コスト、サポート。Wikipediaが概念実証を説明しています。誰が運用するかを含め、最初からパイロットから本番への移行を計画します。

レンズはどう当てはまるか。 運用モデルは、AIのレンズを組織化します。アジャイルのプラクティスは、永続的なプロダクトチームと短い試行を示唆します。自動化とアナリティクスは隣人です。自動化はAIの出力に基づいて行動し、アナリティクスはデータと指標を提供します。

ベストプラクティス

  1. 重要なAIシステムをそれぞれプロダクトとして扱う。 オーナー、チーム、バックログ、予算、廃止を含むライフサイクルを置きます。各システムの価値とリスクを定期的にレビューします。
  2. 役割と意思決定の権限を書き留める。 誰が後押しし、各システムを誰が所有し、リスクの高い使用を誰が承認し、誰が止められるかを述べます。一ページに収めます。
  3. 小さな支援チームを設ける。 指針、ツール、研修、レビューを提供する権限を与え、運用するゲートの数ではなく、チームをどれだけ助けたかで測ります。
  4. 構築、購入、構成を証拠で選ぶ。 各ケースで、総コスト、リスク、データの管理、速度、スキルを比べます。判断を記録し、状況が変わったら見直します。
  5. 最初から運用コストに資金を出す。 構築だけでなく、利用料、監視、サポート、改善のための予算を組みます。ユースケースごと、成果ごとのコストを追跡します。
  6. 共有プラットフォームを提供する。 アクセス、ログ、評価、プロンプトとスキルのための承認済みのツールと共通サービスを提供します。承認された経路を、迂回路より速くします。
  7. データに投資する。 データオーナーを指名し、ユースケースを妨げる品質の問題を直し、情報源を文書化します。最初のユースケースが必要とするデータから始めます。
  8. 役割ごとにスキルを築く。 全員に短く実践的な研修を、構築者とオーナーにはより深い研修を、実際のタスクで練習する時間を提供します。何が機能するかを共有する場を作ります。
  9. 人々に正直であること。 役割と人員について意図していることを述べ、新しい働き方の設計にスタッフを関わらせ、仕事が変わる人々を支援します。
  10. パイロットから本番への道筋を計画する。 パイロットの前に、成功とは何か、誰が運用するか、どんな統制が必要か、規模ではいくらかかるかを決めます。それらのテストを満たせないパイロットは中止します。

チームで話し合うための問い

私たちが使う各AIシステムを誰が所有していて、それを変更または停止するときは誰が決めるか。 インベントリを使ってください。ギャップが予想されます。さらに掘り下げるために、オーナーを割り当て、最も重要な三つのシステムについて意思決定の権限を記録します。

中央のAIグループに私たちのために何をしてほしく、各チームに何が残らなければならないか。 助けと統制を議論します。標準を望む人と速度を望む人の間で、意見の違いが予想されます。さらに掘り下げるために、グループが提供すべき三つのサービスを一覧にします。

直近のAIの購入または構築で、選択肢を比較したか、今日ならどう決めるか。 意思決定の記録を見ます。ほとんどないと予想できます。さらに掘り下げるために、構築、購入、構成の判断のための短いテンプレートを合意します。

私たちのAIの使用の継続的なコストは何で、誰が払っているか。 数字を求めてください。特に利用料について、不明な点が予想されます。さらに掘り下げるために、ユースケースをひとつ選び、コストの見積もりを作ります。

人々が仕事でAIをうまく使うには、どんなスキルが必要で、どうやってそれを得るか。 役割ごとに尋ねます。確認することと、限界を理解することにギャップが予想されます。さらに掘り下げるために、実際のタスクでの実習を計画します。

AIが仕事をどう変えるかについて、私たちはスタッフに何を伝えたか。彼らはそれを信じているか。 スタッフに直接尋ねてください。不安が予想されます。さらに掘り下げるために、リーダーが正直に言えることと、人々を支えるために何をするかを合意します。

実践:サービスマネジメントの例

ある国の環境保護機関には、各部門に散らばった30のAIの使用があります。チャットアシスタント、異常なセンサー値に印を付けるモデル、意見公募への回答を要約するツール、研究グループが行ういくつかのパイロット。新しい最高デジタル責任者は、三つの部門が似た文字起こしサービスに支払っていること、二つのパイロットが決定のないまま一年以上動いていること、機関がAIにいくら使っているか誰も言えないことを見つけます。

彼女は、IT、データ、セキュリティ、法務から四人の小さな支援チームを作ります。最初の仕事は、一か月で完了したインベントリです。二番目は、一ページの運用モデルです。各AIの使用には、事業側に名前のあるオーナーがいる。支援チームは、ログを伴う承認済みのモデルゲートウェイ、レビュー済みのプロンプトとスキルのライブラリ、中リスクと高リスクの使用に対する十営業日以内のリスクレビューを提供する。四半期ごとのポートフォリオ会議が、どのパイロットを拡大し、変更し、中止するかを決める。

ポートフォリオ会議は、オーナーも指標もない五つのパイロットを中止し、三つの文字起こしの契約をひとつにまとめます。汚染警報についての判断を支えるセンサー異常モデルについては、オーナーがデータ品質のレビューを委託し、ドリフトの監視を設定します。最も価値の高い二つのシステムの資金は、プロジェクト予算から、利用料を含む年度ごとのチーム予算に移されます。

スキルでは、チームは全スタッフ向けにAIを安全に使うための二時間の実習を提供し、システムを構築または所有する40人向けに、より長いコースを提供します。実践コミュニティが月に一度開かれます。スタッフを代表する労働組合は、AIが雇用に何を意味するかを尋ねます。最高デジタル責任者は、プログラムが二年以内に職の削減に使われないこと、時間の節約は検査業務のバックログに充てられることを、書面で約束します。

何が変わったか。機関にはひとつのインベントリ、明確なオーナー、助けを求める単一の場所があります。何がまだ難しいか。一部の研究グループは、レビューの経路をブレーキと見て、今も非公式なツールを使っています。二つのシステムの利用コストは見積もりより高く、予算は調整されていません。雇用についての約束は、財務が開けておきたい選択肢を制限します。最高デジタル責任者は、経路の速度と予算を四半期ごとにレビューしています。

四つの視点

プロダクトとデリバリーのチーム

AIシステムを、バックログ、監視、コスト、廃止を備えたプロダクトとして所有しましょう。共有プラットフォームと承認済みのライブラリを使います。早めに支援チームに助けを求めてください。

サービスと運用のチーム

AIシステムの運用に参加し、見えていることを報告しましょう。出力の確認の仕方を学び、ドリフトと誤りをオーナーに伝えます。共有のツールを使ってください。

リーダーシップとガバナンス

モデルを後押しし、オーナーを割り当て、永続的なチームと運用コストに資金を出しましょう。価値とリスクを伴うポートフォリオの見方を求めます。役割への影響について、スタッフに正直であってください。

顧客とユーザー

自分に影響するAIシステムに誰が責任を負い、懸念をどう提起するかを知るべきです。フィードバックがオーナーにどう届くかを尋ねましょう。

アジャイル、AI、自動化、アナリティクス

アジャイル

永続的なチーム、短いサイクル、利用者とステークホルダーとの定期的なレビューで、AIプロダクトを運営します。運用モデル自体を、小さな歩みで改善するものとして扱います。注意:固定の計画を持つ大きなAIプログラムの開始は避けてください。少数のユースケースから始め、学びましょう。

AI

このトピックは、AI自体の管理、つまりオーナー、ライフサイクル、資金提供、スキルに関するものです。AIは、レビューのもとで、ポートフォリオ分析とドキュメント作成を助けられます。注意:すべてを承認する、あるいは何も承認しない支援チームは信頼を失います。レビューをリスクに合わせてください。トピック 5.6 — AIのガバナンス、リスク、コンプライアンスを参照してください。

自動化

安全な道が楽な道にもなるよう、共有プラットフォームのインベントリの供給、コストの報告、ログ、ポリシーのチェックを自動化します。注意:承認された代替案なしに使用を妨げる自動化は、人々をシャドーツールへと駆り立てます。トピック 6.1 — 自動化戦略を参照してください。

アナリティクス

ポートフォリオを追跡します。使用の数、オーナー、ユースケースごとのコスト、価値の指標、インシデント、レビューの時間、スキルのカバレッジ。注意:AIプロジェクトや研修を受けたスタッフの数は、成果ではなく活動に報います。価値と質の指標と組にしてください。トピック 7.3 — 測定とレポートと『サービスマネジメント指標』を参照してください。

よくある失敗パターン

  • ツールの乱立。 各チームが自分のものを買います。インベントリを保ち、統合しましょう。
  • オーナーのいないシステム。 誰も保守も停止もしません。オーナーを指名し、ポートフォリオをレビューしましょう。
  • プロダクトではなくプロジェクト。 公開の後にチームが解散します。重要なシステムには永続的なチームに資金を出しましょう。
  • 門番になるセンター。 支援チームが仕事を妨げます。応答目標を持つサービスにしましょう。
  • 運用コストの無視。 利用料が予算を驚かせます。最初から含めましょう。
  • 実践のない研修。 コースに参加しても習慣は変わりません。実際のタスクで練習しましょう。
  • 雇用についての沈黙。 恐れが広がります。意図を述べ、スタッフを関わらせましょう。

成熟度モデル

観点 開始 発展 標準化 管理 オーケストレーション
オーナーシップと役割 不明確 推進役がいる 各システムに名前のあるオーナーと意思決定の権限がある 役割が結果とともにレビューされる 役割が企業とパートナーをまたいで調整される
資金提供とライフサイクル プロジェクトの資金 一部に運用の資金がある 主要なシステムに永続的な資金があり、ライフサイクルが定義されている コストと価値が定期的にレビューされる ポートフォリオが価値とリスクによって資金提供され、再調整される
プラットフォームと支援 個人のツール 共有された指針 承認済みのプラットフォーム、ライブラリ、レビューサービスがある 利用と満足度が測定される プラットフォームがガバナンスと自動化に統合される
スキル 場当たり的 啓発研修 実践を伴う、役割ごとの学習 スキルがニーズに照らして追跡される スキルが、変化への支援とともに、全従業員にわたって計画される

チェックリスト

  • 重要なAIシステムそれぞれに、名前のあるプロダクトオーナーがいる。
  • 役割と意思決定の権限が一ページに書き留められている。
  • 小さな支援チームがツール、指針、レビューを提供している。
  • 構築、購入、構成の判断が記録されている。
  • 運用コストが予算化され、ユースケースごとに追跡されている。
  • 共有プラットフォームのサービスが、承認された経路を楽にしている。
  • 研修が役割ごとで、実際のタスクでの練習を含む。
  • AIが仕事にどう影響するかを、スタッフに正直に伝えた。

AIプロンプト

構築、購入、構成を比較する。

Our use case: [describe]. Our constraints: [data sensitivity, skills, budget, timeline]. Options: [list].
Draft a comparison table with criteria (total cost over three years, data control, speed, risk of dependency, skills needed, ability to change) and for each option what we know and what we do not know from my description. Do not choose an option or invent costs.
List what you are unsure of.

議論のために一ページの運用モデルを下書きする。

Our organization: [type, size]. Our AI uses today: [list]. Our governance bodies: [list].
Draft a one-page operating model with roles, decision rights, funding approach, how AI is built or bought, how risk review works, and how skills are built. Mark every assumption and leave [blank] where my description gives no basis.
List what you are unsure of.

役割ごとのスキルを計画する。

Roles in our team: [list with what each does]. AI uses planned: [list].
For each role, list the skills needed (use of AI, checking outputs, risk, building, data), one practice activity on real work, and one way to see that the skill has grown. Do not name courses or vendors.
List what you are unsure of.

AIスキル

  • portfolio-management: AIポートフォリオの価値とリスクをレビューするときに使います。
  • mlops: モデルをライフサイクルを通じて管理するときに使います。
  • training-needs-analysis: 各役割に必要なスキルを定義するときに使います。
  • raci-matrix: 役割と意思決定の権限を明確にするときに使います。
  • roi-analysis: AIの使用のコストと便益を比較検討するときに使います。

主要な情報源

  • NIST, AI Risk Management Framework: ガバナンスと組織の役割を含む構造。
  • ISO/IEC 42001 (the standard itself): AIのマネジメントシステムの要求事項。現在の版は発行元から読んでください。
  • Marty Cagan, Empowered (2020): プロダクトチームと、組織がそれをどう支えるかについて。
  • Wikipedia, "MLOps" and "Operating model": ライフサイクルと概念の概観。

参考文献

  1. Operating model — Wikipedia — https://en.wikipedia.org/wiki/Operating_model
  2. MLOps — Wikipedia — https://en.wikipedia.org/wiki/MLOps
  3. Center of excellence — Wikipedia — https://en.wikipedia.org/wiki/Center_of_excellence
  4. Product management — Wikipedia — https://en.wikipedia.org/wiki/Product_management
  5. Cost–benefit analysis — Wikipedia — https://en.wikipedia.org/wiki/Cost%E2%80%93benefit_analysis
  6. Digital literacy — Wikipedia — https://en.wikipedia.org/wiki/Digital_literacy
  7. Community of practice — Wikipedia — https://en.wikipedia.org/wiki/Community_of_practice
  8. Technological unemployment — Wikipedia — https://en.wikipedia.org/wiki/Technological_unemployment
  9. Return on investment — Wikipedia — https://en.wikipedia.org/wiki/Return_on_investment
  10. Proof of concept — Wikipedia — https://en.wikipedia.org/wiki/Proof_of_concept
  11. AI Risk Management Framework — NIST — https://www.nist.gov/itl/ai-risk-management-framework