Kwa nini hili ni muhimu

Mashirika mara chache hupokea AI kwa njia iliyopangwa. Timu moja inanunua zana, nyingine inajenga mfano, muuzaji anawasha kipengele. Kila uamuzi una mantiki kwa upande wake. Kwa pamoja huunda mali ambayo hakuna aliyeibuni: zana zilizorudiwa, udhibiti usio thabiti, umiliki usio wazi, na gharama zinazojitokeza kwenye ankara. Kitu kikienda vibaya, hakuna anayejua nani anawajibika. Kikienda vizuri, hakuna anayeweza kukirudia.

Mfumo wa uendeshaji ni jibu la "tunafanyaje kazi na AI kama shirika?". Unaeleza majukumu na wajibu, jinsi maamuzi yanavyofanywa, jinsi kazi inavyofadhiliwa, jinsi mifumo inavyojengwa au kununuliwa na kuendeshwa, na jinsi watu wanavyojifunza. Hauhitaji kuwa mkubwa. Mfumo wa shirika dogo unaweza kutosha ukurasa mmoja. Muhimu ni kwamba maswali yana majibu.

Haja ni kali zaidi kwa AI kuliko kwa teknolojia nyingine nyingi kwa sababu mifumo ya AI hubadilika: modeli husasishwa na wauzaji, data hubadilika, na tabia huteleza. Zinahitaji utunzaji unaoendelea, ambao timu ya bidhaa hutoa, si mradi unaoisha wakati wa uzinduzi. Mada hii inaeleza vipengele vikuu vya mfumo wa uendeshaji wa AI na ujuzi unaoambatana nao. Inajenga juu ya umiliki wa bidhaa (mada 2.8 — Umiliki wa Bidhaa na Huduma), utawala wa AI (mada 5.6 — Utawala, hatari na kufuata sheria za AI), na usimamizi wa fedha (mada 4.5 — Usimamizi wa fedha na FinOps), na kuunganishwa na mabadiliko ya shirika (mada 8.3 — Mabadiliko ya Shirika na Kukubalika).

Dhana kuu

Mfumo wa uendeshaji. Maelezo ya jinsi shirika linavyotoa thamani: muundo wake, michakato, watu, teknolojia, na utawala. Wikipedia inaeleza mifumo ya uendeshaji. Mfumo wa uendeshaji wa AI ni sehemu inayohusu jinsi AI inavyochaguliwa, kufadhiliwa, kujengwa au kununuliwa, kuendeshwa, kutawaliwa, na kuboreshwa.

AI kama bidhaa. Mfumo wa AI una watumiaji, kusudi, orodha ya kazi, gharama, na mzunguko wa maisha. Uchukulie kama bidhaa yenye mmiliki, kama inavyoelezwa katika mada 2.8 — Umiliki wa Bidhaa na Huduma. Mmiliki anawajibika kwa matokeo, data, ubora, na hatari, na kwa kuamua lini kuboresha au kustaafisha.

Mzunguko wa maisha. Hatua ni pamoja na tambua fursa, tathmini thamani na hatari, jenga au nunua, jaribu, peleka, endesha na ufuatilie, boresha, na staafisha. Uendeshaji wa kujifunza kwa mashine (MLOps), unaoelezwa na Wikipedia, hutumia nidhamu ya kihandisi kwa mzunguko wa maisha wa modeli: uwekaji matoleo, upelekaji, ufuatiliaji, na kufunza upya. Kwa modeli za wauzaji, hatua zilezile zinatumika kwa sehemu chache za kiufundi na mkataba na ufuatiliaji zaidi.

Majukumu. Majukumu ya kawaida ni pamoja na mfadhili wa watendaji, mmiliki wa bidhaa ya AI kwa kila mfumo, wahandisi wanaoujenga na kuuendesha, wamiliki wa data kwa data inayotumika, mshirika wa usalama na faragha, mshauri wa kisheria, na watu wanaoutumia na wanaoathirika nao. Timu ndogo huchanganya majukumu. Yataje, na ufanye wazi nani anaamua.

Timu ya kuwezesha au kituo cha ubora. Kikundi kidogo kinachosaidia timu nyingine kutumia AI vizuri: hutoa mwongozo, violezo, zana zilizoidhinishwa, mafunzo, na mapitio kwa matumizi ya hatari kubwa. Wikipedia inaeleza vituo vya ubora. Hatari ni kwamba kinakuwa kikwazo au mlango. Kizuri hufanya njia salama kuwa rahisi, na hufanya kazi pamoja na timu badala ya kwa niaba yao.

Mifumo ya kati, ya shirikisho, na iliyopachikwa. Katika mfumo wa kati, timu moja hujenga na kuendesha AI kwa kila mtu. Katika mfumo uliopachikwa, kila timu ya bidhaa hufanya yake. Mfumo wa shirikisho huchanganya majukwaa ya pamoja na viwango na umiliki wa ndani. Mashirika mengi huishia na mchanganyiko wa shirikisho. Chagua kwa kiwango cha matumizi, ujuzi uliopo, na hatari.

Jenga, nunua, au sanidi. Kila matumizi ya AI yanaweza kujengwa ndani, kununuliwa kama bidhaa, au kukusanywa kutoka kwa modeli na data yako mwenyewe. Wikipedia inaeleza maamuzi ya jenga-au-nunua kama aina ya uchanganuzi wa gharama na faida. Zingatia gharama ya jumla, hatari ya kumtegemea muuzaji, udhibiti wa data, kasi, na ujuzi ungehitaji. Tazama mada 3.14 — Usimamizi wa Wasambazaji.

Ufadhili. Fadhili mifumo ya AI kama bidhaa zenye timu za kudumu pale ni muhimu, si kama miradi ya mara moja. Jumuisha gharama za uendeshaji, kama ada za matumizi, uhifadhi, ufuatiliaji, na msaada. Fuatilia gharama kwa kila matumizi na kwa kila matokeo. Tazama mada 4.5 — Usimamizi wa fedha na FinOps.

Majukwaa na huduma za pamoja. Vijenzi vya pamoja, kama lango la modeli lililoidhinishwa, maktaba ya maelekezo na ujuzi, zana ya tathmini, katalogi ya data, na kumbukumbu, hupunguza juhudi iliyorudiwa na kurahisisha udhibiti. Tazama mada 5.7 — Ujuzi wa Akili Bandia na Maelekezo.

Misingi ya data. AI hutegemea data iliyo sahihi, inayopatikana, na inayotawaliwa. Mipango mingi ya AI hukwama kwenye data, si modeli. Tazama mada 7.2 — Misingi ya data na utawala wa data.

Ujuzi na uwezo. Watu wanahitaji ujuzi mbalimbali: kuelewa AI inaweza na isichoweza kufanya (mara nyingi huitwa ujuzi wa AI, aina ya ujuzi wa kidijitali ambao Wikipedia inaeleza), kuandika maelekezo wazi na kukagua matokeo, kutathmini hatari, kujenga na kujaribu mifumo, na kusimamia data. Majukumu tofauti yanahitaji kina tofauti. Wikipedia inaeleza kuongeza ujuzi na kufunza upya kama mbinu za kujenga ujuzi.

Kujifunza kwa kufanya. Ujuzi hukua zaidi kutokana na mazoezi kwenye kazi halisi pamoja na mrejesho, yakiungwa mkono na mafunzo mafupi na mifano. Jamii za mazoezi, zinazoelezwa na Wikipedia, huwasaidia watu kushiriki kinachofanya kazi. Oanisha watumiaji wenye uzoefu na wapya. Tazama mada 8.5 — Njia za Kujifunza na Uthibitisho.

Athari kwa watu na majukumu. AI hubadilisha kazi, na katika baadhi ya majukumu, idadi ya watu wanaohitajika. Wikipedia inaeleza ukosefu wa ajira wa kiteknolojia kama wasiwasi uliojadiliwa kwa muda mrefu. Kuwa mwaminifu kwa wafanyakazi kuhusu nia, washirikishe katika usanifu, na upange kuhamisha na kuwafunza upya. Tazama mada 8.3 — Mabadiliko ya Shirika na Kukubalika.

Thamani na matokeo. Fafanua matokeo ambayo kila mfumo wa AI unapaswa kuboresha, kama muda wa kutatua, ubora, au kuridhika kwa watumiaji, pamoja na msingi wa awali na njia ya kupima. Wikipedia inaeleza mapato kwa uwekezaji na mipaka yake. Jihadhari na makadirio ya akiba yanayohesabu muda "ulioandolewa" ambao haujapangiwa kazi nyingine.

Viwango na uhakikisho. Mifumo kama ISO/IEC 42001 na Mfumo wa Usimamizi wa Hatari za AI wa NIST inaeleza vipengele vya mfumo wa usimamizi ambavyo mfumo wa uendeshaji unapaswa kufunika. Tazama mada 5.6 — Utawala, hatari na kufuata sheria za AI.

Majaribio ya awali na kupanua. Uthibitisho wa dhana ni wa bei nafuu na mara nyingi unavutia. Kupanua ndipo matatizo yanapojitokeza: ubora wa data, ujumuishaji, usalama, gharama, na msaada. Wikipedia inaeleza uthibitisho wa dhana. Panga njia kutoka jaribio hadi uzalishaji tangu mwanzo, ikijumuisha nani ataiendesha.

Lenzi zinavyolingana. Mfumo wa uendeshaji hupanga lenzi ya AI. Zoea la uchapuchapu linapendekeza timu za bidhaa za kudumu na majaribio mafupi. Uendeshaji otomatiki na uchanganuzi ni majirani: uendeshaji otomatiki hutenda juu ya matokeo ya AI, na uchanganuzi hutoa data na vipimo.

Mazoea bora

  1. Chukulia kila mfumo muhimu wa AI kama bidhaa. Taja mmiliki, timu, orodha ya kazi, bajeti, na mzunguko wa maisha, ikijumuisha kustaafisha. Pitia thamani na hatari ya kila mfumo mara kwa mara.
  2. Andika majukumu na haki za maamuzi. Sema nani anafadhili, nani anamiliki kila mfumo, nani anaidhinisha matumizi ya hatari kubwa, na nani anaweza kusimamisha. Weka ukurasa mmoja.
  3. Weka timu ndogo ya kuwezesha. Ipe mamlaka ya kutoa mwongozo, zana, mafunzo, na mapitio, na uipime kwa jinsi inavyosaidia timu, si kwa milango mingapi inayoendesha.
  4. Chagua jenga, nunua, au sanidi kwa ushahidi. Linganisha gharama ya jumla, hatari, udhibiti wa data, kasi, na ujuzi kwa kila kisa. Rekodi uamuzi na uupitie hali zinapobadilika.
  5. Fadhili gharama za uendeshaji tangu mwanzo. Panga bajeti kwa ada za matumizi, ufuatiliaji, msaada, na uboreshaji, si ujenzi tu. Fuatilia gharama kwa kila matumizi na kwa kila matokeo.
  6. Toa majukwaa ya pamoja. Toa zana zilizoidhinishwa na huduma za pamoja za ufikiaji, kumbukumbu, tathmini, na maelekezo na ujuzi. Fanya njia iliyoidhinishwa iwe ya haraka kuliko ya kuzunguka.
  7. Wekeza kwenye data. Taja wamiliki wa data, rekebisha matatizo ya ubora yanayozuia matumizi, na uandike vyanzo. Anza na data ambayo matumizi ya kwanza yanahitaji.
  8. Jenga ujuzi kwa jukumu. Toa mafunzo mafupi, ya vitendo kwa kila mtu, mafunzo ya kina zaidi kwa wajenzi na wamiliki, na muda wa kufanya mazoezi kwenye kazi halisi. Unda mahali pa kushiriki kinachofanya kazi.
  9. Kuwa mwaminifu kuhusu watu. Sema unachokusudia kwa majukumu na idadi ya wafanyakazi, washirikishe wafanyakazi katika kubuni njia mpya za kufanya kazi, na uwaunge mkono wale ambao kazi yao inabadilika.
  10. Panga njia kutoka jaribio hadi uzalishaji. Kabla ya jaribio, amua mafanikio ni nini, nani angeliendesha, udhibiti gani linahitaji, na lingegharimu nini kwa kiwango kikubwa. Simamisha majaribio yasiyoweza kutimiza majaribio hayo.

Maswali ya kujadili na timu yako

Nani anamiliki kila mfumo wa AI tunaotumia, na nani anaamua lini kuubadilisha au kuusimamisha? Tumia orodha. Tarajia mapengo. Ili kwenda mbali zaidi, teua wamiliki na urekodi haki za maamuzi kwa mifumo mitatu muhimu zaidi.

Tunataka kikundi cha kati cha AI kitufanyie nini, na nini lazima kibaki na kila timu? Jadili msaada dhidi ya udhibiti. Tarajia maoni tofauti kati ya wanaotaka viwango na wanaotaka kasi. Ili kwenda mbali zaidi, orodhesha huduma tatu ambazo kikundi kinapaswa kutoa.

Kwa ununuzi au ujenzi wetu wa mwisho wa AI, tulilinganisha chaguo, na tungeamua nini leo? Angalia rekodi ya uamuzi. Tarajia kidogo. Ili kwenda mbali zaidi, kubaliana kiolezo kifupi cha maamuzi ya jenga, nunua, au sanidi.

Gharama zinazoendelea za matumizi yetu ya AI ni zipi, na nani analipa? Omba namba. Tarajia zisizojulikana, hasa ada za matumizi. Ili kwenda mbali zaidi, chagua matumizi moja na ujenge makadirio ya gharama.

Watu wanahitaji ujuzi gani kutumia AI vizuri katika kazi zao, na watapata vipi? Uliza kwa jukumu. Tarajia mapengo katika kukagua na kuelewa mipaka. Ili kwenda mbali zaidi, panga kikao cha mazoezi kwenye kazi halisi.

Tumewaambia wafanyakazi nini kuhusu jinsi AI itakavyobadilisha kazi yao, na wanaamini? Waulize wafanyakazi moja kwa moja. Tarajia wasiwasi. Ili kwenda mbali zaidi, kubaliana viongozi wanaweza kusema nini kwa uaminifu na watafanya nini kusaidia watu.

Kwa vitendo: mfano wa usimamizi wa huduma

Wakala wa taifa wa ulinzi wa mazingira una matumizi 30 ya AI yaliyotawanyika katika idara zake: wasaidizi wa soga, modeli inayotia alama usomaji usio wa kawaida wa vihisi, zana inayofupisha majibu ya mashauriano, na majaribio kadhaa yanayoendeshwa na vikundi vya utafiti. Afisa mkuu mpya wa kidijitali anagundua kwamba idara tatu zinalipia huduma zinazofanana za unukuzi, kwamba majaribio mawili yamekuwa yakiendeshwa kwa zaidi ya mwaka bila uamuzi, na kwamba hakuna anayeweza kusema wakala unatumia kiasi gani kwa AI.

Anaunda timu ndogo ya kuwezesha ya watu wanne, kutoka TEHAMA, data, usalama, na sheria. Kazi yake ya kwanza ni orodha, iliyokamilika kwa mwezi. Ya pili ni mfumo wa uendeshaji wa ukurasa mmoja: kila matumizi ya AI yana mmiliki aliyetajwa katika biashara; timu ya kuwezesha inatoa lango la modeli lililoidhinishwa lenye kumbukumbu, maktaba ya maelekezo na ujuzi uliopitiwa, na mapitio ya hatari kwa matumizi ya wastani na makubwa ndani ya siku kumi za kazi; na mkutano wa jalada wa robo mwaka huamua majaribio yapi ya kupanua, kubadilisha, au kusimamisha.

Mkutano wa jalada unasimamisha majaribio matano yasiyo na mmiliki au kipimo, na kuunganisha mikataba mitatu ya unukuzi kuwa mmoja. Kwa modeli ya hitilafu za vihisi, inayounga mkono maamuzi kuhusu tahadhari za uchafuzi, mmiliki anaagiza mapitio ya ubora wa data na kuweka ufuatiliaji wa kuteleza. Ufadhili wa mifumo miwili yenye thamani zaidi unahamia kutoka bajeti za miradi hadi bajeti ya timu ya kila mwaka, ikijumuisha ada za matumizi.

Kuhusu ujuzi, timu inatoa kikao cha vitendo cha saa mbili kwa wafanyakazi wote kuhusu kutumia AI kwa usalama, na kozi ndefu zaidi kwa watu 40 wanaojenga au kumiliki mifumo. Jamii ya mazoezi inakutana kila mwezi. Chama kinachowakilisha wafanyakazi kinauliza AI inamaanisha nini kwa ajira; afisa mkuu wa kidijitali anaahidi kwa maandishi kwamba programu haitatumika kupunguza nafasi ndani ya miaka miwili, na kwamba akiba ya muda itaenda kwenye orodha ya kazi ya ukaguzi.

Kinachobadilika: wakala una orodha moja, wamiliki walio wazi, na mahali pamoja pa kuomba msaada. Kinachobaki kigumu: baadhi ya vikundi vya utafiti vinaona njia ya mapitio kama breki na bado vinaendesha zana zisizo rasmi; gharama za matumizi ni juu kuliko ilivyokadiriwa kwa mifumo miwili na bajeti haikurekebishwa; na ahadi kuhusu ajira inapunguza chaguo ambazo fedha inataka kuziweka wazi. Afisa mkuu wa kidijitali anapitia kasi ya njia na bajeti kila robo mwaka.

Mitazamo minne

Timu za bidhaa na utoaji

Miliki mifumo yako ya AI kama bidhaa: orodha ya kazi, ufuatiliaji, gharama, na kustaafisha. Tumia majukwaa ya pamoja na maktaba iliyoidhinishwa. Mwombe timu ya kuwezesha msaada mapema.

Timu za huduma na uendeshaji

Shiriki katika kuendesha mifumo ya AI na uripoti unachoona. Jifunze jinsi ya kukagua matokeo, na uwaambie wamiliki kuhusu kuteleza na makosa. Tumia zana za pamoja.

Uongozi na utawala

Fadhili mfumo, teua wamiliki, na ufadhili timu za kudumu na gharama za uendeshaji. Omba mtazamo wa jalada, pamoja na thamani na hatari. Kuwa mwaminifu kwa wafanyakazi kuhusu athari kwa majukumu.

Wateja na watumiaji

Unapaswa kujua nani anawajibika kwa mfumo wa AI unaokuathiri na jinsi ya kuibua wasiwasi. Uliza mrejesho wako unamfikiaje mmiliki.

Uchapuchapu, AI, uendeshaji otomatiki na uchanganuzi

Uchapuchapu

Endesha bidhaa za AI kwa timu za kudumu, mizunguko mifupi, na mapitio ya mara kwa mara na watumiaji na wadau. Chukulia mfumo wa uendeshaji wenyewe kama kitu cha kuboresha kwa hatua ndogo. Tahadhari: epuka kuzindua programu kubwa ya AI yenye mpango usiobadilika; anza na matumizi machache na ujifunze.

AI

Mada hii inahusu kusimamia AI yenyewe: wamiliki, mzunguko wa maisha, ufadhili, na ujuzi. AI inaweza kusaidia katika uchanganuzi wa jalada na uandishi wa nyaraka, chini ya mapitio. Tahadhari: timu ya kuwezesha inayoidhinisha kila kitu au hakuna kitu hupoteza uaminifu; pima mapitio kwa hatari. Tazama mada 5.6 — Utawala, hatari na kufuata sheria za AI.

Uendeshaji otomatiki

Fanya malisho ya orodha, ripoti za gharama, kumbukumbu, na ukaguzi wa sera katika jukwaa la pamoja kuwa vya kiotomatiki, ili njia salama pia iwe rahisi. Tahadhari: uendeshaji otomatiki unaozuia matumizi bila mbadala ulioidhinishwa huwapeleka watu kwenye zana za kivuli. Tazama mada 6.1 — Mkakati wa uendeshaji otomatiki.

Uchanganuzi

Fuatilia jalada: idadi ya matumizi, wamiliki, gharama kwa kila matumizi, vipimo vya thamani, matukio ya hitilafu, nyakati za mapitio, na ufunikaji wa ujuzi. Tahadhari: hesabu za miradi ya AI au wafanyakazi waliofunzwa zinazawadia shughuli si matokeo; ziambatanishe na vipimo vya thamani na ubora. Tazama mada 7.3 — Upimaji na utoaji taarifa na kitabu cha Service Management Metrics.

Njia za kawaida za kushindwa

  • Kuenea kwa zana. Kila timu inanunua yake. Weka orodha na uunganishe.
  • Mifumo isiyo na mmiliki. Hakuna anayeitunza wala kuisimamisha. Taja wamiliki na upitie jalada.
  • Miradi, si bidhaa. Timu zinavunjwa baada ya uzinduzi. Fadhili timu za kudumu kwa mifumo muhimu.
  • Kituo cha kuzuia. Timu ya kuwezesha inazuia kazi. Ifanye huduma yenye malengo ya kujibu.
  • Gharama za uendeshaji kupuuzwa. Ada za matumizi zinashangaza bajeti. Zijumuishe tangu mwanzo.
  • Mafunzo bila mazoezi. Kozi zinahudhuriwa na tabia hazibadiliki. Fanya mazoezi kwenye kazi halisi.
  • Ukimya kuhusu ajira. Hofu inaenea. Sema unachokusudia na ushirikishe wafanyakazi.

Modeli ya ukomavu

Kipimo Kuanzisha Kuendeleza Kusanifisha Kusimamia Kuratibu
Umiliki na majukumu Haijawazi Mabingwa Wamiliki walioitwa na haki za maamuzi kwa kila mfumo Majukumu yanapitiwa kwa matokeo Majukumu yanaratibiwa kati ya biashara nzima na washirika
Ufadhili na mzunguko wa maisha Fedha za mradi Baadhi ya ufadhili wa uendeshaji Ufadhili wa kudumu kwa mifumo muhimu, mzunguko wa maisha umefafanuliwa Gharama na thamani vinapitiwa mara kwa mara Jalada linafadhiliwa na kusawazishwa kwa thamani na hatari
Jukwaa na uwezeshaji Zana binafsi Mwongozo wa pamoja Jukwaa lililoidhinishwa, maktaba, na huduma ya mapitio Matumizi na kuridhika vinapimwa Jukwaa limeunganishwa na utawala na uendeshaji otomatiki
Ujuzi Kiholela Mafunzo ya ufahamu Kujifunza kwa jukumu pamoja na mazoezi Ujuzi unafuatiliwa dhidi ya mahitaji Ujuzi unapangwa kati ya wafanyakazi wote pamoja na msaada wa mabadiliko

Orodha hakiki

  • Kila mfumo muhimu wa AI una mmiliki wa bidhaa aliyetajwa.
  • Majukumu na haki za maamuzi zimeandikwa kwenye ukurasa.
  • Timu ndogo ya kuwezesha inatoa zana, mwongozo, na mapitio.
  • Maamuzi ya jenga, nunua, au sanidi yamerekodiwa.
  • Gharama za uendeshaji zimepangiwa bajeti na kufuatiliwa kwa kila matumizi.
  • Huduma za jukwaa la pamoja zinafanya njia iliyoidhinishwa kuwa rahisi.
  • Mafunzo ni ya kijukumu na yanajumuisha mazoezi kwenye kazi halisi.
  • Tumewaambia wafanyakazi kwa uaminifu jinsi AI itakavyoathiri kazi yao.

Maelekezo ya AI

Linganisha jenga, nunua, na sanidi.

Our use case: [describe]. Our constraints: [data sensitivity, skills, budget, timeline]. Options: [list].
Draft a comparison table with criteria (total cost over three years, data control, speed, risk of dependency, skills needed, ability to change) and for each option what we know and what we do not know from my description. Do not choose an option or invent costs.
List what you are unsure of.

Andaa mfumo wa uendeshaji wa ukurasa mmoja kwa majadiliano.

Our organization: [type, size]. Our AI uses today: [list]. Our governance bodies: [list].
Draft a one-page operating model with roles, decision rights, funding approach, how AI is built or bought, how risk review works, and how skills are built. Mark every assumption and leave [blank] where my description gives no basis.
List what you are unsure of.

Panga ujuzi kwa jukumu.

Roles in our team: [list with what each does]. AI uses planned: [list].
For each role, list the skills needed (use of AI, checking outputs, risk, building, data), one practice activity on real work, and one way to see that the skill has grown. Do not name courses or vendors.
List what you are unsure of.

Ujuzi wa AI

Vyanzo vikuu

  • NIST, AI Risk Management Framework: muundo unaojumuisha utawala na majukumu ya shirika.
  • ISO/IEC 42001 (the standard itself): mahitaji ya mfumo wa usimamizi wa AI; soma toleo la sasa kutoka kwa mchapishaji.
  • Marty Cagan, Empowered (2020): kuhusu timu za bidhaa na jinsi mashirika yanavyoziunga mkono.
  • Wikipedia, "MLOps" and "Operating model": muhtasari wa mzunguko wa maisha na dhana.

Marejeo

  1. Operating model — Wikipedia — https://en.wikipedia.org/wiki/Operating_model
  2. MLOps — Wikipedia — https://en.wikipedia.org/wiki/MLOps
  3. Center of excellence — Wikipedia — https://en.wikipedia.org/wiki/Center_of_excellence
  4. Product management — Wikipedia — https://en.wikipedia.org/wiki/Product_management
  5. Cost–benefit analysis — Wikipedia — https://en.wikipedia.org/wiki/Cost%E2%80%93benefit_analysis
  6. Digital literacy — Wikipedia — https://en.wikipedia.org/wiki/Digital_literacy
  7. Community of practice — Wikipedia — https://en.wikipedia.org/wiki/Community_of_practice
  8. Technological unemployment — Wikipedia — https://en.wikipedia.org/wiki/Technological_unemployment
  9. Return on investment — Wikipedia — https://en.wikipedia.org/wiki/Return_on_investment
  10. Proof of concept — Wikipedia — https://en.wikipedia.org/wiki/Proof_of_concept
  11. AI Risk Management Framework — NIST — https://www.nist.gov/itl/ai-risk-management-framework