AI ya kiwakala na usimamizi wa binadamu
Mawakala wa AI wanaotenda kwenye mifumo, badala ya kujibu maswali tu, wanahitaji upeo uliofafanuliwa, ruhusa za upendeleo mdogo, milango ya idhini kwa vitendo vyenye athari, njia kamili ya ukaguzi, na njia iliyojaribiwa ya kuwasimamisha; uhuru unapaswa kutolewa kwa hatua ndogo zenye ushahidi, na uwajibikaji unabaki kwa mtu aliyetajwa.
Kwa nini hili ni muhimu
Matumizi mengi ya AI katika usimamizi wa huduma hadi sasa ni ya ushauri. Modeli husoma tiketi na kupendekeza kategoria, au huandaa jibu ambalo mtu huhariri. Pendekezo likiwa baya, binadamu hugundua kabla ya chochote kutokea. Wakala wa AI hubadilisha hilo. Anapewa zana: anaweza kuuliza mifumo, kusasisha rekodi, kuendesha amri, kufungua na kufunga tiketi, na kutuma ujumbe. Hupanga hatua kuelekea lengo na kuzitekeleza, mara nyingi kwa ushiriki mdogo wa binadamu kati ya maelekezo na matokeo.
Hii inaahidi thamani halisi. Wakala anaweza kuchunguza tahadhari kwa kuvuta kumbukumbu, kukagua mabadiliko ya hivi karibuni, na kuchapisha muhtasari. Anaweza kushughulikia ombi la kawaida kutoka mwanzo hadi mwisho: kuthibitisha kustahili, kuunda akaunti, kumjulisha mtumiaji. Anaweza kuandaa suluhisho na kufungua ombi la kuvuta. Ikifanywa vizuri, huchukua kazi ya kawaida kutoka kwa watu wenye shughuli na kufanya kazi saa yoyote.
Pia inabadilisha asili ya hatari. Jibu baya ni usumbufu. Kitendo kibaya kinaweza kufuta data, kutoa ufikiaji kwa mtu asiyefaa, kuangusha huduma, au kutuma ujumbe kwa wateja elfu kumi. Kasi inayowafanya mawakala kuwa na manufaa hufanya makosa yao yaenee haraka. Na mawakala wanakabiliwa na shambulio: maelekezo ya uadui yaliyofichwa kwenye tiketi au ukurasa wa wavuti yanaweza kumwelekeza wakala mwenye mamlaka ya kutenda.
Mada hii inaweka mawazo makuu ya kutumia mawakala kwa usalama katika usimamizi wa huduma: upeo, ruhusa, idhini, ukaguzi, na kusimamisha. Inajenga juu ya mada 5.1 — AI katika usimamizi wa huduma na mada 5.6 — Utawala, hatari na kufuata sheria za AI, na kuunganishwa na uendeshaji otomatiki (mada 6.1 — Mkakati wa uendeshaji otomatiki na mada 6.6 — Uendeshaji otomatiki wa vitabu vya uendeshaji na urekebishaji wa kiotomatiki), uwezeshaji wa mabadiliko (mada 3.4 — Uwezeshaji wa Mabadiliko), na usalama wa taarifa (mada 3.13 — Usimamizi wa Usalama wa Taarifa).
Dhana kuu
Wakala wa AI. Mfumo unaotambua mazingira yake, kufanya maamuzi, na kuchukua hatua kufikia malengo. Wikipedia inaeleza mawakala wa akili na mawakala wa AI. Katika utendaji wa sasa, wakala kwa kawaida huchanganya modeli ya lugha na zana na mzunguko: modeli huamua cha kufanya kinachofuata, huita zana, husoma matokeo, na kuendelea hadi iamue imemaliza au ifikie kikomo.
Zana na ruhusa. Seti ya vitendo ambavyo wakala anaweza kuchukua, kama kusoma hifadhi ya maarifa, kuuliza ufuatiliaji, kuunda tiketi, au kuanzisha upya huduma. Zana mara nyingi hutolewa kupitia violesura vya kupanga programu (API). Wikipedia inaeleza API. Itifaki wazi za kuunganisha modeli na zana, kama Model Context Protocol inayoelezwa na Wikipedia, hurahisisha kuongeza zana, jambo lenye manufaa na pia hupanua anachoweza kufanya wakala. Kila zana hubeba hatari yake.
Viwango vya uhuru. Njia yenye manufaa ya kufikiria udhibiti ni kama viwango, kutoka hakuna hadi kamili. Upande mmoja, wakala hupendekeza tu. Kisha huandaa kitendo kwa idhini. Kisha hutenda peke yake ndani ya mipaka finyu na kuripoti. Upande wa mbali, hutenda kwa upana bila mapitio. Makala ya Wikipedia kuhusu udhibiti wa usimamizi inaeleza wazo la usimamizi wa binadamu wa mifumo ya kiotomatiki. Chagua kiwango kwa kila kazi, kwa kuzingatia gharama ya kosa na uwezo wa kulibatilisha.
Usimamizi wa binadamu. Mtu anabaki kuweza kuelewa, kuidhinisha, kusimamisha, au kusahihisha wakala. Wikipedia inaeleza mifumo ya binadamu ndani ya mzunguko. Usimamizi huja kwa maumbo kadhaa: kuidhinisha vitendo kabla havijatokea, kufuatilia vitendo vinapotokea, na kupitia baadaye. Umbo sahihi hutegemea kasi na hatari. Mapitio baada ya tukio hayafai kwa kitendo kisichoweza kubatilishwa.
Upendeleo wa otomatiki na kuweka muhuri tu. Watu huwa wanaidhinisha mfumo unachopendekeza, hasa idhini zinapokuwa za mara kwa mara na zinafanana. Wikipedia inaeleza upendeleo wa otomatiki. Udhibiti ambao watu wanaidhinisha bila kusoma si udhibiti. Buni idhini ili zionyeshe kitakachotokea, ziwe nadra vya kutosha kusomwa, na zikaguliwe kwa sampuli.
Upendeleo mdogo. Wakala anapaswa kuwa na ruhusa anazohitaji kwa kazi yake tu, kwa muda anaouhitaji tu. Wikipedia inaeleza kanuni ya upendeleo mdogo. Tumia utambulisho tofauti kwa mawakala, si akaunti ya msimamizi ya pamoja, ili vitendo vifuatiliwe na ruhusa zipunguzwe.
Naibu aliyechanganyikiwa. Tatizo la usalama ambapo programu inayoaminika inadanganywa kutumia mamlaka yake kwa niaba ya mtu asiyeyo. Wikipedia inaeleza tatizo la naibu aliyechanganyikiwa. Wakala anayeweza kutenda kwa upendeleo wa juu na kupokea maelekezo kutoka kwa maandishi ya uaminifu mdogo, kama ujumbe wa mtumiaji, ni kisa cha kawaida.
Sindano ya maelekezo. Maelekezo ya uadui yaliyofichwa katika maudhui ambayo wakala anasoma, kama tiketi, barua pepe, ukurasa wa wavuti, au mstari wa kumbukumbu. Wikipedia inaeleza sindano ya maelekezo. Kwa sababu modeli haiwezi kutofautisha kwa uhakika maelekezo na data, chanzo cha maudhui kinaweza kujaribu kumwelekeza wakala upya. Ulinzi hutegemea zaidi kupunguza wakala anachoweza kufanya, si kuishawishi modeli kupuuza maandishi mabaya.
Sanduku la mchanga. Kuendesha mawakala katika mazingira yenye vikwazo, yenye ufikiaji mdogo wa mifumo na data. Wikipedia inaeleza masanduku ya mchanga katika usalama wa kompyuta. Mwache wakala ajaribu vitendo katika mazingira ya majaribio kabla ya kufanya kazi katika uzalishaji.
Uwezo wa kubatilisha. Pendelea vitendo vinavyoweza kutenduliwa: kuunda tiketi, kuongeza lebo, kupendekeza badiliko. Chukulia vitendo visivyoweza kubatilishwa, kama kufuta, malipo, na kutuma ujumbe nje, kama vinavyohitaji idhini au vilivyokatazwa. Wikipedia inaeleza kurudisha nyuma katika usimamizi wa data.
Vikomo na vikata mzunguko. Vikomo vya vitendo vingapi wakala anaweza kuchukua kwa saa, kiasi anachoweza kutumia, vitu vingapi anaweza kubadilisha kwa wakati mmoja, na muda anaoweza kuendeshwa. Wikipedia inaeleza kikomo cha kiwango. Kikomo hugeuza kukimbia kusikodhibitiwa kuwa kosa lenye mipaka.
Swichi ya kuzima. Njia ya haraka, ya kuaminika ya kumsimamisha wakala na kubatilisha ufikiaji wake. Wikipedia inaeleza swichi za kuzima. Ijaribu. Swichi ya kuzima inayotegemea ushirikiano wa wakala mwenyewe, au mfumo uliopo chini, si swichi.
Njia ya ukaguzi. Rekodi kamili ya kile wakala aliombwa, aliamua nini, zana alizoita na pembejeo gani, na kilichotokea. Wikipedia inaeleza njia za ukaguzi. Bila hiyo, huwezi kuchunguza kosa, kuonyesha uzingatiaji, au kujifunza.
Uwajibikaji. Wakala hawajibiki; watu wanawajibika. Mmiliki aliyetajwa anawajibika kwa wakala anachofanya, ruhusa zake, na kupitia rekodi yake. Wikipedia inaeleza uwajibikaji. Tazama mada 2.8 — Umiliki wa Bidhaa na Huduma.
Mifumo ya mawakala wengi. Mawakala kadhaa wanaofanya kazi pamoja wanaweza kuongeza utata, makosa yanayoporomoka, na uwajibikaji usio wazi. Wikipedia inaeleza mifumo ya mawakala wengi. Chukulia upeo na ruhusa za kila wakala tofauti, na uwe mwangalifu kuhusu mawakala kuwaelekeza mawakala.
Kutenganisha majukumu. Wazo kwamba hakuna upande mmoja unaopaswa kuweza kukamilisha kitendo hatari peke yake linatumika kwa mawakala. Wakala anayependekeza badiliko hapaswi kuwa yule anayeliidhinisha. Wikipedia inaeleza kutenganisha majukumu.
Lenzi zinavyolingana. Mawakala wako mahali AI inapokutana na uendeshaji otomatiki. Zoea la uchapuchapu linapendekeza kuanza kidogo na kupanua uhuru kwa hatua zenye ushahidi. Uchanganuzi hupima mawakala wanachofanya na wanachokosea. Utawala (tazama mada 5.6 — Utawala, hatari na kufuata sheria za AI) huweka kanuni.
Mazoea bora
- Fafanua upeo kwa maandishi. Taja wakala ni wa nini, anaweza kufanya nini, asichoweza kufanya kamwe, na data gani anaweza kugusa. Uweke finyu mwanzoni.
- Mpe kila wakala utambulisho wake. Tumia akaunti tofauti yenye ruhusa za chini kabisa, iliyopimwa kwa kazi yake, na ubadilishe au uishie vitambulisho. Usitumie tena akaunti ya msimamizi wa binadamu.
- Chagua kiwango cha uhuru kwa hatari. Mwache wakala apendekeze kwanza, kisha atende kwenye kazi za hatari ndogo zinazoweza kubatilishwa, na uhitaji idhini kwa chochote chenye athari au kisichoweza kubatilishwa. Andika viwango kwa kila kazi.
- Buni idhini ambazo watu wanasoma. Onyesha kitendo kinachopendekezwa, sababu, ushahidi, na athari. Weka idhini nadra vya kutosha kusomwa, na uchukue sampuli ya vitu vilivyoidhinishwa kwa ubora.
- Jaribu kwenye sanduku la mchanga kwanza. Endesha wakala dhidi ya nakala salama kwa visa halisi, ikijumuisha vya uadui, kabla hajagusa uzalishaji.
- Chukulia maingizo kama yasiyoaminika. Usiruhusu maudhui kutoka kwa tiketi, barua pepe, au wavuti kutoa mamlaka. Punguza zana zinazopatikana wakala anaposhughulikia maudhui yasiyoaminika.
- Weka kikomo cha eneo la athari. Weka vikomo kwa idadi ya vitendo, kiasi cha mabadiliko, matumizi, na muda. Fanya kitendo cha wingi kuwa hatua tofauti, iliyoidhinishwa.
- Rekodi kila kitu na ukipitie. Weka njia kamili, ihifadhi mahali ambapo wakala hawezi kuibadilisha, na upitie sampuli mara kwa mara. Toa tahadhari kwa mifumo isiyo ya kawaida.
- Jenga na ujaribu swichi ya kuzima. Ifanye iwe ya haraka, huru na wakala, na ijulikane kwa watu wa zamu. Ifanyie mazoezi.
- Panua uhuru polepole. Toa zaidi baada ya kipindi cha matokeo mazuri tu, kwa idhini ya mmiliki aliyetajwa na kiwango cha makosa kilichopimwa. Upunguze matatizo yanapotokea.
Maswali ya kujadili na timu yako
Jambo baya zaidi ambalo wakala huyu angeweza kufanya kwa ruhusa tunazopanga kumpa ni lipi? Pitia ruhusa, zana kwa zana. Tarajia usumbufu. Ili kwenda mbali zaidi, ondoa au zuia ruhusa yoyote ambayo hali yake mbaya zaidi hatungeikubali.
Ni vitendo vyake vipi tunaweza kubatilisha, na vipi hatuwezi? Viorodheshe. Tarajia vingine visivyoweza kubatilishwa vilivyodhaniwa kuwa salama. Ili kwenda mbali zaidi, hitaji idhini kwa kila kitendo kisichoweza kubatilishwa.
Wanaoidhinisha watajuaje wanachoidhinisha, na wataona ombi mara ngapi? Fikiria mwidhinishaji siku yenye shughuli. Tarajia maombi marefu, yanayoonekana kufanana. Ili kwenda mbali zaidi, buni muhtasari na kikomo cha kiasi cha idhini.
Mtu angelazimika kuweka nini kwenye tiketi au barua pepe ili wakala afanye jambo ambalo hatutaki? Jaribu kama mshambuliaji. Tarajia mshangao. Ili kwenda mbali zaidi, chagua hatua za kupunguza kama kuzuia zana wakati wa kusoma maudhui yasiyoaminika.
Kama tungehitaji kumsimamisha sasa hivi, nani angefanya, vipi, na ingechukua muda gani? Omba hatua na ufanye mazoezi. Tarajia kutokuwa na uhakika. Ili kwenda mbali zaidi, andika utaratibu wa kusimamisha wa ukurasa mmoja na uujaribu.
Nani anamiliki wakala huyu, na wanapitia nini kila wiki? Taja mtu na mapitio. Tarajia mapengo. Ili kwenda mbali zaidi, teua umiliki na mapitio ya sampuli ya kila wiki yenye maswali yaliyofafanuliwa.
Kwa vitendo: mfano wa usimamizi wa huduma
Timu ya miundombinu ya wakala wa kitaifa wa kodi inataka wakala achunguze tahadhari za uzalishaji usiku. Sasa mhandisi wa zamu huamshwa kwa tahadhari nyingi, hutumia dakika 15 hadi 30 kukusanya muktadha, na mara nyingi hugundua sababu ni tatizo linalojulikana lenye suluhisho lililoandikwa.
Timu inabuni wakala katika hatua tatu. Katika hatua ya kwanza, wakala ana ufikiaji wa kusoma tu: anaweza kuuliza vipimo, kumbukumbu, rekodi za mabadiliko ya hivi karibuni, na hifadhi ya maarifa, na kuchapisha muhtasari kwenye kituo cha matukio ya hitilafu na ushahidi alioutumia. Katika hatua ya pili, anaweza pia kufanya orodha ndogo ya vitendo vinavyoweza kubatilishwa, kama kuanzisha upya huduma isiyo na hali au kupanua kundi la wafanyakazi kwa mifano miwili, tu tahadhari inapolingana na kitabu cha uendeshaji kilichoandikwa, kwa kikomo cha vitendo vitatu kwa saa na chapisho kwenye kituo baada ya kila kimoja. Katika hatua ya tatu, ambayo bado haijaidhinishwa, angeruhusiwa kupendekeza mabadiliko ya usanidi kwa idhini ya binadamu.
Wakala ana akaunti yake ya huduma yenye ufikiaji wa kusoma tu kwa uzalishaji, pamoja na vitendo viwili vilivyotajwa. Anasoma maandishi ya tiketi na kumbukumbu, ambavyo vinaweza kuwa na maudhui ya uadui, kwa hiyo anaposoma maandishi huru hawezi kuita zana yoyote ya kitendo katika hatua hiyohiyo. Rekodi kamili ya wakala ya maombi, miito ya zana, na matokeo huenda kwenye hifadhi tofauti ya kumbukumbu. Mhandisi mwandamizi anamiliki wakala, anapitia vipindi kumi kila wiki, na anaweza kuzima vitambulisho vyake kwa amri moja, ambayo timu inaifanyia mazoezi kila mwezi.
Baada ya miezi miwili katika hatua ya kwanza, wahandisi wa zamu wanapata muhtasari ni sahihi katika asilimia 85 ya visa. Katika asilimia 10 wanakosa badiliko husika kwa sababu rekodi ya badiliko haikukamilika, na katika asilimia 5 wanaelekeza kwenye kijenzi kisicho sahihi. Hatua ya pili inaanza na kitabu kimoja cha uendeshaji. Mwezi wa kwanza, wakala anaanzisha upya huduma mara tatu, kwa usahihi. Katika jaribio moja na tiketi iliyobuniwa iliyo na maelekezo yaliyofichwa ya kupanua kundi hadi idadi kubwa mno, kikomo cha kiwango na kanuni ya kitendo vinamzuia.
Kinachobadilika: wahandisi wanaamshwa mara chache zaidi na wanafika wakiwa na muhtasari na ushahidi. Kinachobaki kigumu: utegemezi wa wakala kwa rekodi sahihi za mabadiliko unafichua mapengo ya ubora wa data; wahandisi wakati mwingine wanaamini muhtasari kuliko ukaguzi wao wenyewe; na timu ya usalama imeomba uhifadhi wa kumbukumbu za ukaguzi urefushwe na kupitiwa. Mmiliki anarekodi haya na kushikilia hatua ya tatu hadi kiwango cha makosa katika hatua ya pili kipimwe kwa robo mwaka.
Mitazamo minne
Timu za bidhaa na utoaji
Toa zana salama, finyu zenye ruhusa wazi, vikomo vya kiwango, na kumbukumbu. Usiwape mawakala ufikiaji wa jumla wa mifereji au data yako. Jumuisha mawakala katika modeli zako za vitisho.
Timu za huduma na uendeshaji
Miliki upeo wa wakala, pitia rekodi yake, na ufanyie mazoezi kumsimamisha. Weka vitabu vya uendeshaji sahihi, kwa kuwa mawakala wanavitegemea. Ripoti makosa na karibu na makosa.
Uongozi na utawala
Amua uhuru unaokubalika kwa kila kazi, na uhitaji mmiliki aliyetajwa na njia ya ukaguzi. Omba ushahidi kutoka kwa majaribio ya hatua kwa hatua, na uwe tayari kupunguza uhuru. Usitegemee uhakikisho wa muuzaji pekee.
Wateja na watumiaji
Unapaswa kujua wakala wa kiotomatiki anapotenda juu ya ombi lako, na uwe na njia kwa mtu anayeweza kusahihisha kosa. Mwambie mtoaji ikiwa kitendo cha kiotomatiki kilikuwa kibaya.
Uchapuchapu, AI, uendeshaji otomatiki na uchanganuzi
Uchapuchapu
Panua uhuru kwa hatua ndogo zenye ushahidi, pitia kila hatua na wadau, na uweke kila toleo kuwa dogo. Tahadhari: kurudia kwa haraka kunaweza kuzidi mapitio ya usalama; weka mlango kwa kila ongezeko la uhuru.
AI
Wakala ni mfumo wa AI wenye mmiliki, visa vya majaribio, na ufuatiliaji, na unahitaji uangalifu maalum kwa sababu unatenda. Jilinde dhidi ya sindano ya maelekezo na kuamini kupita kiasi. Tahadhari: usitegemee maelekezo yanayoiambia modeli iwe makini kama udhibiti mkuu; tegemea ruhusa, vikomo, na idhini. Tazama mada 5.6 — Utawala, hatari na kufuata sheria za AI.
Uendeshaji otomatiki
Mawakala huunganishwa na uendeshaji otomatiki: huchagua na kuanzisha vitendo. Weka vitendo vyenyewe vitabirike na vijaribiwe, vikiwa na uthibitisho wao, ili uchaguzi wa wakala upunguzwe kwa chaguo zilizoidhinishwa. Tahadhari: uendeshaji otomatiki unaokubali amri huru kutoka kwa wakala ni hatari kama wakala; toa vitendo finyu vyenye majina. Tazama mada 6.6 — Uendeshaji otomatiki wa vitabu vya uendeshaji na urekebishaji wa kiotomatiki.
Uchanganuzi
Pima vitendo vilivyochukuliwa, viwango vya idhini, kubatilishwa, makosa yaliyopatikana katika mapitio, muda uliookolewa, na karibu na makosa. Tahadhari: kiwango cha juu cha idhini kinaweza kumaanisha mapendekezo mazuri au kuweka muhuri tu; chukua sampuli ya vitu vilivyoidhinishwa. Tazama kitabu cha Service Management Metrics na mada 7.3 — Upimaji na utoaji taarifa.
Njia za kawaida za kushindwa
- Ruhusa pana. Akaunti ya msimamizi ya pamoja inapewa wakala. Tumia utambulisho tofauti wa upendeleo mdogo.
- Idhini ambazo hakuna anayesoma. Maombi ya mara kwa mara, yasiyo wazi yanawekwa muhuri tu. Yafanye nadra, wazi, na yachukuliwe sampuli.
- Maandishi ya uadui yanamwelekeza wakala. Maudhui katika tiketi au kurasa za wavuti yanatoa amri. Zuia zana kuzunguka maingizo yasiyoaminika.
- Hakuna vikomo. Mzunguko au kosa linaendeshwa kwa kasi ya mashine. Weka vikomo kwa vitendo, matumizi, na upeo.
- Hakuna kitufe cha kusimamisha. Hakuna anayeweza kumzuia. Jenga na ufanyie mazoezi swichi ya kuzima.
- Hakuna rekodi. Matukio ya hitilafu hayawezi kuchunguzwa. Weka njia kamili, iliyolindwa ya ukaguzi.
- Uhuru unaongezwa kwa shauku. Wakala anapata mamlaka zaidi bila ushahidi. Panua kwa hatua zenye vipimo.
Modeli ya ukomavu
| Kipimo | Kuanzisha | Kuendeleza | Kusanifisha | Kusimamia | Kuratibu |
|---|---|---|---|---|---|
| Upeo na ruhusa | Pana au zisizo wazi | Jaribio finyu | Upeo ulioandikwa, utambulisho wake, upendeleo mdogo | Upeo na ruhusa vinapitiwa mara kwa mara | Ruhusa zinarekebishwa kwa hatari kwa idhini |
| Usimamizi | Hakuna | Mapitio yasiyo rasmi | Viwango vya uhuru na milango ya idhini vimefafanuliwa | Ubora wa idhini unachukuliwa sampuli na kupimwa | Usimamizi unarekebishwa kwa ushahidi kati ya mawakala |
| Udhibiti wa usalama | Hakuna | Ukusanyaji wa msingi wa kumbukumbu | Sanduku la mchanga, vikomo, swichi ya kuzima vimejaribiwa | Udhibiti unakaguliwa na kufanyiwa mazoezi | Udhibiti umejengwa ndani ya jukwaa kwa mawakala wote |
| Uwajibikaji | Haujawazi | Mjenzi anamiliki | Mmiliki aliyetajwa mwenye mapitio ya kila wiki | Mmiliki anapitia vipimo na matukio ya hitilafu | Umiliki unaratibiwa kati ya mawakala na timu |
Orodha hakiki
- Wakala ana upeo ulioandikwa na mmiliki aliyetajwa.
- Anatumia utambulisho wake mwenyewe wenye ruhusa za upendeleo mdogo.
- Viwango vya uhuru vimefafanuliwa kwa kila kazi, na idhini kwa vitendo vyenye athari au visivyoweza kubatilishwa.
- Idhini zinaonyesha kitakachotokea na zinachukuliwa sampuli kwa ubora.
- Tulijaribu kwenye sanduku la mchanga, ikijumuisha maingizo ya uadui.
- Vikomo vinaweka kikomo kwa vitendo, matumizi, na upeo.
- Rekodi yake kamili inarekodiwa mahali ambapo hawezi kuibadilisha, na kupitiwa.
- Tuna swichi ya kuzima na tumeifanyia mazoezi.
Maelekezo ya AI
Jaribu upeo wa wakala.
Our agent's written scope is: [paste]. Its tools and permissions: [list].
List twenty scenarios, some inside the scope, some at the edge, and some that try to get the agent to act outside it or to use a tool in a harmful way, and for each state what the correct behavior is. Do not include real systems or data.
List what you are unsure of.
Pitia kumbukumbu ya vitendo.
Here is a sample of an agent's action log, with identifiers removed: [paste].
List actions that look unusual in size, timing, or target, actions that did not match a documented runbook, and anything that looks like the agent following instructions from untrusted text. Quote each. Do not say whether the agent was right.
List what you are unsure of.
Andaa ujumbe wa idhini.
The agent proposes this action: [describe]. The evidence it used: [list]. What would change if it were done: [describe]. How to undo it: [describe or write "not known"].
Write a clear approval request of under 100 words for a busy approver, stating what will happen, why, the risk, and how to undo it. Do not recommend approval.
List what you are unsure of.
Ujuzi wa AI
- risk-register: tumia kurekodi hatari za wakala, wamiliki, na maamuzi.
- runbook: tumia kufafanua vitendo ambavyo wakala anaweza kuchukua na lini.
- security-testing: tumia kujaribu mawakala dhidi ya maingizo ya uadui.
- incident-response-plan: tumia kupanga majibu wakala anapokosea tabia.
- mlops: tumia kufuatilia na kuweka matoleo ya modeli nyuma ya mawakala.
Vyanzo vikuu
- NIST, AI Risk Management Framework: muundo wa kutawala hatari za AI, ikijumuisha za mifumo ya kujiendesha.
- OWASP, guidance on risks for applications built on large language models (owasp.org): ikijumuisha sindano ya maelekezo na wakala mwenye mamlaka kupita kiasi.
- Wikipedia, "AI agent" and "Prompt injection": muhtasari wa wazo na hatari kuu ya usalama.
- Wikipedia, "Principle of least privilege": udhibiti wa msingi wa kupunguza uharibifu.
Marejeo
- Intelligent agent — Wikipedia — https://en.wikipedia.org/wiki/Intelligent_agent
- AI agent — Wikipedia — https://en.wikipedia.org/wiki/AI_agent
- Human-in-the-loop — Wikipedia — https://en.wikipedia.org/wiki/Human-in-the-loop
- Principle of least privilege — Wikipedia — https://en.wikipedia.org/wiki/Principle_of_least_privilege
- Confused deputy problem — Wikipedia — https://en.wikipedia.org/wiki/Confused_deputy_problem
- Prompt injection — Wikipedia — https://en.wikipedia.org/wiki/Prompt_injection
- Sandbox (computer security) — Wikipedia — https://en.wikipedia.org/wiki/Sandbox_(computer_security)
- Kill switch — Wikipedia — https://en.wikipedia.org/wiki/Kill_switch
- Audit trail — Wikipedia — https://en.wikipedia.org/wiki/Audit_trail
- Automation bias — Wikipedia — https://en.wikipedia.org/wiki/Automation_bias
- Rate limiting — Wikipedia — https://en.wikipedia.org/wiki/Rate_limiting
- OWASP — OWASP Foundation — https://owasp.org