Pam mae hyn yn bwysig

Mae'r rhan fwyaf o ddefnyddiau AI mewn rheoli gwasanaethau hyd yma yn gynghorol. Mae model yn darllen tocyn ac yn awgrymu categori, neu'n drafftio ateb y mae unigolyn yn ei olygu. Os yw'r awgrym yn anghywir, mae person yn sylwi cyn i unrhyw beth ddigwydd. Mae asiant AI yn newid hynny. Rhoddir offer iddo: gall holi systemau, diweddaru cofnodion, rhedeg gorchmynion, agor a chau tocynnau, ac anfon negeseuon. Mae'n cynllunio camau tuag at nod ac yn eu cyflawni, yn aml gydag ychydig o gyfranogiad dynol rhwng y cyfarwyddyd a'r canlyniad.

Mae hyn yn addo gwerth go iawn. Gallai asiant ymchwilio i rybudd trwy dynnu logiau, gwirio newidiadau diweddar, a phostio crynodeb. Gallai brosesu cais arferol o'r dechrau i'r diwedd: gwirio cymhwysedd, creu'r cyfrif, hysbysu'r defnyddiwr. Gallai ddrafftio atgyweiriad ac agor cais tynnu. O'i wneud yn dda, mae'n cymryd gwaith arferol oddi ar bobl brysur ac yn gweithio ar unrhyw awr.

Mae hefyd yn newid natur y risg. Anghyfleustra yw ateb anghywir. Gall gweithred anghywir ddileu data, rhoi mynediad i'r person anghywir, dod â gwasanaeth i lawr, neu anfon neges at ddeng mil o gwsmeriaid. Mae'r cyflymder sy'n gwneud asiantiaid yn ddefnyddiol yn gwneud i'w camgymeriadau ledaenu'n gyflym. Ac mae asiantiaid yn agored i ymosodiad: gall cyfarwyddyd gelyniaethus wedi'i guddio mewn tocyn neu dudalen we lywio asiant sydd â'r pŵer i weithredu.

Mae'r pwnc hwn yn nodi'r prif syniadau ar gyfer defnyddio asiantiaid yn ddiogel mewn rheoli gwasanaethau: cwmpas, caniatâd, cymeradwyo, archwilio a stopio. Mae'n adeiladu ar Bwnc 5.1 — AI mewn Rheoli Gwasanaethau a Phwnc 5.6 — Llywodraethu, Risg a Chydymffurfio AI, ac yn cysylltu ag awtomeiddio (Pwnc 6.1 — Strategaeth Awtomeiddio a Phwnc 6.6 — Awtomeiddio Llawlyfrau Gweithredu ac Awto-adfer), galluogi newid (Pwnc 3.4 — Galluogi Newid), a diogelwch gwybodaeth (Pwnc 3.13 — Rheoli Diogelwch Gwybodaeth).

Cysyniadau craidd

Asiant AI. System sy'n canfod ei hamgylchedd, yn gwneud penderfyniadau, ac yn cymryd camau i gyflawni nodau. Mae Wikipedia yn disgrifio asiantiaid deallus ac asiantiaid AI. Mewn ymarfer cyfredol, mae asiant fel arfer yn cyfuno model iaith ag offer a dolen: mae'r model yn penderfynu beth i'w wneud nesaf, yn galw offeryn, yn darllen y canlyniad, ac yn parhau nes iddo benderfynu ei fod wedi gorffen neu gyrraedd terfyn.

Offer a chaniatâd. Y set o gamau y gall asiant eu cymryd, fel darllen sylfaen wybodaeth, holi monitro, creu tocyn, neu ailgychwyn gwasanaeth. Mae offer yn aml yn cael eu hamlygu trwy ryngwynebau rhaglennu cymwysiadau (APIs). Mae Wikipedia yn disgrifio APIs. Mae protocolau agored ar gyfer cysylltu modelau ag offer, fel y Model Context Protocol a ddisgrifir ar Wikipedia, yn ei gwneud yn hawdd ychwanegu offer, sy'n ddefnyddiol ac hefyd yn ehangu'r hyn y gall asiant ei wneud. Mae gan bob offeryn ei risg ei hun.

Lefelau ymreolaeth. Ffordd ddefnyddiol o feddwl am reolaeth yw fel lefelau, o ddim i lawn. Ar un pen, dim ond awgrymu y mae'r asiant. Yna mae'n paratoi gweithred i'w chymeradwyo. Yna mae'n gweithredu ar ei ben ei hun o fewn terfynau cul ac yn adrodd. Ar y pen pellaf mae'n gweithredu'n eang heb adolygiad. Mae erthygl Wikipedia ar reolaeth oruchwyliol yn disgrifio'r syniad o oruchwyliaeth ddynol o systemau awtomataidd. Dewiswch y lefel fesul tasg, ar sail cost gwall a'r gallu i'w ddadwneud.

Goruchwyliaeth ddynol. Mae unigolyn yn parhau'n gallu deall, cymeradwyo, stopio neu gywiro'r asiant. Mae Wikipedia yn disgrifio systemau person-yn-y-ddolen. Mae goruchwyliaeth yn cymryd sawl ffurf: cymeradwyo gweithredoedd cyn iddynt ddigwydd, monitro gweithredoedd wrth iddynt ddigwydd, ac adolygu wedyn. Mae'r ffurf gywir yn dibynnu ar gyflymder a risg. Nid yw adolygu ar ôl y ffaith o unrhyw ddefnydd ar gyfer gweithred anwrthdroadwy.

Tuedd awtomeiddio a stampio rwber. Mae pobl yn tueddu i gymeradwyo'r hyn y mae system yn ei gynnig, yn enwedig pan fo cymeradwyaethau'n aml ac yn edrych yn debyg. Mae Wikipedia yn disgrifio tuedd awtomeiddio. Nid yw rheolaeth y mae pobl yn ei chymeradwyo heb ddarllen yn rheolaeth. Dyluniwch gymeradwyaethau fel eu bod yn dangos beth fydd yn digwydd, yn ddigon prin i'w darllen, ac yn cael eu gwirio trwy samplu.

Y fraint leiaf. Dylai fod gan asiant y caniatâd sydd ei angen arno ar gyfer ei dasg yn unig, ac am gyhyd ag y bo eu hangen yn unig. Mae Wikipedia yn disgrifio'r egwyddor o'r fraint leiaf. Defnyddiwch hunaniaethau ar wahân ar gyfer asiantiaid, nid cyfrif gweinyddwr a rennir, fel y gellir olrhain gweithredoedd a chyfyngu caniatâd.

Y dirprwy dryslyd (confused deputy). Problem diogelwch lle caiff rhaglen yr ymddiriedir ynddi ei thwyllo i ddefnyddio ei hawdurdod ar ran rhywun nad oes ganddo ef. Mae Wikipedia yn disgrifio problem y dirprwy dryslyd. Mae asiant sy'n gallu gweithredu â braint uchel ac yn cymryd cyfarwyddiadau o destun ymddiriedaeth isel, fel neges defnyddiwr, yn achos clasurol.

Chwistrellu anogwr. Cyfarwyddiadau gelyniaethus wedi'u cuddio mewn cynnwys y mae asiant yn ei ddarllen, fel tocyn, e-bost, tudalen we, neu linell log. Mae Wikipedia yn disgrifio chwistrellu anogwr. Gan na all y model wahaniaethu'n ddibynadwy rhwng cyfarwyddiadau a data, gall ffynhonnell gynnwys geisio ailgyfeirio'r asiant. Mae amddiffyn yn dibynnu'n bennaf ar gyfyngu ar yr hyn y gall yr asiant ei wneud, nid ar berswadio'r model i anwybyddu testun drwg.

Blychau tywod (sandboxing). Rhedeg asiantiaid mewn amgylcheddau cyfyngedig, gyda mynediad cyfyngedig i systemau a data. Mae Wikipedia yn disgrifio blychau tywod mewn diogelwch cyfrifiadurol. Gadewch i asiant roi cynnig ar weithredoedd mewn amgylchedd prawf cyn iddo weithio mewn cynhyrchu.

Gwrthdroadwyedd. Ffafriwch weithredoedd y gellir eu dadwneud: creu tocyn, ychwanegu label, cynnig newid. Trinwch weithredoedd anwrthdroadwy, fel dileu, talu ac anfon negeseuon y tu allan, fel rhai sydd angen cymeradwyaeth neu a waherddir. Mae Wikipedia yn disgrifio ôl-dreiglo mewn rheoli data.

Terfynau a thorwyr cylched. Capiau ar faint o weithredoedd y gall asiant eu cymryd yr awr, faint y gall ei wario, faint o eitemau y gall eu newid ar unwaith, ac am ba mor hir y gall redeg. Mae Wikipedia yn disgrifio cyfyngu cyfradd. Mae terfyn yn troi rhedeg di-hid yn wall wedi'i gyfyngu.

Switsh diffodd (kill switch). Ffordd gyflym, ddibynadwy o stopio asiant a dirymu ei fynediad. Mae Wikipedia yn disgrifio switshis diffodd. Profwch ef. Nid yw switsh diffodd sy'n dibynnu ar gydweithrediad yr asiant ei hun, neu ar system sydd i lawr, yn un.

Llwybr archwilio. Cofnod cyflawn o'r hyn y gofynnwyd i'r asiant, beth a benderfynodd, pa offer a alwodd â pha fewnbynnau, a beth ddigwyddodd. Mae Wikipedia yn disgrifio llwybrau archwilio. Hebddo, ni allwch ymchwilio i gamgymeriad, dangos cydymffurfiaeth, na dysgu.

Atebolrwydd. Nid yw asiant yn atebol; mae pobl. Mae perchennog a enwyd yn gyfrifol am yr hyn y mae'r asiant yn ei wneud, am ei ganiatâd, ac am adolygu ei gofnod. Mae Wikipedia yn disgrifio atebolrwydd. Gweler Pwnc 2.8 — Perchnogaeth Cynnyrch a Gwasanaeth.

Systemau aml-asiant. Gall sawl asiant yn gweithio gyda'i gilydd ychwanegu cymhlethdod, gwallau sy'n rhaeadru, a chyfrifoldeb aneglur. Mae Wikipedia yn disgrifio systemau aml-asiant. Trinwch gwmpas a chaniatâd pob asiant ar wahân, a byddwch yn ofalus am asiantiaid yn cyfarwyddo asiantiaid.

Gwahanu dyletswyddau. Mae'r syniad na ddylai unrhyw barti unigol allu cwblhau gweithred beryglus ar ei ben ei hun yn berthnasol i asiantiaid. Ni ddylai asiant sy'n cynnig newid fod yr un sy'n ei gymeradwyo. Mae Wikipedia yn disgrifio gwahanu dyletswyddau.

Sut mae'r lensys yn ffitio. Mae asiantiaid yn eistedd lle mae AI yn cwrdd ag awtomeiddio. Mae arfer ystwyth yn awgrymu dechrau'n fach ac ehangu ymreolaeth mewn camau gyda thystiolaeth. Mae dadansoddeg yn mesur beth mae asiantiaid yn ei wneud a beth maent yn ei gael yn anghywir. Mae llywodraethu (gweler Pwnc 5.6 — Llywodraethu, Risg a Chydymffurfio AI) yn gosod y rheolau.

Arferion gorau

  1. Diffiniwch y cwmpas yn ysgrifenedig. Nodwch at ba ddiben y mae'r asiant, beth gaiff ei wneud, beth na chaiff ei wneud byth, a pha ddata y caiff ei gyffwrdd. Cadwch ef yn gul ar y dechrau.
  2. Rhowch ei hunaniaeth ei hun i bob asiant. Defnyddiwch gyfrif ar wahân gyda'r caniatâd lleiaf, wedi'i gyfyngu i'w dasg, a chylchdrowch neu ddirwyn cymwysterau i ben. Peidiwch ag ailddefnyddio cyfrif gweinyddwr dynol.
  3. Dewiswch lefel ymreolaeth yn ôl risg. Gadewch i'r asiant awgrymu yn gyntaf, yna gweithredu ar dasgau risg isel, gwrthdroadwy, a mynnwch gymeradwyaeth ar gyfer unrhyw beth arwyddocaol neu anwrthdroadwy. Ysgrifennwch y lefelau ar gyfer pob tasg.
  4. Dyluniwch gymeradwyaethau y mae pobl yn eu darllen. Dangoswch y weithred arfaethedig, y rheswm, y dystiolaeth a'r effaith. Cadwch gymeradwyaethau'n ddigon prin i'w darllen, a samplwch eitemau a gymeradwywyd am ansawdd.
  5. Profwch mewn blwch tywod yn gyntaf. Rhedwch yr asiant yn erbyn copi diogel gydag achosion realistig, gan gynnwys rhai gwrthwynebus, cyn iddo gyffwrdd â chynhyrchu.
  6. Trinwch fewnbynnau fel rhai nad ymddiriedir ynddynt. Peidiwch â gadael i gynnwys o docynnau, e-byst neu'r we roi awdurdod. Cyfyngwch ar yr offer sydd ar gael pan fo'r asiant yn prosesu cynnwys nad ymddiriedir ynddo.
  7. Capiwch y radiws ffrwydrad. Gosodwch derfynau ar nifer y gweithredoedd, maint y newid, gwariant ac amser. Gwnewch weithred swmp yn gam ar wahân, a gymeradwywyd.
  8. Logiwch bopeth ac adolygwch ef. Cadwch y llwybr llawn, storiwch ef lle na all yr asiant ei newid, ac adolygwch samplau'n rheolaidd. Rhybuddiwch ar batrymau anarferol.
  9. Adeiladwch a phrofwch y switsh diffodd. Gwnewch ef yn gyflym, yn annibynnol ar yr asiant, ac yn hysbys i'r bobl ar alwad. Ymarferwch ef.
  10. Ehangwch ymreolaeth yn araf. Rhowch fwy dim ond ar ôl cyfnod o ganlyniadau da, gyda chymeradwyaeth perchennog a enwyd a chyfradd gwallau a fesurwyd. Lleihewch hi pan fo problemau'n codi.

Cwestiynau i'w trafod gyda'ch tîm

Beth yw'r peth gwaethaf y gallai'r asiant hwn ei wneud gyda'r caniatâd rydym yn bwriadu ei roi iddo? Cerddwch drwy'r caniatâd, offeryn wrth offeryn. Disgwyliwch anesmwythder. Dilynwch trwy dynnu neu gyfyngu unrhyw ganiatâd na fydden ni'n derbyn ei achos gwaethaf.

Pa rai o'i weithredoedd allwn ni eu dadwneud, a pha rai na allwn? Rhestrwch hwy. Disgwyliwch rai anwrthdroadwy y tybiwyd eu bod yn ddiogel. Dilynwch trwy fynnu cymeradwyaeth ar gyfer pob gweithred anwrthdroadwy.

Sut y bydd cymeradwywyr yn gwybod beth maent yn ei gymeradwyo, a pha mor aml y byddant yn gweld cais? Dychmygwch y cymeradwywr ar ddiwrnod prysur. Disgwyliwch geisiadau hir sy'n edrych yn debyg. Dilynwch trwy ddylunio crynodeb a therfyn ar gyfaint cymeradwyaethau.

Beth fyddai'n rhaid i rywun ei roi mewn tocyn neu e-bost i wneud i'r asiant wneud rhywbeth nad ydym ei eisiau? Rhowch gynnig arni fel ymosodwr. Disgwyliwch bethau annisgwyl. Dilynwch trwy ddewis mesurau lliniaru fel cyfyngu ar offer wrth ddarllen cynnwys nad ymddiriedir ynddo.

Pe bai angen i ni ei stopio ar hyn o bryd, pwy fyddai'n gwneud hynny, sut, a pha mor hir y byddai'n ei gymryd? Gofynnwch am y camau ac ymarferwch. Disgwyliwch ansicrwydd. Dilynwch trwy ysgrifennu gweithdrefn stopio un dudalen a'i phrofi.

Pwy sy'n berchen ar yr asiant hwn, a beth maent yn ei adolygu bob wythnos? Enwch yr unigolyn a'r adolygiad. Disgwyliwch fylchau. Dilynwch trwy neilltuo perchnogaeth ac adolygiad sampl wythnosol gyda chwestiynau diffiniedig.

Yn ymarferol: enghraifft o reoli gwasanaethau

Mae tîm seilwaith asiantaeth dreth genedlaethol eisiau asiant i ymchwilio i rybuddion cynhyrchu dros nos. Ar hyn o bryd caiff peiriannydd ar alwad ei ddeffro ar gyfer y rhan fwyaf o rybuddion, mae'n treulio 15 i 30 munud yn casglu cyd-destun, ac yn aml yn canfod mai problem hysbys sydd ag atgyweiriad wedi'i ddogfennu yw'r achos.

Mae'r tîm yn dylunio'r asiant mewn tri cham. Yng ngham un, mae gan yr asiant fynediad darllen yn unig: gall holi metrigau, logiau, cofnodion newid diweddar a'r sylfaen wybodaeth, a phostio crynodeb i'r sianel digwyddiadau gyda'r dystiolaeth a ddefnyddiodd. Yng ngham dau, caiff hefyd gyflawni rhestr fach o weithredoedd gwrthdroadwy, fel ailgychwyn gwasanaeth di-gyflwr neu raddio cronfa weithwyr i fyny gan ddwy enghraifft, dim ond pan fo'r rhybudd yn cyfateb i lawlyfr gweithredu wedi'i ddogfennu, gyda therfyn o dair gweithred yr awr a phostiad i'r sianel ar ôl pob un. Yng ngham tri, nas cymeradwywyd eto, câi gynnig newidiadau cyfluniad i'w cymeradwyo gan bobl.

Mae gan yr asiant ei gyfrif gwasanaeth ei hun gyda mynediad darllen yn unig i gynhyrchu, ynghyd â'r ddwy weithred a enwir. Mae'n darllen testun tocynnau a logiau, a all gynnwys cynnwys gelyniaethus, felly pan fydd yn darllen testun rhydd ni all alw unrhyw offeryn gweithredu yn yr un cam. Mae cofnod llawn yr asiant o geisiadau, galwadau offer a chanlyniadau yn mynd i storfa logiau ar wahân. Mae uwch beiriannydd yn berchen ar yr asiant, yn adolygu deg sesiwn bob wythnos, a gall analluogi ei gymwysterau gydag un gorchymyn, y mae'r tîm yn ei ymarfer yn fisol.

Ar ôl dau fis yng ngham un, mae peirianwyr ar alwad yn canfod bod y crynodebau'n gywir mewn 85 y cant o achosion. Mewn 10 y cant maent yn colli newid perthnasol oherwydd bod y cofnod newid yn anghyflawn, ac mewn 5 y cant maent yn pwyntio at y gydran anghywir. Mae cam dau yn dechrau gydag un llawlyfr gweithredu. Yn y mis cyntaf, mae'r asiant yn ailgychwyn gwasanaeth deirgwaith, yn gywir. Mewn un prawf gyda thocyn wedi'i grefftio yn cynnwys cyfarwyddyd cudd i raddio cronfa i rif uchel iawn, mae'r terfyn cyfradd a'r rheol gweithredu yn ei stopio.

Beth sy'n newid: caiff peirianwyr eu deffro'n llai aml ac maent yn cyrraedd gyda chrynodeb a thystiolaeth. Beth sy'n parhau'n anodd: mae dibyniaeth yr asiant ar gofnodion newid cywir yn dinoethi bylchau ansawdd data; weithiau mae peirianwyr yn ymddiried yn y crynodeb yn fwy na'u gwiriadau eu hunain; ac mae'r tîm diogelwch wedi gofyn bod cyfnod cadw'r log archwilio yn cael ei ymestyn a'i adolygu. Mae'r perchennog yn cofnodi'r rhain ac yn dal cam tri nes bod y gyfradd gwallau yng ngham dau wedi'i mesur dros chwarter.

Pedwar persbectif

Timau cynnyrch a chyflawni

Amlygwch offer diogel, cul gyda chaniatâd clir, terfynau cyfradd a logiau. Peidiwch â rhoi mynediad cyffredinol i asiantiaid at eich piblinellau neu ddata. Cynhwyswch asiantiaid yn eich modelau bygythiad.

Timau gwasanaeth a gweithrediadau

Byddwch yn berchen ar gwmpas yr asiant, adolygwch ei gofnod, ac ymarferwch ei stopio. Cadwch lawlyfrau gweithredu'n gywir, gan fod asiantiaid yn dibynnu arnynt. Adroddwch wallau a bron â digwydd.

Arweinyddiaeth a llywodraethu

Penderfynwch pa ymreolaeth sy'n dderbyniol ar gyfer pob tasg, a mynnwch berchennog a enwyd a llwybr archwilio. Gofynnwch am dystiolaeth o dreialon cam wrth gam, a byddwch yn barod i leihau ymreolaeth. Peidiwch â dibynnu ar sicrwydd gwerthwyr yn unig.

Cwsmeriaid a defnyddwyr

Dylech wybod pan fo asiant awtomataidd yn gweithredu ar eich cais, a chael llwybr at unigolyn all gywiro camgymeriad. Dywedwch wrth y darparwr os oedd gweithred awtomataidd yn anghywir.

Ystwyth, AI, awtomeiddio a dadansoddeg

Ystwyth

Ehangwch ymreolaeth mewn camau bach gyda thystiolaeth, adolygwch bob cam gyda rhanddeiliaid, a chadwch bob rhyddhad yn fach. Rhybudd: gall iteriad cyflym redeg yn gyflymach nag adolygiad diogelwch; cadwch borth ar gyfer pob cynnydd mewn ymreolaeth.

AI

Mae'r asiant yn system AI gyda pherchennog, achosion prawf a monitro, ac mae angen gofal arbennig arno oherwydd ei fod yn gweithredu. Gwarchodwch rhag chwistrellu anogwr a gorymddiriedaeth. Rhybudd: peidiwch â dibynnu ar gyfarwyddiadau sy'n dweud wrth y model am fod yn ofalus fel y brif reolaeth; dibynnwch ar ganiatâd, terfynau a chymeradwyaeth. Gweler Pwnc 5.6 — Llywodraethu, Risg a Chydymffurfio AI.

Awtomeiddio

Mae asiantiaid yn cysylltu ag awtomeiddio: maent yn dewis ac yn sbarduno gweithredoedd. Cadwch y gweithredoedd eu hunain yn rhagweladwy ac wedi'u profi, gyda'u dilysu eu hunain, fel bod dewis yr asiant wedi'i gyfyngu i opsiynau cymeradwy. Rhybudd: mae awtomeiddio sy'n derbyn gorchmynion ffurf-rydd gan asiant mor beryglus â'r asiant; amlygwch weithredoedd cul, a enwir. Gweler Pwnc 6.6 — Awtomeiddio Llawlyfrau Gweithredu ac Awto-adfer.

Dadansoddeg

Mesurwch weithredoedd a gymerwyd, cyfraddau cymeradwyo, gwrthwneud, gwallau a ganfuwyd wrth adolygu, amser a arbedwyd, a bron â digwydd. Rhybudd: gall cyfradd gymeradwyo uchel olygu cynigion da neu stampio rwber; samplwch yr eitemau a gymeradwywyd. Gweler y llyfr Service Management Metrics a Phwnc 7.3 — Mesur ac Adrodd.

Dulliau methu cyffredin

  • Caniatâd eang. Rhoddir cyfrif gweinyddwr a rennir i'r asiant. Defnyddiwch hunaniaeth ar wahân gyda'r fraint leiaf.
  • Cymeradwyaethau nad oes neb yn eu darllen. Caiff ceisiadau mynych, amwys eu stampio â rwber. Gwnewch hwy'n brin, yn glir ac yn cael eu samplu.
  • Testun gelyniaethus yn llywio'r asiant. Mae cynnwys mewn tocynnau neu dudalennau gwe yn cyhoeddi gorchmynion. Cyfyngwch ar offer o gwmpas mewnbwn nad ymddiriedir ynddo.
  • Dim terfynau. Mae dolen neu gamgymeriad yn rhedeg ar gyflymder peiriant. Capiwch weithredoedd, gwariant a chwmpas.
  • Dim botwm stopio. Ni all neb ei atal. Adeiladwch ac ymarferwch switsh diffodd.
  • Dim cofnod. Ni ellir ymchwilio i ddigwyddiadau. Cadwch lwybr archwilio llawn, wedi'i ddiogelu.
  • Ymreolaeth wedi'i chodi gan frwdfrydedd. Mae'r asiant yn cael mwy o bŵer heb dystiolaeth. Ehangwch mewn camau gyda mesurau.

Model aeddfedrwydd

Dimensiwn Cychwyn Datblygu Safoni Rheoli Cydlynu
Cwmpas a chaniatâd Eang neu aneglur Treial cul Cwmpas ysgrifenedig, hunaniaeth ei hun, y fraint leiaf Cwmpas a chaniatâd yn cael eu hadolygu'n rheolaidd Caniatâd yn addasu yn ôl risg gyda chymeradwyaeth
Goruchwyliaeth Dim Adolygiad anffurfiol Lefelau ymreolaeth a phyrth cymeradwyo wedi'u diffinio Ansawdd cymeradwyo yn cael ei samplu a'i fesur Goruchwyliaeth wedi'i thiwnio gan dystiolaeth ar draws asiantiaid
Rheolaethau diogelwch Dim Logio sylfaenol Blwch tywod, terfynau, switsh diffodd wedi'u profi Rheolaethau'n cael eu harchwilio a'u hymarfer Rheolaethau wedi'u hadeiladu i mewn i'r llwyfan ar gyfer pob asiant
Atebolrwydd Aneglur Yr adeiladwr sy'n berchen arno Perchennog a enwyd gydag adolygiad wythnosol Perchennog yn adolygu mesurau a digwyddiadau Perchnogaeth wedi'i chydlynu ar draws asiantiaid a thimau

Rhestr wirio

  • Mae gan yr asiant gwmpas ysgrifenedig a pherchennog a enwyd.
  • Mae'n defnyddio ei hunaniaeth ei hun gyda chaniatâd y fraint leiaf.
  • Mae lefelau ymreolaeth wedi'u diffinio fesul tasg, gyda chymeradwyaeth ar gyfer gweithredoedd arwyddocaol neu anwrthdroadwy.
  • Mae cymeradwyaethau'n dangos beth fydd yn digwydd ac yn cael eu samplu am ansawdd.
  • Rydym wedi ei brofi mewn blwch tywod, gan gynnwys mewnbynnau gwrthwynebus.
  • Mae terfynau yn capio gweithredoedd, gwariant a chwmpas.
  • Mae ei gofnod llawn yn cael ei logio lle na all ei newid, ac yn cael ei adolygu.
  • Mae gennym switsh diffodd ac rydym wedi ymarfer ei ddefnyddio.

Anogwyr AI

Profi cwmpas asiant.

Cwmpas ysgrifenedig ein hasiant yw: [gludwch]. Ei offer a'i ganiatâd: [rhestrwch].
Rhestrwch ugain senario, rhai o fewn y cwmpas, rhai ar yr ymyl, a rhai sy'n ceisio gwneud i'r asiant weithredu y tu allan iddo neu ddefnyddio offeryn mewn ffordd niweidiol, ac ar gyfer pob un nodwch beth yw'r ymddygiad cywir. Peidiwch â chynnwys systemau na data go iawn.
Rhestrwch y pethau rydych yn ansicr ohonynt.

Adolygu log gweithredoedd.

Dyma sampl o log gweithredoedd asiant, gyda dynodwyr wedi'u tynnu: [gludwch].
Rhestrwch weithredoedd sy'n edrych yn anarferol o ran maint, amseriad, neu darged, gweithredoedd na chyfatebodd i lawlyfr gweithredu wedi'i ddogfennu, ac unrhyw beth sy'n edrych fel yr asiant yn dilyn cyfarwyddiadau o destun nad ymddiriedir ynddo. Dyfynnwch bob un. Peidiwch â dweud a oedd yr asiant yn iawn.
Rhestrwch y pethau rydych yn ansicr ohonynt.

Drafftio neges gymeradwyo.

Mae'r asiant yn cynnig y weithred hon: [disgrifiwch]. Y dystiolaeth a ddefnyddiodd: [rhestrwch]. Beth fyddai'n newid pe bai'n cael ei wneud: [disgrifiwch]. Sut i'w ddadwneud: [disgrifiwch neu ysgrifennwch "ni wyddys"].
Ysgrifennwch gais cymeradwyo clir o dan 100 gair ar gyfer cymeradwywr prysur, yn datgan beth fydd yn digwydd, pam, y risg, a sut i'w ddadwneud. Peidiwch ag argymell cymeradwyo.
Rhestrwch y pethau rydych yn ansicr ohonynt.

Sgiliau AI

  • risk-register: defnyddiwch i gofnodi risgiau asiantiaid, perchnogion a phenderfyniadau.
  • runbook: defnyddiwch i ddiffinio'r gweithredoedd y caiff asiant eu cymryd a phryd.
  • security-testing: defnyddiwch i brofi asiantiaid yn erbyn mewnbynnau gelyniaethus.
  • incident-response-plan: defnyddiwch i gynllunio ymatebion pan fydd asiant yn camymddwyn.
  • mlops: defnyddiwch i fonitro a fersiynu'r modelau y tu ôl i asiantiaid.

Prif ffynonellau

  • NIST, AI Risk Management Framework: strwythur ar gyfer llywodraethu risgiau AI, gan gynnwys rhai systemau ymreolaethol.
  • OWASP, guidance on risks for applications built on large language models (owasp.org): gan gynnwys chwistrellu anogwr ac asiantaeth ormodol.
  • Wikipedia, "AI agent" a "Prompt injection": trosolygon o'r syniad ac un o'r prif risgiau diogelwch.
  • Wikipedia, "Principle of least privilege": y rheolaeth sylfaenol ar gyfer cyfyngu niwed.

Cyfeiriadau

  1. Intelligent agent — Wikipedia — https://en.wikipedia.org/wiki/Intelligent_agent
  2. AI agent — Wikipedia — https://en.wikipedia.org/wiki/AI_agent
  3. Human-in-the-loop — Wikipedia — https://en.wikipedia.org/wiki/Human-in-the-loop
  4. Principle of least privilege — Wikipedia — https://en.wikipedia.org/wiki/Principle_of_least_privilege
  5. Confused deputy problem — Wikipedia — https://en.wikipedia.org/wiki/Confused_deputy_problem
  6. Prompt injection — Wikipedia — https://en.wikipedia.org/wiki/Prompt_injection
  7. Sandbox (computer security) — Wikipedia — https://en.wikipedia.org/wiki/Sandbox_(computer_security)
  8. Kill switch — Wikipedia — https://en.wikipedia.org/wiki/Kill_switch
  9. Audit trail — Wikipedia — https://en.wikipedia.org/wiki/Audit_trail
  10. Automation bias — Wikipedia — https://en.wikipedia.org/wiki/Automation_bias
  11. Rate limiting — Wikipedia — https://en.wikipedia.org/wiki/Rate_limiting
  12. OWASP — OWASP Foundation — https://owasp.org