Kwa nini hili ni muhimu

Mabadiliko husababisha matukio ya hitilafu. Marekebisho ya usanidi, toleo la msimbo, kufanya upya cheti, kanuni ya ngome ya moto: yoyote kati ya haya yanaweza kuangusha huduma. Mashirika mengi hujifunza hili kwa njia ngumu, na hujibu kwa udhibiti: fomu, idhini, mkutano, kufunga. Udhibiti hupunguza hatari fulani na kuongeza ucheleweshaji, na ucheleweshaji huwahimiza watu kuunganisha mabadiliko katika makundi makubwa zaidi, ambayo ni hatari zaidi.

Umbo la jadi la udhibiti ni bodi ya ushauri wa mabadiliko (CAB), kundi linalopitia mabadiliko yaliyopendekezwa. Bodi zinaweza kuongeza thamani halisi zinapoleta mtazamo mpana kwa mabadiliko hatari. Pia zinakuwa kikwazo zinapopitia kila badiliko, ikijumuisha ya kawaida ambayo yamefaulu mara elfu. Utafiti kuhusu utoaji wa programu ulioripotiwa katika kitabu Accelerate, cha Nicole Forsgren, Jez Humble, na Gene Kim, uligundua kwamba idhini nzito ya nje haikuhusishwa na utulivu bora na ilihusishwa na utoaji wa polepole; mapitio ya wenza na ukaguzi wa kiotomatiki vilihusishwa na matokeo bora. Data inatoka kwenye tafiti na ina mipaka yake, lakini mwelekeo unalingana na uzoefu katika timu nyingi.

ITIL 4 ilibadilisha jina la zoea kuwa "uwezeshaji wa mabadiliko", kuashiria kwamba lengo ni kuwezesha mabadiliko yenye manufaa kwa kuhakikisha hatari zinatathminiwa ipasavyo, kuidhinisha mabadiliko yaendelee, na kusimamia ratiba ya mabadiliko. Mada hii inaonyesha jinsi ya kufanya hivyo kwa njia tofauti kwa aina tofauti za mabadiliko, na jinsi ya kujenga ushahidi ndani ya kazi. Inajenga juu ya utoaji endelevu (mada 2.2 — Utoaji endelevu) na inaunganishwa na usimamizi wa matoleo (mada 3.5 — Usimamizi wa Matoleo na Upelekaji) na usimamizi wa usanidi (mada 4.4 — Usimamizi wa Usanidi).

Dhana kuu

Badiliko. Katika ITIL 4, kuongeza, kurekebisha, au kuondoa kitu chochote ambacho kinaweza kuwa na athari ya moja kwa moja au isiyo ya moja kwa moja kwa huduma. Upeo ni mpana: programu, miundombinu, usanidi, nyaraka, wasambazaji, na michakato. Makala za Wikipedia kuhusu usimamizi wa mabadiliko na udhibiti wa mabadiliko zinaeleza wazo katika TEHAMA na uhandisi.

Uwezeshaji wa mabadiliko dhidi ya usimamizi wa mabadiliko. "Usimamizi wa mabadiliko" pia hutumika kwa mabadiliko ya shirika, yakimaanisha upande wa kibinadamu wa mageuzi (tazama mada 8.3 — Mabadiliko ya Shirika na Kukubalika). "Uwezeshaji wa mabadiliko" katika ITIL unarejelea kudhibiti mabadiliko ya huduma na bidhaa. Mwongozo huu unatumia istilahi ya ITIL 4 kwa zoea lililoelezwa hapa.

Aina za mabadiliko. ITIL 4 inaeleza tatu:

Aina Maelezo Njia ya kawaida
Ya kawaida Hatari ndogo, inaeleweka vizuri, imeidhinishwa mapema, inayojirudia Inafuata utaratibu ulioandikwa; hakuna idhini ya mtu mmoja mmoja
Ya kawaida kwa tathmini Inahitaji tathmini na idhini Inatathminiwa na kuidhinishwa na mamlaka sahihi ya mabadiliko
Ya dharura Lazima ifanywe haraka, kwa mfano kurejesha huduma au kurekebisha udhaifu muhimu Idhini ya haraka yenye mapitio baadaye

Mamlaka ya mabadiliko. Mtu au kundi linaloidhinisha badiliko. ITIL 4 inasisitiza kwamba mamlaka yawekwe katika ngazi inayofaa hatari, ambayo kwa mabadiliko ya hatari ndogo mara nyingi ni mwenzako au timu yenyewe. Mabadiliko yenye hatari kubwa yanaenda juu. Makala ya Wikipedia kuhusu bodi ya ushauri wa mabadiliko inaeleza modeli ya jadi.

Tathmini ya hatari. Kukadiria uwezekano na athari ya badiliko kushindwa. Mambo yanajumuisha ukubwa wa badiliko, umuhimu wa huduma, idadi ya watumiaji, majaribio yaliyofanywa, uwezo wa kurudisha nyuma, na rekodi ya mabadiliko yanayofanana. Makala za Wikipedia kuhusu tathmini ya hatari na usimamizi wa hatari zinaeleza mbinu za jumla. Orodha hakiki rahisi, thabiti hufanya kazi vizuri kuliko alama tata ambayo hakuna anayeiamini.

Ratiba ya mabadiliko. Kalenda inayoonyesha mabadiliko yaliyopangwa, ili migongano na vipindi muhimu vya biashara vionekane. Kwa timu zinazotoa mara nyingi kwa siku, ratiba inapungua hadi ubaguzi, kama vipindi vya kufunga, na mabadiliko makubwa yanayohitaji uratibu.

Mapitio ya wenza. Mtu mwingine mwenye uwezo hupitia badiliko kabla halijafanywa, kama katika mapitio ya msimbo. Wikipedia inaeleza mapitio ya wenza na mapitio ya msimbo. Ni nafuu, ya haraka, na huleta maarifa husika, na yanaunga mkono kutenganisha majukumu inapohitajika.

Udhibiti wa kiotomatiki katika mfereji. Majaribio, uchanganuzi tuli, uchunguzi wa usalama, na ukaguzi wa sera huendeshwa kwa kila badiliko, na mfereji hurekodi kilichoendeshwa na matokeo. Hii inazalisha ushahidi bora kuliko mkutano, kwa sababu ni thabiti na umefungwa kwa badiliko halisi. Makala za Wikipedia kuhusu majaribio ya kiotomatiki na uchanganuzi tuli wa programu zinaeleza baadhi ya mbinu. Tazama mada 6.4 — Mifereji na mabadiliko ya kiotomatiki.

Kutenganisha majukumu. Udhibiti ambao hakuna mtu mmoja anayeweza kukamilisha kitendo hatari peke yake, kwa mfano kwa kuhitaji kwamba mtu anayeandika badiliko si pekee anayelidhinisha. Kanuni au ukaguzi unaweza kuhitaji. Wikipedia inaeleza kutenganisha majukumu. Mifereji inaweza kulitekeleza kwa kuhitaji mpitiaji wa pili na kurekodi wote wawili.

Kurudisha nyuma na kupona. Uwezo wa kubatilisha badiliko au kuendelea mbele haraka hupunguza hatari. Mabadiliko ya data ni magumu zaidi kubatilisha kuliko ya msimbo. Tazama makala ya Wikipedia kuhusu kurudisha nyuma katika usimamizi wa data.

Mabadiliko ya dharura. Dharura za kweli zinahitaji kasi. Njia iliyofafanuliwa, yenye mamlaka iliyotajwa, makaratasi madogo, na mapitio baadaye, huzuia "dharura" isigeuke kuwa njia ya kawaida ya kuepuka mchakato.

Ushahidi na ukaguzi. Kanuni kama Sarbanes–Oxley Act nchini Marekani, na sheria zinazofanana katika mamlaka nyingine, zimechochea mahitaji ya udhibiti juu ya mabadiliko ya mifumo ya kifedha. Mahitaji hutofautiana kwa mamlaka na sekta; angalia yanayokuhusu na umuulize mkaguzi wako ushahidi gani unakidhi. Mwongozo huu hautoi ushauri wa kisheria.

Lenzi zinavyolingana. Uwezeshaji wa mabadiliko ni mahali kasi ya uchapuchapu inapokutana na udhibiti. Zoea la uchapuchapu linapendekeza mabadiliko madogo, ya mara kwa mara na ushirikishwaji wa mapema wa wadau. AI inaweza kusaidia kutathmini hatari na kuandaa maelezo ya mabadiliko, chini ya mapitio. Uendeshaji otomatiki hutoa udhibiti wa mfereji. Uchanganuzi unaonyesha kushindwa kwa mabadiliko na muda wa kuongoza.

Mazoea bora

  1. Ainisha mabadiliko kwa aina na hatari. Fafanua mabadiliko ya kawaida, ya kutathminiwa, na ya dharura, kwa mifano ya kila moja. Pitia uainishaji mara kwa mara, na uhamishe mabadiliko kwenda "ya kawaida" ushahidi unapounga mkono.
  2. Idhinisha mapema mabadiliko ya kawaida. Kwa mabadiliko yanayojirudia, ya hatari ndogo, kubaliana utaratibu mara moja, na mmiliki wa hatari, na uziache timu zifanye bila idhini ya mtu mmoja mmoja. Pitia kiwango chao cha mafanikio.
  3. Weka mamlaka karibu na kazi. Acha mapitio ya wenza yaidhinishe mabadiliko ya hatari ndogo. Pandisha mabadiliko ya hatari kubwa kwa watu wanaoelewa huduma na utegemezi wake.
  4. Tumia bodi kwa mabadiliko yanayoihitaji. Weka kazi ya ushauri wa mabadiliko kwa mabadiliko ya hatari kubwa au yanayovuka timu. Andaa nyenzo mapema na uamue haraka.
  5. Jenga udhibiti ndani ya mfereji. Hitaji majaribio, uchunguzi, na mpitiaji wa pili ndani ya zana, na urekodi ushahidi kiotomatiki. Waonyeshe wakaguzi mfereji, si lahajedwali.
  6. Fanya mabadiliko kuwa madogo. Gawanya mabadiliko makubwa kuwa hatua ndogo zinazoweza kutolewa na kukaguliwa tofauti. Mabadiliko madogo yana hatari kidogo na ni rahisi kurudisha nyuma.
  7. Panga njia ya kurudi. Hitaji mpango wa kurudisha nyuma au kuendelea mbele kwa kila badiliko la kutathminiwa, na ulifanyie mazoezi kwa muhimu.
  8. Weka ratiba inayoonekana. Onyesha mabadiliko yaliyopangwa na vipindi vya kufunga mahali timu zinapoweza kuona, na uangazie migongano na matukio makubwa. Kwa mabadiliko madogo ya mara kwa mara, onyesha yale tu yanayohitaji uratibu.
  9. Fafanua na usimamie dharura. Andika vigezo na njia. Pitia kila badiliko la dharura baadaye, na uliza kwa nini lilikuwa la lazima na kama njia ya kawaida inaweza kuboreshwa.
  10. Jifunze kutokana na mabadiliko yaliyoshindwa. Pitia mabadiliko yaliyosababisha matukio ya hitilafu, na urekebishe kanuni za hatari, majaribio, au orodha hakiki. Fuatilia kiwango cha kushindwa kwa mabadiliko na uangalie sababu zake.

Maswali ya kujadili na timu yako

Ni idhini zipi hazijawahi kukataa au kubadilisha badiliko, na zinagharimu muda kiasi gani? Hii inajaribu kama udhibiti unaongeza thamani. Omba data ya miezi sita ya mwisho. Unaweza kupata hatua za idhini zisizo na athari iliyorekodiwa. Ili kwenda mbali zaidi, uliza kila moja inashughulikia hatari gani na kama udhibiti mwingine ungeishughulikia.

Ni mabadiliko gani tunafanya mara nyingi zaidi, na yapi yanaweza kuidhinishwa mapema kama mabadiliko ya kawaida? Orodhesha kumi ya juu kwa kiasi. Tarajia mengi kuwa ya hatari ndogo na ya kurudiwa. Shirikisha mmiliki wa hatari. Ili kwenda mbali zaidi, chagua mawili kwa jaribio na ukubaliane vigezo vya mafanikio.

Tunaamuaje ni mabadiliko yapi yanahitaji mapitio ya binadamu, na nani anayafanya? Vigezo mara nyingi havijatajwa waziwazi. Uliza nini kingefanya badiliko "liwe hatari" katika muktadha wetu. Ili kwenda mbali zaidi, andaa orodha hakiki fupi na uijaribu kwa mabadiliko ya hivi karibuni.

Mkaguzi wetu angekubali nini kama ushahidi kwamba badiliko lilijaribiwa, lilipitiwa, na kuidhinishwa? Muulize mkaguzi moja kwa moja badala ya kubahatisha. Tarajia kwamba rekodi kutoka kwa mfereji zinaweza kukubalika zikionyesha nani, nini, na lini. Ili kwenda mbali zaidi, kubaliana sampuli ya rekodi za mfereji na umfanye mkaguzi azipitie.

Badiliko lilikwenda vibaya lini mara ya mwisho, na nini katika mchakato wetu kiliruhusu? Hii inaunganisha zoea na kushindwa halisi. Tafuta majaribio yanayokosekana, kurudisha nyuma kunakokosekana, au taarifa duni. Epuka kumlaumu mtu. Ili kwenda mbali zaidi, kubaliana udhibiti mmoja wa kuongeza au kuboresha.

AI inaweza kusaidia wapi kutathmini hatari ya badiliko, na tungetaka kukagua nini kwa mikono? AI inaweza kusoma maelezo ya badiliko na kushindwa kwa awali kufanana kupendekeza mambo ya hatari. Pia inaweza kupuuza au kubuni. Uliza nani anamiliki zana na mapendekezo yake yanathibitishwaje. Ili kwenda mbali zaidi, linganisha makadirio ya hatari ya AI na matokeo ya mabadiliko ya awali.

Kwa vitendo: mfano wa usimamizi wa huduma

Idara ya TEHAMA ya mamlaka ya afya ya kikanda inaendesha bodi ya ushauri wa mabadiliko ya kila wiki, inayohudhuriwa na takriban watu 20, ambayo hupitia kila badiliko. Wahandisi wanasema wanasubiri hadi siku nane kwa idhini; bodi inasema inanasa matatizo. Mfumo wa rekodi za wagonjwa wa mamlaka ulikuwa na matukio mawili ya hitilafu mwaka jana yaliyosababishwa na mabadiliko ya usanidi ambayo hayakupitiwa yaliyofanywa kama "dharura" ili kuepuka bodi.

Meneja wa mabadiliko anachanganua rekodi za miezi sita: mabadiliko 640 yalipitiwa, 590 yaliidhinishwa kama yalivyowasilishwa, 38 yalirudishwa kwa kukosa taarifa, na 12 yalibadilishwa au kukataliwa kwa sababu kuu. Kati ya 590, 41 yalisababisha matukio ya hitilafu, karibu yote miongoni mwa mabadiliko ambayo pia yalifanywa kwa dharura. Meneja anapendekeza njia tatu. Mabadiliko ya kawaida, kama kumwongeza mtumiaji kwenye kikundi au kufanya upya cheti, yanafuata taratibu zilizoandikwa na hayahitaji idhini. Mabadiliko ya kutathminiwa kwa mifumo iliyoainishwa kuwa na hatari ndogo yanapitiwa na mwenza kutoka timu nyingine na kukaguliwa na mfereji. Mabadiliko ya hatari kubwa kwa mfumo wa rekodi za wagonjwa yanaenda kwa bodi ndogo inayokutana mara mbili kwa wiki na kuona haya tu.

Afisa wa usalama wa kliniki anaomba ushahidi kwamba mapitio ya wenza yanafanyika. Meneja anaonyesha ripoti ya mfereji inayoorodhesha kila badiliko pamoja na jina la mpitiaji, majaribio yaliyoendeshwa, na matokeo. Afisa anakubali majaribio ya miezi sita yenye mapitio ya kila mwezi ya mabadiliko yaliyoshindwa.

Kinachobadilika: wastani wa muda wa idhini unashuka kutoka siku tano hadi chini ya moja kwa mabadiliko mengi, na matumizi ya "dharura" yanapungua sana. Kinachobaki kigumu: baadhi ya mifumo ya zamani haiwezi kuendesha majaribio ya kiotomatiki, kwa hiyo mabadiliko yake bado yanahitaji ukaguzi wa mikono; mapitio ya wenza yanategemea wahandisi kuwa na muda, na timu zilizo chini ya shinikizo hupitia juujuu; na mapitio ya kila mwezi yanapata mabadiliko mawili ambapo mpitiaji hakuwa na maarifa husika. Meneja anaongeza kanuni kwamba mpitiaji lazima awe mtu aliyefanya kazi kwenye mfumo.

Mitazamo minne

Timu za bidhaa na utoaji

Fanya mabadiliko kuwa madogo, ongeza majaribio, na upange kurudisha nyuma. Fanya kazi na zoea la mabadiliko kufafanua mabadiliko ya kawaida na ushahidi wa mfereji. Chukulia mapitio ya wenza kama mapitio halisi, si sahihi tu.

Timu za huduma na uendeshaji

Saidia kutathmini hatari ya kiutendaji, weka ratiba, na ushiriki unachojua kuhusu utegemezi. Pitia mabadiliko yaliyoshindwa na timu, na uweke mabadiliko ya dharura kuwa nadra na yaliyochunguzwa.

Uongozi na utawala

Kabidhi mamlaka kulingana na hatari, omba ushahidi kutoka kwa mfereji, na usihitaji mkutano kwa mabadiliko ya kawaida. Linda muda wa mapitio ya wenza. Pitia idadi ya mabadiliko ya dharura.

Wateja na watumiaji

Unapaswa kusikia kuhusu mabadiliko yanayokuathiri, kwa taarifa ya kutosha na maelezo wazi. Mwambie mtoaji kuhusu vipindi ambapo mabadiliko ni hatari kwako. Ripoti matatizo baada ya badiliko mara moja.

Uchapuchapu, AI, uendeshaji otomatiki na uchanganuzi

Uchapuchapu

Mabadiliko madogo, ya mara kwa mara huku wadau wakijulishwa ni salama kuliko makubwa, nadra. Washirikishe uendeshaji na wamiliki wa hatari katika kubuni njia za mabadiliko, na uziboreshe kwa mrejesho. Tahadhari: usiache udhibiti kwa jina la uchapukaji; ubadilishe na ulio bora zaidi.

AI

AI inaweza kusaidia kuandaa maelezo ya mabadiliko, kupendekeza mambo ya hatari kutoka kwa mabadiliko ya awali yanayofanana, na kukagua maelezo kwa taarifa zinazokosekana, huku mtu akiwajibika kwa uamuzi. Tahadhari: alama ya hatari ya AI inaweza kuchukuliwa kama mamlaka; ionyeshe kama pendekezo na ufuatilie mara ngapi ilikuwa sahihi. Tazama mada 5.4 — AI zalishi kwa matukio, maarifa na mabadiliko.

Uendeshaji otomatiki

Fanya ukaguzi wa mfereji, ukamataji wa ushahidi, ugunduzi wa migongano ya ratiba, na utekelezaji wa mabadiliko ya kawaida kuwa wa kiotomatiki, ukiwa na kumbukumbu na kurudisha nyuma. Tahadhari: idhini ya kiotomatiki ya mabadiliko ni nzuri kama kanuni zake; pitia kanuni na uchukue sampuli ya mabadiliko yaliyoidhinishwa. Tazama mada 6.4 — Mifereji na mabadiliko ya kiotomatiki.

Uchanganuzi

Fuatilia kiasi cha mabadiliko kwa aina, muda wa kuongoza, kiwango cha kushindwa kwa mabadiliko, na mabadiliko ya dharura, na uangalie sababu za kushindwa. Tahadhari: kiwango cha chini cha kushindwa kinaweza kutokana na kutorekodi kushindwa, na hesabu za idhini zinaweza kuchezewa kwa kugawanya au kuunganisha mabadiliko; kagua dhidi ya data ya matukio ya hitilafu. Tazama kitabu cha Service Management Metrics na mada 7.3 — Upimaji na utoaji taarifa.

Njia za kawaida za kushindwa

  • Kupitia kila badiliko kwa njia ileile. Mabadiliko ya kawaida yanasubiri. Ainisha kwa hatari na uidhinishe mapema mabadiliko ya kawaida.
  • Bodi bila ushahidi. Wajumbe wanaidhinisha wasichoweza kukitathmini. Andaa taarifa, na utume mabadiliko yanayohitaji busara tu.
  • Dharura kama njia ya kuzunguka. Uharaka unatangazwa kuepuka mapitio. Ufafanue, na upitie kila matumizi.
  • Mapitio ya wenza ya juujuu. Sahihi bila kusoma. Hitaji mpitiaji aliyehitimu na uchukue sampuli ya mapitio.
  • Kuacha udhibiti bila mbadala. Kushindwa kunaongezeka na wakaguzi wanapinga. Timiza lengo la kila udhibiti ndani ya mfereji.
  • Hakuna mpango wa kurudisha nyuma. Badiliko lililoshindwa linarefusha tukio la hitilafu. Hitaji na ufanyie mazoezi kupona.
  • Kuhesabu mabadiliko yaliyoidhinishwa kama mafanikio. Kiasi kinapanda na ubora haupandi. Fuatilia kushindwa na matukio ya hitilafu yaliyosababishwa.

Modeli ya ukomavu

Kipimo Kuanzisha Kuendeleza Kusanifisha Kusimamia Kuratibu
Aina za mabadiliko na mamlaka Njia moja kwa kila kitu Njia ya dharura ipo Mabadiliko ya kawaida, ya kutathminiwa, na ya dharura yamefafanuliwa na mamlaka kwa hatari Njia zinapitiwa kwa data Njia hubadilika kiotomatiki kwa hatari kati ya huduma
Ushahidi Fomu na mikutano Baadhi ya rekodi kutoka kwa zana Rekodi za mfereji kwa mabadiliko mengi Ushahidi unachukuliwa sampuli na kukaguliwa Ushahidi ni endelevu kati ya zana na wasambazaji
Tathmini ya hatari Kubahatisha Orodha hakiki isiyo rasmi Orodha hakiki thabiti na vigezo Vigezo vinarekebishwa kutoka kwa data ya kushindwa Hatari inatathminiwa kwa data na uendeshaji otomatiki, na mapitio ya binadamu
Kujifunza Lawama Mapitio ya mara moja moja Mabadiliko yaliyoshindwa yanapitiwa na hatua Sababu za kushindwa zinafuatiliwa na kupunguzwa Kujifunza kunashirikiwa kati ya timu

Orodha hakiki

  • Tuna aina za mabadiliko za kawaida, za kutathminiwa, na za dharura zenye mifano.
  • Mabadiliko ya kawaida yameidhinishwa mapema kwa utaratibu ulioandikwa.
  • Mamlaka kwa kila aina yanalingana na hatari.
  • Mapitio ya wenza yanafanywa na mtu mwenye maarifa husika.
  • Udhibiti wa mfereji hurekodi majaribio, wapitiaji, na matokeo.
  • Kila badiliko la kutathminiwa lina mpango wa kurudisha nyuma au kuendelea mbele.
  • Mabadiliko ya dharura yanapitiwa baadaye.
  • Tunafuatilia kiwango cha kushindwa kwa mabadiliko na kujifunza kutokana na mabadiliko yaliyoshindwa.

Maelekezo ya AI

Kagua maelezo ya badiliko kwa mapengo.

Here is a draft change description: [paste]. Our required fields are: [list].
List which required fields are missing or unclear, and list five questions a reviewer would ask. Do not rewrite the change or rate its risk.
List what you are unsure of.

Tafuta mifumo katika mabadiliko yaliyoshindwa.

Below is a list of changes that caused incidents, with dates, type, size, whether tested, and whether rolled back: [paste list, names removed].
List common features across them and questions to investigate. Do not infer causes beyond the data.
List what you are unsure of.

Pendekeza wagombea wa mabadiliko ya kawaida.

Here are our most frequent changes in the last six months, with counts and failure counts: [paste data].
List which look like candidates for pre-authorization, with the data you used and the questions we should ask the risk owner. Do not claim any is safe.
List what you are unsure of.

Ujuzi wa AI

Vyanzo vikuu

  • Nicole Forsgren, Jez Humble, and Gene Kim, Accelerate (2018): utafiti kuhusu mazoea ya utoaji, ikijumuisha idhini ya mabadiliko.
  • DORA (dora.dev): utafiti na ripoti zinazoendelea kuhusu utendaji wa utoaji wa programu.
  • PeopleCert, ITIL certification pages: maelezo ya mmiliki ya zoea la uwezeshaji wa mabadiliko.
  • Wikipedia, "Change management" and "Change control": muhtasari wa mawazo.

Marejeo

  1. Change management — Wikipedia — https://en.wikipedia.org/wiki/Change_management
  2. Change control — Wikipedia — https://en.wikipedia.org/wiki/Change_control
  3. Change-advisory board — Wikipedia — https://en.wikipedia.org/wiki/Change-advisory_board
  4. Risk assessment — Wikipedia — https://en.wikipedia.org/wiki/Risk_assessment
  5. Peer review — Wikipedia — https://en.wikipedia.org/wiki/Peer_review
  6. Code review — Wikipedia — https://en.wikipedia.org/wiki/Code_review
  7. Separation of duties — Wikipedia — https://en.wikipedia.org/wiki/Separation_of_duties
  8. Test automation — Wikipedia — https://en.wikipedia.org/wiki/Test_automation
  9. Static program analysis — Wikipedia — https://en.wikipedia.org/wiki/Static_program_analysis
  10. Continuous delivery — Wikipedia — https://en.wikipedia.org/wiki/Continuous_delivery
  11. DORA research — DevOps Research and Assessment — https://dora.dev/research/