Mifereji na mabadiliko ya kiotomatiki
Mfereji wa utoaji unaweza kubeba udhibiti ambao uwezeshaji wa mabadiliko unahitaji: majaribio, ukaguzi wa usalama, ukaguzi wa sera, mapitio ya wenza, kutenganisha majukumu, na njia ya ushahidi kwa kila badiliko; idhini ya binadamu inayobaki ni kwa maamuzi ya busara ambayo mfereji hauwezi kufanya.
Kwa nini hili ni muhimu
Mabadiliko yalipokuwa nadra na makubwa, udhibiti ulimaanisha mkutano. Watu walikusanyika, wakasoma hati, na kukubali toleo liendelee. Mabadiliko yalipokuwa ya mara kwa mara na madogo, mkutano haukupanuka. Timu inayotoa mara ishirini kwa siku haiwezi kuitisha bodi ishirini. Inaweza, hata hivyo, kuendesha seti ileile ya ukaguzi mara ishirini, kwa ukali thabiti, na kuweka rekodi ya kila moja.
Huo ndio mchango wa mfereji kwa usimamizi wa huduma. Mfuatano ule ule wa kiotomatiki unaojenga na kupeleka badiliko unaweza pia kulijaribu, kulichunguza kwa udhaifu, kulikagua dhidi ya sera, kuhitaji mpitiaji wa pili, na kuandika kilichotokea. Matokeo mara nyingi ni udhibiti bora kuliko mkutano ulivyotoa: thabiti, uliofungwa kwa badiliko halisi, na unaopatikana kwa mkaguzi muda mrefu baadaye. Wikipedia inaeleza utoaji endelevu na majaribio ya kiotomatiki kama mazoea yanayofanya hili liwezekane.
Mfereji pia ni kitu kipya cha kutawala. Unashikilia vitambulisho vinavyoweza kubadilisha uzalishaji, unaweza kusanidiwa vibaya kuruka ukaguzi, na unaweza kuiaminisha timu alama za kijani zinazojaribu kidogo. Mada hii inaeleza jinsi ya kubuni mifereji kama udhibiti, jinsi ya kuzalisha ushahidi kwa wakaguzi, na jinsi ya kuweka busara ya binadamu ambayo uendeshaji otomatiki hauwezi kuchukua nafasi yake. Inajenga juu ya utoaji endelevu (mada 2.2 — Utoaji endelevu) na uwezeshaji wa mabadiliko (mada 3.4 — Uwezeshaji wa Mabadiliko), inaunganishwa na miundombinu kama msimbo (mada 6.3 — Miundombinu kama msimbo na GitOps) na usimamizi wa matoleo (mada 3.5 — Usimamizi wa Matoleo na Upelekaji), na inashiriki wasiwasi na usalama wa taarifa (mada 3.13 — Usimamizi wa Usalama wa Taarifa).
Dhana kuu
Mfereji. Mfuatano wa kiotomatiki wa hatua unaochukua badiliko kutoka msimbo wa chanzo hadi uzalishaji: jenga, jaribu, chunguza, funga, peleka, thibitisha. Wikipedia inaeleza mifereji katika programu. Kila hatua hupita au kushindwa, na kushindwa husimamisha badiliko. Mifereji inafafanuliwa kama msimbo na kuhifadhiwa katika udhibiti wa matoleo.
Uunganishaji endelevu na utoaji. Kuunganisha mabadiliko mara kwa mara na kuweka kila ujenzi tayari kutolewa, kama inavyoelezwa katika mada 2.2 — Utoaji endelevu. Mfereji ni mashine ya yote mawili. Wikipedia inaeleza uunganishaji endelevu na utoaji endelevu.
Hatua kama udhibiti. Kila hatua ni udhibiti wenye kusudi:
| Hatua | Udhibiti inaotoa |
|---|---|
| Jenga | Badiliko linakusanywa na kufungwa kwa njia inayoweza kurudiwa |
| Majaribio ya kitengo na ya ujumuishaji | Tabia inayojulikana bado inafanya kazi |
| Uchanganuzi tuli na uchunguzi wa usalama | Dosari za kawaida na utegemezi wenye udhaifu vinapatikana |
| Ukaguzi wa sera | Kanuni kama tagi, usimbaji, na maeneo yaliyoidhinishwa zinatimizwa |
| Mapitio ya wenza | Mtu wa pili amesoma badiliko |
| Upelekaji wa hatua kwa hatua na uthibitisho | Badiliko linafanya kazi mahali salama kabla ya kuonyeshwa kwa upana |
Milango ya ubora. Sharti ambalo badiliko lazima litimize ili liendelee, kama majaribio kupita, hakuna udhaifu muhimu, au ufunikaji usishuke. Wikipedia inaeleza udhibiti wa ubora kwa upana. Milango inapaswa kuwa michache, wazi, na ya haraka. Mlango unaobatilishwa mara nyingi au kupuuzwa huifundisha timu kupuuza milango.
Majaribio ya kiotomatiki. Majaribio ya kitengo, ya ujumuishaji, na ya mwanzo hadi mwisho huendeshwa kwa kila badiliko. Wikipedia inaeleza majaribio ya kiotomatiki, majaribio ya kitengo, na majaribio ya ujumuishaji. Thamani iko katika kiasi unachoyaamini: majaribio yasiyo thabiti hudhoofisha imani. Tazama mada 2.2 — Utoaji endelevu.
Uchunguzi wa usalama. Uchanganuzi tuli huchunguza msimbo kwa mifumo ya udhaifu; uchanganuzi wa muundo wa programu huchunguza maktaba unazotumia kwa udhaifu unaojulikana. Wikipedia inaeleza yote mawili, majaribio tuli ya usalama wa programu na uchanganuzi wa muundo wa programu. Matokeo yanahitaji kupangwa, kwa kuwa mengi ni ya hatari ndogo au ya uongo.
Sera kama msimbo. Kanuni zilizoandikwa kama msimbo unaoweza kukaguliwa na mashine na kutumika katika mfereji, kwa mfano "hakuna ndoo ya hifadhi inayoweza kuwa ya umma". Zinafanya mahitaji yaweze kujaribiwa na matokeo yaweze kurekodiwa. Tazama mada 6.3 — Miundombinu kama msimbo na GitOps.
Kutenganisha majukumu. Mtu anayeandika badiliko si pekee anayelidhinisha. Wikipedia inaeleza kutenganisha majukumu. Katika mfereji hili linatekelezwa kwa kuhitaji mpitiaji wa pili na kumzuia mwandishi kuidhinisha badiliko lake mwenyewe. Pale kanuni zinapohitaji, mfereji unaweza kuonyesha nani alifanya nini.
Aina za mabadiliko katika mfereji. Mabadiliko ya kawaida, kama sasisho la usanidi la kawaida, yanaweza kupita kwa ukaguzi wa kiotomatiki tu bila idhini ya mikono. Mabadiliko ya kutathminiwa yenye hatari kubwa yanaweza kuongeza hatua ya idhini ya binadamu katika mfereji. Mabadiliko ya dharura hutumia mfereji ule ule kwa hali ya haraka, na rekodi ileile. Tazama mada 3.4 — Uwezeshaji wa Mabadiliko.
Ushahidi. Mfereji hurekodi kilichobadilika (commit), nani alipitia, ukaguzi gani uliendeshwa na matokeo yake, nani au nini kilipeleka, na lini. Wikipedia inaeleza njia za ukaguzi. Ushahidi unapaswa kuhifadhiwa mahali ambapo hauwezi kubadilishwa na watu unaowahusu, na uwe rahisi kupatikana kwa badiliko.
Mnyororo wa ugavi wa programu. Mfereji hujenga kutoka kwa vijenzi vilivyotolewa na wengine, hutumia zana kutoka kwa wengine, na hutoa vitu vinavyopelekwa. Wikipedia inaeleza mnyororo wa ugavi wa programu na wazo la asili (provenance), rekodi inayothibitishika ya kitu kilitoka wapi. Mazoea ni pamoja na kufunga matoleo, kusaini vitu, na kuweka orodha ya vifaa. Tazama mada 4.2 — Usimamizi wa Mali za Programu.
Utoaji wa hatua kwa hatua na uthibitisho. Baada ya kupeleka, mfereji unaweza kukagua viashiria vya afya na kurudisha nyuma kiotomatiki ikiwa vinazidi kuwa vibaya. Mbinu kama utoaji wa hatua kwa hatua na bendera za vipengele zinaelezwa katika mada 3.5 — Usimamizi wa Matoleo na Upelekaji.
Usalama wa mfereji. Mfereji unaweza kupeleka kwenye uzalishaji, kwa hiyo ni lengo la thamani ya juu. Ulinde: zuia nani anaweza kubadilisha fasili za mfereji, tumia vitambulisho vya muda mfupi, tenga mazingira ya kujenga, na ufuatilie shughuli zisizo za kawaida. Chukulia mabadiliko ya mfereji kwa uangalifu uleule kama mabadiliko ya uzalishaji.
Kukwepa na ubaguzi. Baadhi ya mabadiliko hayatatoshea: marekebisho ya data, kitendo cha mikono cha muuzaji. Fafanua njia ya ubaguzi iliyorekodiwa, yenye idhini, badala ya kuwaachia watu kutafuta njia za kuzunguka. Pitia ubaguzi mara kwa mara.
Mfereji kama bidhaa. Mifereji inahitaji wamiliki, orodha ya kazi, nyaraka, na watumiaji wanaotoa mrejesho. Mifereji polepole au isiyo thabiti huwafundisha watu kuiepuka.
Lenzi zinavyolingana. Mifereji ni mahali ambapo lenzi ya uchapuchapu na lenzi ya uendeshaji otomatiki zinakutana na utawala. AI inaweza kupendekeza majaribio, kupitia mabadiliko, na kueleza kushindwa, chini ya mapitio ya binadamu. Uchanganuzi hutumia data ya mfereji kuonyesha utoaji na ubora wa mabadiliko.
Mazoea bora
- Buni kila hatua kama udhibiti uliotajwa. Kwa kila hatua, andika hatari inayoshughulikia, nani anaimiliki, na kushindwa kunamaanisha nini. Ondoa hatua zisizoshughulikia hatari halisi.
- Weka mfereji haraka. Lenga matokeo ndani ya dakika kwa njia ya kawaida. Endesha ukaguzi wa polepole sambamba au katika hatua za baadaye, kwa mrejesho wazi, ili watu wasitafute njia za mkato.
- Fanya mfereji kuwa njia pekee. Mabadiliko ya uzalishaji hupita ndani yake, na njia ya ubaguzi iliyorekodiwa kwa mengine. Zuia ufikiaji wa moja kwa moja inapowezekana.
- Tekeleza kutenganisha majukumu katika zana. Hitaji mpitiaji wa pili aliyehitimu, zuia waandishi kuidhinisha mabadiliko yao wenyewe, na urekodi utambulisho wote wawili.
- Chukulia kushindwa kwa uzito. Jaribio au uchunguzi unaoshindwa husimamisha badiliko. Usiruhusu kubatilisha kwa kawaida, na uhitaji idhini na sababu iliyorekodiwa inapohitajika.
- Panga matokeo ya usalama. Weka vizingiti kwa ukali na mfiduo, rekebisha yale makubwa, na ufuatilie mengine. Rekebisha kanuni kupunguza kelele ili matokeo yasomwe.
- Rekodi ushahidi kiotomatiki. Nasa commit, wapitiaji, ukaguzi, matokeo, vitu, na maelezo ya upelekaji katika hifadhi ambayo mwandishi wa badiliko hawezi kuihariri. Iunganishe na rekodi ya badiliko.
- Linda mfereji wenyewe. Zuia nani anaweza kubadilisha fasili, tumia vitambulisho vya muda mfupi vya wigo mdogo, funga zana na utegemezi, na usaini vitu.
- Thibitisha baada ya upelekaji. Kagua viashiria vya afya, na urudishe nyuma au usimamishe vinapozidi kuwa vibaya. Ripoti matokeo katika rekodi ileile.
- Pitia mfereji mara kwa mara. Angalia ukaguzi upi unanasa matatizo halisi, upi unapuuzwa, kuendesha kunachukua muda gani, na ubaguzi upi unatokea. Boresha na pogoa.
Maswali ya kujadili na timu yako
Ni udhibiti upi wa mabadiliko ambao mfereji unatoa leo, na upi bado unategemea mkutano au fomu? Orodhesha udhibiti. Tarajia baadhi ni ya mikono ambayo yangeweza kuendeshwa kiotomatiki. Ili kwenda mbali zaidi, chagua mmoja wa kuhamishia kwenye mfereji.
Mkaguzi angeona nini akiomba ushahidi wa badiliko moja la mwezi uliopita? Jaribu. Tarajia kuunganisha mifumo kadhaa. Ili kwenda mbali zaidi, kubaliana rekodi moja kwa kila badiliko na njia ya kuipata.
Watu wanabatilisha au kukwepa ukaguzi unaoshindwa mara ngapi, na kwa nini? Omba data. Tarajia zaidi ya wanavyosema. Ili kwenda mbali zaidi, tazama ukaguzi unaobatilishwa zaidi ili kuurekebisha au kuuondoa.
Nani anaweza kubadilisha fasili ya mfereji, na nani anapitia badiliko hilo? Hii inajaribu usalama wa mfereji. Tarajia ufikiaji mpana. Ili kwenda mbali zaidi, zuia ufikiaji na uhitaji mapitio kwa mabadiliko ya mfereji.
Ni matokeo gani ya vichunguzi vyetu tunayoyasoma, na yapi tunayapuuza? Waulize wahandisi. Tarajia "tunapuuza mengi". Ili kwenda mbali zaidi, rekebisha kichunguzi kwa matokeo ambayo watu watayatendea kazi.
AI inaweza kusaidia wapi katika mfereji, na nini lazima kibaki uamuzi wa binadamu? AI inaweza kupendekeza majaribio, kufupisha kushindwa, na kupitia msimbo. Idhini ya hatari na ubaguzi vinapaswa kubaki vya binadamu. Ili kwenda mbali zaidi, jaribu majaribio yaliyopendekezwa na AI kwa mapitio.
Kwa vitendo: mfano wa usimamizi wa huduma
Wakala wa taifa wa hifadhi ya jamii unaendesha takriban programu 80. Mabadiliko kwa mfumo wake wa kukokotoa manufaa yanahitaji bodi ya mapitio ya kila wiki na fomu ndefu, na matoleo hutokea kila mwezi. Ofisi ya ukaguzi inagundua kuwa bodi inaidhinisha karibu kila kitu na kwamba ushahidi wa mabadiliko binafsi umetawanyika. Wahandisi wa wakala wanasema mfereji ungeweza kufanya vizuri zaidi.
Meneja wa utoaji anaendesha jaribio la awali kwenye programu moja. Mfereji unajenga programu, unaendesha majaribio 1,800 ya kitengo na ujumuishaji na seti ya majaribio ya kurudi nyuma yaliyotokana na kasoro za zamani, unachunguza msimbo na maktaba, unakagua fasili ya miundombinu dhidi ya sera, na unahitaji mapitio kutoka kwa mhandisi wa pili aliyefanya kazi kwenye mfumo. Kila uendeshaji unaandika rekodi: commit, wapitiaji, matokeo ya majaribio, matokeo ya uchunguzi, kitambulisho cha kitu, na maelezo ya upelekaji, vilivyohifadhiwa katika kumbukumbu ambayo wahandisi hawawezi kuihariri.
Mchakato wa mabadiliko unabuniwa upya katika njia tatu. Mabadiliko ya kawaida, kama masasisho ya maandishi na usanidi mdogo, ni ya kawaida: mfereji ukipita, badiliko linapelekwa kwa kundi la majaribio kisha kwa wote, bila bodi. Mabadiliko kwa kanuni za kukokotoa manufaa ni ya kutathminiwa na yanahitaji, zaidi ya hayo, sahihi ya mchambuzi wa sera, anayeona muhtasari wa lugha rahisi na matokeo ya majaribio. Marekebisho ya dharura yanatumia mfereji ule ule na seti fupi ya majaribio na mapitio ya baadaye.
Ofisi ya ukaguzi inapitia sampuli ya mabadiliko 30, na kugundua ushahidi umekamilika kwa yote na kwamba mfereji ulizuia mabadiliko manne kwa kushindwa ukaguzi. Pia inabainisha wahandisi wawili waliidhinisha mabadiliko ya kila mmoja mara kwa mara, na kuomba kanuni kwamba wapitiaji wazunguke.
Kinachobadilika: matoleo yanakuwa ya kila wiki, bodi inazingatia mabadiliko ya kanuni, na mkaguzi anaweza kupata ushahidi wa badiliko lolote ndani ya dakika. Kinachobaki kigumu: programu za zamani haziwezi kuendesha majaribio ya kiotomatiki, kwa hiyo mabadiliko yao yanabaki na njia ya zamani; vichunguzi vinatia alama masuala mengi ya maktaba ya hatari ndogo, na wahandisi wameanza kupuuza ripoti; na vitambulisho vya mfereji wenyewe vilipatikana kuwa na ufikiaji mpana kuliko unavyohitajika. Meneja anaongeza kurekebisha vichunguzi, kuzungusha wapitiaji, na mapitio ya vitambulisho vya mfereji.
Mitazamo minne
Timu za bidhaa na utoaji
Miliki mfereji wa huduma yako: uuweke wa haraka, wa kuaminika, na mwaminifu kuhusu unachokagua. Andika majaribio yanayonasa makosa halisi, rekebisha yasiyo thabiti, na uchukulie matokeo kama kazi. Usiukwepe.
Timu za huduma na uendeshaji
Saidia kufafanua ukaguzi na viashiria vya afya ambavyo mfereji hutumia baada ya upelekaji. Tumia ushahidi katika matukio ya hitilafu na mapitio. Weka njia ya ubaguzi kwa dharura za kweli.
Uongozi na utawala
Omba ushahidi kutoka kwa mifereji, si mikutano zaidi. Fadhili majaribio, uchunguzi, na usalama wa mfereji. Pitia ubatilishaji na ubaguzi. Usidhani mifereji ya kijani ni mifumo salama.
Wateja na watumiaji
Unanufaika na mabadiliko ya mara kwa mara, salama zaidi. Unapaswa kuambiwa kuhusu mabadiliko makubwa yanayokuathiri, na uweze kuripoti matatizo baada ya toleo.
Uchapuchapu, AI, uendeshaji otomatiki na uchanganuzi
Uchapuchapu
Mabadiliko madogo, ya mara kwa mara yanayopita ukaguzi uleule kila mara ni umbo la vitendo la udhibiti wa uchapuchapu. Boresha mfereji kutokana na matukio ya hitilafu na mrejesho. Tahadhari: usichukulie mfereji kuwa umekamilika; mapengo ya majaribio yanakua mfumo unapobadilika.
AI
AI inaweza kupendekeza majaribio, kupitia mabadiliko, kufupisha kushindwa, na kupanga matokeo, huku mtu akiwajibika kwa kila uamuzi. Tahadhari: majaribio yaliyozalishwa na AI yanaweza kupita huku yakijaribu kidogo, na mapitio ya msimbo ya AI yanaweza kukosa masuala ya usalama; pima kasoro zinazopita na uweke mapitio ya binadamu kwa hatari. Tazama mada 5.4 — AI zalishi kwa matukio, maarifa na mabadiliko.
Uendeshaji otomatiki
Mfereji ni uendeshaji otomatiki wa njia ya kwenda uzalishaji, ikijumuisha ukaguzi na rekodi. Uulinde kama miundombinu muhimu yenye utambulisho wake, upendeleo mdogo, na ufuatiliaji. Tahadhari: idhini ya kiotomatiki inayotegemea kanuni dhaifu inatoa uhakikisho wa uongo; pitia kila kanuni inakagua nini kweli. Tazama mada 6.1 — Mkakati wa uendeshaji otomatiki.
Uchanganuzi
Fuatilia muda wa kuongoza, marudio ya upelekaji, kiwango cha kushindwa kwa mabadiliko, muda wa kurejesha, hesabu za ubatilishaji, kasoro zilizopita, na matokeo kwa ukali. Tahadhari: vipimo vya utoaji ni rahisi kuchezea na havipaswi kupanga timu; fuatilia kasoro zilizopita kujaribu ukaguzi. Tazama kitabu cha Service Management Metrics na mada 7.3 — Upimaji na utoaji taarifa.
Njia za kawaida za kushindwa
- Kijani kinamaanisha salama. Majaribio ni membamba na yanapita. Pitia kila ukaguzi unajaribu nini kweli na ufuatilie kasoro zilizopita.
- Ubatilishaji wa kawaida. Ukaguzi unakwepwa. Fanya ubatilishaji kuwa nadra, ulioidhinishwa, na unaopitiwa.
- Mfereji polepole. Watu wanatafuta njia za mkato. Weka njia ya kawaida ya haraka.
- Kelele za kichunguzi. Matokeo yanapuuzwa. Rekebisha na upange.
- Ushahidi uliotawanyika. Ukaguzi unachukua wiki. Rekodi kiotomatiki mahali pamoja.
- Mfereji wenye mamlaka kupita kiasi. Mwingilio mmoja unafika kila mahali. Punguza ufikiaji na utumie vitambulisho vya muda mfupi.
- Kujiidhinisha. Waandishi wanaidhinisha kazi yao wenyewe. Tekeleza kutenganisha majukumu katika zana.
Modeli ya ukomavu
| Kipimo | Kuanzisha | Kuendeleza | Kusanifisha | Kusimamia | Kuratibu |
|---|---|---|---|---|---|
| Udhibiti | Ukaguzi wa mikono | Ujenzi na baadhi ya majaribio | Majaribio, uchunguzi, sera, na mapitio kwa kila badiliko | Ufanisi wa ukaguzi unapimwa | Udhibiti unarekebishwa kiotomatiki kwa hatari kwa usimamizi wa binadamu |
| Ushahidi | Fomu na barua pepe | Baadhi ya kumbukumbu | Rekodi ya kiotomatiki kwa kila badiliko | Ushahidi unakaguliwa na kuchukuliwa sampuli | Ushahidi endelevu kati ya mifereji na wasambazaji |
| Usalama wa mfereji | Vitambulisho vya pamoja | Ufahamu | Upendeleo mdogo, zana zilizofungwa, fasili zilizolindwa | Mfereji unafuatiliwa na kujaribiwa | Mnyororo wa ugavi unathibitishwa mwanzo hadi mwisho |
| Mtiririko | Polepole, wa mikono | Ujenzi wa haraka zaidi | Njia ya kawaida ya haraka yenye njia ya ubaguzi | Mtiririko na kushindwa vinapimwa | Utoaji unaboreshwa kati ya huduma |
Orodha hakiki
- Kila hatua ya mfereji ina kusudi na mmiliki aliyetajwa.
- Njia ya kawaida inaendeshwa kwa dakika.
- Mabadiliko ya uzalishaji hupitia mfereji, na njia ya ubaguzi iliyorekodiwa.
- Kutenganisha majukumu kunatekelezwa katika zana.
- Ukaguzi unaoshindwa husimamisha mabadiliko, na ubatilishaji unaidhinishwa na kupitiwa.
- Ushahidi unarekodiwa kiotomatiki katika hifadhi ambayo waandishi hawawezi kuihariri.
- Fasili za mfereji na vitambulisho vimelindwa na kupitiwa.
- Tunapitia ufanisi wa ukaguzi, ikijumuisha kasoro zilizopita.
Maelekezo ya AI
Linganisha udhibiti na mfereji.
Here is our list of change controls: [paste]. Here is a description of what our pipeline does: [paste].
For each control, say whether the pipeline description appears to provide it, partly provide it, or not mention it, quoting the words. Do not assume checks that are not described.
List what you are unsure of.
Pitia uendeshaji ulioshindwa wa mfereji.
Here is the log of a failed run: [paste, with secrets removed].
Summarize which stage failed, the error messages, and the three most likely areas to check, labeling each as a hypothesis. Do not suggest overriding the failure.
List what you are unsure of.
Andaa sampuli ya ushahidi kwa ukaguzi.
Here are the records for [number] changes: [paste summary with commit, reviewers, checks, results].
For each, check whether it shows a reviewer who is not the author, passing tests, scan results, and deployment time, and list gaps. Do not infer anything not in the records.
List what you are unsure of.
Ujuzi wa AI
- change-request: tumia kuelezea mabadiliko na ushahidi wanaohitaji.
- shift-left-testing: tumia kuhamisha majaribio mapema zaidi katika mfereji.
- security-testing: tumia kupanga ukaguzi wa usalama wa mfereji.
- compliance-testing: tumia kukagua ushahidi dhidi ya mahitaji ya udhibiti.
- test-driven-development: tumia kujenga majaribio pamoja na mabadiliko.
Vyanzo vikuu
- Jez Humble and David Farley, Continuous Delivery (2010): maelezo ya msingi ya mifereji ya upelekaji.
- Nicole Forsgren, Jez Humble, and Gene Kim, Accelerate (2018): utafiti kuhusu mazoea ya utoaji na utendaji.
- DORA (dora.dev): utafiti na ripoti zinazoendelea.
- Wikipedia, "Continuous delivery" and "Software supply chain": muhtasari wa zoea na hatari zake.
Marejeo
- Continuous delivery — Wikipedia — https://en.wikipedia.org/wiki/Continuous_delivery
- Continuous integration — Wikipedia — https://en.wikipedia.org/wiki/Continuous_integration
- Test automation — Wikipedia — https://en.wikipedia.org/wiki/Test_automation
- Unit testing — Wikipedia — https://en.wikipedia.org/wiki/Unit_testing
- Integration testing — Wikipedia — https://en.wikipedia.org/wiki/Integration_testing
- Static application security testing — Wikipedia — https://en.wikipedia.org/wiki/Static_application_security_testing
- Software composition analysis — Wikipedia — https://en.wikipedia.org/wiki/Software_composition_analysis
- Software supply chain — Wikipedia — https://en.wikipedia.org/wiki/Software_supply_chain
- Separation of duties — Wikipedia — https://en.wikipedia.org/wiki/Separation_of_duties
- Audit trail — Wikipedia — https://en.wikipedia.org/wiki/Audit_trail
- Code signing — Wikipedia — https://en.wikipedia.org/wiki/Code_signing
- DORA research — DevOps Research and Assessment — https://dora.dev/research/