Cyflawni Parhaus
Cyflawni parhaus yw'r arfer o gadw meddalwedd bob amser mewn cyflwr y gellir ei ryddhau a chludo newidiadau bach i wasanaethau byw yn aml, trwy gamau adeiladu, profi a defnyddio awtomataidd; mae'n gwneud newid yn fwy diogel trwy ei wneud yn llai, a dyma sut mae timau ystwyth yn newid gwasanaethau byw heb aros am ryddhad chwarterol.
Pam mae hyn yn bwysig
Newid yw'r ffynhonnell fwyaf o risg mewn gwasanaeth byw, a'r ymateb arferol yw ei arafu: llai o ryddhau, mwy o gymeradwyaethau, cylchoedd profi mwy. Mae pob un o'r rhain yn gwneud y rhyddhad nesaf yn fwy, sy'n ei wneud yn fwy peryglus, sy'n ysgogi mwy o ofal. Mae timau'n canfod eu hunain yn rhyddhau unwaith y chwarter gyda phenwythnos hir o waith pryderus.
Mae cyflawni parhaus yn troi'r cylch hwnnw o gwmpas. Os yw newid yn fach, mae ei effeithiau'n hawdd i'w deall, yn hawdd i'w profi ac yn hawdd i'w gwrthdroi. Os caiff ei ryddhau trwy biblinell awtomataidd, mae'r un gwiriadau'n rhedeg bob tro, yn yr un drefn, gyda chofnod. Os gellir gwneud y rhyddhad ar unrhyw adeg, gall y tîm ymateb i wasanaeth sy'n methu neu angen cwsmer o fewn oriau yn hytrach nag wythnosau.
I reoli gwasanaethau, mae cyflawni parhaus yn bwysig oherwydd ei fod yn newid sut olwg sydd ar reolaeth. Ni all arfer galluogi newid a adeiladwyd o amgylch cyfarfod bwrdd wythnosol gadw i fyny ag 20 rhyddhad y dydd, ac nid oes angen iddo, os yw'r biblinell yn cario'r gwiriadau (gweler Pwnc 3.4 — Galluogi Newid a Phwnc 6.4 — Piblinellau a Newid Awtomataidd). Mae'r pwnc hwn yn esbonio'r arfer, yr eirfa, a sut i'w gyflwyno heb golli rheolaeth.
Cysyniadau craidd
Integreiddio parhaus. Mae datblygwyr yn uno eu gwaith i brif linell a rennir yn aml, o leiaf bob dydd, ac mae pob uniad yn sbarduno rhediad adeiladu a phrofi awtomataidd. Y nod yw canfod problemau integreiddio pan fyddant yn fach. Mae erthygl Wikipedia ar integreiddio parhaus yn disgrifio'r arfer a'i darddiad mewn rhaglennu eithafol.
Cyflawni parhaus. Mae adeiladau sy'n pasio'r gwiriadau awtomataidd bob amser mewn cyflwr y gellid ei ryddhau. Penderfyniad busnes yw'r penderfyniad i ryddhau, a gymerir pan fo'n gyfleus, nid rhwystr technegol. Yn y fformiwleiddiad safonol, mae'r rhyddhad yn un clic ac yn risg isel.
Defnyddio parhaus. Cam pellach lle caiff pob newid sy'n pasio'r biblinell ei ryddhau i gynhyrchu yn awtomatig, heb gymeradwyaeth â llaw. Mae'n ddewis, nid yn ofyniad o gyflawni parhaus, ac mae'n gweddu i rai gwasanaethau a rhai risgiau yn well nag eraill.
Y biblinell ddefnyddio. Dilyniant awtomataidd o gamau: adeiladu, profion uned, profion integreiddio, gwiriadau diogelwch, defnyddio i amgylchedd prawf, profion derbyn, a rhyddhau. Mae pob cam naill ai'n pasio'r newid ymlaen neu'n ei stopio. Mae'r biblinell yn fecanwaith diogelwch ac yn ffynhonnell tystiolaeth, oherwydd ei bod yn cofnodi'r hyn a wiriwyd.
Sypiau bach. Mae rhyddhau newidiadau bach yn golygu bod pob un yn cyffwrdd â ychydig. Mae cyfraith Little o ddamcaniaeth ciwio, y mae Wikipedia yn ei disgrifio, yn esbonio rhan o'r effaith: gyda'r un gyfradd o waith, mae sypiau llai yn golygu ciwiau byrrach ac oediadau byrrach. Mae sypiau bach hefyd yn ei gwneud yn haws olrhain namau i achos.
Gwahanu defnyddio oddi wrth ryddhau. Mae defnyddio yn rhoi cod ar weinyddion cynhyrchu. Mae rhyddhau yn gwneud nodwedd ar gael i ddefnyddwyr. Mae technegau fel toglau nodweddion yn gadael i chi ddefnyddio cod wedi'i ddiffodd a'i alluogi'n ddiweddarach, i rai defnyddwyr yn gyntaf. Mae hyn yn lleihau risg pob cam. Gweler Pwnc 3.5 — Rheoli Rhyddhau a Defnyddio.
Cyflawni cynyddol. Rhyddhau i gyfran fach o ddefnyddwyr yn gyntaf, gwylio, ac ehangu'n raddol. Mae amrywiadau'n cynnwys rhyddhau caneri, lle mae grŵp bach yn cael y newid, a defnyddio glas–gwyrdd, lle mae dau amgylchedd cynhyrchu yn cyfnewid fel y gall newid wrthdroi'n gyflym.
Rheoli fersiynau a datblygu ar sail boncyff. Mae pob newid, gan gynnwys cyfluniad a diffiniadau seilwaith, yn byw mewn rheoli fersiynau. Mae llawer o dimau'n gweithio ar un brif gangen gyda changhennau byrhoedlog, sy'n cadw integreiddio'n aml. Gweler Pwnc 6.3 — Seilwaith fel Cod a GitOps.
Adborth ac adferiad cyflym. Y nod yw canfod namau'n gyflym ac adfer yn gyflym. Mae rhaglenni ymchwil ar gyflawni meddalwedd, fel gwaith DevOps Research and Assessment (DORA), yn tracio mesurau fel amlder defnyddio, amser arweiniol ar gyfer newidiadau, cyfradd methiant newid, ac amser i adfer gwasanaeth. Trinwch hwy fel cwestiynau am eich system, nid sgorau ar gyfer timau; gweler y llyfr Service Management Metrics.
Beth mae'n ei ofyn. Profion awtomataidd rydych yn ymddiried ynddynt, piblinell sefydlog, y gallu i ôl-dreiglo neu flaen-dreiglo, monitro cynhyrchu sy'n dangos effaith newid, a thîm sy'n berchen ar yr hyn y mae'n ei ryddhau. Hebddynt, mae rhyddhau mynych yn ddi-hid; gyda hwy, maent yn fwy diogel na rhyddhau anaml.
Sut mae'r lensys yn ffitio. Cyflawni parhaus yw ffurf ymarferol y lens ystwyth ar gyfer gwasanaethau byw. Mae cynorthwywyr AI yn helpu i ysgrifennu ac adolygu cod a phrofion o dan adolygiad dynol. Awtomeiddio yw craidd y biblinell. Mae dadansoddeg yn dweud wrthych beth mae'r biblinell a'r gwasanaethau yn ei wneud.
Arferion gorau
- Cadwch y brif linell yn rhyddadwy. Trinwch adeiladu wedi torri fel blaenoriaeth uchaf y tîm. Mae rheol fel "trwsiwch neu wrthdroi o fewn yr awr" yn cadw integreiddio'n iach.
- Gwnewch newidiadau'n fach. Anelwch at newidiadau y gall adolygydd eu deall mewn munudau. Os yw newid yn fawr, rhannwch ef, er enghraifft trwy ryddhau'r cam paratoadol yn gyntaf.
- Awtomeiddiwch y gwiriadau rydych yn ymddiried ynddynt. Mae gwiriadau adeiladu, uned, integreiddio a diogelwch yn rhedeg ar bob newid. Ychwanegwch wiriad pan fydd digwyddiad yn dangos bwlch, a thynnwch un nad yw byth yn methu ac sy'n costio amser, ar ôl trafodaeth.
- Defnyddiwch un llwybr piblinell ar gyfer pob newid. Osgowch lwybrau arbennig ar gyfer newidiadau brys. Mae un llwybr sy'n ddigon cyflym ar gyfer argyfyngau yn fwy diogel nag eithriad a ymarferir yn anaml.
- Gwahanwch ddefnyddio oddi wrth ryddhau. Defnyddiwch doglau nodweddion a chyflwyno fesul cam fel y gellir troi ymddygiad newydd ymlaen i ychydig o ddefnyddwyr a'i ddiffodd eto'n gyflym. Cofnodwch gyflwr pob togl a thynnwch hen rai.
- Cynlluniwch y ffordd yn ôl. Ar gyfer pob newid, gwyddoch sut i ôl-dreiglo neu flaen-dreiglo, ac ymarferwch hynny. Mae newidiadau data angen gofal arbennig, gan na all ôl-dreiglo cod eu dadwneud.
- Monitrwch effaith pob rhyddhad. Gwyliwch gyfraddau gwallau, hwyrni a dangosyddion sy'n wynebu defnyddwyr am gyfnod penodedig ar ôl rhyddhau, a'i gwneud yn hawdd cydberthyn newid â symptom.
- Ysgrifennwch beth mae'r biblinell yn ei wirio. Mae disgrifiad byr o bob cam, ei ddiben a'i berchennog yn gadael i archwilwyr, staff newydd a gweithrediadau ei ddeall.
- Cynhwyswch weithrediadau o'r dechrau. Dewch â phobl gweithrediadau a chymorth i mewn i ddylunio, fel bod logio, llawlyfrau gweithredu (runbooks) a rhybuddion yn rhan o'r newid, nid yn ôl-ystyriaeth.
- Gwellwch y biblinell fel cynnyrch. Rhowch berchennog ac ôl-groniad iddi. Mae piblinellau araf, fflawiog yn dysgu pobl i'w hosgoi.
Cwestiynau i'w trafod gyda'ch tîm
Pa mor hir y mae ein newid lleiaf yn ei gymryd i gyrraedd cynhyrchu, ac ymhle mae'n aros? Mae hyn yn canfod oedi. Gofynnwch am enghraifft go iawn gyda stampiau amser. Arosiadau nodweddiadol yw profi â llaw, cymeradwyo, mynediad at amgylcheddau, a ffenestri rhyddhau. Dilynwch trwy ddewis yr aros hiraf a cham cyntaf i'w dorri.
Pa rai o'n cymeradwyaethau â llaw allai gwiriad piblinell eu disodli, a pha risg y mae pob un yn ei rheoli? Mae pob cymeradwyaeth yn bodoli am reswm, yn aml digwyddiad flynyddoedd yn ôl. Gofynnwch pa risg y mae'n mynd i'r afael â hi a pha dystiolaeth fyddai'n bodloni'r cymeradwywr. Disgwyliwch wrthwynebiad gan berchnogion rheolaethau; gofynnwch iddynt helpu i ddylunio'r eilydd. Dilynwch trwy dreialu un eilydd gyda dyddiad adolygu.
Beth sy'n digwydd pan fydd rhyddhad yn mynd o'i le? Pa mor gyflym y gallem ei wrthdroi, ac a ydym wedi ymarfer? Mae timau'n aml yn darganfod mai ar bapur yn unig y mae ôl-dreiglo yn bodoli. Gofynnwch pryd y defnyddiwyd ef ddiwethaf. Dilynwch trwy gynllunio ymarfer mewn amgylchedd diogel.
Pa brofion rydym yn ymddiried ynddynt, a pha rai rydym yn eu hanwybyddu? Mae profion fflawiog yn erydu hyder. Gofynnwch pa fethiannau y mae'r tîm yn eu hanwybyddu. Disgwyliwch atebion gonest am brofion sydd "fel arfer yn pasio wrth ailgynnig". Dilynwch trwy ddewis un prawf fflawiog i'w drwsio neu ei ddileu.
Sut rydym yn gwybod o fewn awr a niweidiodd rhyddhad ddefnyddwyr? Mae hyn yn profi monitro. Mae'r atebion yn amrywio o "rydym yn aros am gwynion" i ddangosfyrddau a rhybuddion awtomatig. Gofynnwch pa ddangosydd fyddai wedi dal y rhyddhad gwael diwethaf. Dilynwch trwy ddewis un dangosydd i'w ychwanegu a'i wirio.
Ymhle y gallai AI helpu yn ein piblinell, a phwy sy'n adolygu'r hyn y mae'n ei gynhyrchu? Gall AI ddrafftio profion, adolygu newidiadau ac egluro methiannau. Gofynnwch beth fyddai pob defnydd yn ei gynhyrchu a phwy sy'n atebol. Disgwyliwch frwdfrydedd a phrin ddim goruchwyliaeth. Dilynwch trwy ddewis un defnydd risg isel gydag adolygiad dynol a mesur o wallau.
Yn ymarferol: enghraifft o reoli gwasanaethau
Mae tîm digidol grŵp ysbytai rhanbarthol yn rhedeg gwasanaeth apwyntiadau cleifion a ddefnyddir gan 30 o glinigau. Mae rhyddhau yn digwydd bob chwarter mewn ffenestr penwythnos gyda rhestr wirio brofi fawr. Aeth y ddau ryddhad diwethaf dros amser, a chyflwynodd un nam a ymddangosodd fore Llun fel apwyntiadau wedi'u dwbl-archebu.
Mae arweinydd y tîm, yn gweithio gyda pherchennog y gwasanaeth, yn cynnig camau bach. Yn gyntaf maent yn awtomeiddio'r adeiladu a'r 200 prawf atchweliad pwysicaf, fel eu bod yn rhedeg ar bob newid. Yn ail maent yn rhoi cyfluniad mewn rheoli fersiynau ac yn mynnu adolygiad cymheiriaid ar gyfer pob newid. Yn drydydd maent yn ychwanegu togl nodwedd fel y gellir galluogi rheolau archebu newydd ar gyfer un clinig yn gyntaf. Mae'r swyddog diogelwch clinigol, sy'n arwyddo'r gwasanaeth i ffwrdd, yn gofyn am dystiolaeth bod pob newid wedi'i brofi a'i adolygu. Mae'r tîm yn dangos cofnod y biblinell iddi ar gyfer pob rhyddhad.
Ar ôl pedwar mis, mae'r tîm yn rhyddhau'n wythnosol, ac mae risg fore Llun yn llai oherwydd bod newidiadau'n llai ac yn weladwy. Caiff y newid rheol dwbl-archebu ei alluogi gyntaf mewn un clinig, ei ddal ar yr ail ddiwrnod pan fydd derbynnydd yn sylwi ar neges od, a'i ddiffodd o fewn munudau.
Beth sy'n newid: mae rhyddhau yn peidio â bod yn ddigwyddiadau penwythnos ac mae'r swyddog diogelwch yn adolygu tystiolaeth yn lle mynychu cyfarfodydd. Beth sy'n parhau'n anodd: mae'r set brofion yn dal i fethu rhai achosion archebu cymhleth, nid oes gan ryngwyneb etifeddol â'r system cofnodion cleifion brawf awtomataidd, ac mae dau glinig yn anhapus gyda newid wythnosol oherwydd ei fod yn effeithio ar eu hyfforddiant. Mae'r tîm yn cytuno ar galendr newid ar gyfer nodweddion sy'n sensitif i hyfforddiant ac yn parhau i ychwanegu profion wrth i ddigwyddiadau ddatgelu bylchau.
Pedwar persbectif
Timau cynnyrch a chyflawni
Byddwch yn berchen ar y biblinell a'r hyn y mae'n ei ryddhau. Cadwch newidiadau'n fach, profion yn ddibynadwy, a thoglau'n daclus. Cynhwyswch logio, rhybuddion a llawlyfrau gweithredu yn y diffiniad o orffen, a gwyliwch effaith pob rhyddhad.
Timau gwasanaeth a gweithrediadau
Helpwch i ddiffinio'r hyn y mae'r biblinell yn ei wirio a'r hyn y mae monitro yn ei ddangos. Gweithiwch gyda datblygwyr ar ôl-dreiglo ac ar sut olwg sydd ar "iach". Gofynnwch am gofnod y rhyddhad pan fydd digwyddiad yn dechrau.
Arweinyddiaeth a llywodraethu
Ariennwch y biblinell, profion a monitro, sy'n hawdd eu llwgu. Gofynnwch am dystiolaeth o reolaeth o'r biblinell yn hytrach na chyfarfodydd. Peidiwch â defnyddio mesurau cyflawni i raddio timau.
Cwsmeriaid a defnyddwyr
Disgwyliwch newidiadau bach, mynych ac atgyweiriadau cyflym. Dywedwch wrth y tîm pan fydd newid yn eich amharu, er enghraifft o gwmpas hyfforddiant neu gyfnodau prysur, a gofynnwch am rybudd o newidiadau sylweddol.
Ystwyth, AI, awtomeiddio a dadansoddeg
Ystwyth
Cyflawni parhaus yw ochr gyflawni arfer ystwyth: newid gweithredol mewn darnau bach, gyda rhanddeiliaid yn cymryd rhan ac adolygiad rheolaidd o'r hyn i'w wella. Rhybudd: peidiwch â'i gyfartalu â dull penodol; gall timau gyflawni'n barhaus gyda sbrintiau neu hebddynt.
AI
Gall cynorthwywyr AI ddrafftio cod, profion a nodiadau rhyddhau, a chrynhoi methiannau, gyda pherchennog a enwir ac unigolyn yn adolygu pob allbwn cyn iddo fynd i mewn i'r biblinell. Rhybudd: gall cod a gynhyrchir gario problemau diogelwch neu drwyddedu; rhedwch yr un gwiriadau ag ar gyfer unrhyw newid, a tracwch gyfran y newidiadau â chymorth AI sy'n achosi diffygion. Gweler Pwnc 5.4 — AI Cynhyrchiol ar gyfer Digwyddiadau, Gwybodaeth a Newidiadau.
Awtomeiddio
Awtomeiddiwch adeiladu, profi, sganio diogelwch, defnyddio, a'r llwybr tystiolaeth, a chadwch ôl-dreiglo yn awtomatig lle gallwch. Rhybudd: mae piblinell werdd yn dangos bod y gwiriadau wedi pasio, nid bod y newid yn gywir; cadwch adolygiad dynol ar gyfer penderfyniadau dylunio a risg. Gweler Pwnc 6.4 — Piblinellau a Newid Awtomataidd.
Dadansoddeg
Tracwch amser arweiniol ar gyfer newidiadau, amlder defnyddio, cyfradd methiant newid, ac amser i adfer, fel cwestiynau i'r system. Rhybudd: pan fyddant yn dod yn dargedau, mae timau'n hollti newidiadau'n artiffisial neu'n osgoi cofnodi methiannau; defnyddiwch hwy gyda'r canllawiau diogelu yn y llyfr Service Management Metrics.
Dulliau methu cyffredin
- Rhyddhau mynych heb brofion. Mae cyflymder yn codi ac ymddiriedaeth yn disgyn. Adeiladwch y gwiriadau yn gyntaf, a rhyddhewch mor aml ag y maent yn ei gefnogi.
- Llwybr ar wahân ar gyfer newidiadau brys. Mae'r llwybr brys heb ei brofi ac yn beryglus. Gwnewch y prif lwybr yn ddigon cyflym ar gyfer argyfyngau.
- Toglau nodweddion hirhoedlog. Mae hen doglau yn pentyrru ac nid oes neb yn gwybod beth sydd ymlaen. Tracwch doglau a thynnwch hwy ar ôl eu cyflwyno.
- Dim ymarfer ôl-dreiglo. Mae ôl-dreiglo yn methu pan fo ei angen. Ymarferwch ef mewn amgylchedd diogel.
- Profion fflawiog yn cael eu hanwybyddu. Mae pobl yn rhoi'r gorau i gredu adeiladau coch. Trwsiwch neu dynnwch brofion fflawiog.
- Trin y biblinell fel gwaith rhywun arall. Mae'n dirywio. Rhowch berchennog ac ôl-groniad iddi.
- Mesurau a ddefnyddir i raddio timau. Mae timau'n camddefnyddio rhifau. Defnyddiwch fesurau i ganfod problemau, nid i gymharu pobl.
Model aeddfedrwydd
| Dimensiwn | Cychwyn | Datblygu | Safoni | Rheoli | Cydlynu |
|---|---|---|---|---|---|
| Amlder rhyddhau | Chwarterol neu'n llai aml | Misol | Wythnosol neu'n amlach, ar lwybr safonol | Amlder wedi'i diwnio yn ôl risg a galw | Parhaus ar draws gwasanaethau, gyda chyflawni cynyddol |
| Awtomeiddio | Adeiladu a phrofi â llaw | Adeiladu awtomataidd | Adeiladu, profi a defnyddio awtomataidd | Piblinell yn cael ei monitro a'i gwella fel cynnyrch | Piblinellau'n cael eu rhannu a'u llywodraethu ar draws timau |
| Tystiolaeth rheolaeth | Cyfarfodydd a rhestrau gwirio | Rhai cofnodion | Cofnodion piblinell ar gyfer pob newid | Tystiolaeth yn cael ei samplu a'i hadolygu | Tystiolaeth yn barhaus, gydag adolygiad dynol o risg |
| Adferiad | Ôl-dreiglo yn aneglur | Ôl-dreiglo wedi'i ddogfennu | Ôl-dreiglo neu flaen-dreiglo wedi'i ymarfer | Amser i adfer yn cael ei fesur | Adferiad yn awtomataidd ac yn cael ei brofi'n rheolaidd |
Rhestr wirio
- Mae'r brif linell yn rhyddadwy bob amser.
- Mae pob newid yn mynd trwy un biblinell awtomataidd.
- Mae profion rydym yn ymddiried ynddynt yn rhedeg ar bob newid; mae profion fflawiog yn cael eu trwsio neu eu tynnu.
- Rydym yn gwahanu defnyddio oddi wrth ryddhau, gyda thoglau nodweddion yn cael eu holrhain.
- Rydym yn gwybod sut i ôl-dreiglo neu flaen-dreiglo ac wedi ei ymarfer.
- Rydym yn monitro effaith pob rhyddhad.
- Mae gan y biblinell berchennog, ôl-groniad a disgrifiad o'i gwiriadau.
- Mae newidiadau â chymorth AI yn cael eu hadolygu a'u holrhain.
Anogwyr AI
Dod o hyd i'r arosiadau mewn rhyddhad.
Dyma linell amser ein rhyddhad diwethaf, o "newid yn barod" i "mewn cynhyrchu": [gludwch y llinell amser gyda stampiau amser a phwy a weithredodd].
Rhestrwch bob aros a pha mor hir ydoedd, yna rhowch ddau gwestiwn ar gyfer pob aros i ganfod ei achos. Peidiwch â thybio achosion.
Rhestrwch y pethau rydych yn ansicr ohonynt.
Cynnig gwiriadau piblinell ar gyfer risg.
Ein gwasanaeth: [disgrifiwch]. Y risg rydym eisiau ei rheoli: [disgrifiwch, fel newid cyfluniad heb ei brofi].
Rhestrwch bum gwiriad awtomataidd a allai fynd i'r afael â hi, beth fyddai pob un yn ei ddal, a beth fyddai pob un yn ei golli. Peidiwch â honni bod gwiriad yn cael gwared ar y risg.
Nodwch ragdybiaethau a rhestrwch y pethau rydych yn ansicr ohonynt.
Drafftio cynllun ymarfer ôl-dreiglo.
Ein proses ryddhau: [gludwch y camau]. Ein dull ôl-dreiglo: [disgrifiwch, neu ysgrifennwch "anhysbys"].
Drafftiwch gynllun ymarfer un dudalen gyda chamau, rolau, meini prawf llwyddiant, a beth i'w gofnodi. Cynhwyswch amgylchedd diogel yn unig; peidiwch ag awgrymu ymarfer mewn cynhyrchu.
Rhestrwch y pethau rydych yn ansicr ohonynt.
Sgiliau AI
- shift-left-testing: defnyddiwch i symud profi'n gynharach yn y biblinell.
- test-driven-development: defnyddiwch i adeiladu profion ochr yn ochr â newidiadau.
- release-notes: defnyddiwch i ddisgrifio pob rhyddhad ar gyfer cwsmeriaid a chymorth.
Prif ffynonellau
- Jez Humble and David Farley, Continuous Delivery (2010): y llyfr a enwodd ac a ddisgrifiodd yr arfer.
- DORA (dora.dev): ymchwil ac adroddiadau ar berfformiad cyflawni meddalwedd.
- Wikipedia, "Continuous delivery": crynodeb o egwyddorion ac arferion cysylltiedig.
- Wikipedia, "Continuous integration": yr arfer sy'n sail iddo.
Cyfeiriadau
- Continuous delivery — Wikipedia — https://en.wikipedia.org/wiki/Continuous_delivery
- Continuous integration — Wikipedia — https://en.wikipedia.org/wiki/Continuous_integration
- Continuous deployment — Wikipedia — https://en.wikipedia.org/wiki/Continuous_deployment
- Feature toggle — Wikipedia — https://en.wikipedia.org/wiki/Feature_toggle
- Blue–green deployment — Wikipedia — https://en.wikipedia.org/wiki/Blue%E2%80%93green_deployment
- Little's law — Wikipedia — https://en.wikipedia.org/wiki/Little%27s_law
- Version control — Wikipedia — https://en.wikipedia.org/wiki/Version_control
- Test automation — Wikipedia — https://en.wikipedia.org/wiki/Test_automation
- DevOps — Wikipedia — https://en.wikipedia.org/wiki/DevOps
- DORA — DevOps Research and Assessment — https://dora.dev