Kwa nini hili ni muhimu

Matukio mengi ya hitilafu ni madogo: diski iliyoshindwa, toleo baya, cheti kilichoisha muda. Machache si hivyo. Kituo cha data kinapoteza umeme kwa siku nzima. Eneo la wingu linashindwa. Programu ya fidia inasimba mifumo mikuu. Msambazaji anaanguka. Janga linawaweka wafanyakazi mbali na ofisi zao. Matukio kama haya yanatishia shirika, si huduma moja tu, na hutokea mara chache kiasi kwamba watu husahau kujiandaa.

Maandalizi ni aina ya bima yenye sifa moja mahususi: thamani yake huonekana siku unapoihitaji tu, na mpango ambao haujawahi kujaribiwa pengine hautafanya kazi. Nakala za akiba ambazo hazijawahi kurejeshwa hugundulika kuwa tupu. Kuhamia mbadala ambako hakujawahi kufanyiwa mazoezi huchukua siku badala ya saa. Orodha ya kupiga simu inaorodhesha watu walioondoka. Timu zilizofanya mazoezi hupata matatizo kwenye mazoezi, si katika mgogoro.

Mada hii inaeleza jinsi ya kuamua cha kulinda, jinsi ya kuweka malengo ya kupona, jinsi ya kupanga na kufanya mazoezi, na jinsi ya kujumuisha AI na uendeshaji otomatiki kwa busara. Katika ITIL 4 zoea hili ni usimamizi wa mwendelezo wa huduma. Katika matumizi mapana pia utakutana na usimamizi wa mwendelezo wa biashara, kupona kutokana na maafa, na ustahimilivu. Yanaingiliana, na mada hii inaeleza jinsi yanavyolingana. Inaunganishwa na upatikanaji (mada 3.11 — Upatikanaji, Uwezo, na Utendaji), usimamizi wa matukio ya hitilafu (mada 3.2 — Usimamizi wa Matukio ya Hitilafu), na usalama wa taarifa (mada 3.13 — Usimamizi wa Usalama wa Taarifa).

Dhana kuu

Mwendelezo wa huduma. Katika ITIL 4, kuhakikisha kwamba upatikanaji na utendaji wa huduma vinadumishwa kwa kiwango cha kutosha wakati wa maafa. Zoea hili linajumuisha kutathmini hatari na athari, kupanga kupona, na kufanya mazoezi.

Mwendelezo wa biashara na kupona kutokana na maafa. Upangaji wa mwendelezo wa biashara, unaoelezwa na Wikipedia, unahusu jinsi shirika linavyoendeleza kazi muhimu, au kuzianza tena haraka, wakati na baada ya usumbufu. Kupona kutokana na maafa ni sehemu ya TEHAMA: kurejesha mifumo, data, na miundombinu. Mwendelezo wa biashara unauliza "tunaendeleaje kuwahudumia wateja?"; kupona kutokana na maafa kunauliza "tunarejeshaje mifumo?". ISO 22301 ni kiwango cha kimataifa cha mifumo ya usimamizi wa mwendelezo wa biashara, kinachoelezwa na Wikipedia; uhusiano wake na ISO/IEC 20000 unashughulikiwa katika mada 1.8 — Mifumo na viwango vya usimamizi wa huduma.

Uchanganuzi wa athari kwa biashara (BIA). Utafiti wa kinachotokea kwa shirika kama kila kazi au huduma haipatikani kwa muda fulani. Hutambua huduma zipi ni muhimu na jinsi zinavyopaswa kurejeshwa haraka. Uchanganuzi unahusisha biashara, si TEHAMA tu, kwa kuwa biashara pekee inajua athari ya saa au siku iliyopotea.

Lengo la muda wa kupona (RTO). Muda wa juu unaolengwa wa kurejesha huduma baada ya usumbufu. Wikipedia inaueleza chini ya kupona kutokana na maafa kwa TEHAMA. Unatokana na uchanganuzi wa athari: kama saa moja ya kuzimika inagharimu sana, RTO ni fupi na suluhisho ni ghali.

Lengo la pointi ya kupona (RPO). Kiasi cha juu cha upotevu wa data kinachokubalika, kinachopimwa kwa muda. RPO ya dakika 15 inamaanisha baada ya kupona, hakuna zaidi ya dakika 15 za data zinazoweza kukosekana. Huamua data inapaswa kunakiliwa mara ngapi.

Gharama na mapatano. RTO na RPO fupi zinagharimu zaidi: ziada zaidi, nakala zaidi, majaribio zaidi. Waonyeshe wanaoamua gharama ya kila chaguo, na urekodi uamuzi. Tazama mada 4.5 — Usimamizi wa fedha na FinOps.

Nakala za akiba na urudufishaji. Nakala za akiba ni nakala za data zinazohifadhiwa kurejesha baada ya hasara au uharibifu. Urudufishaji huweka nakala ya pili ikisasishwa kila wakati mahali pengine. Wikipedia inaeleza yote mawili. Urudufishaji hauchukui nafasi ya nakala ya akiba: uharibifu au usimbaji wa programu ya fidia ukirudufishwa, nakala pia huharibika. Weka angalau nakala moja ya akiba isiyoweza kubadilishwa kutoka mazingira ya uzalishaji, na ujaribu kuirejesha.

Maeneo ya kupona na mifumo. Chaguo ni kuanzia eneo la akiba linaloendeshwa kila wakati, kupitia lile linaloweza kuanzishwa ndani ya saa, hadi kurejesha kutoka kwa nakala ya akiba kwenda mazingira mapya. Huduma za wingu hurahisisha mifumo kadhaa, kama kuunda upya miundombinu kutoka kwa msimbo. Tazama mada 6.3 — Miundombinu kama msimbo na GitOps. Wikipedia inaeleza maeneo ya akiba.

Utegemezi. Huduma muhimu hutegemea nyingine: utambulisho, mitandao, DNS, wasambazaji, vyeti, na watu. Mipango ya kupona lazima ifuate utegemezi huu na kupanga mpangilio wa kurejesha. Kupona kwingi kulikoshindwa hukwama kwenye utegemezi uliosahaulika, kama mfumo unaohifadhi nenosiri zinazohitajika kurejesha mingine.

Mipango na vitabu vya mchezo. Maelekezo yaliyoandikwa, mafupi, ya nani anafanya nini, kwa mpangilio gani, na nani wa kuwasiliana naye. Yanapaswa kuhifadhiwa mahali pa kusomwa mifumo ikiwa chini, ikijumuisha nakala za nje ya mtandao. Majukumu lazima yatajwe, pamoja na manaibu.

Mazoezi. Mazoezi hutofautiana kuanzia majadiliano ya kupitia hali, hadi uigaji, hadi kuhamia mbadala au kurejesha halisi. Wikipedia inaeleza uhandisi wa machafuko, ambapo kushindwa kunaingizwa kwa makusudi na chini ya udhibiti, kupata udhaifu. Anza kidogo na kwa usalama, na uongeze uhalisia kadiri muda unavyopita. Rekodi kilichotokea na urekebishe ulichojifunza.

Usimamizi wa mgogoro na mawasiliano. Usumbufu mkubwa unahitaji maamuzi ya uongozi, mawasiliano na wafanyakazi, wateja, wadhibiti, na umma, na uratibu kati ya kazi. Makala ya Wikipedia kuhusu usimamizi wa mgogoro inaeleza fani. Amua nani anazungumza na vipi mapema. Tazama mada 3.2 — Usimamizi wa Matukio ya Hitilafu.

Matukio ya mtandaoni. Programu za fidia na mashambulizi mengine sasa ni sababu kuu ya usumbufu mkubwa. Wikipedia inaeleza programu ya fidia kama programu hasidi inayosimba data na kudai malipo. Kupona kutokana na shambulio kama hilo kunahitaji nakala safi za akiba, kutenga mifumo iliyoathirika, kujenga upya miundombinu inayoaminika, na uratibu na usalama. Angalia sheria na ushauri unaokuhusu, ikijumuisha kuhusu kuripoti; mwongozo huu hautoi ushauri wa kisheria.

Wasambazaji. Mwendelezo wako unategemea wa wasambazaji wako. Uliza kuhusu mipango yao, na uwajumuishe katika mazoezi inapowezekana. Tazama mada 3.14 — Usimamizi wa Wasambazaji.

Lenzi zinavyolingana. Mwendelezo ndipo kurudia kwa uchapuchapu kunapokutana na maandalizi: boresha mpango baada ya kila zoezi. AI inaweza kusaidia kuandaa mipango na hali, chini ya mapitio, lakini haiwezi kutegemewa wakati wa mgogoro. Uendeshaji otomatiki hujenga upya mazingira na kuendesha kuhamia mbadala. Uchanganuzi hufahamisha uchanganuzi wa athari na kufuatilia matokeo ya mazoezi.

Mazoea bora

  1. Anza na athari kwa biashara. Uliza biashara kuzimika kwa kila huduma kunagharimu nini kwa dakika, saa, na siku. Panga huduma, na uweke RTO na RPO ipasavyo. Pitia uchanganuzi baada ya mabadiliko makubwa.
  2. Linda wachache muhimu kwanza. Elekeza juhudi kwa huduma ambazo kupoteza kwake kungeumiza shirika sana. Toa mipangilio myepesi kwa zilizobaki.
  3. Chora utegemezi. Kwa kila huduma muhimu, orodhesha inachohitaji kuendesha na kurejeshwa, ikijumuisha utambulisho, mtandao, DNS, na wasambazaji. Panga mpangilio wa kupona.
  4. Weka nakala ya akiba isiyobadilika, iliyojaribiwa. Weka angalau nakala moja isiyoweza kubadilishwa au kufutwa kutoka mazingira ya uzalishaji, na urejeshe kutoka kwayo mara kwa mara kuthibitisha inafanya kazi.
  5. Andika mipango mifupi, inayotumika. Weka majukumu, hatua za kwanza, mawasiliano, na pointi za maamuzi kwenye kurasa chache. Weka nakala nje ya mtandao na kwa watu wanaozihitaji.
  6. Taja majukumu na manaibu. Kwa kila jukumu katika mgogoro, taja mkuu na angalau mbadala mmoja. Sasisha orodha watu wanapobadilisha kazi.
  7. Fanya mazoezi kwa hatua. Anza na majadiliano ya hali, endelea na uigaji, kisha majaribio ya moja kwa moja yaliyodhibitiwa ya kurejesha na kuhamia mbadala. Rekodi nyakati na matatizo.
  8. Rekebisha mazoezi yanayopata. Chukulia matokeo kama vipengee vya orodha ya kazi vyenye wamiliki na tarehe. Kagua zoezi linalofuata kwamba yalifanywa.
  9. Jumuisha wasambazaji na wateja. Waulize wasambazaji muhimu kuhusu mipangilio yao ya mwendelezo na ujaribu miunganisho. Kubaliana na wateja huduma iliyodhoofishwa wanayoweza kukubali.
  10. Panga mawasiliano. Andaa nani anamjulisha nani, kupitia njia zipi, kwa violezo, ikijumuisha njia zinazofanya kazi mifumo yako isipofanya.

Maswali ya kujadili na timu yako

Ni huduma zipi tatu zingetuumiza zaidi zisipopatikana kwa wiki, na tunajuaje? Uliza biashara, si TEHAMA tu. Tarajia majibu tofauti, ambayo ni mwanzo wenye manufaa. Ili kwenda mbali zaidi, panga majadiliano mafupi ya athari kwa kila moja ya hizo tatu.

Tulirejesha kutoka kwa nakala ya akiba lini mara ya mwisho, na ilichukua muda gani? Omba tarehe na matokeo. Tarajia "hatujawahi kujaribu" au "faili ya majaribio tu". Ili kwenda mbali zaidi, panga kurejesha kamili kwa mfumo mmoja muhimu katika mazingira salama.

Kupona kwetu kunategemea nini ambacho hatujakijaribu, kama mifumo ya utambulisho, DNS, au mtu? Chora mnyororo kwa huduma moja. Tafuta utegemezi wa mviringo. Ili kwenda mbali zaidi, chagua utegemezi mmoja wa kujaribu.

Ikiwa mifumo yetu ya kawaida ya mawasiliano ingekuwa chini, tungewezaje kuwafikia wenyewe na wateja wetu? Mipango mingi inadhania barua pepe na soga. Uliza kuhusu orodha ya simu na njia za nje ya mfumo. Ili kwenda mbali zaidi, jaribu mti wa simu.

Tungefanya nini katika saa ya kwanza ya shambulio la programu ya fidia, na nani anaamua? Fanya majadiliano mafupi ya hali. Tarajia kutokubaliana kuhusu kutenga mifumo na kuwasiliana na mamlaka. Ili kwenda mbali zaidi, andika mwongozo wa ukurasa mmoja wa saa ya kwanza pamoja na usalama.

AI inaweza kutusaidia wapi kujiandaa au kujibu, na tunapaswa kutegemea wapi mipango ya binadamu iliyoandaliwa? AI inaweza kuandaa hali, kukagua mipango kwa mapengo, na kufupisha kumbukumbu. Wakati wa kuzimika huduma ya AI yenyewe inaweza kukosekana. Uliza mpango unadhania nini. Ili kwenda mbali zaidi, kagua kwamba hatua muhimu hazitegemei huduma ya AI.

Kwa vitendo: mfano wa usimamizi wa huduma

Mifumo ya chumba cha udhibiti cha msambazaji wa umeme wa kikanda, inayoonyesha hali ya mtandao kwa waendeshaji, lazima irejeshwe ndani ya saa mbili baada ya kushindwa. Mpango wa kupona kutokana na maafa wa msambazaji unasema hivyo. Uliandikwa miaka minne iliyopita na ulijaribiwa mara ya mwisho kama zoezi la karatasi.

Meneja mpya wa mwendelezo wa huduma anaomba jaribio la moja kwa moja. Timu inakubali kurejesha programu ya chumba cha udhibiti katika mazingira tofauti kutoka kwa nakala ya akiba ya usiku uliopita, huku meneja wa uendeshaji akitazama. Kurejesha kunachukua saa kumi na moja badala ya mbili. Matatizo matatu yanajitokeza: nakala ya akiba inajumuisha faili za programu lakini si hifadhidata yake ya usanidi, ambayo inashikiliwa na timu nyingine; nenosiri zinazohitajika kwa kurejesha zimehifadhiwa kwenye chumba cha siri ambacho ni sehemu ya kituo kilekile cha data; na mtu anayejua mipangilio ya mtandao ya eneo la kupona yuko likizo ndefu na hana naibu.

Timu inarekebisha haya kwa miezi mitatu. Inaongeza hifadhidata ya usanidi kwenye ratiba ya nakala za akiba, inaunda hifadhi ya vitambulisho vya dharura iliyoshikiliwa nje ya mtandao katika bahasha iliyofungwa na katika akaunti tofauti ya wingu, na inawafunza wahandisi wawili wa ziada kuhusu eneo la kupona. Jaribio la pili linarejesha programu katika saa 2 na dakika 40. La tatu, lenye mwanzo usiotangazwa kwa makusudi, linachukua saa 1 na dakika 50.

Kinachobadilika: lengo linatimizwa kwa vitendo, na mpango ni hati ambayo watu wameitumia. Kinachobaki kigumu: jaribio lilitumia nakala ya data ya uzalishaji na halikujumuisha miunganisho kwa vifaa vya uwandani, ambavyo vinaweza kujaribiwa tu na mwendeshaji wa gridi; shirika halijafanyia mazoezi kupotea kwa kituo kizima cha data, programu moja tu; na gharama ya kuweka eneo la kupona inahojiwa kila mwaka. Meneja anaweka kalenda ya mazoezi na kuwasilisha gharama dhidi ya uchanganuzi wa athari.

Mitazamo minne

Timu za bidhaa na utoaji

Fanya kupona kuwe sehemu ya usanifu: jenga upya kutoka kwa msimbo, weka akiba ya data na usanidi, epuka utegemezi uliofichika. Shiriki katika mazoezi na urekebishe yanayopatikana.

Timu za huduma na uendeshaji

Jue jukumu lako na naibu wako, weka vitabu vya uendeshaji vya kisasa, na ufanyie mazoezi kurejesha na kuhamia mbadala. Rekodi mambo yanachukua muda gani kweli na uwaambie wamiliki.

Uongozi na utawala

Amua malengo ya kupona na biashara na ufadhili wanachohitaji. Shiriki katika mazoezi, ikijumuisha maamuzi na mawasiliano. Omba kuona matokeo ya majaribio, si mipango tu.

Wateja na watumiaji

Uliza mipangilio gani ya mwendelezo inalinda huduma unazotegemea, na ukubaliane huduma iliyodhoofishwa unayoweza kukubali. Weka mpango wako mwenyewe wa dharura kwa mahitaji muhimu.

Uchapuchapu, AI, uendeshaji otomatiki na uchanganuzi

Uchapuchapu

Boresha mwendelezo kwa hatua ndogo: utegemezi mmoja, jaribio moja la kurejesha, marekebisho moja kwa wakati, yakipitiwa na wadau. Tahadhari: usiahirishe kazi yote ya mwendelezo hadi mradi mmoja mkubwa; fanya mazoezi mapema na mara kwa mara.

AI

AI inaweza kusaidia kuandaa hali, kukagua mipango kwa mapengo, na kufupisha kumbukumbu baada ya zoezi, huku mtu akipitia. Taja mmiliki. Tahadhari: msaidizi wa AI anaweza kukosekana katika mgogoro au kutoa maelekezo yasiyoaminika; weka taratibu muhimu katika hati rahisi, zilizojaribiwa. Tazama mada 5.1 — AI katika usimamizi wa huduma.

Uendeshaji otomatiki

Fanya kujenga upya mazingira, uthibitisho wa nakala za akiba, na kuhamia mbadala kuwa vya kiotomatiki, vikiwa na kumbukumbu na kinga, na uvijaribu mara kwa mara. Tahadhari: uendeshaji otomatiki unaweza kueneza uharibifu haraka, kama kufuta nakala za akiba pamoja na data ya uzalishaji; linda mifumo ya nakala za akiba kwa vitambulisho na udhibiti tofauti. Tazama mada 6.3 — Miundombinu kama msimbo na GitOps.

Uchanganuzi

Fuatilia mafanikio ya nakala za akiba, nyakati za majaribio ya kurejesha dhidi ya RTO, RPO iliyofikiwa, matokeo ya mazoezi yaliyofungwa, na ufunikaji wa utegemezi. Tahadhari: kiwango cha juu cha mafanikio ya nakala za akiba hakisemi lolote kuhusu kama data inaweza kurejeshwa; hesabu kurejesha. Tazama kitabu cha Service Management Metrics na mada 7.3 — Upimaji na utoaji taarifa.

Njia za kawaida za kushindwa

  • Mipango isiyojaribiwa kamwe. Inashindwa inapohitajika. Fanya mazoezi na urejeshe mara kwa mara.
  • Nakala za akiba zisizorejeshwa kamwe. Ni tupu au pungufu. Jaribu kurejesha na uthibitishe maudhui.
  • Utegemezi uliofichika. Kupona kunakwama kwenye utambulisho au DNS. Chora na ujaribu utegemezi.
  • Nakala za akiba ambazo washambuliaji wanaweza kubadilisha. Programu ya fidia inazisimba. Weka nakala isiyobadilika.
  • Upangaji wa TEHAMA tu. Biashara haishirikishwi. Fanya uchanganuzi wa athari na wamiliki wa biashara.
  • Mpango uko kwenye mfumo ulioshindwa tu. Hakuna anayeweza kuusoma. Weka nakala nje ya mtandao.
  • Hakuna manaibu. Mtu mmoja ana maarifa. Taja mbadala na uwafunze.

Modeli ya ukomavu

Kipimo Kuanzisha Kuendeleza Kusanifisha Kusimamia Kuratibu
Athari na malengo Hayajafafanuliwa Huduma muhimu zimeorodheshwa RTO na RPO zimewekwa kutokana na athari kwa biashara Malengo yanapitiwa na gharama na matokeo Malengo yanaratibiwa kati ya biashara nzima na wasambazaji
Nakala za akiba na kupona Nakala za akiba hazijathibitishwa Nakala za akiba zinaendeshwa Kurejesha kumejaribiwa na kupimwa muda Utendaji wa kurejesha unafuatiliwa na kuboreshwa Kupona kunaendeshwa kiotomatiki na kujaribiwa kila wakati
Mipango Hakuna au ya zamani Imeandikwa kwa huduma kuu Mipango mifupi yenye majukumu yaliyotajwa na manaibu Mipango inasasishwa baada ya kila zoezi Mipango imeunganishwa kati ya kazi, wasambazaji, na wateja
Mazoezi Hakuna Majadiliano ya karatasi Uigaji wa kawaida na kurejesha kwa moja kwa moja Matokeo yanafuatiliwa hadi kufungwa Mazoezi yanajumuisha washirika na hali halisi

Orodha hakiki

  • Tulikamilisha uchanganuzi wa athari kwa biashara kwa huduma zetu muhimu.
  • Kila huduma muhimu ina RTO na RPO iliyokubaliwa na mmiliki wake.
  • Utegemezi, ikijumuisha utambulisho na DNS, umechorwa.
  • Angalau nakala moja ya akiba haibadiliki na kurejesha kumejaribiwa.
  • Mipango ni mifupi, ya kisasa, na imehifadhiwa nje ya mtandao pia.
  • Majukumu na manaibu wametajwa.
  • Tunafanya mazoezi mara kwa mara na kufuatilia matokeo hadi kufungwa.
  • Mipangilio ya mwendelezo ya wasambazaji inajulikana na kujaribiwa inapowezekana.

Maelekezo ya AI

Kagua mpango kwa mapengo.

Here is our continuity plan for [service]: [paste]. Here is the list of its dependencies: [paste].
List dependencies that the plan does not mention, steps that rely on a person without a named deputy, and steps that assume a system that may be down. Do not rewrite the plan.
List what you are unsure of.

Buni zoezi la hali.

Our context: [type of organization, key services]. Scenario theme: [for example, ransomware, data center loss].
Draft a 90-minute discussion exercise with a timeline of events, six decision points, questions for each role, and what to record. Do not use real names or systems unless I give them.
List what you are unsure of.

Fupisha matokeo ya jaribio la kurejesha.

Here are the notes from a restore test: [paste with times and problems].
List what took longest, what failed, the dependencies discovered, and the actions to consider, with the owner role for each. Do not invent causes.
List what you are unsure of.

Ujuzi wa AI

Vyanzo vikuu

  • ISO 22301, Security and resilience — Business continuity management systems: kiwango cha kimataifa; soma toleo la sasa kutoka kwa mchapishaji.
  • PeopleCert, ITIL certification pages: maelezo ya mmiliki ya zoea la usimamizi wa mwendelezo wa huduma.
  • Wikipedia, "Business continuity planning" and "IT disaster recovery": muhtasari wa mawazo na istilahi.
  • Wikipedia, "Chaos engineering": zoea la kujaribu kushindwa kwa makusudi.

Marejeo

  1. Business continuity planning — Wikipedia — https://en.wikipedia.org/wiki/Business_continuity_planning
  2. IT disaster recovery — Wikipedia — https://en.wikipedia.org/wiki/IT_disaster_recovery
  3. Disaster recovery — Wikipedia — https://en.wikipedia.org/wiki/Disaster_recovery
  4. ISO 22301 — Wikipedia — https://en.wikipedia.org/wiki/ISO_22301
  5. Backup — Wikipedia — https://en.wikipedia.org/wiki/Backup
  6. Backup site — Wikipedia — https://en.wikipedia.org/wiki/Backup_site
  7. Chaos engineering — Wikipedia — https://en.wikipedia.org/wiki/Chaos_engineering
  8. Crisis management — Wikipedia — https://en.wikipedia.org/wiki/Crisis_management
  9. Ransomware — Wikipedia — https://en.wikipedia.org/wiki/Ransomware
  10. Replication (computing) — Wikipedia — https://en.wikipedia.org/wiki/Replication_(computing)
  11. Risk management — Wikipedia — https://en.wikipedia.org/wiki/Risk_management