Kwa nini hili ni muhimu

Tukio la hitilafu ni usumbufu usiopangwa wa huduma, au kupungua kwa ubora wake. Linapotokea, watu wanaohusika wako chini ya shinikizo, taarifa haijakamilika, na saa inakwenda. Maamuzi yaliyofanywa katika dakika kumi za kwanza mara nyingi huamua kama tukio litadumu saa moja au sita.

Mashirika yanayoshughulikia matukio ya hitilafu vizuri hayategemei mashujaa. Yamekubaliana jinsi ya kuamua jambo ni zito kiasi gani, nani anaongoza, nani anazungumza na watumiaji, jinsi ya kupandisha, na lini kuacha kuchunguza na kutumia njia mbadala. Yamefanya mazoezi. Mashirika yanayoshughulikia matukio ya hitilafu vibaya hubuni kila mara, hubishana kuhusu vipaumbele wakati wa tukio, na kugundua kwamba mtu mmoja anayejua mfumo yuko likizo.

Mada hii inaeleza usimamizi wa matukio ya hitilafu kama zoea: fasili, majukumu, ukali, mawasiliano, na mapitio. Inachukulia matukio makubwa ya hitilafu kwa muundo wa ziada, na inashughulikia jinsi AI na uendeshaji otomatiki vinavyoweza kusaidia na mahali vinapoweza kudhuru. Inasimama kando ya usimamizi wa matatizo (mada 3.3 — Usimamizi wa Matatizo), unaotafuta sababu za msingi, na ufuatiliaji (mada 3.10 — Ufuatiliaji na Usimamizi wa Matukio ya Mfumo), ambao mara nyingi hugundua tukio la hitilafu.

Dhana kuu

Tukio la hitilafu. Katika ITIL 4, usumbufu usiopangwa wa huduma au kupungua kwa ubora wa huduma. Makala ya Wikipedia kuhusu usimamizi wa matukio ya hitilafu inaeleza zoea katika usimamizi wa huduma za TEHAMA. Tukio la hitilafu linaweza kuwepo kabla mtumiaji yeyote hajaona, kwa mfano ufuatiliaji unapoonyesha diski inayoshindwa.

Rejesha huduma kwanza. Lengo ni kurejesha huduma kuwa ya kawaida, si kupata chanzo cha msingi. Njia mbadala inayorejesha huduma ni matokeo mazuri; chanzo cha msingi ni cha usimamizi wa matatizo. Timu zinazochimba chanzo huduma ikiwa chini huongeza muda wa hitilafu.

Njia mbadala. Suluhisho linalopunguza au kuondoa athari ya tukio la hitilafu bila kutatua chanzo chake, kwa mfano kuelekeza trafiki upya, kuanzisha upya kijenzi, au kubadilisha kwenda mchakato wa mikono. Tazama mada 3.3 — Usimamizi wa Matatizo kwa jinsi makosa yanayojulikana na njia mbadala zinavyofuatiliwa.

Ukali na kipaumbele. Ukali unaeleza athari kwa watumiaji na biashara, kama wangapi wameathirika na kwa kiasi gani. Kipaumbele kinaongeza uharaka, kama tarehe ya mwisho. Mashirika mengi hutumia kipimo kidogo, kwa mfano ngazi nne, chenye fasili na jibu linalotarajiwa kwa kila moja. Fasili zinapaswa kutumia ukweli unaoweza kuonekana ("zaidi ya watumiaji 100 hawawezi kufanya malipo") badala ya hisia.

Matukio makubwa ya hitilafu. Tukio kubwa la hitilafu lina athari kubwa na linahitaji jibu la haraka na lililoratibiwa zaidi kuliko mchakato wa kawaida. Mashirika hufafanua vizingiti vyao. Matukio makubwa ya hitilafu kwa kawaida huwa na kiongozi wa tukio aliyetajwa, kiongozi wa mawasiliano, na mdundo wa kawaida wa masasisho.

Majukumu. Kiongozi wa tukio huratibu na kufanya maamuzi; wajibu wa kiufundi hugundua na kurekebisha; kiongozi wa mawasiliano huwaweka wadau na watumiaji wakijua; mwandishi hurekodi nini kinafanywa na lini. Mtu mmoja anaweza kushika majukumu kadhaa katika tukio dogo. Incident Command System, inayotumika katika usimamizi wa dharura na kuelezwa na Wikipedia, ni ushawishi kwenye muundo unaotumiwa katika mashirika mengi ya kiufundi.

Kupandisha. Kuleta ujuzi zaidi au mamlaka zaidi. Kupandisha kiutendaji huhamisha tukio kwa watu wenye utaalamu sahihi. Kupandisha kwa ngazi huleta mameneja wanaoweza kuamua au kutoa rasilimali. Vigezo vilivyo wazi, kama "hakuna maendeleo baada ya dakika 30 katika ukali wa kwanza", hufanya kupandisha kuwa kawaida badala ya ishara ya kushindwa.

Zamu za kuitwa. Mipangilio ya watu kupatikana nje ya saa za kawaida. Zoea zuri la kuitwa linajumuisha vikomo vya mzigo, ratiba iliyo wazi, vitabu vya uendeshaji, na fidia. Tazama mada 2.6 — Uhandisi wa Uaminifu wa Tovuti. Uchovu wa tahadhari, hali inayoelezwa na Wikipedia, huwafanya watu kupuuza tahadhari zinazojirudia mno au zisizotekelezeka.

Mawasiliano. Watumiaji na wadau wanahitaji kujua kipi kimeathirika, mnafanya nini, na watasikia lini tena. Masasisho ya mara kwa mara, rahisi hupunguza mawasiliano yanayorudiwa na wasiwasi. Makala ya Wikipedia kuhusu mawasiliano ya mgogoro inatoa kanuni za jumla. Ukurasa wa hali, kituo cha ndani, na ujumbe wa moja kwa moja kwa wateja muhimu vinahudumia hadhira tofauti.

Rekodi za tukio la hitilafu. Tiketi au rekodi yenye wakati wa kuanza, dalili, hatua, maamuzi, na wakati wa mwisho. Rekodi inaunga mkono mapitio na kutoa data ya uboreshaji. Ratiba ya matukio inayowekwa wakati wa tukio ni sahihi zaidi kuliko ile inayojengwa upya baadaye.

Mapitio. Baada ya tukio kubwa la hitilafu, fanya mapitio yasiyo na lawama yanayoangalia kilichotokea, kilichosaidia, kilichopunguza kasi ya jibu, na cha kubadilisha. Matokeo yanaenda kwa usimamizi wa matatizo na orodha ya kazi ya uboreshaji. Tazama mada 3.3 — Usimamizi wa Matatizo.

Vipimo. Muda wa kugundua, muda wa kujibu, na muda wa kurejesha, mara nyingi hufupishwa kama wastani wa muda wa kupona (MTTR) katika maelezo ya Wikipedia, ni vya kawaida. Wastani huficha tofauti kubwa kati ya matukio ya hitilafu, na vinaweza kuchezewa kwa jinsi nyakati za kuanza na kuisha zinavyowekwa. Tumia mgawanyo na uangalie matukio ya hitilafu mmoja mmoja. Tazama kitabu cha Service Management Metrics.

Lenzi zinavyolingana. Zoea la uchapuchapu huchukulia kila mapitio kama mrejesho na kuweka uboreshaji mdogo na endelevu. AI inaweza kufupisha ratiba za matukio, kupendekeza matukio ya hitilafu ya awali yanayofanana, na kuandaa masasisho, na mtu anayewajibika. Uendeshaji otomatiki hutekeleza hatua salama, zinazoeleweka vizuri kama kuanzisha upya na kuhamisha huduma. Uchanganuzi unaonyesha mifumo ya kujirudia.

Mazoea bora

  1. Fafanua ngazi za ukali kwa ukweli unaoweza kuonekana. Andika kila ngazi inamaanisha nini, nani anaarifiwa, na kwa kasi gani. Pitia fasili baada ya matukio ya hitilafu yaliyokuwa magumu kuyaainisha.
  2. Taja majukumu na uyafanyie mazoezi. Kubaliana nani anaongoza, nani anawasiliana, na nani anarekodi. Fanya mazoezi kwa mazoezi ya mkao, ili mara ya kwanza isiwe janga halisi. Tazama mada 3.12 — Usimamizi wa Mwendelezo wa Huduma.
  3. Rejesha kwanza, chunguza baadaye. Weka kanuni kwamba njia mbadala inatumika inapopatikana na iko salama. Rekodi tukio la hitilafu kwa usimamizi wa matatizo na usonge mbele.
  4. Weka ratiba ya matukio hai. Rekodi hatua na maamuzi pamoja na nyakati yanapotokea, mahali pa pamoja. Inazuia mabishano na kuharakisha mapitio.
  5. Pandisha mapema na bila lawama. Fafanua vichocheo vya kupandisha na uchukulie kuvitumia kuwa zoea zuri. Watu wanaopandisha kwa kuchelewa wanaogopa ukosoaji, kwa hiyo uuondoe.
  6. Wasiliana kwa mdundo. Kubaliana kipindi cha masasisho kwa kila ngazi ya ukali, na utume masasisho hata pasipo jipya, ukisema hivyo. Tumia lugha rahisi.
  7. Wape wajibu wa kiufundi wanachohitaji. Dumisha vitabu vya uendeshaji, ufikiaji, dashibodi, na orodha za mawasiliano. Jaribu ufikiaji kabla ya usiku unaohitajika.
  8. Walinde watu. Weka kikomo cha mzigo wa kuitwa, kabidhi matukio marefu, na uhakikishe wajibu wanapumzika. Watu waliochoka hufanya maamuzi mabaya zaidi.
  9. Pitia bila lawama na ufuatilie hadi mwisho. Andika ripoti fupi yenye ratiba ya matukio, sababu zilizochangia, na hatua zenye wamiliki na tarehe. Fuatilia hatua hadi kukamilika. Tazama mada 3.3 — Usimamizi wa Matatizo.
  10. Rudisha masomo. Sasisha vitabu vya uendeshaji, ufuatiliaji, na usanifu. Shiriki kujifunza na timu nyingine, na ukague kwamba matukio ya hitilafu yanayorudiwa yanapungua.

Maswali ya kujadili na timu yako

Tunaamuaje tukio la hitilafu ni zito kiasi gani, na je, hilo limewahi kubishaniwa wakati wa tukio? Kutokubaliana kuhusu ukali hupoteza muda. Omba mifano ya hivi karibuni. Unaweza kusikia kwamba jibu linategemea nani anauliza. Ili kwenda mbali zaidi, andika upya fasili ya ngazi moja kwa ukweli unaoweza kuonekana.

Nani anaongoza tukio la hitilafu saa 9 usiku, na wanajuaje wao ndio kiongozi? Uongozi usio wazi ni chanzo cha kawaida cha mkanganyiko. Uliza nani alifanya maamuzi katika tukio kubwa la hitilafu la mwisho. Tarajia majibu tofauti. Ili kwenda mbali zaidi, kubaliana jinsi kiongozi anavyochaguliwa na kutangazwa.

Watumiaji wanasikia nini kutoka kwetu wakati wa tukio la hitilafu, na mara ngapi? Linganisha kile watumiaji walichosikia katika tukio la mwisho la hitilafu na kile walichotaka. Tarajia ukimya mrefu. Ili kwenda mbali zaidi, chagua kipindi cha masasisho na njia, na uandae kiolezo.

Tumepandisha nini kwa kuchelewa, na kwa nini? Hii inachunguza hofu na mazoea. Watu wanaweza kuchelewesha kwa hofu ya kuonekana wasio na uwezo au ya kumwamsha mtu. Uliza nini kingefanya kupandisha kuwa rahisi. Ili kwenda mbali zaidi, andika kanuni kama "pandisha ikiwa hakuna maendeleo ndani ya dakika 30".

Mapitio ya tukio letu la mwisho la hitilafu yanasema tunapaswa kubadilisha nini, na ni nini kilibadilika kweli? Hii inajaribu ufuatiliaji. Omba hatua na hali yake. Tarajia baadhi kuwa wazi kwa miezi. Ili kwenda mbali zaidi, teua wamiliki na tarehe na uzipitie baada ya mwezi.

AI inaweza kusaidia wapi wakati wa tukio la hitilafu, na mtu lazima aamue wapi? AI inaweza kufupisha ratiba ya matukio, kutafuta matukio ya hitilafu ya awali, na kuandaa masasisho. Haiwezi kuwajibika. Uliza ni hatua zipi AI inaweza kuchukua bila idhini, kama zipo. Ili kwenda mbali zaidi, chagua matumizi moja yenye hatari ndogo na ukubaliane jinsi matokeo yake yanavyokaguliwa.

Kwa vitendo: mfano wa usimamizi wa huduma

Timu ya kidijitali ya mnyororo wa kitaifa wa maduka ya dawa inaendesha programu inayowaruhusu wateja kuagiza upya dawa walizoandikiwa. Jioni moja ya Ijumaa, maagizo yanaanza kushindwa kwa takriban asilimia 30 ya watumiaji. Mhandisi aliye kwenye zamu anaona makosa kutoka kwenye hifadhidata na kumwita kiongozi wa tukio kulingana na ratiba. Kiongozi anatangaza tukio la ukali wa pili kwa sababu watumiaji hawawezi kukamilisha kazi kuu, anamteua kiongozi wa mawasiliano, na kuanza ratiba ya matukio.

Ndani ya dakika 15 timu inashuku badiliko la hifadhidata lililopelekwa mchana huo. Kiongozi anauliza kama kulirudisha nyuma ni salama; mhandisi aliyefanya badiliko anathibitisha kwamba ni salama. Timu inarudisha nyuma, na maagizo yanapona ndani ya dakika tano. Muda wote kutoka tahadhari ya kwanza hadi kupona ni dakika 47. Kiongozi wa mawasiliano alikuwa amechapisha kwenye ukurasa wa hali kwa dakika 20, tena kwa 35, na sasisho la mwisho wakati wa kupona, na alikuwa amewaambia timu ya huduma kwa wateja la kusema.

Wiki iliyofuata timu inafanya mapitio yasiyo na lawama. Ratiba ya matukio inaonyesha kwamba kugundua kulitegemea malalamiko ya mtumiaji, kwa sababu hakuna tahadhari iliyofunika maagizo yaliyoshindwa; badiliko lilikuwa limepitiwa lakini mazingira ya majaribio hayakuwa na data halisi; na sasisho la kwanza lilikuwa polepole kuliko kipindi kilichokubaliwa kwa sababu kiongozi wa mawasiliano hakuwa na uhakika ukurasa wa hali unaruhusiwa kusema nini. Timu inaongeza tahadhari kwa kiwango cha maagizo kushindwa, inaboresha data ya majaribio, na kuandika kiolezo cha ukurasa wa hali.

Kinachobadilika: tukio linalofanana linalofuata linagunduliwa na tahadhari ndani ya dakika tatu. Kinachobaki kigumu: data ya majaribio haina taarifa halisi za wagonjwa, kwa sababu nzuri, jambo linalopunguza uhalisia wake; ratiba bado ina wahandisi wachache wanaoweza kurudisha hifadhidata nyuma kwa usalama; na orodha ya hatua za mapitio ina vipengele kumi na viwili na timu ina muda wa tano. Wanachagua kwa hatari na kuweka zilizobaki kwenye orodha ya kazi zikiwa na tarehe.

Mitazamo minne

Timu za bidhaa na utoaji

Jenga kwa ajili ya kupona: fanya mabadiliko yaweze kurudishwa nyuma, ongeza tahadhari na kumbukumbu zinazoonyesha athari kwa watumiaji, na andika vitabu vya uendeshaji unavyoenda. Shiriki katika mapitio na urekebishe sababu katika usanifu.

Timu za huduma na uendeshaji

Jue jukumu lako, fanya mazoezi, na uweke ratiba ya matukio. Pandisha mapema, wasiliana kwa utulivu, na tunzaneni. Leteni mnayojifunza kwenye mapitio na mtumie kuboresha vitabu vya uendeshaji na ufuatiliaji.

Uongozi na utawala

Kubaliana fasili za ukali na matarajio mapema, na ukatae kutoa lawama. Wakati wa tukio kubwa la hitilafu, mwunge mkono kiongozi na uombe masasisho kupitia njia iliyokubaliwa tu. Fadhili hatua za ufuatiliaji.

Wateja na watumiaji

Unapaswa kuambiwa mara moja kipi kimeathirika, kinachofanywa, na utasikia lini tena. Ripoti unachoona, kwa maelezo. Baada ya tukio kubwa la hitilafu, tarajia maelezo wazi ya kilichobadilika.

Uchapuchapu, AI, uendeshaji otomatiki na uchanganuzi

Uchapuchapu

Chukulia mapitio ya matukio ya hitilafu kuwa mzunguko mfupi wa mrejesho unaoendesha uboreshaji: mabadiliko madogo kwenye vitabu vya uendeshaji, tahadhari, na usanifu, yanayofanywa haraka na wadau wakijulishwa. Tahadhari: orodha ndefu ya hatua ambayo hakuna anayeimaliza ni mbaya kuliko fupi inayomalizwa.

AI

AI inaweza kuandaa masasisho, kufupisha ratiba ya matukio na soga, na kupata matukio ya hitilafu ya awali yanayofanana. Kiongozi wa tukio anabaki kuwajibika, na matokeo ya AI ni pendekezo. Tahadhari: AI inaweza kubuni sababu au nyakati, na sasisho lililoandaliwa kiotomatiki na kutumwa bila mapitio linaweza kupotosha wateja; daima kagua kabla ya kutuma. Tazama mada 5.4 — AI zalishi kwa matukio, maarifa na mabadiliko.

Uendeshaji otomatiki

Fanya hatua za jibu salama, zinazoweza kurudiwa kuwa za kiotomatiki, kama kukusanya data ya uchunguzi, kuwaita watu sahihi, na kutekeleza kuanzisha upya kulikopitiwa, ukiwa na kumbukumbu na vikomo. Tahadhari: uendeshaji otomatiki unaotenda wakati wa tukio la hitilafu unaweza kulifanya kuwa baya zaidi; weka kusimamisha kwa mikono, na ujaribu katika mazingira salama. Tazama mada 6.6 — Uendeshaji otomatiki wa vitabu vya uendeshaji na urekebishaji wa kiotomatiki.

Uchanganuzi

Angalia muda wa kugundua, kujibu, na kurejesha, mgawanyo wa kila mmoja, na matukio ya hitilafu yanayojirudia. Tahadhari: wastani huficha matukio mabaya zaidi, fasili za kuanza na kuisha hutofautiana, na vipimo vinavyotumika kuhukumu timu vinakaribisha kuchezea alama za wakati; chunguza matukio ya hitilafu mmoja mmoja pia. Tazama kitabu cha Service Management Metrics na mada 7.3 — Upimaji na utoaji taarifa.

Njia za kawaida za kushindwa

  • Ukali unabishaniwa wakati wa tukio la hitilafu. Muda unapotea. Andika fasili kwa ukweli unaoweza kuonekana.
  • Hakuna kiongozi aliye wazi. Kila mtu anatenda na hakuna anayeamua. Taja kiongozi na umtangaze.
  • Kuchunguza huduma ikiwa chini. Kupona kunachelewa. Tumia njia mbadala salama kwanza.
  • Ukimya kwa watumiaji. Wasiwasi na mawasiliano yanayorudiwa vinaongezeka. Sasisha kwa mdundo.
  • Lawama katika mapitio. Watu wanaficha makosa. Fanya mapitio yasiyo na lawama na ufuatilie hatua.
  • Kutegemea shujaa. Mtu mmoja anarekebisha kila kitu. Shiriki maarifa na uandike vitabu vya uendeshaji.
  • Hatua za kiotomatiki bila vikomo. Uendeshaji otomatiki unazidisha tukio la hitilafu. Weka vikomo, kumbukumbu, na kusimamisha kwa mikono.

Modeli ya ukomavu

Kipimo Kuanzisha Kuendeleza Kusanifisha Kusimamia Kuratibu
Ukali na mchakato Kiholela Ngazi zisizo rasmi Ngazi zilizofafanuliwa zenye matarajio ya jibu Ngazi zinapitiwa kwa data Mchakato unarekebishwa kati ya huduma na washirika
Majukumu na mazoezi Hubuniwa Baadhi ya majukumu yametajwa Majukumu yamefafanuliwa na kufanyiwa mazoezi Mazoezi yanapimwa na kuboreshwa Mazoezi yanashirikiwa na wasambazaji na wateja
Mawasiliano Yasiyo ya kawaida Masasisho yanapokumbukwa Mdundo wa masasisho na njia kwa kila ukali Ubora wa mawasiliano unapitiwa Thabiti kati ya timu, wateja, na washirika
Kujifunza Lawama Mapitio ya mara moja moja Mapitio yasiyo na lawama yenye hatua zinazofuatiliwa Kujirudia kunapimwa na kupunguzwa Kujifunza kunashirikiwa katika shirika

Orodha hakiki

  • Ngazi za ukali zimefafanuliwa kwa ukweli unaoweza kuonekana na majibu yanayotarajiwa.
  • Majukumu ya tukio la hitilafu yametajwa na kufanyiwa mazoezi.
  • Vichocheo vya kupandisha vimeandikwa.
  • Ratiba ya matukio hai inawekwa kwa matukio muhimu ya hitilafu.
  • Vipindi vya masasisho na njia vimewekwa kwa kila ukali.
  • Mzigo wa kuitwa umewekewa kikomo na kufuatiliwa.
  • Mapitio hayana lawama na hatua zinafuatiliwa hadi kukamilika.
  • AI na uendeshaji otomatiki vinavyotumika katika matukio ya hitilafu vina mmiliki, vikomo, na mapitio.

Maelekezo ya AI

Fupisha ratiba ya matukio ya tukio la hitilafu kwa mapitio.

Here are the chat messages and notes from an incident, with times and names removed: [paste text].
Produce a timeline of key events, a list of decisions and who made them (by role only), what helped, what slowed us down, and questions for the review. Use only the text and mark anything uncertain.
List what you are unsure of.

Andaa sasisho la hali kwa mapitio.

Facts we know: [paste confirmed facts]. Facts we do not know: [list]. Next update in: [time].
Draft a status update of under 80 words in plain language that states what is affected, what we are doing, and when the next update is due. Do not speculate about causes or give an estimate for recovery that is not in the facts.
List what you are unsure of.

Kagua fasili za ukali.

Our severity definitions: [paste]. Here are three past incidents with their impact: [paste].
For each incident, say which level the definitions suggest, quote the words you used, and note where the definitions were ambiguous. Do not change the definitions.
List what you are unsure of.

Ujuzi wa AI

Vyanzo vikuu

  • Betsy Beyer and others (eds.), Site Reliability Engineering (2016), chapters on incident response and postmortems, free at sre.google: mwongozo wa vitendo kutoka kwa mwendeshaji mkubwa.
  • PeopleCert, ITIL certification pages: maelezo ya mmiliki ya zoea la usimamizi wa matukio ya hitilafu.
  • Wikipedia, "Incident management": muhtasari wa zoea.
  • Wikipedia, "Incident Command System": modeli ya usimamizi wa dharura iliyoathiri majukumu ya kiufundi ya tukio la hitilafu.

Marejeo

  1. Incident management — Wikipedia — https://en.wikipedia.org/wiki/Incident_management
  2. Incident Command System — Wikipedia — https://en.wikipedia.org/wiki/Incident_Command_System
  3. Mean time to recovery — Wikipedia — https://en.wikipedia.org/wiki/Mean_time_to_recovery
  4. Escalation — Wikipedia — https://en.wikipedia.org/wiki/Escalation
  5. Crisis communication — Wikipedia — https://en.wikipedia.org/wiki/Crisis_communication
  6. Alarm fatigue — Wikipedia — https://en.wikipedia.org/wiki/Alarm_fatigue
  7. Workaround — Wikipedia — https://en.wikipedia.org/wiki/Workaround
  8. Runbook — Wikipedia — https://en.wikipedia.org/wiki/Runbook
  9. Triage — Wikipedia — https://en.wikipedia.org/wiki/Triage
  10. Site Reliability Engineering: How Google Runs Production Systems — Google — https://sre.google/sre-book/table-of-contents/