Kwa nini hili ni muhimu

Watumiaji huhukumu huduma kwa mambo matatu kabla ya lolote jingine: je, naweza kuitumia, je, inamudu watu wengi wanapoitumia, na je, ni ya haraka? Kushindwa kwa lolote kati ya haya hujitokeza kama kazi iliyopotea, ununuzi ulioachwa, na simu za hasira. Hata hivyo mambo hayo matatu ni rahisi kupuuzwa hadi siku mbaya: uzinduzi unaoongeza trafiki mara mbili, tarehe ya mwisho inayowapeleka wote kwenye mfumo saa ya mwisho, kushindwa kwa kijenzi kimoja ambacho hakuna aliyetambua kila kitu kinakitegemea.

Mazoea haya yapo kuepuka siku hizo mbaya kwa kuzifikiria mapema. Yanauliza huduma inaweza kuvumilia kushindwa kiasi gani na hilo linagharimu nini, inapaswa kumudu mahitaji kiasi gani na jinsi yatakavyokua, na inapaswa kujibu kwa kasi gani. Yanajibu kwa uchaguzi wa usanifu kama ziada, kwa majaribio yanayopata mipaka kabla watumiaji hawajaipata, na kwa utabiri unaokaguliwa na kusasishwa.

ITIL 4 inaeleza mazoea matatu yanayohusiana: usimamizi wa upatikanaji, usimamizi wa uwezo na utendaji, na, kwa karibu, usimamizi wa mwendelezo wa huduma (mada 3.12 — Usimamizi wa Mwendelezo wa Huduma). Timu za kihandisi hukutana nayo kama uhandisi wa uaminifu, uhandisi wa utendaji, na upangaji wa uwezo, kwa kutumia SLO na bajeti za makosa (mada 2.6 — Uhandisi wa Uaminifu wa Tovuti). Mada hii inaleta mawazo pamoja na kueleza jinsi ya kuyatumia bila kupamba kupita kiasi: upatikanaji zaidi si bora kila mara, kwa kuwa kila "tisa" ya ziada inagharimu zaidi. Inaunganishwa na usimamizi wa kiwango cha huduma (mada 3.7 — Usimamizi wa Kiwango cha Huduma) na ufuatiliaji (mada 3.10 — Ufuatiliaji na Usimamizi wa Matukio ya Mfumo).

Dhana kuu

Upatikanaji. Uwezo wa huduma kufanya kazi yake iliyokubaliwa inapohitajika. Wikipedia inaeleza upatikanaji kama sehemu ya muda ambao mfumo unafanya kazi. Kwa kawaida hutolewa kama asilimia katika kipindi, kama asilimia 99.9 kwa mwezi, ambayo inaruhusu takriban dakika 43 za kuzimika. Namba ina maana tu unapofafanua "kufanya kazi" kunamaanisha nini kwa watumiaji.

Uaminifu na uwezo wa kutunzika. Uaminifu ni muda ambao huduma inaendeshwa bila kushindwa; uwezo wa kutunzika ni jinsi inavyoweza kurejeshwa haraka. Upatikanaji hutegemea yote mawili. Makala za Wikipedia kuhusu uhandisi wa uaminifu na wastani wa muda kati ya kushindwa (MTBF) zinaeleza vipimo. Katika huduma nyingi za kisasa, kupona haraka kunafikika zaidi kuliko kushindwa nadra.

Ziada na pointi moja ya kushindwa. Ziada inamaanisha kuwa na vijenzi vya akiba ili kushindwa kwa kimoja kusisimamishe huduma. Pointi moja ya kushindwa ni kijenzi ambacho kushindwa kwake kunasimamisha kila kitu. Makala za Wikipedia kuhusu ziada na pointi moja ya kushindwa zinaeleza mawazo. Kupata pointi moja za kushindwa, ikijumuisha watu, wasambazaji, na vyeti vinavyoisha muda, ni kazi kuu ya upatikanaji.

Uvumilivu wa makosa na kudhoofika kwa heshima. Mfumo unaovumilia makosa unaendelea kufanya kazi sehemu zinaposhindwa; ule unaodhoofika kwa heshima hupoteza baadhi ya kazi lakini unaweka kiini chake. Kwa mfano, tovuti ya ununuzi inaweza kuzima mapendekezo lakini bado ikachakata maagizo. Buni kwa la pili pale uvumilivu kamili unapogharimu mno.

Kuhamia mbadala. Kubadilisha kwenda kijenzi cha akiba cha msingi kikishindwa. Kinapaswa kujaribiwa; kuhamia mbadala bila kujaribiwa mara nyingi kunashindwa inapohitajika. Tazama mada 3.12 — Usimamizi wa Mwendelezo wa Huduma.

Uwezo. Kiwango cha juu cha upitishaji ambacho huduma inaweza kutoa. Usimamizi wa uwezo huhakikisha kuna wa kutosha, na si zaidi sana ya kutosha, kukidhi mahitaji ya sasa na ya baadaye kwa gharama iliyokubaliwa. Makala ya Wikipedia kuhusu upangaji wa uwezo inaueleza.

Mahitaji. Mzigo unaowekwa kwenye huduma: watumiaji, maombi, kiasi cha data. Mahitaji hutofautiana kwa saa, siku, msimu, na tukio, na huathiriwa na uzinduzi, kampeni, na matukio ya nje. Kuelewa mfumo ni muhimu zaidi kuliko wastani.

Kupanuka na kupanuka kiotomatiki. Uwezo wa kushughulikia mzigo zaidi kwa kuongeza rasilimali. Majukwaa ya wingu huruhusu kupanua kiotomatiki kunakoongeza uwezo mzigo unapopanda. Husaidia lakini haiondoi haja ya kupanga: ina mipaka, inagharimu pesa, na haitengenezi hifadhidata isiyoweza kupanuka. Tazama mada 4.5 — Usimamizi wa fedha na FinOps.

Utendaji. Jinsi huduma inavyojibu kwa haraka na kwa ufanisi. Vipimo vya kawaida ni ucheleweshaji (muda ambao ombi linachukua), upitishaji (maombi mangapi yanashughulikiwa), na kiwango cha makosa. Wikipedia inaeleza ucheleweshaji katika uhandisi. Watumiaji huona mkia wa polepole, kwa hiyo angalia asilimia (percentile), kama ya 95, si wastani tu. Tazama mada 3.7 — Usimamizi wa Kiwango cha Huduma.

Foleni na kujaa. Mfumo unapokaribia matumizi kamili, muda wa kusubiri hukua kwa kasi. Nadharia ya foleni, inayoelezwa na Wikipedia, inaeleza kwa nini huduma inayoendeshwa kwa asilimia 95 ya uwezo huhisi tofauti sana na ile ya asilimia 60. Acha nafasi.

Uhandisi wa utendaji na majaribio. Kubuni na kujaribu kwa utendaji katika maendeleo yote, si mwishoni tu. Majaribio ya mzigo hutumia mahitaji yanayotarajiwa; majaribio ya mkazo husukuma kupita hapo kupata pointi za kuvunjika. Wikipedia inaeleza yote mawili. Jaribu katika mazingira yanayofanana na uzalishaji, kwa data halisi.

Utabiri. Kukadiria mahitaji ya baadaye kutoka kwa historia, matukio yanayojulikana, na ukuaji. Wikipedia inaeleza mbinu za utabiri. Utabiri hauna uhakika: rekodi dhana, onyesha safu, na ulinganishe makadirio na kinachotokea. Tazama mada 7.5 — Uchanganuzi tabiri na utabiri.

Mapatano ya gharama. Kila ongezeko la upatikanaji au uwezo linagharimu pesa. Kiwango sahihi hutegemea gharama ya kushindwa na upole kwa biashara. Fanya mapatano yawe wazi na watu wanaolipa, na uyaandike.

Lenzi zinavyolingana. Zoea la uchapuchapu huchukulia kazi ya uaminifu kama sehemu ya orodha ya kazi na kujaribu mapema na mara kwa mara. AI inaweza kugundua hitilafu za kimuundo na kuunga mkono utabiri chini ya mapitio. Uendeshaji otomatiki hupanua rasilimali na kuhamia mbadala. Uchanganuzi hutoa data kwa mazoea yote matatu.

Mazoea bora

  1. Weka malengo ya upatikanaji kutokana na mahitaji ya watumiaji. Uliza nini kinatokea huduma ikiwa chini kwa saa moja, siku, wiki. Weka lengo, na gharama, vinavyolingana. Andika fasili ya "inapatikana" kutoka mtazamo wa mtumiaji.
  2. Pata pointi moja za kushindwa. Chora vijenzi na utegemezi wa huduma muhimu, na uulize nini kinatokea kila kimoja kikishindwa. Jumuisha vyeti, leseni, watu, na wasambazaji.
  3. Buni kwa kushindwa. Tumia ziada pale gharama inapohalalishwa, fanya vijenzi vishindwe kwa kujitegemea, na uamue nini kinaweza kuzimwa kulinda kiini.
  4. Jaribu kuhamia mbadala na kupona. Fanyia mazoezi kuhamia mbadala katika mazingira salama, na urekodi muda unaochukua. Rekebisha yale mazoezi yanayofichua.
  5. Jue mfumo wa mahitaji yako. Kusanya data ya mzigo kwa saa, siku, na msimu, na uorodheshe matukio yanayojulikana yajayo kama uzinduzi na tarehe za mwisho. Panga kwa vilele, si wastani.
  6. Acha nafasi. Usiendeshe vijenzi muhimu karibu na uwezo kamili. Weka vizingiti vya tahadhari vinavyoonya kwa wakati wa kutenda.
  7. Jaribu utendaji kabla watumiaji hawajafanya. Endesha majaribio ya mzigo na mkazo dhidi ya matukio halisi kabla ya matoleo makubwa na kabla ya vilele vinavyojulikana. Jifunze mfumo unapovunjika.
  8. Tabiri na ukague. Fanya utabiri pamoja na dhana zake, uupitie mara kwa mara dhidi ya uhalisia, na urekebishe. Shiriki safu, si namba moja.
  9. Tazama mkia. Ripoti ucheleweshaji wa asilimia na viwango vya makosa, na uchunguze maombi ya polepole zaidi. Wastani huficha uzoefu wa watumiaji wasio na bahati.
  10. Pima gharama na hatari waziwazi. Waonyeshe wamiliki gharama ya kila ngazi ya upatikanaji na uwezo, na urekodi uamuzi na nani aliufanya.

Maswali ya kujadili na timu yako

Watumiaji wetu wangepoteza nini huduma hii ikiwa chini kwa saa moja, na lengo letu linalingana? Hii inafunga malengo na athari. Tarajia watumiaji tofauti kutoa majibu tofauti. Omba mifano halisi. Ili kwenda mbali zaidi, andika lengo pamoja na gharama na ulikague na mteja.

Pointi zetu moja za kushindwa ni zipi, ikijumuisha zisizo mashine? Chora utegemezi wa huduma moja muhimu. Tarajia mshangao: cheti ambacho hakuna anayekifuatilia, mhandisi mmoja, msambazaji asiye na mbadala. Ili kwenda mbali zaidi, chagua moja la kupunguza.

Mara ya mwisho tulijaribu kuhamia mbadala lini, na nini kilitokea? Omba tarehe na matokeo. Tarajia "kamwe" au "ilifanya kazi kwenye mazingira ya majaribio". Ili kwenda mbali zaidi, panga mazoezi yenye muda uliotajwa wa kupona.

Saa yenye shughuli nyingi zaidi ya mwaka kwa huduma hii ni ipi, na tuko tayari? Fikiria tarehe za mwisho, uzinduzi, na mauzo. Uliza nini kilitokea mara ya mwisho. Ili kwenda mbali zaidi, panga jaribio la mzigo kwa kilele kijacho.

Utabiri wetu wa uwezo tatu wa mwisho ulikuwa sahihi kiasi gani? Hii inajaribu kujifunza. Tarajia kwamba hakuna aliyekagua. Linganisha utabiri na uhalisia. Ili kwenda mbali zaidi, kubaliana mzunguko wa mapitio na urekodi dhana.

AI inawezaje kusaidia kutabiri mahitaji au kugundua matatizo mapema, na tungejuaje ilikosea? AI inaweza kupata mifumo katika telemetria. Pia inaweza kufuata kelele. Uliza nani anaimiliki na itapimwa dhidi ya nini. Ili kwenda mbali zaidi, endesha utabiri wa AI sambamba na mbinu iliyopo kwa robo mwaka.

Kwa vitendo: mfano wa usimamizi wa huduma

Wakala wa kitaifa wa mikopo ya wanafunzi anaendesha lango la maombi. Katika sehemu kubwa ya mwaka linashughulikia watumiaji elfu chache kwa siku. Katika siku mbili za mwisho kabla ya tarehe ya mwisho ya maombi ya kila mwaka, linashughulikia zaidi ya mara mia. Miaka miwili iliyopita liliacha kufanya kazi jioni ya mwisho; mwaka jana lilistahimili kwa kupanuliwa kwa dharura na usiku wa kazi ya ziada.

Mmiliki wa huduma anaanza Januari, mapema kabla ya tarehe ya mwisho inayofuata. Anaomba data ya trafiki ya miaka mitatu iliyopita, saa kwa saa, na kupata umbo thabiti: kupanda polepole katika wiki ya mwisho, kupanda kwa kasi siku ya mwisho, na kilele katika saa tatu za mwisho. Anaomba timu itambue pointi moja za kushindwa. Wanagundua lango linategemea huduma ya uthibitisho wa utambulisho inayoendeshwa na msambazaji mwenye kikomo cha kiwango kisichobadilika, ambacho kingebana upitishaji hadi takriban nusu ya kilele kinachotarajiwa.

Timu inafanya mambo matatu. Inajadiliana na msambazaji kikomo cha juu zaidi na kupata ongezeko la muda kwa wiki ya mwisho. Inaendesha majaribio ya mzigo Machi na Juni kwa kutumia mfumo wa mwaka uliopita pamoja na asilimia 30, na kugundua kwamba hifadhidata inakuwa kikwazo kwa takriban asilimia 70 ya kilele kinachotarajiwa, ambacho inakirekebisha kwa kuongeza nakala ya kusoma na kuhifadhi kwa muda maswali machache ghali. Na inaandaa hali iliyodhoofishwa: siku ya mwisho, vipengele visivyo muhimu kama kikokotoo cha akiba huzimwa mzigo ukipita kizingiti.

Siku ya tarehe ya mwisho, lango linashughulikia kilele. Huduma ya utambulisho inapungua kasi saa yenye shughuli nyingi zaidi lakini haishindwi, na hali iliyodhoofishwa inawashwa mara moja, kwa dakika 40. Kinachobadilika: hakuna kuzimika wala mgogoro wa kazi ya ziada. Kinachobaki kigumu: kikomo cha msambazaji ni suala la mkataba linalorudi kila mwaka; utabiri wa ongezeko la asilimia 30 ulikuwa dhana, na ongezeko halisi lilikuwa asilimia 22, kwa hiyo timu inaweza kuwa imetumia kupita kiasi; na hakuna aliyejaribu kushindwa kamili kwa eneo, ambako bado kungesimamisha huduma. Mmiliki anarekodi haya katika mpango wa mwaka ujao.

Mitazamo minne

Timu za bidhaa na utoaji

Buni kwa kushindwa na kwa mzigo: fanya vijenzi vijitegemee, jaribu utendaji unapojenga, na ujue mipaka yako. Jumuisha hali zilizodhoofishwa na vikomo vya kiwango katika usanifu.

Timu za huduma na uendeshaji

Jue mfumo wa mahitaji na nafasi ya uwezo. Fanyia mazoezi kuhamia mbadala, tazama mkia wa polepole, na uonye mapema kuhusu mielekeo. Weka ramani ya utegemezi ya kisasa.

Uongozi na utawala

Amua viwango vya upatikanaji na uwezo ukizingatia gharama na hatari, na uombe ushahidi nyuma yake. Fadhili majaribio na mazoezi, si vifaa tu. Kuwa macho kwa vilele vinavyojulikana.

Wateja na watumiaji

Mwambie mtoaji kuhusu vipindi vyako vyenye shughuli nyingi zaidi na kushindwa kunakogharimu nini. Uliza kiwango gani cha upatikanaji kimepangwa na nini kinatokea kinapokosekana.

Uchapuchapu, AI, uendeshaji otomatiki na uchanganuzi

Uchapuchapu

Jumuisha kazi ya uaminifu na utendaji katika orodha ya kazi, jaribu mapema na mara kwa mara katika mfereji, na ujifunze kutokana na kila tukio la hitilafu na kilele. Tahadhari: kusukuma uaminifu "baadaye" hujenga deni linalojitokeza wakati mbaya zaidi.

AI

AI inaweza kugundua hitilafu za kimuundo, kutabiri mahitaji kutoka kwa historia na matukio, na kupendekeza hatua za kupanua, ikiwa na wamiliki na maamuzi ya binadamu kuhusu gharama na hatari. Tahadhari: modeli iliyofunzwa kwa siku za kawaida inaweza kushindwa kwenye matukio ambayo hayajawahi kutokea; ilinganishe na misingi rahisi na umweke mtu awajibike. Tazama mada 5.2 — AIOps.

Uendeshaji otomatiki

Fanya kupanua, kuhamia mbadala, ukaguzi wa afya, na majaribio ya mzigo katika mfereji kuwa ya kiotomatiki, ukiwa na vikomo na kumbukumbu. Tahadhari: kupanua kiotomatiki kunaweza kupandisha gharama au kuficha toleo lenye hitilafu; weka bajeti na tahadhari, na ujaribu kanuni za kupanua. Tazama mada 6.6 — Uendeshaji otomatiki wa vitabu vya uendeshaji na urekebishaji wa kiotomatiki.

Uchanganuzi

Kusanya mahitaji, matumizi, asilimia za ucheleweshaji, viwango vya makosa, na usahihi wa utabiri. Tahadhari: malengo ya matumizi yanaweza kuchezewa kwa kuhamisha mzigo, na wastani huficha mkia wa polepole; kagua kwa data ya uzoefu wa watumiaji. Tazama mada 7.5 — Uchanganuzi tabiri na utabiri na kitabu cha Service Management Metrics.

Njia za kawaida za kushindwa

  • Malengo kutoka kwa mazoea. "Tisa tano" inaahidiwa bila sababu. Weka malengo kutokana na mahitaji ya watumiaji na gharama.
  • Pointi moja za kushindwa zilizofichika. Cheti au mtu anasimamisha kila kitu. Chora utegemezi kwa upana.
  • Kuhamia mbadala bila kujaribu. Kunashindwa inapohitajika. Fanyia mazoezi mara kwa mara.
  • Kupanga kwa wastani. Vilele vinaizidi nguvu mfumo. Panga kwa vilele vinavyojulikana na uache nafasi.
  • Utabiri usiokaguliwa kamwe. Makosa yanajirudia. Linganisha makadirio na uhalisia.
  • Kupanua kiotomatiki kama tiba ya yote. Gharama na vikwazo vinabaki. Jaribu mipaka na uweke bajeti.
  • Wastani tu. Mkia wa polepole unapuuzwa. Ripoti asilimia.

Modeli ya ukomavu

Kipimo Kuanzisha Kuendeleza Kusanifisha Kusimamia Kuratibu
Upatikanaji Wa kujibu Malengo kwa huduma kuu Malengo, ziada, na kuhamia mbadala vimejaribiwa Upatikanaji unapimwa dhidi ya uzoefu wa watumiaji Upatikanaji unabuniwa na kusimamiwa kati ya huduma na wasambazaji
Uwezo Unaongezwa unapokwisha Ufuatiliaji wa msingi Mifumo ya mahitaji inajulikana na kutabiriwa kwa dhana Usahihi wa utabiri unapitiwa Uwezo unapangwa na kurekebishwa kiotomatiki kwa uangalizi
Utendaji Malalamiko tu Baadhi ya vipimo Malengo ya asilimia na majaribio ya mzigo kabla ya matoleo Mielekeo ya utendaji na kurudi nyuma vinafuatiliwa Utendaji unahandisiwa katika mzunguko wote wa maisha
Ufahamu wa gharama Haijulikani Inajulikana takriban Mapatano yameandikwa na wamiliki Gharama na hatari vinapitiwa mara kwa mara Gharama, hatari, na uaminifu vinaboreshwa pamoja

Orodha hakiki

  • Malengo ya upatikanaji yanatokana na mahitaji ya watumiaji na gharama, kwa fasili wazi.
  • Pointi moja za kushindwa kwa huduma muhimu zimechorwa na kufuatiliwa.
  • Kuhamia mbadala kumefanyiwa mazoezi na kupimwa muda.
  • Tunajua mfumo wetu wa mahitaji na vilele vijavyo.
  • Tunaendesha majaribio ya mzigo kabla ya matoleo makubwa na vilele vinavyojulikana.
  • Utabiri unarekodi dhana na unakaguliwa dhidi ya uhalisia.
  • Tunaripoti ucheleweshaji wa asilimia na viwango vya makosa.
  • Mapatano ya gharama na hatari yamerekodiwa na wamiliki.

Maelekezo ya AI

Tafuta pointi moja za kushindwa.

Here is a description of how [service] works and what it depends on: [paste].
List each component and dependency, and for each one say what the description implies would happen if it failed, or "not stated". Mark candidate single points of failure and questions to ask. Do not assume redundancy that is not described.
List what you are unsure of.

Fupisha mifumo ya mahitaji.

Here is hourly request data for [period]: [paste summary or data].
Describe the daily, weekly, and seasonal patterns you can see, give the peak-to-average ratio, and list dates that look unusual. Do not forecast.
List what you are unsure of.

Andaa mpango wa jaribio la mzigo.

Our service: [describe]. Expected peak: [number and pattern]. Known limits or concerns: [list].
Draft a test plan with scenarios, load levels, what to measure, what would make us stop, and risks of testing. Specify that it is run only in a safe environment.
List what you are unsure of.

Ujuzi wa AI

Vyanzo vikuu

  • Betsy Beyer and others (eds.), Site Reliability Engineering (2016): sura kuhusu kushughulikia mzigo kupita kiasi na kusawazisha mzigo, bure kwenye sre.google.
  • PeopleCert, ITIL certification pages: maelezo ya mmiliki ya mazoea ya upatikanaji na uwezo.
  • Wikipedia, "High availability" and "Capacity planning": muhtasari wa mawazo makuu.
  • Wikipedia, "Queueing theory": hisabati iliyo nyuma ya kusubiri na kujaa.

Marejeo

  1. Availability — Wikipedia — https://en.wikipedia.org/wiki/Availability
  2. High availability — Wikipedia — https://en.wikipedia.org/wiki/High_availability
  3. Capacity planning — Wikipedia — https://en.wikipedia.org/wiki/Capacity_planning
  4. Reliability engineering — Wikipedia — https://en.wikipedia.org/wiki/Reliability_engineering
  5. Mean time between failures — Wikipedia — https://en.wikipedia.org/wiki/Mean_time_between_failures
  6. Single point of failure — Wikipedia — https://en.wikipedia.org/wiki/Single_point_of_failure
  7. Redundancy (engineering) — Wikipedia — https://en.wikipedia.org/wiki/Redundancy_(engineering)
  8. Load testing — Wikipedia — https://en.wikipedia.org/wiki/Load_testing
  9. Queueing theory — Wikipedia — https://en.wikipedia.org/wiki/Queueing_theory
  10. Forecasting — Wikipedia — https://en.wikipedia.org/wiki/Forecasting
  11. Site Reliability Engineering: How Google Runs Production Systems — Google — https://sre.google/sre-book/table-of-contents/