Kwa nini hili ni muhimu

Dalili ya kwanza ya shida inapaswa kutoka kwa mifumo yako mwenyewe, si kwa mtumiaji. Hiyo ndiyo ahadi ya ufuatiliaji: afya ya huduma huchunguzwa kila wakati na kupotoka hugunduliwa kabla watumiaji wengi hawajaona. Kwa vitendo, timu nyingi hugundua kwamba watumiaji bado huripoti matatizo kwanza, huku timu ikizikwa chini ya tahadhari ambazo hakuna anayezitendea.

Tofauti kati ya uzoefu huo mbili ni usanifu. Mpangilio wa ufuatiliaji unaotoa tahadhari kwa kila kizingiti kinachovukwa huwafundisha wapokeaji kupuuza tahadhari. Wikipedia inaeleza hii kama uchovu wa tahadhari, jambo lililosomwa kwanza hospitalini, ambapo wafanyakazi wanaokabiliwa na kengele nyingi mno hupoteza hisia na kukosa zile muhimu. Mpangilio unaopima watumiaji wanachopitia, unatoa tahadhari tu hatua inapohitajika, na kumpa anayejibu muktadha, hugeuza ufuatiliaji kuwa mfumo wa onyo la mapema.

Ufuatiliaji pia una jukumu kubwa kuliko kunasa kushindwa. Hutoa data ya kupanga uwezo, kazi ya utendaji, kukagua kwamba toleo lina afya, na kuamua cha kuboresha. Mada hii inaeleza msamiati na mazoea yanayotofautisha ufuatiliaji wenye manufaa na kelele. Inaunganishwa kwa karibu na usimamizi wa matukio ya hitilafu (mada 3.2 — Usimamizi wa Matukio ya Hitilafu), upatikanaji na uwezo (mada 3.11 — Upatikanaji, Uwezo, na Utendaji), na uwezo wa kuchunguza (mada 7.4 — Uwezo wa kuchunguza na telemetria).

Dhana kuu

Ufuatiliaji. Kukusanya, kuchakata, na kutumia data kuhusu hali ya huduma na vijenzi vyake. Wikipedia inaeleza ufuatiliaji wa mfumo na ufuatiliaji wa mtandao kama mazoea ya kutazama mifumo kwa hitilafu na utendaji. Ufuatiliaji hujibu maswali yanayojulikana: je, iko hewani, je, ni ya haraka, je, imejaa?

Tukio la mfumo. Katika ITIL 4, mabadiliko yoyote ya hali yenye umuhimu kwa usimamizi wa huduma au kipengee kingine cha usanidi. Matukio yanaweza kuwa ya taarifa, onyo, au ubaguzi. Matukio mengi ni ya kawaida na hayahitaji hatua; zoea ni kuamua yapi yanahitaji.

Tahadhari. Arifa kwamba tukio la mfumo linahitaji umakini. Si kila tukio la mfumo linapaswa kuwa tahadhari. Tahadhari nzuri humwambia mtu kwamba kitu kinahitaji hatua sasa, kipi kina tatizo, na mahali pa kuangalia.

Uchovu wa tahadhari. Kupoteza hisia kwa tahadhari zikiwa nyingi mno au nyingi zikiwa za uongo. Tazama makala ya Wikipedia kuhusu uchovu wa tahadhari. Ishara ni pamoja na tahadhari kukubaliwa bila kusomwa, vituo vilivyonyamazishwa, na matukio ya hitilafu kugunduliwa kwa kuchelewa. Ni tatizo la usanifu, si la nidhamu.

Vipimo, kumbukumbu, na ufuatiliaji wa njia. Aina tatu za kawaida za telemetria. Vipimo (metrics) ni vipimo vya namba kwa muda, kama kiwango cha maombi au matumizi ya kumbukumbu. Kumbukumbu (logs) ni rekodi za matukio zenye muhuri wa wakati. Ufuatiliaji wa njia (traces) hufuata ombi kupitia sehemu za mfumo uliosambazwa. Makala za Wikipedia kuhusu telemetria na usimamizi wa kumbukumbu zinaeleza mawazo ya jumla. Kwa pamoja zinaunga mkono ufuatiliaji na uchunguzi wa kina unaoshughulikiwa chini ya uwezo wa kuchunguza.

Uwezo wa kuchunguza. Uwezo wa kuelewa hali ya ndani ya mfumo kutokana na matokeo yake. Wikipedia inaeleza uwezo wa kuchunguza katika programu kama kupanua ufuatiliaji hadi maswali ambayo hukutarajia. Yanaingiliana: ufuatiliaji hutazama kushindwa kunakojulikana; uwezo wa kuchunguza husaidia kuchunguza kusikojulikana. Tazama mada 7.4 — Uwezo wa kuchunguza na telemetria.

Dalili na sababu. Dalili ni kile ambacho watumiaji au huduma wanapitia, kama majibu ya polepole; sababu ni kilicho nyuma yake, kama diski iliyojaa. Kutoa tahadhari kwa dalili kunakuambia watumiaji wameathirika. Kutoa tahadhari kwa kila sababu inayowezekana huzua kelele. Timu nyingi hutoa tahadhari kwa dalili na kutumia vipimo vya ngazi ya sababu kuchunguza.

Vizingiti na msingi wa kawaida. Kizingiti kisichobadilika, kama "CPU juu ya asilimia 90", ni rahisi na mara nyingi si sahihi, kwa sababu viwango vya kawaida hutofautiana kulingana na wakati na mzigo. Misingi ya kawaida hujifunza kipi ni cha kawaida kwa saa ya siku na hutoa tahadhari kwa kupotoka. Makala ya Wikipedia kuhusu ugunduzi wa hitilafu za kimuundo (anomaly detection) inaeleza wazo na tahadhari zake.

Uhusianishaji wa matukio ya mfumo. Kuchanganya matukio yanayohusiana kupata tatizo la msingi, ili tahadhari mia kutoka kwa kijenzi kimoja kinachoshindwa ziwe moja. Wikipedia inaeleza uhusianishaji wa matukio. Unaweza kuwa wa kanuni au kutumia kujifunza kwa mashine. Tazama mada 5.2 — AIOps.

Ufuatiliaji wa sintetiki na wa watumiaji halisi. Ufuatiliaji wa sintetiki huendesha majaribio yaliyoandikwa yanayoiga watumiaji na hukagua mara kwa mara kama safari inafanya kazi. Ufuatiliaji wa watumiaji halisi hurekodi uzoefu wa watumiaji halisi. Wikipedia inaeleza yote mawili. Ukaguzi wa sintetiki hunasa kuzimika nyakati za utulivu; data ya watumiaji halisi inaonyesha watu wanachopitia kwa kweli.

Usimamizi wa utendaji wa programu. Zana na mazoea ya kufuatilia utendaji na upatikanaji wa programu, ikijumuisha nyakati za kujibu na viwango vya makosa. Wikipedia inaeleza fani hii.

Uwezekano wa kutendewa. Kila tahadhari inapaswa kuwa na hatua iliyofafanuliwa, hata kama hatua ni "angalia kitabu cha uendeshaji". Mtu akishindwa kusema afanye nini, tahadhari inapaswa kuondolewa au kugeuzwa ripoti. Tazama mada 3.9 — Usimamizi wa Maarifa.

Uelekezaji na kupandisha. Tahadhari huenda kwa watu wanaoweza kutenda, kwa kutumia ratiba za zamu za kuitwa, na kupandisha kama hakuna kukubali. Tazama mada 3.2 — Usimamizi wa Matukio ya Hitilafu.

Usimamizi wa matukio ya mfumo na ITIL. ITIL 4 inaeleza "ufuatiliaji na usimamizi wa matukio ya mfumo" kama zoea linalotazama kwa utaratibu huduma na vijenzi vya huduma, na kurekodi na kuripoti mabadiliko teule ya hali. Msisitizo ni kuamua matukio yapi ni muhimu na la kufanya kuhusu kila moja.

Lenzi zinavyolingana. Ufuatiliaji ni upande wa mrejesho wa utoaji endelevu: unaonyesha kama badiliko lina afya. Zoea la uchapuchapu huchukulia ubora wa tahadhari kama kipengee cha orodha ya kazi. AI inaweza kupunguza kelele, kuhusianisha matukio ya mfumo, na kufupisha, chini ya mapitio. Uendeshaji otomatiki unaweza kutenda juu ya matukio yanayoeleweka vizuri. Uchanganuzi unaonyesha mielekeo na gharama ya kelele.

Mazoea bora

  1. Toa tahadhari kwa kile watumiaji wanachohisi. Anza na dalili, kama maombi yaliyoshindwa, kurasa polepole, na kazi zilizoshindwa. Tumia vipimo vya sababu kwa utambuzi, si kwa kuita, isipokuwa sababu ni onyo la mapema la kuaminika.
  2. Fanya kila tahadhari iweze kutendewa. Kwa kila tahadhari, andika inamaanisha nini, nani anatenda, na anafanya nini kwanza. Iunganishe na kitabu cha uendeshaji. Ondoa tahadhari zisizo na hatua.
  3. Weka idadi chini. Hesabu tahadhari anazopokea kila mtu wa zamu kwa zamu, na uweke kikomo. Pitia tahadhari zenye kelele zaidi kila wiki na uzirekebishe au uzifute.
  4. Ita kwa uharaka, tumia tiketi kwa nyingine. Tumia simu au ujumbe wa kuita tu mtu anapolazimika kutenda sasa. Tuma ishara nyingine kwenye foleni au ripoti. Fafanua tofauti waziwazi.
  5. Tumia misingi ya kawaida kwa uangalifu. Mahali ambapo kawaida hubadilika kwa wakati na mzigo, tumia vizingiti vinavyojua wakati au ugunduzi wa hitilafu za kimuundo, na uvipitie. Usiamini modeli ambayo huwezi kuieleza kwa watu wanaojibu.
  6. Kusanya tahadhari zinazohusiana. Husianisha matukio kutoka kwa sababu ileile, na ukandamize tahadhari za chini wakati utegemezi unashindwa. Tuma ujumbe mmoja wenye muktadha.
  7. Kagua kutoka mtazamo wa mtumiaji. Ongeza ukaguzi wa sintetiki kwa safari muhimu, na utumie data ya watumiaji halisi kwa uzoefu. Seva inaweza kuwa "hewani" huku watumiaji hawawezi kuingia.
  8. Fuatilia ufuatiliaji. Jaribu kwamba tahadhari zinawafikia watu, kwamba mfumo wa kuita unafanya kazi, na kwamba kushindwa kimya kwa ufuatiliaji kunagunduliwa. Fanya majaribio ya mwanzo hadi mwisho mara kwa mara.
  9. Pitia baada ya matukio ya hitilafu. Uliza tahadhari ipi ililia, ipi ilipaswa, na zipi zilikuwa kelele. Rekebisha katika mapitio ya tukio la hitilafu. Tazama mada 3.3 — Usimamizi wa Matatizo.
  10. Shiriki dashibodi na muktadha. Wape waendelezaji, uendeshaji, na msaada ufikiaji wa data ileile, na uonyeshe athari ya mabadiliko ya hivi karibuni. Epuka dashibodi ambazo hakuna anayetumia.

Maswali ya kujadili na timu yako

Tukio la hitilafu la mwisho ambalo watumiaji walituambia kabla ufuatiliaji wetu ulikuwa lipi, na kwa nini? Hii inapata maeneo ya upofu. Angalia watumiaji walichoona. Tarajia mapengo pembezoni mwa safari. Ili kwenda mbali zaidi, chagua ukaguzi mmoja unaomwelekea mtumiaji wa kuongeza.

Watu wetu wa zamu za kuitwa walipokea tahadhari ngapi mwezi uliopita, na ngapi zilihitaji hatua? Hesabuni pamoja. Ikiwa hakuna anayejua, hilo ni matokeo. Tarajia sehemu ndogo ya tahadhari zinazoweza kutendewa. Ili kwenda mbali zaidi, chagua tahadhari tano zenye kelele zaidi na uamue hatima ya kila moja.

Tunapuuza tahadhari zipi, na nini kingetokea tukizifuta? Kupuuza tahadhari ni ishara ya uchovu. Uliza mara ya mwisho kila moja ilipokuwa na umuhimu. Ili kwenda mbali zaidi, futa au ishushe moja, ukiwa na tarehe ya mapitio.

Nani anaamshwa kwa nini, na je, kila mtu anakubali ni jambo la thamani kumwamsha? Kubaliana vigezo vya kuita. Tarajia kutokubaliana, jambo lenye manufaa. Ili kwenda mbali zaidi, andika kanuni ya aya moja na uijaribu kwa mwezi.

Tungejuaje kama ufuatiliaji wenyewe ulikoma kufanya kazi? Hii inajaribu ufuatiliaji wa ufuatiliaji. Tarajia ukimya au jibu lisilo wazi. Ili kwenda mbali zaidi, ongeza ukaguzi wa mapigo ya moyo au tahadhari ya majaribio ya kila siku na ukubaliane nani anaitazama.

Tungetaka AI ifanye nini na tahadhari zetu, na nini lazima kibaki uamuzi wa binadamu? AI inaweza kuweka tahadhari katika makundi, kupendekeza sababu, na kufupisha muktadha. Pia inaweza kukandamiza tahadhari halisi. Uliza hatua zipi zinahitaji idhini. Ili kwenda mbali zaidi, chagua jaribio lililopunguzwa kwa kuweka makundi na kufupisha, likiwa na mapitio ya kile ilichokificha.

Kwa vitendo: mfano wa usimamizi wa huduma

Timu ya teknolojia ya uendeshaji ya uwanja wa ndege wa kikanda inafuatilia ushughulikiaji wa mizigo, mifumo ya kuingia, na maonyesho ya taarifa za safari za ndege. Timu ya sita inapokea takriban tahadhari 400 kwa siku. Wafanyakazi wa zamu wanasema wanatazama arifa kwa haraka na kwa kawaida huzinyamazisha. Mwezi uliopita swichi ya mtandao iliyoshindwa katika kituo cha abiria ilibaki bila kugunduliwa kwa dakika 40, hadi abiria walipolalamika kuhusu maonyesho tupu.

Kiongozi wa timu anachukua wiki moja kutazama data. Kati ya tahadhari 400 za kila siku, takriban 350 zinatoka kwa kanuni 12, kama maonyo ya diski kwenye vifaa vinavyojisafisha vyenyewe, na kuyumba kwa kiolesura kwenye lango lisilotumika. Takriban 15 tu kila siku zinahitaji hatua ya binadamu. Kiongozi na timu wanakubali mabadiliko matatu. Wanafuta au kushusha kanuni 12 zenye kelele kuwa ripoti ya kila siku. Wanaongeza ukaguzi wa sintetiki mbili unaopakia ukurasa wa maonyesho na skrini ya kuingia kutoka kila kituo kila dakika na kuita ikiwa mojawapo inashindwa mara mbili mfululizo. Na wanaweka uhusianishaji ili swichi iliyoshindwa itoe tahadhari moja inayotaja maonyesho yaliyoathirika, si mia moja.

Katika mwezi uliofuata, tahadhari za zamu zinashuka hadi takriban 20 kwa siku, na hitilafu inayofuata ya swichi inagunduliwa ndani ya dakika tatu, kwa wito mmoja unaoorodhesha vituo vilivyoathirika. Katika mapitio ya kila wiki timu inapata tahadhari moja iliyokandamizwa na uhusianishaji wakati haikupaswa, na inarekebisha kanuni.

Kinachobadilika: watu wanaamini wito na kujibu. Kinachobaki kigumu: vifaa vya muuzaji wa ushughulikiaji wa mizigo hutuma tahadhari zake katika muundo ambao timu haiwezi kuuchuja, kwa hiyo kelele fulani inabaki; wafanyakazi wachache wa zamu ya usiku wana wasiwasi kwamba ripoti ya kila siku haitasomwa; na bado hakuna aliyejaribu kinachotokea mfumo wa ufuatiliaji wenyewe ukishindwa. Kiongozi anapanga zoezi na kuongeza tahadhari ya majaribio ya kila siku.

Mitazamo minne

Timu za bidhaa na utoaji

Jenga ishara ndani: vipimo, kumbukumbu, na ufuatiliaji wa njia wenye maana, na ukaguzi wa afya unaoakisi safari za watumiaji. Andika kitabu cha uendeshaji pamoja na tahadhari. Tazama athari za kila toleo.

Timu za huduma na uendeshaji

Miliki ubora wa tahadhari. Pitia tahadhari zenye kelele zaidi kila wiki, linda watu dhidi ya mzigo mkubwa, na ukague kwamba kila wito una hatua. Jaribu njia ambazo tahadhari zinapitia.

Uongozi na utawala

Omba idadi ya tahadhari zinazoweza kutendewa, si idadi ya vifuatiliaji. Fadhili muda wa kurekebisha tahadhari zenye kelele. Chukulia miito inayojirudia nje ya saa kama gharama kwa wafanyakazi na ubora.

Wateja na watumiaji

Unapaswa kusikia kuhusu matatizo kutoka kwa mtoaji kabla hujayaona, na kuambiwa kipi kimeathirika. Ripoti unachoona, ukiwa na nyakati, na umwambie mtoaji ufuatiliaji ulipokosa.

Uchapuchapu, AI, uendeshaji otomatiki na uchanganuzi

Uchapuchapu

Chukulia tahadhari na dashibodi kama sehemu ya bidhaa: ziboreshe kwa hatua ndogo baada ya kila tukio la hitilafu na toleo. Zipitie na watu wanaojibu. Tahadhari: kuongeza vifuatiliaji kwa kila kipengele kipya bila kuondoa vya zamani huongeza kelele.

AI

AI inaweza kujifunza mifumo ya kawaida, kuweka tahadhari zinazohusiana katika makundi, kupendekeza sababu zinazowezekana, na kufupisha dhoruba ya tahadhari, ikiwa na mmiliki na maamuzi ya binadamu. Ijaribu dhidi ya matukio ya hitilafu ya awali. Tahadhari: modeli inayokandamiza tahadhari inaweza kuficha kushindwa nadra lakini halisi; pima ilichokandamiza na kilichokosekana. Tazama mada 5.2 — AIOps.

Uendeshaji otomatiki

Fanya majibu kwa matukio ya mfumo yanayoeleweka vizuri, kama kuanzisha upya mchakato unaoshindwa, na uelekezaji na uboreshaji wa tahadhari kuwa wa kiotomatiki, ukiwa na vikomo na kumbukumbu. Tahadhari: urekebishaji wa kiotomatiki unaojaribu bila kikomo unaweza kuficha mfumo unaoshindwa au kuufanya kuwa mbaya zaidi; ongeza vikomo vya kiwango na kupandisha. Tazama mada 6.6 — Uendeshaji otomatiki wa vitabu vya uendeshaji na urekebishaji wa kiotomatiki.

Uchanganuzi

Fuatilia idadi ya tahadhari, sehemu iliyoweza kutendewa, muda wa kukubali, na matukio ya hitilafu yaliyogunduliwa na ufuatiliaji dhidi ya yaliyogunduliwa na watumiaji. Tahadhari: hesabu za tahadhari peke yake zinaweza kuchezewa kwa kuinua vizingiti hadi hakuna kinacholia; kagua dhidi ya matukio ya hitilafu. Tazama mada 7.4 — Uwezo wa kuchunguza na telemetria na kitabu cha Service Management Metrics.

Njia za kawaida za kushindwa

  • Kutoa tahadhari kwa kila kitu. Watu wananyamazisha kituo. Toa tahadhari kwa dalili na uondoe nyingine.
  • Tahadhari bila hatua. Wanaojibu hawajui wafanye nini. Unganisha na kitabu cha uendeshaji au ufute tahadhari.
  • Vizingiti visivyobadilika tu. Tahadhari za uongo nyakati za shughuli. Tumia mbinu zinazojua wakati au misingi ya kawaida kwa uangalifu.
  • Watumiaji hugundua kwanza. Mapengo katika ukaguzi unaomwelekea mtumiaji. Ongeza ufuatiliaji wa sintetiki na wa watumiaji halisi.
  • Hakuna ufuatiliaji wa ufuatiliaji. Ufuatiliaji unashindwa kimya. Ongeza mapigo ya moyo na mazoezi.
  • Kuenea kwa dashibodi. Hakuna anayezitazama. Weka chache zinazounga mkono maamuzi.
  • Kuamini modeli isiyoeleweka. Wanaojibu hawawezi kueleza ilichofanya. Weka kanuni na mantiki zinazoweza kupitiwa.

Modeli ya ukomavu

Kipimo Kuanzisha Kuendeleza Kusanifisha Kusimamia Kuratibu
Usanifu wa tahadhari Kila kizingiti kinatoa tahadhari Baadhi ya tahadhari muhimu Tahadhari zinazotegemea dalili, zinazoweza kutendewa zikiwa na vitabu vya uendeshaji Ubora wa tahadhari unapimwa na kupitiwa kila wiki Tahadhari zinarekebishwa na kuhusianishwa kati ya huduma
Ufunikaji Seva tu Baadhi ya programu Safari za watumiaji zinakaguliwa kwa sintetiki na kwa data ya watumiaji halisi Ufunikaji unapitiwa baada ya matukio ya hitilafu Ufunikaji thabiti kati ya mali yote na wasambazaji
Kelele Inazidi uwezo Inafahamika Idadi imewekewa kikomo na kupitiwa Kelele inapimwa na inapungua Kelele inasimamiwa kwa uhusianishaji na uendeshaji otomatiki kwa uangalizi
Jibu Kwa mikono Miito kwa timu Imeelekezwa na kupandisha Muda wa kujibu unafuatiliwa Hatua salama zinaendeshwa kiotomatiki kwa udhibiti wa binadamu

Orodha hakiki

  • Tahadhari zinatokana na dalili ambazo watumiaji wanazihisi.
  • Kila tahadhari ina hatua iliyofafanuliwa na kitabu cha uendeshaji kilichounganishwa.
  • Idadi ya tahadhari za zamu kwa kila zamu inapimwa na kuwekewa kikomo.
  • Tunapitia tahadhari zenye kelele zaidi kila wiki.
  • Safari muhimu za watumiaji zina ukaguzi wa sintetiki.
  • Tahadhari zinazohusiana zimehusianishwa.
  • Tunajaribu kwamba tahadhari zinawafikia watu na kwamba kushindwa kwa ufuatiliaji kunagunduliwa.
  • AI au uendeshaji otomatiki unaotenda juu ya tahadhari una mmiliki, vikomo, na mapitio.

Maelekezo ya AI

Panga tahadhari zenye kelele.

Here is a list of alert rules with the number of times each fired last month and how many led to action: [paste].
Rank them by number of non-actionable firings, list the top ten, and give one question per rule to ask about whether to remove, change, or keep it. Do not recommend deleting any.
List what you are unsure of.

Andaa maandishi ya tahadhari.

The situation to alert on: [describe]. Who acts: [role]. The first checks they should make: [list].
Draft an alert title (under 80 characters) and a body (under 80 words) that says what is wrong, what users may be experiencing, and the first step, with a link placeholder for the runbook. Do not speculate about causes.
List what you are unsure of.

Jaribu kanuni ya uhusianishaji.

Here is a correlation rule: [describe]. Here is a list of recent events with timestamps and sources: [paste].
List which events the rule would group, which it would suppress, and any case where a real separate problem could be hidden. Do not propose a new rule.
List what you are unsure of.

Ujuzi wa AI

Vyanzo vikuu

  • Betsy Beyer and others (eds.), Site Reliability Engineering (2016), chapter on monitoring distributed systems, free at sre.google.
  • Rob Ewaschuk, "My Philosophy on Alerting" (2013): insha fupi inayojulikana kuhusu tahadhari zinazotegemea dalili.
  • Wikipedia, "Alarm fatigue" and "Observability (software)": muhtasari wa mawazo muhimu.
  • PeopleCert, ITIL certification pages: maelezo ya mmiliki ya zoea la ufuatiliaji na usimamizi wa matukio ya mfumo.

Marejeo

  1. Alarm fatigue — Wikipedia — https://en.wikipedia.org/wiki/Alarm_fatigue
  2. Observability (software) — Wikipedia — https://en.wikipedia.org/wiki/Observability_(software)
  3. Application performance management — Wikipedia — https://en.wikipedia.org/wiki/Application_performance_management
  4. Event correlation — Wikipedia — https://en.wikipedia.org/wiki/Event_correlation
  5. Log management — Wikipedia — https://en.wikipedia.org/wiki/Log_management
  6. Synthetic monitoring — Wikipedia — https://en.wikipedia.org/wiki/Synthetic_monitoring
  7. Real user monitoring — Wikipedia — https://en.wikipedia.org/wiki/Real_user_monitoring
  8. Network monitoring — Wikipedia — https://en.wikipedia.org/wiki/Network_monitoring
  9. Anomaly detection — Wikipedia — https://en.wikipedia.org/wiki/Anomaly_detection
  10. Telemetry — Wikipedia — https://en.wikipedia.org/wiki/Telemetry
  11. Site Reliability Engineering: How Google Runs Production Systems — Google — https://sre.google/sre-book/table-of-contents/