निगरानी और इवेंट प्रबंधन
निगरानी और इवेंट प्रबंधन सेवाओं पर नज़र रखते हैं ताकि सही व्यक्ति को वास्तविक समस्याओं का पता जल्दी चले और शोर से किसी की नींद न टूटे; वे तब काम करते हैं जब अलर्ट वह बताएँ जो उपयोगकर्ता महसूस करते हैं, हर अलर्ट की कोई कार्रवाई हो, और इवेंट की मात्रा इतनी कम रखी जाए कि लोग उन पर भरोसा करें।
यह क्यों मायने रखता है
परेशानी का पहला संकेत आपकी अपनी प्रणालियों से आना चाहिए, उपयोगकर्ता से नहीं। यही निगरानी का वादा है: सेवा के स्वास्थ्य को लगातार देखा जाता है और ज़्यादातर उपयोगकर्ताओं के ध्यान देने से पहले विचलन का पता चल जाता है। व्यवहार में, कई टीमें पाती हैं कि उपयोगकर्ता अब भी पहले समस्याएँ रिपोर्ट करते हैं, जबकि टीम ऐसे अलर्टों में दबी है जिन पर कोई कार्रवाई नहीं करता।
दोनों अनुभवों का अंतर डिज़ाइन का है। जो निगरानी-व्यवस्था हर पार की गई सीमा पर अलर्ट उठाती है, वह अपने प्राप्तकर्ताओं को अलर्ट अनदेखा करना सिखाती है। Wikipedia इसे अलार्म थकान (alarm fatigue) के रूप में वर्णित करता है, एक परिघटना जिसका पहले अस्पतालों में अध्ययन हुआ, जहाँ बहुत अधिक अलार्मों के संपर्क में आने वाले कर्मचारी संवेदनहीन हो जाते हैं और महत्त्वपूर्ण अलार्म चूक जाते हैं। जो व्यवस्था वह मापती है जो उपयोगकर्ता अनुभव करते हैं, केवल तब अलर्ट करती है जब कार्रवाई चाहिए, और प्रतिक्रिया-कर्ता को संदर्भ देती है, वह निगरानी को पूर्व-चेतावनी प्रणाली में बदल देती है।
निगरानी की भूमिका विफलताएँ पकड़ने से बड़ी भी है। वह क्षमता-योजना, प्रदर्शन के काम, यह जाँचने कि रिलीज़ स्वस्थ है, और यह तय करने कि क्या सुधारना है, इन सबके लिए डेटा देती है। यह विषय शब्दावली और उन अभ्यासों का वर्णन करता है जो उपयोगी निगरानी को शोर से अलग करते हैं। यह घटना प्रबंधन («विषय 3.2 — घटना प्रबंधन»), उपलब्धता और क्षमता («विषय 3.11 — उपलब्धता, क्षमता और प्रदर्शन») और ऑब्ज़र्वेबिलिटी («विषय 7.4 — ऑब्ज़र्वेबिलिटी और टेलीमेट्री») से निकटता से जुड़ता है।
मूल अवधारणाएँ
निगरानी। सेवाओं और उनके घटकों की अवस्था के बारे में डेटा जुटाना, संसाधित करना और उपयोग करना। Wikipedia प्रणाली निगरानी (system monitoring) और नेटवर्क निगरानी (network monitoring) को दोषों और प्रदर्शन के लिए प्रणालियों को देखने के अभ्यास के रूप में वर्णित करता है। निगरानी ज्ञात प्रश्नों का उत्तर देती है: क्या वह चालू है, क्या तेज़ है, क्या भरा है?
इवेंट। ITIL 4 में, अवस्था का कोई भी बदलाव जो किसी सेवा या अन्य कॉन्फ़िगरेशन मद के प्रबंधन के लिए महत्त्व रखता है। इवेंट सूचनात्मक, चेतावनी, या अपवाद हो सकते हैं। कई इवेंट सामान्य हैं और उन्हें कार्रवाई नहीं चाहिए; अभ्यास यह तय करने के बारे में है कि किन्हें चाहिए।
अलर्ट। अधिसूचना कि किसी इवेंट पर ध्यान चाहिए। हर इवेंट को अलर्ट नहीं बनना चाहिए। अच्छा अलर्ट किसी व्यक्ति को बताता है कि अभी कार्रवाई चाहिए, क्या ग़लत है, और कहाँ देखना है।
अलार्म थकान। जब बहुत अधिक अलर्ट हों या बहुत से झूठे हों तो अलर्टों के प्रति संवेदनशीलता खो जाना। Wikipedia का alarm fatigue पर लेख देखें। संकेतों में बिना पढ़े पावती दिए गए अलर्ट, म्यूट किए गए चैनल, और देर से पाई गई घटनाएँ शामिल हैं। यह डिज़ाइन की समस्या है, अनुशासन की नहीं।
मेट्रिक्स, लॉग और ट्रेस। टेलीमेट्री के तीन आम प्रकार। मेट्रिक्स समय के साथ संख्यात्मक माप हैं, जैसे अनुरोध दर या मेमोरी उपयोग। लॉग इवेंटों के टाइमस्टैम्प वाले रिकॉर्ड हैं। ट्रेस किसी अनुरोध का वितरित प्रणाली के हिस्सों से अनुसरण करते हैं। टेलीमेट्री (telemetry) और लॉग प्रबंधन (log management) पर Wikipedia के लेख सामान्य विचारों का वर्णन करते हैं। साथ मिलकर वे निगरानी और ऑब्ज़र्वेबिलिटी के अंतर्गत समेटी गई गहरी जाँच, दोनों का समर्थन करते हैं।
ऑब्ज़र्वेबिलिटी। प्रणाली की आंतरिक अवस्था को उसके आउटपुट से समझने की क्षमता। Wikipedia सॉफ़्टवेयर में ऑब्ज़र्वेबिलिटी (observability) को निगरानी का ऐसे प्रश्नों तक विस्तार बताता है जिनकी आपने अपेक्षा नहीं की थी। दोनों मिलते हैं: निगरानी ज्ञात विफलता पर नज़र रखती है; ऑब्ज़र्वेबिलिटी अज्ञात विफलता की जाँच में मदद करती है। देखें «विषय 7.4 — ऑब्ज़र्वेबिलिटी और टेलीमेट्री»।
लक्षण और कारण। लक्षण वह है जो उपयोगकर्ता या सेवा अनुभव करती है, जैसे धीमी प्रतिक्रियाएँ; कारण वह है जो उसके पीछे है, जैसे भरी हुई डिस्क। लक्षणों पर अलर्ट करना बताता है कि उपयोगकर्ता प्रभावित हैं। हर संभावित कारण पर अलर्ट करना शोर पैदा करता है। कई टीमें लक्षणों पर अलर्ट करती हैं और जाँच के लिए कारण-स्तर के मेट्रिक्स उपयोग करती हैं।
सीमाएँ और आधाररेखाएँ। निश्चित सीमा, जैसे "CPU 90 प्रतिशत से ऊपर", सरल है और अक्सर ग़लत, क्योंकि सामान्य स्तर समय और भार के साथ बदलते हैं। आधाररेखाएँ सीखती हैं कि दिन के किसी समय के लिए क्या सामान्य है और विचलन पर अलर्ट उठाती हैं। विसंगति पहचान (anomaly detection) पर Wikipedia का लेख विचार और उसकी सावधानियाँ बताता है।
इवेंट सहसंबंध। अंतर्निहित समस्या खोजने के लिए संबंधित इवेंट को मिलाना, ताकि किसी एक विफल घटक से सौ अलर्ट एक बन जाएँ। Wikipedia इवेंट सहसंबंध (event correlation) का वर्णन करता है। वह नियम-आधारित हो सकता है या मशीन लर्निंग का उपयोग कर सकता है। देखें «विषय 5.2 — AIOps»।
कृत्रिम और वास्तविक उपयोगकर्ता निगरानी। कृत्रिम निगरानी (synthetic monitoring) उपयोगकर्ताओं की नक़ल करने वाले स्क्रिप्ट किए परीक्षण चलाती है और नियमित रूप से जाँचती है कि कोई यात्रा काम करती है या नहीं। वास्तविक उपयोगकर्ता निगरानी (real user monitoring) असली उपयोगकर्ताओं का अनुभव दर्ज करती है। Wikipedia दोनों का वर्णन करता है। कृत्रिम जाँचें शांत समय पर रुकावटें पकड़ती हैं; वास्तविक उपयोगकर्ता का डेटा दिखाता है कि लोग वास्तव में क्या अनुभव करते हैं।
एप्लिकेशन प्रदर्शन प्रबंधन। एप्लिकेशनों के प्रदर्शन और उपलब्धता की निगरानी के लिए उपकरण और अभ्यास, प्रतिक्रिया-समय और त्रुटि दरों सहित। Wikipedia एप्लिकेशन प्रदर्शन प्रबंधन (application performance management) क्षेत्र का वर्णन करता है।
कार्रवाई-योग्यता। हर अलर्ट की परिभाषित कार्रवाई होनी चाहिए, भले ही कार्रवाई "रनबुक देखें" हो। अगर कोई व्यक्ति नहीं बता सकता कि क्या करना है, तो अलर्ट हटाया या रिपोर्ट में बदला जाना चाहिए। देखें «विषय 3.9 — ज्ञान प्रबंधन»।
रूटिंग और एस्केलेशन। अलर्ट उन लोगों तक जाते हैं जो कार्रवाई कर सकते हैं, ऑन-कॉल अनुसूचियों के उपयोग से, पावती न मिलने पर एस्केलेशन के साथ। देखें «विषय 3.2 — घटना प्रबंधन»।
इवेंट प्रबंधन और ITIL। ITIL 4 "निगरानी और इवेंट प्रबंधन" को ऐसे अभ्यास के रूप में वर्णित करता है जो सेवाओं और सेवा घटकों को व्यवस्थित रूप से देखता है, और चुने हुए अवस्था-बदलाव दर्ज और रिपोर्ट करता है। ज़ोर यह तय करने पर है कि कौन-से इवेंट मायने रखते हैं और हर एक के बारे में क्या करना है।
दृष्टियाँ कैसे फ़िट होती हैं। निगरानी सतत डिलीवरी का फ़ीडबैक पक्ष है: वह दिखाती है कि बदलाव स्वस्थ है या नहीं। एजाइल अभ्यास अलर्ट की गुणवत्ता को बैकलॉग मद मानता है। AI शोर घटा सकता है, इवेंट सहसंबद्ध कर सकता है, और सारांश दे सकता है, समीक्षा के अधीन। स्वचालन भली-भाँति समझे हुए इवेंट पर कार्रवाई कर सकता है। विश्लेषण रुझान और शोर की क़ीमत दिखाता है।
सर्वोत्तम अभ्यास
- उस पर अलर्ट करें जो उपयोगकर्ता महसूस करते हैं। लक्षणों से शुरू करें, जैसे विफल अनुरोध, धीमे पृष्ठ और विफल जॉब। कारण-मेट्रिक्स का उपयोग निदान के लिए करें, पेजिंग के लिए नहीं, जब तक कोई कारण भरोसेमंद पूर्व-चेतावनी न हो।
- हर अलर्ट को कार्रवाई-योग्य बनाएँ। हर अलर्ट के लिए लिखें कि उसका क्या अर्थ है, कौन कार्रवाई करता है, और वे पहले क्या करते हैं। उसे रनबुक से जोड़ें। जिन अलर्टों की कोई कार्रवाई नहीं उन्हें हटाएँ।
- मात्रा कम रखें। गिनें कि हर ऑन-कॉल व्यक्ति को प्रति शिफ़्ट कितने अलर्ट मिलते हैं, और सीमा तय करें। हर सप्ताह सबसे शोर वाले अलर्टों की समीक्षा करें और उन्हें ठीक करें या हटाएँ।
- तात्कालिकता के लिए पेज करें, बाक़ी के लिए टिकट। फ़ोन कॉल या पेज तभी उपयोग करें जब किसी को अभी कार्रवाई करनी हो। अन्य संकेत कतार या रिपोर्ट में भेजें। अंतर स्पष्ट परिभाषित करें।
- आधाररेखाओं का सावधानी से उपयोग करें। जहाँ सामान्य समय और भार के साथ बदलता है, वहाँ समय-सजग सीमाएँ या विसंगति पहचान उपयोग करें, और उनकी समीक्षा करें। ऐसे मॉडल पर भरोसा न करें जिसे आप उत्तर देने वाले लोगों को समझा नहीं सकते।
- संबंधित अलर्टों को समूहित करें। एक ही कारण के इवेंट सहसंबद्ध करें, और जब कोई निर्भरता विफल हो तो निचले अलर्ट दबाएँ। संदर्भ के साथ एक संदेश भेजें।
- उपयोगकर्ता के दृष्टिकोण से जाँचें। प्रमुख यात्राओं के लिए कृत्रिम जाँचें जोड़ें, और अनुभव के लिए वास्तविक उपयोगकर्ता डेटा उपयोग करें। सर्वर "चालू" हो सकता है जबकि उपयोगकर्ता साइन इन नहीं कर सकते।
- निगरानी की निगरानी करें। परखें कि अलर्ट लोगों तक पहुँचते हैं, पेजिंग प्रणाली काम करती है, और निगरानी की मौन विफलता स्वयं पकड़ी जाती है। कभी-कभी शुरू से अंत तक परीक्षण चलाएँ।
- घटनाओं के बाद समीक्षा करें। पूछें कि कौन-सा अलर्ट बजा, कौन-सा बजना चाहिए था, और कौन-से शोर थे। घटना-समीक्षा में समायोजित करें। देखें «विषय 3.3 — समस्या प्रबंधन»।
- डैशबोर्ड और संदर्भ साझा करें। डेवलपरों, संचालन और सहायता को वही डेटा दें, और हाल के बदलावों का प्रभाव दिखाएँ। ऐसे डैशबोर्ड से बचें जिन्हें कोई उपयोग नहीं करता।
अपनी टीम के साथ चर्चा के प्रश्न
पिछली घटना कौन-सी थी जिसके बारे में हमारी निगरानी से पहले उपयोगकर्ताओं ने हमें बताया, और क्यों? यह अंधे बिंदु खोजता है। देखें कि उपयोगकर्ताओं ने क्या देखा। यात्राओं के किनारों पर ख़ाली जगहों की अपेक्षा रखें। फ़ॉलो-अप में जोड़ने के लिए एक उपयोगकर्ता-सामने की जाँच चुनें।
पिछले महीने हमारे ऑन-कॉल लोगों को कितने अलर्ट मिले, और कितनों में कार्रवाई चाहिए थी? साथ मिलकर गिनें। अगर कोई नहीं जानता, तो वही निष्कर्ष है। कार्रवाई-योग्य अलर्टों के कम हिस्से की अपेक्षा रखें। फ़ॉलो-अप में सबसे शोर वाले पाँच अलर्ट चुनें और हर एक का भविष्य तय करें।
हम किन अलर्टों की अनदेखी करते हैं, और अगर हम उन्हें हटा दें तो क्या होगा? अलर्टों की अनदेखी थकान का संकेत है। पूछें कि हर एक आख़िरी बार कब मायने रखा था। फ़ॉलो-अप में समीक्षा-तिथि के साथ एक हटाएँ या घटाएँ।
किस बात पर किसकी नींद तोड़ी जाती है, और क्या सब सहमत हैं कि उन्हें जगाना सार्थक है? पेजिंग के मानदंडों पर सहमत हों। असहमति की अपेक्षा रखें, जो उपयोगी है। फ़ॉलो-अप में एक अनुच्छेद का नियम लिखें और एक महीने आज़माएँ।
हमें कैसे पता चलेगा कि हमारी निगरानी स्वयं काम करना बंद कर दे? यह मेटा-निगरानी को परखता है। चुप्पी या अस्पष्ट उत्तर की अपेक्षा रखें। फ़ॉलो-अप में हार्टबीट जाँच या दैनिक परीक्षण-अलर्ट जोड़ें और तय करें कि उसे कौन देखता है।
हम अपने अलर्टों के साथ AI से क्या करवाना चाहेंगे, और क्या मानवीय निर्णय रहना चाहिए? AI अलर्ट समूहित कर सकता है, कारण सुझा सकता है और संदर्भ का सारांश दे सकता है। वह वास्तविक अलर्ट भी दबा सकता है। पूछें कि किन कार्रवाइयों को अनुमोदन चाहिए। फ़ॉलो-अप में समूहन और सारांश तक सीमित परीक्षण चुनें, उसने जो छिपाया उसकी समीक्षा के साथ।
व्यवहार में: सेवा प्रबंधन का एक उदाहरण
एक क्षेत्रीय हवाई अड्डे की संचालन-प्रौद्योगिकी टीम सामान-संचालन, चेक-इन प्रणालियों और उड़ान सूचना डिस्प्ले की निगरानी करती है। छह लोगों की टीम को प्रतिदिन लगभग 400 अलर्ट मिलते हैं। ऑन-कॉल कर्मचारी कहते हैं कि वे अधिसूचनाओं पर नज़र डालते हैं और ज़्यादातर उन्हें म्यूट कर देते हैं। पिछले महीने एक टर्मिनल में विफल नेटवर्क स्विच 40 मिनट तक किसी की नज़र में नहीं आया, जब तक यात्रियों ने शिकायत नहीं की कि डिस्प्ले ख़ाली हैं।
टीम प्रमुख डेटा देखने में एक सप्ताह लगाती हैं। प्रतिदिन के 400 अलर्टों में से लगभग 350 12 नियमों से आते हैं, जैसे ख़ुद को साफ़ करने वाले उपकरणों पर डिस्क चेतावनियाँ, और अप्रयुक्त पोर्ट पर इंटरफ़ेस फ़्लैप। हर दिन केवल लगभग 15 में मानवीय कार्रवाई चाहिए। प्रमुख और टीम तीन बदलावों पर सहमत होती हैं। वे 12 शोर वाले नियमों को हटाते या दैनिक रिपोर्ट में घटाते हैं। वे दो कृत्रिम जाँचें जोड़ते हैं जो हर टर्मिनल से हर मिनट डिस्प्ले पृष्ठ और चेक-इन स्क्रीन लोड करती हैं और दोनों में से कोई लगातार दो बार विफल हो तो पेज करती हैं। और वे सहसंबंध सेट करते हैं ताकि विफल स्विच सौ की जगह प्रभावित डिस्प्ले का नाम लेने वाला एक अलर्ट पैदा करे।
अगले महीने में ऑन-कॉल अलर्ट घटकर लगभग 20 प्रतिदिन रह जाते हैं, और अगली स्विच विफलता तीन मिनट के भीतर पकड़ी जाती है, प्रभावित टर्मिनल सूचीबद्ध करने वाले एक पेज के साथ। साप्ताहिक समीक्षा में टीम एक अलर्ट पाती है जो सहसंबंध ने तब दबा दिया जब नहीं दबाना चाहिए था, और नियम सुधारती है।
क्या बदलता है: लोग पेजों पर भरोसा करते और उत्तर देते हैं। क्या कठिन रहता है: सामान-संचालन विक्रेता के उपकरण अपने अलर्ट ऐसे प्रारूप में भेजते हैं जिसे टीम फ़िल्टर नहीं कर सकती, इसलिए कुछ शोर बचा है; रात की पाली के कुछ कर्मचारी चिंतित हैं कि दैनिक रिपोर्ट नहीं पढ़ी जाएगी; और किसी ने अब तक परखा नहीं कि निगरानी प्रणाली स्वयं विफल हो तो क्या होता है। प्रमुख ड्रिल निर्धारित करती हैं और दैनिक परीक्षण-अलर्ट जोड़ती हैं।
चार दृष्टिकोण
उत्पाद और डिलीवरी टीमें
संकेत भीतर बनाएँ: सार्थक मेट्रिक्स, लॉग और ट्रेस, और उपयोगकर्ता की यात्राओं को दर्शाने वाली स्वास्थ्य जाँचें। अलर्ट के साथ रनबुक लिखें। हर रिलीज़ के प्रभाव देखें।
सेवा और संचालन टीमें
अलर्ट की गुणवत्ता के स्वामी बनें। सबसे शोर वाले अलर्टों की साप्ताहिक समीक्षा करें, लोगों को अधिभार से बचाएँ, और जाँचें कि हर पेज की कोई कार्रवाई है। अलर्टों के रास्तों को परखें।
नेतृत्व और गवर्नेंस
मॉनिटरों की संख्या नहीं, कार्रवाई-योग्य अलर्टों की गिनती माँगें। शोर वाले अलर्ट ठीक करने के समय का वित्तपोषण करें। घंटों के बाद के बार-बार के पेजों को कर्मचारियों और गुणवत्ता के लिए क़ीमत मानें।
ग्राहक और उपयोगकर्ता
आपके नोटिस करने से पहले आपको प्रदाता से समस्याओं के बारे में सुनना चाहिए, और बताया जाना चाहिए कि क्या प्रभावित है। जो आप देखते हैं, समय के साथ, रिपोर्ट करें, और प्रदाता को बताएँ कि निगरानी कहाँ चूकी।
एजाइल, AI, स्वचालन और विश्लेषण
एजाइल
अलर्ट और डैशबोर्ड को उत्पाद का हिस्सा मानें: हर घटना और रिलीज़ के बाद छोटे क़दमों में सुधारें। उत्तर देने वाले लोगों के साथ उनकी समीक्षा करें। सावधानी: पुराने हटाए बिना हर नई सुविधा के लिए मॉनिटर जोड़ना शोर बढ़ाता है।
AI
AI सामान्य पैटर्न सीख सकता है, संबंधित अलर्ट समूहित कर सकता है, संभावित कारण सुझा सकता है, और अलर्टों की बाढ़ का सारांश दे सकता है, स्वामी और मानवीय निर्णयों के साथ। उसे पिछली घटनाओं के विरुद्ध परखें। सावधानी: जो मॉडल अलर्ट दबाता है वह दुर्लभ पर वास्तविक विफलता छिपा सकता है; मापें कि उसने क्या दबाया और क्या चूका। देखें «विषय 5.2 — AIOps»।
स्वचालन
भली-भाँति समझे हुए इवेंट पर प्रतिक्रियाएँ, जैसे विफल होती प्रक्रिया को पुनः आरंभ करना, और अलर्टों की रूटिंग और संवर्धन, सीमाओं और लॉग के साथ स्वचालित करें। सावधानी: जो स्वतः-उपचार हमेशा के लिए दोबारा कोशिश करता रहे वह विफल होती प्रणाली को छिपा सकता है या बदतर कर सकता है; दर-सीमाएँ और एस्केलेशन जोड़ें। देखें «विषय 6.6 — रनबुक स्वचालन और स्वतः-उपचार»।
विश्लेषण
अलर्ट की मात्रा, कार्रवाई-योग्य हिस्सा, पावती का समय, और निगरानी बनाम उपयोगकर्ताओं द्वारा पकड़ी गई घटनाएँ ट्रैक करें। सावधानी: केवल अलर्ट की गिनती सीमाएँ तब तक बढ़ाकर बिगाड़ी जा सकती है जब तक कुछ बजे ही नहीं; घटनाओं से जाँचें। देखें «विषय 7.4 — ऑब्ज़र्वेबिलिटी और टेलीमेट्री» और सेवा प्रबंधन मेट्रिक्स पुस्तक।
आम विफलता के तरीके
- हर चीज़ पर अलर्ट। लोग चैनल म्यूट कर देते हैं। लक्षणों पर अलर्ट करें और बाक़ी हटाएँ।
- बिना कार्रवाई वाले अलर्ट। प्रतिक्रिया-कर्ता नहीं जानते कि क्या करना है। रनबुक से जोड़ें या अलर्ट हटाएँ।
- केवल निश्चित सीमाएँ। व्यस्त समय पर झूठे अलार्म। समय-सजग या आधाररेखा विधियाँ सावधानी से उपयोग करें।
- उपयोगकर्ताओं को पहले पता चलता है। उपयोगकर्ता-सामने की जाँचों में ख़ाली जगहें। कृत्रिम और वास्तविक-उपयोगकर्ता निगरानी जोड़ें।
- मेटा-निगरानी नहीं। निगरानी चुपचाप विफल होती है। हार्टबीट और ड्रिल जोड़ें।
- डैशबोर्ड का फैलाव। कोई उन्हें नहीं देखता। कुछ रखें जो निर्णयों का समर्थन करें।
- अपारदर्शी मॉडल पर भरोसा। प्रतिक्रिया-कर्ता नहीं समझा सकते कि उसने क्या किया। नियम और तर्क समीक्षा-योग्य रखें।
परिपक्वता मॉडल
| आयाम | आरंभ | विकास | मानकीकरण | प्रबंधन | समन्वय |
|---|---|---|---|---|---|
| अलर्ट डिज़ाइन | हर सीमा अलर्ट करती है | कुछ प्रमुख अलर्ट | रनबुक के साथ लक्षण-आधारित, कार्रवाई-योग्य अलर्ट | अलर्ट की गुणवत्ता मापी और साप्ताहिक समीक्षित | सेवाओं में अलर्ट अनुकूलित और सहसंबद्ध |
| कवरेज | केवल सर्वर | कुछ एप्लिकेशन | उपयोगकर्ता यात्राएँ कृत्रिम रूप से और वास्तविक-उपयोगकर्ता डेटा से जाँची गईं | घटनाओं के बाद कवरेज की समीक्षा | संपदा और आपूर्तिकर्ताओं में कवरेज एकरूप |
| शोर | भारी | जागरूक | मात्रा सीमित और समीक्षित | शोर मापा और घटता हुआ | निगरानी के साथ सहसंबंध और स्वचालन से शोर प्रबंधित |
| प्रतिक्रिया | हाथ से | टीम को पेज | एस्केलेशन के साथ रूट | प्रतिक्रिया का समय ट्रैक | मानवीय नियंत्रण के साथ सुरक्षित कार्रवाइयाँ स्वचालित |
जाँच-सूची
- अलर्ट उन लक्षणों पर आधारित हैं जो उपयोगकर्ता महसूस करते हैं।
- हर अलर्ट की परिभाषित कार्रवाई और जुड़ी रनबुक है।
- प्रति शिफ़्ट ऑन-कॉल अलर्ट की मात्रा मापी और सीमित है।
- हम हर सप्ताह सबसे शोर वाले अलर्टों की समीक्षा करते हैं।
- प्रमुख उपयोगकर्ता यात्राओं की कृत्रिम जाँचें हैं।
- संबंधित अलर्ट सहसंबद्ध हैं।
- हम परखते हैं कि अलर्ट लोगों तक पहुँचते हैं और निगरानी की विफलता पकड़ी जाती है।
- अलर्टों पर कार्य करने वाले AI या स्वचालन का स्वामी, सीमाएँ और समीक्षा है।
AI प्रॉम्प्ट
शोर वाले अलर्टों को क्रम दें।
यह अलर्ट नियमों की सूची है, पिछले महीने हर एक कितनी बार बजा और कितनों से कार्रवाई हुई, के साथ: [चिपकाएँ]।
उन्हें ग़ैर-कार्रवाई-योग्य बजने की संख्या से क्रम दें, शीर्ष दस सूचीबद्ध करें, और हर नियम के लिए एक प्रश्न दें कि उसे हटाएँ, बदलें या रखें। किसी को हटाने की अनुशंसा न करें।
जिनके बारे में आप अनिश्चित हैं उनकी सूची दें।
अलर्ट के पाठ का मसौदा बनाएँ।
जिस स्थिति पर अलर्ट करना है: [वर्णन करें]। कौन कार्रवाई करता है: [भूमिका]। पहली जाँचें जो उन्हें करनी चाहिए: [सूची]।
अलर्ट का शीर्षक (80 अक्षरों से कम) और मुख्य भाग (80 शब्दों से कम) का मसौदा बनाएँ जो बताए कि क्या ग़लत है, उपयोगकर्ता क्या अनुभव कर रहे हो सकते हैं, और पहला क़दम, रनबुक के लिए लिंक-प्लेसहोल्डर के साथ। कारणों पर अटकल न लगाएँ।
जिनके बारे में आप अनिश्चित हैं उनकी सूची दें।
सहसंबंध नियम परखें।
यह सहसंबंध नियम है: [वर्णन करें]। यह टाइमस्टैम्प और स्रोतों के साथ हाल के इवेंट की सूची है: [चिपकाएँ]।
सूचीबद्ध करें कि नियम किन इवेंट को समूहित करेगा, किन्हें दबाएगा, और कोई ऐसा मामला जहाँ वास्तविक अलग समस्या छिप सकती है। नया नियम प्रस्तावित न करें।
जिनके बारे में आप अनिश्चित हैं उनकी सूची दें।
AI कौशल
- runbook: हर अलर्ट के साथ जाने वाली कार्रवाई लिखने के लिए उपयोग करें।
- anomaly-analysis: मेट्रिक्स में असामान्य पैटर्न की जाँच के लिए उपयोग करें।
- key-risk-indicators: पूर्व-चेतावनी संकेतक चुनने के लिए उपयोग करें।
- on-call-rotation: टिकाऊ ऑन-कॉल व्यवस्थाएँ डिज़ाइन करने के लिए उपयोग करें।
प्रमुख स्रोत
- Betsy Beyer and others (eds.), Site Reliability Engineering (2016), वितरित प्रणालियों की निगरानी पर अध्याय, sre.google पर निःशुल्क।
- Rob Ewaschuk, "My Philosophy on Alerting" (2013): लक्षण-आधारित अलर्टिंग पर जाना-माना छोटा निबंध।
- Wikipedia, "Alarm fatigue" और "Observability (software)": प्रमुख विचारों का अवलोकन।
- PeopleCert, ITIL certification pages: निगरानी और इवेंट प्रबंधन अभ्यास का स्वामी का वर्णन।
संदर्भ
- Alarm fatigue — Wikipedia — https://en.wikipedia.org/wiki/Alarm_fatigue
- Observability (software) — Wikipedia — https://en.wikipedia.org/wiki/Observability_(software)
- Application performance management — Wikipedia — https://en.wikipedia.org/wiki/Application_performance_management
- Event correlation — Wikipedia — https://en.wikipedia.org/wiki/Event_correlation
- Log management — Wikipedia — https://en.wikipedia.org/wiki/Log_management
- Synthetic monitoring — Wikipedia — https://en.wikipedia.org/wiki/Synthetic_monitoring
- Real user monitoring — Wikipedia — https://en.wikipedia.org/wiki/Real_user_monitoring
- Network monitoring — Wikipedia — https://en.wikipedia.org/wiki/Network_monitoring
- Anomaly detection — Wikipedia — https://en.wikipedia.org/wiki/Anomaly_detection
- Telemetry — Wikipedia — https://en.wikipedia.org/wiki/Telemetry
- Site Reliability Engineering: How Google Runs Production Systems — Google — https://sre.google/sre-book/table-of-contents/