ऑब्ज़र्वेबिलिटी और टेलीमेट्री
ऑब्ज़र्वेबिलिटी चलती प्रणाली से नए प्रश्न पूछने और उसके उत्सर्जित डेटा से उत्तर पाने की क्षमता है: एकरूप संदर्भ वहन करने वाले मेट्रिक्स, लॉग और ट्रेस; यह तब फल देती है जब टेलीमेट्री डिज़ाइन में शामिल हो, खुले प्रारूपों पर मानकीकृत हो, ऐसी लागत पर रखी जाए जो आप वहन कर सकें, और केवल मशीन के स्वास्थ्य को नहीं, उपयोगकर्ता अनुभव को समझने के लिए उपयोग हो।
यह क्यों मायने रखता है
निगरानी उन प्रश्नों के उत्तर देती है जो आपने पहले से सोचे थे। क्या सेवा चालू है? क्या डिस्क भरी है? क्या विलंबता दो सेकंड से ऊपर है? ये अच्छे प्रश्न हैं, और वे उन विफलताओं को पकड़ते हैं जो आपने पहले देखी हैं। पर आधुनिक सेवाएँ नए ढंग से विफल होती हैं। एक घटक में बदलाव दूसरे में अनुरोध धीमा कर देता है। एक ग्राहक का असामान्य डेटा दुर्लभ रास्ते को ट्रिगर करता है। तीन परत नीचे की निर्भरता बिगड़ती है, और उसके लिए किसी के पास डैशबोर्ड नहीं।
जब नई विफलता आती है, तो टीम को ऐसे प्रश्न पूछने पड़ते हैं जिनका किसी ने अनुमान नहीं लगाया था: कौन-से अनुरोध धीमे हैं, किन उपयोगकर्ताओं के लिए, किन सेवाओं से गुज़रते हुए, किस रिलीज़ के बाद से? अगर प्रणाली समृद्ध, जुड़ा हुआ डेटा उत्सर्जित करती है, तो टीम सुराग का पीछा कर सकती है। अगर नहीं, तो वे अनुमान लगाते हैं, लॉगिंग जोड़ते हैं, फिर तैनात करते हैं, और विफलता के दोबारा होने की प्रतीक्षा करते हैं। Wikipedia सॉफ़्टवेयर में ऑब्ज़र्वेबिलिटी (observability) का वर्णन प्रणाली की आंतरिक स्थिति को उसके बाहरी आउटपुट से समझ पाने की क्षमता के रूप में करता है, जो विचार नियंत्रण सिद्धांत से लिया गया है।
व्यावहारिक काम टेलीमेट्री में है: वह डेटा जो प्रणालियाँ अपने बारे में उत्सर्जित करती हैं। अच्छी टेलीमेट्री डिज़ाइन की गई, एकरूप और जुड़ी हुई होती है, ताकि उपयोगकर्ता की शिकायत को अनुरोध से, अनुरोध को उसके छूए सेवाओं से, और धीमेपन को किसी विशेष कॉल से जोड़ा जा सके। यह विषय टेलीमेट्री के मुख्य प्रकारों, उन्हें पोर्टेबल बनाने वाले मानकों, और उनके साथ आने वाली लागतों और जोखिमों का वर्णन करता है। यह निगरानी («विषय 3.10 — निगरानी और इवेंट प्रबंधन») पर बना है और SRE («विषय 2.6 — साइट रिलायबिलिटी इंजीनियरिंग»), AIOps («विषय 5.2 — AIOps») और डेटा गवर्नेंस («विषय 7.2 — डेटा की नींव और गवर्नेंस») से जुड़ता है।
मूल अवधारणाएँ
टेलीमेट्री। प्रणाली से एकत्र किया गया डेटा जो ऐसी जगह भेजा जाता है जहाँ उसकी जाँच हो सके। Wikipedia सामान्य रूप से टेलीमेट्री (telemetry) का वर्णन करता है। सॉफ़्टवेयर में मुख्य संकेत मेट्रिक्स, लॉग और ट्रेस हैं, प्रोफ़ाइल और इवेंट जैसे नए संकेतों के साथ।
मेट्रिक्स। समय के साथ मापी गई संख्याएँ, जैसे अनुरोध दर, त्रुटि दर, विलंबता, मेमोरी उपयोग और कतार की गहराई। मेट्रिक्स का संग्रह सस्ता है और रुझानों, अलर्ट और डैशबोर्ड के लिए अच्छे हैं। वे सारांश देते हैं, इसलिए अलग-अलग अनुरोधों का ब्योरा खो देते हैं। टाइम सीरीज़ डेटाबेस (time series databases), जिनका वर्णन Wikipedia पर है, उन्हें कुशलता से संग्रहीत करते हैं; Prometheus व्यापक रूप से प्रयुक्त ओपन-सोर्स उदाहरण है।
लॉग। अलग-अलग इवेंट के टाइमस्टैम्प वाले रिकॉर्ड, जैसे त्रुटि संदेश या पूरा हुआ लेन-देन। Wikipedia कंप्यूटिंग में लॉगिंग (logging) का वर्णन करता है। लॉग में ब्योरा होता है, और वे बहुत अधिक मात्रा में होते हैं तथा संग्रहीत और खोजने में महँगे। संरचित लॉग, मुक्त पाठ के बजाय एकरूप नामित फ़ील्ड के साथ, क्वेरी करने और अन्य संकेतों से जोड़ने में आसान होते हैं।
ट्रेस। वितरित प्रणाली के हिस्सों से एक अनुरोध के रास्ते का रिकॉर्ड, जो दिखाता है कि वह किन सेवाओं से गुज़रा और हर एक में कितना समय लगा। Wikipedia सॉफ़्टवेयर में ट्रेसिंग (tracing) का वर्णन करता है। ट्रेस "समय कहाँ गया?" का उत्तर देते हैं ऐसी प्रणालियों में जो कई सेवाओं से बनी हैं, जैसे माइक्रोसर्विसेज़ (microservices), जिनका वर्णन भी Wikipedia करता है।
संदर्भ और सहसंबंध। जो तीनों संकेतों को साथ मिलाकर शक्तिशाली बनाता है वह साझा संदर्भ है: पहचानकर्ता जो लॉग पंक्ति को ट्रेस और उपयोगकर्ता के अनुरोध से बाँधता है, और हर चीज़ पर सेवा, संस्करण और परिवेश जैसे लेबल। साझा संदर्भ के बिना आपके पास डेटा के तीन ढेर हैं। उसके साथ आप मेट्रिक में धीमे अनुरोध से ट्रेस तक और फिर उस लॉग पंक्ति तक जा सकते हैं जो उसे समझाती है।
इंस्ट्रुमेंटेशन। वह कोड जोड़ना जो टेलीमेट्री उत्पन्न करता है। Wikipedia प्रोग्रामिंग में इंस्ट्रुमेंटेशन (instrumentation) का वर्णन करता है। यह लाइब्रेरी और एजेंट से स्वचालित हो सकता है, या मैन्युअल जहाँ डेवलपर व्यवसाय के लिए मायने रखने वाले संकेत जोड़ते हैं, जैसे "ऑर्डर दिया गया"। केवल यह नहीं कि मशीनें क्या करती हैं, यह इंस्ट्रुमेंट करें कि उपयोगकर्ता क्या करते हैं।
OpenTelemetry और खुले मानक। OpenTelemetry क्लाउड नेटिव कंप्यूटिंग फ़ाउंडेशन (Cloud Native Computing Foundation, जिसका वर्णन Wikipedia करता है) के अंतर्गत ओपन-सोर्स परियोजना है जो मेट्रिक्स, लॉग और ट्रेस उत्सर्जित करने के लिए सामान्य प्रारूप और उपकरण देती है, उस उपकरण से स्वतंत्र जो उन्हें संग्रहीत और विश्लेषित करता है। इसकी वर्तमान स्थिति के लिए परियोजना की अपनी साइट देखें। उद्देश्य यह है कि आप टेलीमेट्री एक बार जुटाएँ और उसे किसी भी संगत बैक एंड को भेज सकें, जिससे लॉक-इन घटे। Wikipedia खुले मानकों (open standards) और विक्रेता लॉक-इन (vendor lock-in) का सामान्य रूप से वर्णन करता है। «विषय 3.14 — आपूर्तिकर्ता प्रबंधन» देखें।
निगरानी बनाम ऑब्ज़र्वेबिलिटी। निगरानी ज्ञात स्थितियों पर नज़र रखती और अलर्ट देती है; ऑब्ज़र्वेबिलिटी अज्ञात स्थितियों की खोज का समर्थन करती है। वे पूरक हैं: अलर्ट बताते हैं कि कुछ ग़लत है, खोज बताती है क्यों। «विषय 3.10 — निगरानी और इवेंट प्रबंधन» देखें।
टेलीमेट्री से सेवा स्तर संकेतक। SLI, जैसे समय के भीतर सफल होने वाले अनुरोधों का हिस्सा, टेलीमेट्री से गणना किए जाते हैं। उन्हें उपयोगकर्ता के दृष्टिकोण से परिभाषित करें, और वहाँ मापें जहाँ उपयोगकर्ता का अनुरोध प्रणाली में प्रवेश करता है। «विषय 2.6 — साइट रिलायबिलिटी इंजीनियरिंग» और Wikipedia का सेवा-स्तर उद्देश्यों (service-level objectives) पर लेख देखें।
उपयोगकर्ता और व्यावसायिक टेलीमेट्री। वास्तविक उपयोगकर्ता निगरानी और सिंथेटिक निगरानी, जिनका वर्णन Wikipedia पर है, बाहर से अनुभव दिखाती हैं: पेज लोड के समय, यात्रा की सफलता, ब्राउज़र और ऐप में त्रुटियाँ। साइन-अप और भुगतान जैसे व्यावसायिक इवेंट तकनीकी स्वास्थ्य को परिणामों से जोड़ते हैं। «विषय 7.7 — अनुभव और भावना विश्लेषण» देखें।
कार्डिनैलिटी और लागत। कार्डिनैलिटी किसी लेबल के अलग-अलग मानों की संख्या है। उपयोगकर्ता पहचानकर्ता से लेबल किया गया मेट्रिक बहुत अधिक कार्डिनैलिटी रखता है और मेट्रिक्स स्टोर को अभिभूत कर सकता है। Wikipedia डेटा मॉडलिंग में कार्डिनैलिटी (cardinality) का वर्णन करता है। टेलीमेट्री की मात्रा ट्रैफ़िक और ब्योरे के साथ बढ़ती है, और भंडारण तथा प्रसंस्करण की लागत उसके साथ। तय करें कि क्या पूरे ब्योरे के साथ रखना है, क्या सैंपल करना है, और क्या समेकित करना है।
सैंपलिंग। ट्रेस या लॉग का केवल एक अंश रखना। Wikipedia सांख्यिकी में नमूनाकरण (sampling) का वर्णन करता है। सैंपलिंग लागत घटाती है और दुर्लभ इवेंट छिपा सकती है; सभी त्रुटियाँ और धीमे अनुरोध रखने और सामान्य अनुरोधों का सैंपल लेने पर विचार करें।
प्रतिधारण। टेलीमेट्री कितने समय रखी जाती है। उच्च ब्योरे वाला डेटा थोड़े समय और समेकित डेटा अधिक समय रखें। प्रतिधारण लागत, जाँच और गोपनीयता को प्रभावित करता है। «विषय 7.2 — डेटा की नींव और गवर्नेंस» देखें।
टेलीमेट्री में गोपनीयता और सुरक्षा। लॉग और ट्रेस में व्यक्तिगत डेटा, क्रेडेंशियल और रहस्य हो सकते हैं, दुर्घटनावश या डिज़ाइन से। Wikipedia व्यक्तिगत डेटा (personal data) का वर्णन करता है। संवेदनशील फ़ील्ड को स्रोत पर साफ़ करें या उनसे बचें, पहुँच नियंत्रित करें, और प्रतिधारण तय करें। टेलीमेट्री सुरक्षा डेटा का स्रोत भी है। «विषय 3.13 — सूचना सुरक्षा प्रबंधन» देखें।
AI के लिए ऑब्ज़र्वेबिलिटी। AI प्रणालियों को अपनी टेलीमेट्री चाहिए: इनपुट, आउटपुट, विलंबता, लागत, त्रुटि और अस्वीकृति दरें, उपयोगकर्ता प्रतिक्रिया, और विचलन के संकेत। ग़लत उत्तर की जाँच करने जितना दर्ज करें, दर्ज किए गए डेटा के प्रति सावधानी के साथ। «विषय 5.1 — सेवा प्रबंधन में AI» देखें।
प्लेटफ़ॉर्म और स्वामित्व। कई संगठन साझा टेलीमेट्री प्लेटफ़ॉर्म चलाते हैं, नामकरण, लेबलिंग और प्रतिधारण के मानकों के साथ, और ऐसी टीमों के साथ जो अपनी सेवाओं के संकेतों की स्वामी हैं। प्लेटफ़ॉर्म टीम उपकरण और मार्गदर्शन देती है; सेवा टीमें जो वे उत्सर्जित करती हैं और उसका उपयोग कैसे करती हैं उसकी स्वामी हैं।
दृष्टियाँ कैसे फ़िट होती हैं। ऑब्ज़र्वेबिलिटी विश्लेषण और AIOps के लिए डेटा का आधार है। एजाइल अभ्यास इंस्ट्रुमेंटेशन को "पूर्ण" की परिभाषा का हिस्सा मानता है। स्वचालन स्केल और उपचार के लिए टेलीमेट्री उपयोग करता है।
सर्वोत्तम अभ्यास
- बनाते समय इंस्ट्रुमेंट करें। टेलीमेट्री को फ़ीचर का हिस्सा मानें। उसे "पूर्ण" की परिभाषा में शामिल करें, और डिज़ाइन के साथ उसकी समीक्षा करें।
- नाम और संदर्भ मानकीकृत करें। सेवा के नाम, लेबल के समूह, इकाइयाँ और ऐसा अनुरोध पहचानकर्ता तय करें जो हर सेवा में चले। उन्हें दस्तावेज़ित करें और पाइपलाइन में जाँचें।
- संरचित लॉग उत्सर्जित करें। एकरूप नामित फ़ील्ड उपयोग करें, अनुरोध पहचानकर्ता शामिल करें, और संदेश छोटे रखें। लॉग में रहस्य और अनावश्यक व्यक्तिगत डेटा से बचें।
- जो रास्ते मायने रखते हैं उनका ट्रेस करें। मुख्य उपयोगकर्ता यात्राओं और सेवाओं के बीच कॉल को इंस्ट्रुमेंट करें, और हर हॉप में संदर्भ आगे बढ़ाएँ, कतारों और बाहरी कॉल सहित।
- उपयोगकर्ता के दृश्य से संकेतक परिभाषित करें। उपयोगकर्ता संपर्क के बिंदु पर टेलीमेट्री से SLI गणना करें, और ऐसे व्यावसायिक इवेंट जोड़ें जो दिखाएँ कि उपयोगकर्ता ने वह पाया या नहीं जिसके लिए वे आए थे।
- खुले प्रारूप उपयोग करें। टेलीमेट्री उत्सर्जित करने के लिए खुले मानकों को प्राथमिकता दें, ताकि आप दोबारा इंस्ट्रुमेंट किए बिना बैक एंड बदल सकें। अपने प्लेटफ़ॉर्म में समर्थन जाँचें।
- लागत जानबूझकर नियंत्रित करें। टेलीमेट्री का बजट तय करें, उच्च-कार्डिनैलिटी लेबल से बचें, सामान्य ट्रैफ़िक का सैंपल लें, त्रुटियाँ और धीमे अनुरोध रखें, और प्रतिधारण को स्तरों में बाँटें।
- टेलीमेट्री की रक्षा करें। संवेदनशील डेटा स्रोत पर साफ़ करें, पहुँच सीमित करें, और प्रतिधारण नियम लागू करें। टेलीमेट्री स्टोर तक पहुँच की निगरानी करें।
- इसे उपयोगी बनाएँ। टीमों को साझा डैशबोर्ड, सहेजी क्वेरी, और जाँच कैसे करें इसका प्रशिक्षण दें। अलर्ट को प्रासंगिक टेलीमेट्री और रनबुक से जोड़ें।
- घटनाओं के बाद टेलीमेट्री की समीक्षा करें। पूछें कि घटना के दौरान आप क्या नहीं देख सके, और उसे जोड़ें। जिन संकेतों का कोई उपयोग नहीं करता उन्हें हटाएँ।
अपनी टीम के साथ चर्चा के प्रश्न
हमारी पिछली घटना के दौरान हम क्या जानना चाहते थे जो हम पता नहीं लगा सके? प्रतिक्रिया देने वालों से पूछें। ट्रेस, संदर्भ या उपयोगकर्ता-स्तर के डेटा में ख़ाली जगहों की अपेक्षा रखें। फ़ॉलो-अप में एक ख़ाली जगह चुनें और संकेत जोड़ें।
क्या हम एक उपयोगकर्ता के अनुरोध का उन सब सेवाओं से पीछा कर सकते हैं जिन्हें वह छूता है? वास्तविक अनुरोध से आज़माएँ। कतारों और बाहरी कॉल पर टूट की अपेक्षा रखें। फ़ॉलो-अप में पहली टूट के पार पहचानकर्ता आगे बढ़ाएँ।
हम क्या लॉग करते हैं जो नहीं करना चाहिए, और क्या नहीं करते जो करना चाहिए? लॉग का नमूना देखें। रहस्य, व्यक्तिगत डेटा और शोर की अपेक्षा रखें। फ़ॉलो-अप में नियम और सफ़ाई पर सहमत हों।
हम टेलीमेट्री पर कितना ख़र्च करते हैं, और उसके बदले हमें क्या मिलता है? संख्या और सबसे बड़े स्रोत माँगें। चौंकाने वाली बातों की अपेक्षा रखें। फ़ॉलो-अप में सबसे महँगे और सबसे कम उपयोग होने वाले संकेत को काटने या सैंपल करने के लिए चुनें।
हम अपने वर्तमान टेलीमेट्री उपकरण से कितने बँधे हैं, और बदलने के लिए क्या करना होगा? अनुमान लगाएँ। "बहुत" की अपेक्षा रखें। फ़ॉलो-अप में खुले मानक से इंस्ट्रुमेंट करने के लिए एक सेवा चुनें।
हमारी AI सुविधाएँ कौन-सी टेलीमेट्री उत्पन्न करती हैं, और क्या हम उससे ग़लत उत्तर की जाँच कर सकते हैं? पूछें। न्यूनतम रिकॉर्ड की अपेक्षा रखें। फ़ॉलो-अप में गोपनीयता सीमाओं के साथ तय करें कि क्या दर्ज करना है, और जाँच आज़माएँ।
व्यवहार में: सेवा प्रबंधन का एक उदाहरण
एक राष्ट्रीय मौसम सेवा की सार्वजनिक API आठ आंतरिक सेवाओं के माध्यम से प्रतिदिन कई मिलियन अनुरोध पूरे करती है। उपयोगकर्ता कुछ स्थानों के लिए कभी-कभी धीमी प्रतिक्रियाओं की शिकायत करते हैं। निगरानी दिखाती है कि API औसतन अपने विलंबता लक्ष्य के भीतर है, और हर सेवा अलग से स्वस्थ दिखती है। ऑन-कॉल इंजीनियर दो दिन समस्या का पीछा करता है।
प्लेटफ़ॉर्म टीम OpenTelemetry इंस्ट्रुमेंटेशन की ओर बढ़ रही है। API के गेटवे और आठ में से चार सेवाओं पर अनुरोध ट्रेस पहचानकर्ता वहन करते हैं और हर सेवा समय-मापन के साथ स्पैन दर्ज करती है। ट्रेस के साथ इंजीनियर पिछले सप्ताह के धीमे अनुरोधों को फ़िल्टर करता है और देखता है कि लगभग सभी एक ही कॉल से गुज़रते हैं: भौगोलिक डेटा सेवा में उन स्थानों की खोज जिनके नामों में असामान्य अक्षर हैं, जिसमें सामान्य से दस गुना अधिक समय लगता है। बाक़ी चार सेवाएँ अभी इंस्ट्रुमेंट नहीं हुईं, पर ख़ाली जगह अब इतनी संकरी है कि हाथ से जाँची जा सके। कारण उन क्वेरी के लिए डेटाबेस इंडेक्स का न होना है, और सुधार में एक घंटा लगता है।
टीम लागत की समीक्षा करती है। टेलीमेट्री का ख़र्च छह महीने में 40 प्रतिशत बढ़ा है, ज़्यादातर एक मेट्रिक के लेबल से जिसमें माँगा गया स्थान शामिल है, जिसके सैकड़ों हज़ार मान हैं। वे लेबल हटाती हैं, स्थान को ट्रेस और लॉग में रखती हैं, और सामान्य ट्रेस का 5 प्रतिशत सैंपल लेती हैं जबकि सभी त्रुटियाँ और धीमे अनुरोध रखती हैं। गोपनीयता अधिकारी के यह नोट करने पर कि कुछ क्षेत्राधिकारों में IP पते व्यक्तिगत डेटा गिने जाते हैं, एक सफ़ाई 24 घंटे बाद लॉग से IP पते हटाती है।
टीम एक व्यावसायिक संकेत भी जोड़ती है: उन API कॉल की गिनती जिन्होंने खाली परिणाम लौटाया, जिसे उपयोगकर्ता पहले "डेटा नहीं" बताते थे। यह हर मॉडल अद्यतन के बाद एक पैटर्न दिखाता है।
क्या बदलता है: जाँचों में दिनों के बजाय घंटे लगते हैं, और लागत एक-तिहाई घट जाती है। क्या कठिन रहता है: चार सेवाओं में अब भी ट्रेस नहीं हैं, और दो दूसरी एजेंसी की हैं; सैंपलिंग नियम ने पहले ही एक दुर्लभ त्रुटि छिपा दी जो केवल बिना सैंपल किए ट्रैफ़िक में दिखी और लॉग में पाई गई; और इंजीनियरों को ट्रेस उपकरणों का अच्छी तरह उपयोग करने के लिए अभ्यास चाहिए। टीम प्रशिक्षण सत्र निर्धारित करती है और किसी भी त्रुटि वाले सभी ट्रेस रखने का नियम बनाती है।
चार दृष्टिकोण
उत्पाद और डिलीवरी टीमें
टेलीमेट्री को फ़ीचर में निर्मित करें: एकरूप नाम, अनुरोध पहचानकर्ता, संरचित लॉग, प्रमुख रास्तों पर स्पैन, और व्यावसायिक इवेंट। संकेतों में रहस्यों से बचें, और डिज़ाइन में टेलीमेट्री की समीक्षा करें।
सेवा और संचालन टीमें
टेलीमेट्री का उपयोग केवल अलर्ट के लिए नहीं, जाँच के लिए भी करें। डैशबोर्ड, क्वेरी और रनबुक जुड़े रखें, और डेवलपरों को बताएँ कि आप क्या नहीं देख सके। टेलीमेट्री की लागत और गुणवत्ता पर नज़र रखें।
नेतृत्व और गवर्नेंस
प्लेटफ़ॉर्म, मानकों और प्रशिक्षण का वित्तपोषण करें। प्रमाण माँगें कि टेलीमेट्री जाँचें छोटी करती है और उपयोगकर्ता अनुभव को दर्शाती है। बजट और गोपनीयता नियम तय करें, और खुले मानकों को प्राथमिकता दें।
ग्राहक और उपयोगकर्ता
आपको तब लाभ होता है जब प्रदाता आपकी समस्या को जल्दी कारण तक ट्रेस कर सके। समस्या रिपोर्ट करते समय ब्योरे दें, जैसे समय और आपने क्या किया, जो आपका अनुरोध खोजने में मदद करते हैं।
एजाइल, AI, स्वचालन और विश्लेषण
एजाइल
हर फ़ीचर के साथ इंस्ट्रुमेंटेशन छोटे चरणों में जोड़ें, और हर घटना के बाद उसे परिष्कृत करें। टीम के साथ डैशबोर्ड की समीक्षा करें और जिन्हें कोई उपयोग नहीं करता उन्हें हटाएँ। सावधानी: अंत में टेलीमेट्री जोड़ने से ख़ाली जगहें बनती हैं; उसे "पूर्ण" की परिभाषा में शामिल करें।
AI
AI ट्रेस और लॉग का सारांश बना सकती है, विसंगतियाँ समूहित कर सकती है, और टेलीमेट्री के बारे में प्रश्नों के उत्तर दे सकती है, स्वामियों और जाँचों के साथ। AI सुविधाओं को भी अपनी टेलीमेट्री चाहिए। सावधानी: AI विश्लेषण डेटा की गुणवत्ता और संदर्भ पर निर्भर है; ख़राब लेबल ख़राब निष्कर्ष देते हैं। «विषय 5.2 — AIOps» देखें।
स्वचालन
जहाँ लाइब्रेरी अनुमति दें वहाँ इंस्ट्रुमेंटेशन स्वचालित करें, पाइपलाइन में नाम और लेबल के मानक लागू करें, और सीमाओं के साथ स्केलिंग और उपचार के लिए टेलीमेट्री उपयोग करें। सावधानी: शोर वाली टेलीमेट्री से ट्रिगर होने वाला स्वचालन ग़लत चल सकता है; थ्रेशोल्ड परखें और सीमाएँ जोड़ें। «विषय 6.6 — रनबुक स्वचालन और स्वतः-उपचार» देखें।
विश्लेषण
SLI, रुझान, क्षमता और उपयोगकर्ता अनुभव के लिए, और स्वयं टेलीमेट्री की लागत के लिए टेलीमेट्री उपयोग करें। सावधानी: सैंपलिंग और समेकन बदलते हैं कि डेटा क्या दिखा सकता है, और उच्च-कार्डिनैलिटी लेबल प्रणालियों को विकृत या तोड़ सकते हैं; रिपोर्ट में सीमाएँ नोट करें। «विषय 7.1 — सेवा प्रबंधन के लिए विश्लेषण» और सेवा प्रबंधन मेट्रिक्स पुस्तक देखें।
आम विफलता के तरीके
- डेटा के तीन ढेर। मेट्रिक्स, लॉग और ट्रेस जोड़े नहीं जा सकते। पहचानकर्ता और लेबल साझा करें।
- बाद के विचार के रूप में टेलीमेट्री। घटनाओं में ख़ाली जगहें दिखती हैं। फ़ीचर के साथ इंस्ट्रुमेंट करें।
- उच्च-कार्डिनैलिटी लेबल। लागत और प्रदर्शन को नुक़सान होता है। लेबल सीमित करें और ब्योरा ट्रेस तथा लॉग में रखें।
- लॉग में रहस्य और व्यक्तिगत डेटा। संवेदनशील डेटा लीक होता है। स्रोत पर साफ़ करें और पहुँच नियंत्रित करें।
- एक उपकरण से लॉक-इन। बदलना महँगा है। खुले मानक उपयोग करें।
- सब कुछ हमेशा के लिए रखना। लागत बढ़ती है। प्रतिधारण को स्तरों में बाँटें और सैंपल लें।
- ऐसे डैशबोर्ड जिन्हें कोई उपयोग नहीं करता। प्रयास बर्बाद होता है। छाँटें और निर्णयों से जोड़ें।
परिपक्वता मॉडल
| आयाम | आरंभ | विकास | मानकीकरण | प्रबंधन | समन्वय |
|---|---|---|---|---|---|
| कवरेज | इन्फ्रास्ट्रक्चर मेट्रिक्स | प्रमुख सेवाओं के मेट्रिक्स और लॉग | प्रमुख यात्राओं पर साझा संदर्भ के साथ मेट्रिक्स, लॉग और ट्रेस | घटनाओं के बाद कवरेज की समीक्षा | सेवाओं और आपूर्तिकर्ताओं में कवरेज एकरूप |
| मानक | कोई नहीं | स्थानीय परिपाटियाँ | नामकरण, लेबल और खुले प्रारूप तय | पाइपलाइन में मानक जाँचे गए | प्लेटफ़ॉर्म के साथ मानक साझा और विकसित |
| लागत और प्रतिधारण | अप्रबंधित | जागरूकता | बजट, सैंपलिंग और स्तरित प्रतिधारण | प्रति संकेत लागत और मूल्य की समीक्षा | लागत और मूल्य निरंतर अनुकूलित |
| सुरक्षा | अस्पष्ट | बुनियादी पहुँच नियंत्रण | सफ़ाई, पहुँच और प्रतिधारण नियम | अनुपालन की निगरानी | संग्रह और भंडारण में निर्मित नियंत्रण |
जाँच-सूची
- टेलीमेट्री हमारी "पूर्ण" की परिभाषा का हिस्सा है।
- हमारे पास तय नाम, लेबल, इकाइयाँ, और सेवाओं में चलने वाला अनुरोध पहचानकर्ता है।
- लॉग संरचित हैं और रहस्यों तथा अनावश्यक व्यक्तिगत डेटा से मुक्त हैं।
- प्रमुख उपयोगकर्ता यात्राएँ सिरे से सिरे तक ट्रेस की जाती हैं।
- SLI उपयोगकर्ता संपर्क के बिंदु पर टेलीमेट्री से गणना किए जाते हैं।
- हम टेलीमेट्री उत्सर्जित करने के लिए खुले प्रारूप उपयोग करते हैं।
- हमारे पास सैंपलिंग और स्तरित प्रतिधारण के साथ टेलीमेट्री का बजट है।
- हम हर घटना के बाद समीक्षा करते हैं कि हम क्या नहीं देख सके।
AI प्रॉम्प्ट
घटना से टेलीमेट्री की ख़ाली जगहें खोजें।
यह किसी घटना की समयरेखा है और इस पर नोट कि प्रतिक्रिया देने वालों ने क्या पता लगाने की कोशिश की: [चिपकाएँ]।
हर वह प्रश्न सूचीबद्ध करें जिसका उत्तर प्रतिक्रिया देने वाले नहीं दे सके, कौन-सा संकेत (मेट्रिक, लॉग, ट्रेस, उपयोगकर्ता डेटा) उसका उत्तर देता, और स्वामी टीम के लिए एक प्रश्न। मानकर न चलें कि कोई संकेत मौजूद है।
जिनके बारे में आप अनिश्चित हैं उनकी सूची दें।
संवेदनशील डेटा के लिए लॉग के नमूने की समीक्षा करें।
यह हमारी सेवा की लॉग पंक्तियों का नमूना है: [चिपकाएँ, पहले से आंशिक रूप से साफ़ किया हुआ]।
रहस्य, व्यक्तिगत डेटा या आंतरिक ब्योरे जैसी लगने वाली सामग्री सूचीबद्ध करें, सटीक पाठ उद्धृत करते हुए, और सफ़ाई नियमों की श्रेणियाँ सुझाएँ। अनुमान न लगाएँ कि कोई वास्तविक है या नहीं।
जिनके बारे में आप अनिश्चित हैं उनकी सूची दें।
नामकरण और लेबल का मानक प्रस्तावित करें।
हमारी सेवाएँ: [सूची]। हमारे परिवेश: [सूची]। हमारी टीमें: [सूची]। हम जिनसे फ़िल्टर करना चाहते हैं: [सूची]।
सेवा के नामों, लेबल कुंजियों, अनुमत मानों और अनुरोध पहचानकर्ताओं के लिए उदाहरणों सहित एक पृष्ठ के मानक का मसौदा बनाएँ। उन लेबलों के बारे में चेताएँ जिनके बहुत अधिक अलग-अलग मान हो सकते हैं। किसी विक्रेता का नाम न लें।
जिनके बारे में आप अनिश्चित हैं उनकी सूची दें।
AI कौशल
- anomaly-analysis: टेलीमेट्री में असामान्य पैटर्न जाँचने के लिए उपयोग करें।
- data-pipeline: डिज़ाइन करने के लिए उपयोग करें कि टेलीमेट्री कैसे चलती और संग्रहीत होती है।
- data-governance: गोपनीयता, प्रतिधारण और पहुँच के नियम तय करने के लिए उपयोग करें।
- key-risk-indicators: पूर्व-चेतावनी संकेत चुनने के लिए उपयोग करें।
- performance-testing: टेलीमेट्री से विलंबता और क्षमता परखने के लिए उपयोग करें।
प्रमुख स्रोत
- OpenTelemetry (opentelemetry.io): मेट्रिक्स, लॉग और ट्रेस के लिए खुला मानक और उपकरण।
- Charity Majors, Liz Fong-Jones, and George Miranda, Observability Engineering (2022): दृष्टिकोण की अभ्यासकर्ता-मार्गदर्शिका।
- Betsy Beyer and others (eds.), Site Reliability Engineering (2016), निगरानी पर अध्याय, sre.google पर निःशुल्क।
- Wikipedia, "Observability (software)" और "Telemetry": विचारों का अवलोकन।
संदर्भ
- Observability (software) — Wikipedia — https://en.wikipedia.org/wiki/Observability_(software)
- Telemetry — Wikipedia — https://en.wikipedia.org/wiki/Telemetry
- Logging (computing) — Wikipedia — https://en.wikipedia.org/wiki/Logging_(computing)
- Tracing (software) — Wikipedia — https://en.wikipedia.org/wiki/Tracing_(software)
- Time series database — Wikipedia — https://en.wikipedia.org/wiki/Time_series_database
- Prometheus (software) — Wikipedia — https://en.wikipedia.org/wiki/Prometheus_(software)
- Cloud Native Computing Foundation — Wikipedia — https://en.wikipedia.org/wiki/Cloud_Native_Computing_Foundation
- Instrumentation (computer programming) — Wikipedia — https://en.wikipedia.org/wiki/Instrumentation_(computer_programming)
- Cardinality (data modeling) — Wikipedia — https://en.wikipedia.org/wiki/Cardinality_(data_modeling)
- Real user monitoring — Wikipedia — https://en.wikipedia.org/wiki/Real_user_monitoring
- Synthetic monitoring — Wikipedia — https://en.wikipedia.org/wiki/Synthetic_monitoring
- OpenTelemetry — Cloud Native Computing Foundation — https://opentelemetry.io