साइट रिलायबिलिटी इंजीनियरिंग
साइट रिलायबिलिटी इंजीनियरिंग (SRE) संचालन को इंजीनियरिंग की समस्या मानती है: वह मापने योग्य विश्वसनीयता लक्ष्य तय करती है, त्रुटि बजट (error budget) बदलाव पर ख़र्च करती है, दोहराव वाले टॉइल (toil) को सॉफ़्टवेयर से हटाती है, और बिना दोषारोपण के विफलताओं से सीखती है; वह कई सेवा प्रबंधन अभ्यासों को इंजीनियरिंग की भाषा में व्यक्त करती है।
यह क्यों मायने रखता है
हर सेवा में बदलाव और विश्वसनीयता के बीच तनाव होता है। ग्राहक नई सुविधाएँ भी चाहते हैं और यह भी कि सेवा काम करे। जो टीमें बदलाव तेज़ी से धकेलती हैं वे रुकावटें पैदा करती हैं, और जो स्थिरता की रक्षा करती हैं वे सब कुछ धीमा करती हैं। दोनों को तौलने के तरीक़े के बिना बहस उसके पक्ष में निपटती है जो सबसे ज़ोर से बोले, या पिछली घटना के पक्ष में।
साइट रिलायबिलिटी इंजीनियरिंग समझौते को स्पष्ट करने का तरीक़ा देती है। वह इस विचार से शुरू होती है कि पूर्ण विश्वसनीयता न संभव है, न चाही जाती है: जब उपयोगकर्ताओं के अपने उपकरण और नेटवर्क उससे ज़्यादा बार विफल होते हैं, तो वे 99.999 प्रतिशत और 99.99 प्रतिशत उपलब्धता के बीच अंतर नहीं बता सकते, और हर अतिरिक्त नौ की क़ीमत कहीं ज़्यादा है। इसलिए टीम ऐसा लक्ष्य तय करती है जो उपयोगकर्ताओं की ज़रूरत से मेल खाए, उसे मापती है, और लक्ष्य तथा पूर्णता के बीच की जगह को जोखिम के बजट की तरह उपयोग करती है।
SRE 2000 के दशक की शुरुआत में Google में शुरू हुई और उन पुस्तकों में वर्णित है जिन्हें कंपनी ने ऑनलाइन प्रकाशित किया है। कई अन्य संगठनों ने उसके हिस्से अपनाए हैं। सेवा प्रबंधन के लिए उसका मूल्य यह है कि वह उन विचारों के ठोस, इंजीनियरिंग-शैली के रूप देती है जिन्हें ITIL सेवा-स्तर प्रबंधन, उपलब्धता प्रबंधन और निरंतर सुधार कहता है। यह विषय मुख्य विचार समझाता है और चेतावनी देता है कि उन संदर्भों के बिना उनकी नक़ल न करें जिन्होंने उन्हें काम करने लायक बनाया।
मूल अवधारणाएँ
SRE क्या है। Wikipedia साइट रिलायबिलिटी इंजीनियरिंग को ऐसे सिद्धांतों और अभ्यासों के समूह के रूप में वर्णित करता है जो सॉफ़्टवेयर इंजीनियरिंग के पहलुओं को IT इन्फ्रास्ट्रक्चर और संचालन पर लागू करते हैं, ताकि स्केलेबल और भरोसेमंद प्रणालियाँ बनें। SRE टीम में आमतौर पर सॉफ़्टवेयर और प्रणाली कौशल वाले लोग होते हैं जो संचालन के काम को स्वचालित करते हैं और विश्वसनीयता के लिए डिज़ाइन में भाग लेते हैं।
सेवा स्तर संकेतक (SLI)। सेवा के किसी पहलू का माप जैसा उपयोगकर्ता उसे अनुभव करते हैं, जैसे सफल होने वाले अनुरोधों का अनुपात, या 300 मिलीसेकंड के भीतर पूरे होने वाले अनुरोधों का अनुपात। अच्छा संकेतक वह दर्शाता है जिसकी उपयोगकर्ताओं को परवाह है, वह नहीं जिसे मापना आसान है।
सेवा स्तर उद्देश्य (SLO)। किसी अवधि में संकेतक के लिए लक्ष्य, उदाहरण के लिए "लगातार 30 दिनों में 99.9 प्रतिशत अनुरोध सफल हों"। उद्देश्य सेवा चलाने वालों और उस पर निर्भर रहने वालों के बीच सहमत आंतरिक लक्ष्य है। Wikipedia सेवा स्तर उद्देश्यों को सेवा स्तर समझौतों के हिस्से के रूप में वर्णित करता है।
सेवा स्तर समझौता (SLA)। परिणामों वाला अनुबंध, अक्सर वित्तीय, अगर सेवा सहमत स्तर से नीचे जाए। SLA आमतौर पर आंतरिक SLO से ढीला लक्ष्य रखता है, ताकि उल्लंघन से पहले टीम को चेतावनी मिले। देखें «विषय 3.7 — सेवा स्तर प्रबंधन»।
त्रुटि बजट। अविश्वसनीयता की अनुमत मात्रा: अगर उद्देश्य 99.9 प्रतिशत है, तो बजट शेष 0.1 प्रतिशत है। जब तक बजट बचा है, टीम जोखिम ले सकती है, जैसे तेज़ी से रिलीज़ करना। जब बजट ख़र्च हो जाए, तो टीम बदलाव धीमा करती है और विश्वसनीयता में निवेश करती है। बजट विश्वसनीयता और बदलाव के बीच के समझौते को बहस के बजाय साझा, मापने योग्य निर्णय बनाता है।
टॉइल (toil)। वह काम जो हाथ का, दोहराव वाला, स्वचालित किया जा सकने वाला, तात्कालिक है, और जो टिकाऊ मूल्य जोड़े बिना सेवा के साथ बढ़ता है। उदाहरणों में सेवा को हाथ से पुनः आरंभ करना, एक ही प्रकार के अनुरोध को हाथ से संसाधित करना, और शोर वाले अलर्ट की पावती देना शामिल हैं। SRE अभ्यास टॉइल में लगने वाले समय का हिस्सा सीमित करता है, अक्सर लगभग आधे तक, और बाक़ी इंजीनियरिंग कार्य पर लगाता है जो उसे घटाता है।
निगरानी और अलर्टिंग। अलर्ट कार्रवाई-योग्य होने चाहिए और उन लक्षणों से जुड़े हों जिन्हें उपयोगकर्ता महसूस करते हैं, स्पष्ट प्रतिक्रिया के साथ। शोर वाले अलर्ट जिन पर कोई कार्रवाई नहीं करता, लोगों को उन्हें अनदेखा करना सिखाते हैं। देखें «विषय 3.10 — निगरानी और इवेंट प्रबंधन» और «विषय 7.4 — ऑब्ज़र्वेबिलिटी और टेलीमेट्री»।
घटना-प्रतिक्रिया और दोषारोपण-रहित समीक्षाएँ। SRE घटनाओं के दौरान स्पष्ट भूमिकाओं, संवाद, और बाद में संरचित समीक्षाओं पर ज़ोर देती है जो प्रणाली को देखती हैं और ट्रैक की गई कार्रवाइयाँ पैदा करती हैं। देखें «विषय 3.2 — घटना प्रबंधन» और «विषय 3.3 — समस्या प्रबंधन»।
क्षमता और प्रदर्शन। SRE में माँग का पूर्वानुमान, सीमाओं का परीक्षण, और क्षमता की योजना शामिल है ताकि वृद्धि विफलता न लाए। देखें «विषय 3.11 — उपलब्धता, क्षमता और प्रदर्शन»।
रिलीज़ इंजीनियरिंग और बदलाव। भरोसेमंद, दोहराने योग्य रिलीज़, अक्सर प्रगतिशील रोलआउट और स्वचालित रोलबैक के साथ, SRE के काम का हिस्सा हैं। देखें «विषय 2.2 — सतत डिलीवरी»।
विफलता का अभ्यास। केऑस इंजीनियरिंग (chaos engineering) नियंत्रण में जानबूझकर विफलताएँ डालती है ताकि वास्तविक घटनाओं से पहले कमज़ोरियाँ मिलें। गेम डे (game day) प्रतिक्रिया का पूर्वाभ्यास कराते हैं। देखें «विषय 3.12 — सेवा निरंतरता प्रबंधन»।
SRE और DevOps। दोनों कई विचार साझा करते हैं। आम वर्णन है कि SRE DevOps के सिद्धांतों को लागू करने का एक तरीक़ा है, SLO, त्रुटि बजट और टॉइल सीमाओं जैसे विशिष्ट अभ्यासों के साथ। देखें «विषय 2.5 — DevOps»।
SRE और ITIL। SLO और त्रुटि बजट सेवा-स्तर प्रबंधन के बगल में बैठते हैं; दोषारोपण-रहित समीक्षाएँ समस्या प्रबंधन के बगल में; टॉइल-घटाव निरंतर सुधार का समर्थन करता है। SRE वर्णन करती है कि तकनीकी टीम ऐसा काम कैसे कर सकती है, जबकि ITIL वर्णन करता है कि संगठन को समग्र रूप से कौन-से अभ्यास चाहिए।
नक़ल की सीमाएँ। SRE एक बहुत बड़े इंजीनियरिंग संगठन में विशिष्ट पैमाने और स्टाफ़िंग के साथ विकसित हुई। छोटी टीम उसकी संरचना की नक़ल नहीं कर सकती, और उसे करने की ज़रूरत भी नहीं। कुछ विचारों से शुरू करें: उपयोगकर्ता-केंद्रित संकेतक चुनें, उद्देश्य तय करें, और लिख लें कि बजट ख़र्च होने पर आप क्या करेंगे।
दृष्टियाँ कैसे फ़िट होती हैं। SRE काफ़ी हद तक चालू सेवाओं के लिए एजाइल दृष्टि का इंजीनियरिंग पक्ष है। AI अलर्ट की छँटाई और घटना-सारांश में सहायता कर सकता है, मानवीय समीक्षा के अधीन। स्वचालन टॉइल के विरुद्ध मुख्य उपकरण है। विश्लेषण SLI और टॉइल तथा घटनाओं का डेटा देता है।
सर्वोत्तम अभ्यास
- ऐसे संकेतक चुनें जो उपयोगकर्ता के अनुभव को दर्शाएँ। पूछें कि उपयोगकर्ता किसे "काम करना" कहेगा: जो पृष्ठ लोड होते हैं, जो भुगतान पूरे होते हैं, जो फ़ाइलें पहुँचती हैं। वह मापें, CPU उपयोग नहीं।
- सेवा पर निर्भर लोगों के साथ उद्देश्य तय करें। ऐसी संख्या पर सहमत हों जो वास्तविक ज़रूरत से मेल खाए, अवधि और माप के तरीक़े के साथ लिखी हुई। ज़रूरतें बदलने पर उस पर लौटें।
- निर्णय लेने के लिए त्रुटि बजट का उपयोग करें। लिखें कि जब बजट लगभग ख़र्च हो जाए तो क्या होगा, जैसे जोखिम-भरे बदलाव रोकना, और निर्णय कौन लेगा। इसे उस पहली बार से पहले तय करें जब यह मायने रखेगा।
- उद्देश्य समझौतों से सख़्त रखें। आंतरिक लक्ष्य ऐसा रखें कि अनुबंध तोड़ने से पहले आपको परेशानी का पता चल जाए। देखें «विषय 3.7 — सेवा स्तर प्रबंधन»।
- टॉइल गिनें और सीमित करें। ट्रैक करें कि कितना समय दोहराव वाले हाथ के काम पर जाता है, और सीमा तय करें। बाक़ी समय टॉइल के सबसे बड़े स्रोत हटाने पर लगाएँ।
- लक्षणों पर अलर्ट करें, और अलर्ट कार्रवाई-योग्य रखें। हर अलर्ट को बताना चाहिए कि उपयोगकर्ताओं के लिए क्या ग़लत है और क्या करना है। जिन अलर्टों पर कोई कार्रवाई नहीं करता उन्हें हटाएँ या ठीक करें।
- ऑन-कॉल निष्पक्ष और टिकाऊ ढंग से साझा करें। प्रति शिफ़्ट पेजों की संख्या सीमित करें, प्रशिक्षण और दस्तावेज़ीकृत एस्केलेशन मार्ग दें, और बोझ की नियमित समीक्षा करें। देखें «विषय 8.3 — संगठनात्मक परिवर्तन और अपनाना»।
- घटनाओं की समीक्षा बिना दोषारोपण के करें और पूरा करें। समयरेखा, योगदान देने वाले कारक, और स्वामियों तथा तारीख़ों वाली कार्रवाइयाँ लिखें। जाँचें कि कार्रवाइयाँ पूरी हुईं।
- सुरक्षित परिस्थितियों में विफलता का अभ्यास करें। स्टेजिंग में या सीमित जोखिम के साथ, स्पष्ट रोकने के बटन के साथ, गेम डे और छोटे केऑस प्रयोग चलाएँ।
- छोटे से शुरू करें। एक महत्त्वपूर्ण सेवा चुनें, एक-दो SLI और एक SLO परिभाषित करें, और आगे बढ़ाने से पहले परिणाम से सीखें।
अपनी टीम के साथ चर्चा के प्रश्न
हमारे उपयोगकर्ता इस सेवा के लिए "काम करना" का क्या अर्थ कहेंगे, और क्या हम उसे मापते हैं? यह संकेतकों का आरंभ-बिंदु है। टीमें अक्सर इसके बजाय सर्वर का स्वास्थ्य मापती हैं। पूछें कि आख़िरी बार उपयोगकर्ता नाख़ुश कब थे जबकि हमारे डैशबोर्ड हरे थे। फ़ॉलो-अप में मापने के लिए एक उपयोगकर्ता-सामने का संकेतक चुनें।
इस सेवा को वास्तव में कितना विश्वसनीय होना चाहिए, और यह किसने तय किया? लक्ष्य अक्सर आदत से तय होते हैं, जैसे "पाँच नौ"। पूछें कि सेवा बंद होने पर उपयोगकर्ता क्या करते हैं और एक घंटे के डाउनटाइम की क्या क़ीमत है। असहमति की अपेक्षा रखें। फ़ॉलो-अप में उद्देश्य का मसौदा बनाएँ और किसी ग्राहक से जाँचें।
जब हम त्रुटि बजट ख़र्च कर चुके होंगे तब हम क्या करेंगे, और क्या सचमुच करेंगे? जो नीतियाँ कभी लागू नहीं होतीं वे लोगों को उन्हें अनदेखा करना सिखाती हैं। पूछें कि पिछली बार जब विश्वसनीयता को चोट पहुँची और बदलाव जारी रहा तो क्या हुआ। फ़ॉलो-अप में एक छोटी, विशिष्ट प्रतिक्रिया और निर्णय लेने वाले पर सहमत हों।
हमारी टीम के लिए टॉइल के तीन सबसे बड़े स्रोत क्या हैं, और हर एक को हटाने में क्या लगेगा? लोगों से दोहराव वाले काम सूचीबद्ध करने और समय का अनुमान लगाने को कहें। हाथ से पुनः आरंभ, डेटा सुधार और पहुँच अनुरोधों की अपेक्षा रखें। फ़ॉलो-अप में एक मद चुनें और उसे स्वचालित करने के काम का अनुमान लगाएँ, एक वर्ष में बचे समय से तुलना करते हुए।
पिछले महीने हमारे ऑन-कॉल लोगों को कितने पेज मिले, और कितनों में मानवीय कार्रवाई चाहिए थी? यह अलर्ट की गुणवत्ता और कार्यभार को परखता है। संख्याएँ माँगें; अगर कोई नहीं जानता तो वही निष्कर्ष है। फ़ॉलो-अप में ठीक करने या हटाने के लिए सबसे शोर वाला अलर्ट चुनें।
अलर्ट या घटना-सारांश में AI कहाँ मदद कर सकता है, और हम उसकी ग़लतियाँ कैसे पकड़ेंगे? AI अलर्ट समूहित कर सकता है, सारांश का मसौदा बना सकता है और रनबुक के चरण सुझा सकता है। वह वास्तविक संकेत छिपा भी सकता है या कारण गढ़ भी सकता है। पूछें कि उसका स्वामी कौन है और उसके आउटपुट की जाँच कैसे होती है। फ़ॉलो-अप में मानवीय प्रक्रिया के साथ सारांश उपकरण आज़माएँ और तुलना करें।
व्यवहार में: सेवा प्रबंधन का एक उदाहरण
एक राष्ट्रीय पुस्तकालय की डिजिटल अभिलेखागार टीम शोधकर्ताओं के लिए खोज सेवा चलाती है। छह लोगों की टीम बारी-बारी से ऑन-कॉल रहती है। रात में पेज लगभग सप्ताह में एक बार आते हैं, ज़्यादातर बैच सर्वर पर डिस्क-स्थान के अलर्ट से, जिसे कोई हाथ से साफ़ करता है। प्रबंधन वार्षिक योजना में "99.99 प्रतिशत उपलब्धता" माँगता है, हालाँकि किसी ने वर्तमान प्रदर्शन नहीं मापा।
टीम प्रमुख छोटे प्रयोग का प्रस्ताव रखती हैं। दो शोधकर्ताओं के साथ टीम एक संकेतक परिभाषित करती है: खोज अनुरोधों का वह अनुपात जो दो सेकंड के भीतर परिणाम लौटाते हैं। वे एक महीना उसे मापते हैं और 99.2 प्रतिशत पाते हैं। शोधकर्ता कहते हैं कि उन्हें धीमापन तभी महसूस होता है जब खोजों में पाँच सेकंड से अधिक लगता है, जो लगभग 0.3 प्रतिशत अनुरोधों पर होता है, ज़्यादातर रात भर चलने वाले इंडेक्स पुनर्निर्माण के दौरान। वे 30 दिनों में दो सेकंड के भीतर 99.5 प्रतिशत के उद्देश्य और त्रुटि बजट नीति पर सहमत होते हैं: अगर किसी अवधि में 75 प्रतिशत से अधिक बजट ख़र्च हो, तो टीम ग़ैर-तत्काल रिलीज़ रोकती है और सबसे बड़ा कारण ठीक करती है।
टीम टॉइल भी गिनती है। हाथ से डिस्क साफ़ करने में महीने में लगभग दो घंटे लगते हैं और किसी की नींद टूटती है। वे सफ़ाई स्वचालित करते हैं, भरी हुई डिस्क के बजाय तेज़ वृद्धि के लिए अलर्ट जोड़ते हैं, और बैकअप से इंडेक्स बहाल करने का गेम डे पूर्वाभ्यास करते हैं।
क्या बदलता है: रात के पेज घटते हैं, और पहली तिमाही में बजट कम होने पर रिलीज़ एक बार रोके जाते हैं, कारण एक धीमी क्वेरी तक पहुँचता है। क्या कठिन रहता है: वार्षिक योजना में अब भी "99.99 प्रतिशत" है, क्योंकि वरिष्ठ प्रबंधक उसे बदलने पर सहमत नहीं हुए हैं; इंडेक्स पुनर्निर्माण किसी दूसरे विभाग द्वारा चलाई जाने वाली स्टोरेज सेवा पर निर्भर है; और टीम अनिश्चित है कि अन्य समय-क्षेत्रों के शोधकर्ता सेवा को उसी तरह अनुभव करते हैं या नहीं। प्रमुख योजना के शब्द अगली समीक्षा में ले जाती हैं।
चार दृष्टिकोण
उत्पाद और डिलीवरी टीमें
उद्देश्य और बजट संचालन के साथ साझा करें। विश्वसनीयता का काम बैकलॉग में रखें, प्रगतिशील रूप से रिलीज़ करें, और बदलावों के प्रभाव को देखें। जब बजट ख़र्च हो जाए, तो कारण घटाने के प्रयास में शामिल हों।
सेवा और संचालन टीमें
उपयोगकर्ताओं के साथ संकेतक परिभाषित करें, अलर्ट कार्रवाई-योग्य रखें, और अपना समय उस इंजीनियरिंग पर लगाएँ जो टॉइल हटाती है। ऑन-कॉल बोझ और घटना-डेटा योजना में लाएँ। ऐसी समीक्षाएँ लिखें जो ट्रैक की गई कार्रवाइयों तक ले जाएँ।
नेतृत्व और गवर्नेंस
ऐसे उद्देश्यों पर सहमत हों जो वास्तविक ज़रूरत को दर्शाएँ, और बजट नीति का समर्थन करें जब वह बदलाव धीमा करने की माँग करे। टॉइल घटाने और विश्वसनीयता के काम के समय का वित्तपोषण करें। पूर्णता की माँग न करें।
ग्राहक और उपयोगकर्ता
आपसे पूछा जाना चाहिए कि आपके लिए "काम करना" का क्या अर्थ है और आपको बताया जाना चाहिए कि लक्ष्य क्या है। समस्याएँ स्पष्ट रूप से बताएँ, और यह सुनने की अपेक्षा रखें कि क्या किया गया। अगर लक्ष्य आपकी ज़रूरतों के लिए ग़लत लगता है, तो कहें।
एजाइल, AI, स्वचालन और विश्लेषण
एजाइल
SRE सतत डिलीवरी और सुधार में मापने योग्य विश्वसनीयता लक्ष्य जोड़ती है। उद्देश्य तय करने में हितधारकों को शामिल रखें और उनकी नियमित समीक्षा करें। सावधानी: त्रुटि बजट निर्णय का विकल्प नहीं हैं; कुछ घटनाएँ, जैसे डेटा उल्लंघन, बजट की परवाह किए बिना मायने रखती हैं।
AI
AI संबंधित अलर्टों को समूहित कर सकता है, संभावित कारण प्रस्तावित कर सकता है और घटना-सारांश का मसौदा बना सकता है। हर उपयोग को स्वामी, निर्णयों के लिए ज़िम्मेदार मनुष्य, और AI के सुझावों की वास्तव में जो हुआ उससे तुलना का तरीक़ा चाहिए। सावधानी: जो AI शोर घटाने के लिए अलर्ट दबाता है वह वास्तविक विफलताएँ छिपा सकता है; उसे ज्ञात घटनाओं से परखें। देखें «विषय 5.2 — AIOps»।
स्वचालन
टॉइल को स्वचालित करें: पुनः आरंभ, सफ़ाई, नियमित पहुँच, और बार-बार का निदान, लॉग, सीमाओं और बंद करने के तरीक़े के साथ। सावधानी: जो स्वचालन उत्पादन पर कार्य करता है वह घटना को बदतर बना सकता है; दर-सीमाएँ और हाथ का स्टॉप जोड़ें। देखें «विषय 6.6 — रनबुक स्वचालन और स्वतः-उपचार»।
विश्लेषण
SLI, SLO की प्राप्ति, त्रुटि बजट की खपत, टॉइल के घंटे और अलर्ट की गुणवत्ता का उपयोग करें। सावधानी: जो उद्देश्य इसलिए चुने जाएँ कि उन्हें पाना आसान है, या जो संकेतक उपयोगकर्ता-अनुभव के हिस्सों की अनदेखी करते हैं, वे झूठा आराम देते हैं; उन्हें उपयोगकर्ता-शिकायतों से जाँचें। देखें «विषय 7.4 — ऑब्ज़र्वेबिलिटी और टेलीमेट्री» और सेवा प्रबंधन मेट्रिक्स पुस्तक।
आम विफलता के तरीके
- दूसरों की संख्याएँ नक़ल करना। ज़रूरत जाने बिना "पाँच नौ" अपना लिया जाता है। उपयोगकर्ता की ज़रूरत और लागत से तय करें।
- ऐसे संकेतक जो उपयोगकर्ता को चूक जाते हैं। डैशबोर्ड हरे हैं और उपयोगकर्ता शिकायत करते हैं। वह मापें जो उपयोगकर्ता अनुभव करते हैं।
- बजट नीति जिसका कोई पालन नहीं करता। बजट ख़र्च होने पर भी बदलाव जारी रहता है। प्रतिक्रिया पहले तय करें और लागू करें।
- अलर्ट का शोर। ऑन-कॉल लोग पेजों की अनदेखी करते हैं। हर अलर्ट को कार्रवाई-योग्य बनाएँ।
- टॉइल को सामान्य मानना। टीम को स्वचालन के लिए कभी समय नहीं मिलता। उसे गिनें और सीमा तय करें।
- SRE संचालन के नाम-परिवर्तन के रूप में। अभ्यास नहीं अपनाए जाते। संकेतक, उद्देश्य और बजट परिभाषित करें।
- वीर-संस्कृति। एक व्यक्ति हर घटना सुलझाता है। ज्ञान और रनबुक साझा करें।
परिपक्वता मॉडल
| आयाम | आरंभ | विकास | मानकीकरण | प्रबंधन | समन्वय |
|---|---|---|---|---|---|
| संकेतक और उद्देश्य | कोई उपयोगकर्ता-सामने के माप नहीं | केवल इन्फ्रास्ट्रक्चर के माप | प्रमुख सेवाओं के लिए उपयोगकर्ता-केंद्रित SLI और SLO | उपयोगकर्ताओं और लागतों के साथ उद्देश्यों की समीक्षा | निर्भर सेवाओं में उद्देश्यों का समन्वय |
| त्रुटि बजट | कोई नहीं | चर्चा की गई | लिखित नीति लागू | नीति के परिणामों की समीक्षा | टीमों और भागीदारों में बजट साझा |
| टॉइल | अमापित | अनौपचारिक रूप से पहचाना गया | गिना और सीमित | ट्रैक किए गए स्वचालन से घटाया | साझा उपकरणों से सेवाओं में घटाया |
| घटना से सीख | दोषारोपण | कुछ समीक्षाएँ | ट्रैक की गई कार्रवाइयों के साथ दोषारोपण-रहित समीक्षाएँ | कार्रवाई की पूर्ति और पुनरावृत्ति मापी गई | सीख पूरे संगठन में साझा |
जाँच-सूची
- हमारी हर महत्त्वपूर्ण सेवा के लिए कम से कम एक उपयोगकर्ता-सामने का संकेतक है।
- हर एक का उद्देश्य उन लोगों के साथ तय है जो उस पर निर्भर हैं।
- हमने लिखा कि त्रुटि बजट लगभग ख़र्च होने पर क्या होता है।
- हमारे आंतरिक उद्देश्य हमारे समझौतों से सख़्त हैं।
- हम टॉइल ट्रैक करते हैं और हमारे पास सीमा है।
- अलर्ट कार्रवाई-योग्य हैं, और शोर वाले ठीक या हटाए गए हैं।
- ऑन-कॉल बोझ मापा गया और टिकाऊ है।
- घटना-समीक्षाएँ दोषारोपण-रहित हैं और कार्रवाइयाँ पूर्ण होने तक ट्रैक की जाती हैं।
AI प्रॉम्प्ट
उम्मीदवार संकेतकों का मसौदा बनाएँ।
हमारी सेवा: [वर्णन करें कि वह क्या करती है और कौन उपयोग करता है]। उपयोगकर्ता किस बारे में शिकायत करते हैं: [सूची]।
अधिकतम पाँच उम्मीदवार सेवा स्तर संकेतक प्रस्तावित करें, हर एक के लिए वह क्या मापता है, [उपलब्ध डेटा स्रोतों] से उसे कैसे निकाला जा सकता है, और वह कैसे भ्रमित कर सकता है। उद्देश्य न चुनें।
जिनके बारे में आप अनिश्चित हैं उनकी सूची दें।
त्रुटि बजट की खपत की गणना करें।
हमारा उद्देश्य: [उदाहरण के लिए, 30 दिनों में दो सेकंड से कम में 99.5 प्रतिशत अनुरोध]। अवधि के लिए अच्छी और कुल घटनाओं की दैनिक गिनती यह है: [डेटा चिपकाएँ]।
अब तक की प्राप्ति, प्रतिशत के रूप में उपयोग किया गया त्रुटि बजट, और दैनिक खपत दर निकालें, हर गणना दिखाते हुए। डेटा से आगे का पूर्वानुमान न लगाएँ।
जिनके बारे में आप अनिश्चित हैं उनकी सूची दें।
टॉइल के उम्मीदवारों को क्रम दें।
यह उन दोहराव वाले कार्यों की सूची है जो हमारी टीम करती है, हर एक कितनी बार और कितना समय लेता है: [सूची चिपकाएँ]।
हर एक के लिए प्रति माह घंटे निकालें, उन्हें क्रम दें, और शीर्ष पाँच के लिए यह प्रश्न सूचीबद्ध करें कि उसे स्वचालित करना सुरक्षित है या नहीं। विशिष्ट उपकरणों की अनुशंसा न करें।
जिनके बारे में आप अनिश्चित हैं उनकी सूची दें।
AI कौशल
- service-level-agreement: उद्देश्यों को समझौतों से जोड़ने के लिए उपयोग करें।
- postmortem: ट्रैक की गई कार्रवाइयों के साथ दोषारोपण-रहित समीक्षाएँ चलाने के लिए उपयोग करें।
- chaos-testing: सुरक्षित विफलता-प्रयोगों की योजना बनाने के लिए उपयोग करें।
- capacity-planning: माँग और सीमाओं का पूर्वानुमान लगाने के लिए उपयोग करें।
प्रमुख स्रोत
- Betsy Beyer, Chris Jones, Jennifer Petoff, and Niall Richard Murphy (eds.), Site Reliability Engineering: How Google Runs Production Systems (2016), sre.google पर निःशुल्क उपलब्ध: अभ्यासों का मुख्य स्रोत।
- Betsy Beyer and others (eds.), The Site Reliability Workbook (2018): अपनाने के लिए व्यावहारिक मार्गदर्शन।
- Wikipedia, "Site reliability engineering": तटस्थ अवलोकन।
- Wikipedia, "Service-level objective": शब्दों की पृष्ठभूमि।
संदर्भ
- Site reliability engineering — Wikipedia — https://en.wikipedia.org/wiki/Site_reliability_engineering
- Service-level objective — Wikipedia — https://en.wikipedia.org/wiki/Service-level_objective
- Service level indicator — Wikipedia — https://en.wikipedia.org/wiki/Service_level_indicator
- Service-level agreement — Wikipedia — https://en.wikipedia.org/wiki/Service-level_agreement
- Capacity planning — Wikipedia — https://en.wikipedia.org/wiki/Capacity_planning
- Reliability engineering — Wikipedia — https://en.wikipedia.org/wiki/Reliability_engineering
- Chaos engineering — Wikipedia — https://en.wikipedia.org/wiki/Chaos_engineering
- Observability (software) — Wikipedia — https://en.wikipedia.org/wiki/Observability_(software)
- Postmortem documentation — Wikipedia — https://en.wikipedia.org/wiki/Postmortem_documentation
- Site Reliability Engineering: How Google Runs Production Systems — Google — https://sre.google/sre-book/table-of-contents/