यह क्यों मायने रखता है

ऑन-कॉल काम का एक आकार है। अलर्ट बजता है। थका हुआ इंजीनियर रनबुक खोलता है, चरणों की शृंखला का पालन करता है, कुछ पुनः आरंभ करता है, जाँचता है कि काम किया, और वापस सो जाता है। एक सप्ताह बाद वही अलर्ट बजता है, और वही चरण अपनाए जाते हैं। दसवीं बार के बाद कोई कहता है: कोई व्यक्ति यह क्यों कर रहा है?

वे सही हैं। ज्ञात समाधान को हाथ से दोहराना धीमा, त्रुटि-प्रवण और करने वालों के लिए क्षयकारी है। वही चरण कोड के रूप में लिखे जाएँ तो सेकंडों में, हर बार उसी तरह चलते हैं, और रिकॉर्ड छोड़ते हैं। Wikipedia रनबुक (runbooks) का वर्णन ऑपरेटर द्वारा किए जाने वाले नियमित कार्यविधियों के संकलन के रूप में करता है। उन्हें निष्पादन-योग्य बनाना, और कुछ मामलों में अपने-आप चलने देना, दस्तावेज़ीकरण से स्वचालन की ओर क़दम है।

यह क़दम ख़तरा भी है। इंसान द्वारा पढ़ा गया रनबुक हर चरण पर मानवीय विवेक से गुज़रता है। कोड नहीं गुज़रता। ग़लत स्वचालित पुनः आरंभ हमेशा दोहरा सकता है, या स्वस्थ सेवा को गिरा सकता है, या गहरी समस्या को तब तक ढक सकता है जब तक वह बहुत बदतर न हो जाए। कई रुकावटें नेकनीयती वाले उपचार से लंबी हुई हैं या पैदा हुई हैं जिसने ग़लत काम तेज़ी से किया। Wikipedia स्वायत्त कंप्यूटिंग (autonomic computing) का वर्णन करता है, यानी अपना प्रबंधन स्वयं करने वाली प्रणालियों का पुराना लक्ष्य, और व्यावहारिक सबक यह है कि स्वायत्तता को सीमाएँ चाहिए।

यह विषय बताता है कि दस्तावेज़ से स्क्रिप्ट और फिर स्वचालित कार्रवाई तक सावधानी से कैसे जाएँ। यह ज्ञान प्रबंधन («विषय 3.9 — ज्ञान प्रबंधन»), निगरानी («विषय 3.10 — निगरानी और इवेंट प्रबंधन»), घटना प्रबंधन («विषय 3.2 — घटना प्रबंधन») और स्वचालन रणनीति («विषय 6.1 — स्वचालन रणनीति») पर बना है। यह AI संचालन («विषय 5.2 — AIOps») और कार्रवाई करने वाले एजेंटों («विषय 5.5 — एजेंटिक AI और मानवीय निगरानी») से जुड़ता है।

मूल अवधारणाएँ

रनबुक। किसी विशिष्ट, आवर्ती संचालन कार्य या स्थिति के लिए दस्तावेज़ित प्रक्रिया। Wikipedia रनबुक का वर्णन करता है। अच्छे रनबुक में ट्रिगर, क्रमांकित चरण, अपेक्षित परिणाम, सत्यापन चरण और एस्केलेशन मार्ग होता है। «विषय 3.9 — ज्ञान प्रबंधन» देखें।

रनबुक स्वचालन। रनबुक को ऐसे कोड के रूप में लागू करना जो उसके कुछ या सभी चरण निष्पादित करे, आम तौर पर कंसोल या चैट कमांड से व्यक्ति द्वारा, या प्रणाली इवेंट से चालू किया जाता है। यह रनबुक का तर्क बनाए रखता है, गति, एकरूपता और रिकॉर्ड के लाभ के साथ।

स्वतः-उपचार (ऑटो-रेमेडिएशन)। अलर्ट या इवेंट के उत्तर में स्वचालित सुधारात्मक कार्रवाई, बिना व्यक्ति के उसे शुरू किए। उदाहरणों में विफल प्रक्रिया को पुनः आरंभ करना, भरी अस्थायी निर्देशिका साफ़ करना, वर्कर पूल को बढ़ाना, या स्टैंडबाय पर फ़ेलओवर करना शामिल हैं। Wikipedia का स्वायत्त कंप्यूटिंग पर लेख ऐसी प्रणालियों का वर्णन लक्ष्य के रूप में करता है जो अपने दोष पहचानें और सुधारें। व्यवहार में स्वतः-उपचार भली-भाँति समझे गए दोषों के संकीर्ण समूह को कवर करता है।

एक क्रमिक सीढ़ी। टीमें आम तौर पर चरणों से गुज़रती हैं: लिखा रनबुक; स्क्रिप्ट वाला रनबुक जिसे व्यक्ति चलाता है; रनबुक जिसे व्यक्ति एक कमांड से चालू करता है, पहले जाँचें जुटाती स्क्रिप्ट के साथ; अलर्ट जो कार्रवाई प्रस्तावित करता है और अनुमोदन माँगता है; और अलर्ट जो सीमाओं के भीतर कार्रवाई अकेले चलाता है। हर चरण को पिछले चरण से प्रमाण चाहिए। वास्तविक परिणामों वाली कार्रवाइयों के लिए चरण न छोड़ें।

कौन-सी चीज़ स्वचालित कार्रवाई के योग्य है। वह दोष जो आम हो, जिसका कारण और समाधान भली-भाँति समझा गया हो, जिसका समाधान सुरक्षित और पलटने योग्य हो, और जिसका लक्षण उसे भरोसे से पहचानता हो। उदाहरण हैं अटका स्टेटलेस वर्कर या भरती लॉग निर्देशिका। ख़राब उम्मीदवारों में वह सब शामिल है जो डेटा हटाता है, पहुँच बदलता है, या व्यावसायिक प्रभाव पर विवेक पर निर्भर है।

सुरक्षा शर्तें। कार्रवाई से पहले जाँचें कि स्थिति वास्तव में मेल खाती है: अलर्ट चालू है, सेवा अपेक्षित स्थिति में है, कोई डिप्लॉयमेंट या रखरखाव नहीं चल रहा, और कार्रवाई अभी-अभी नहीं चली। कार्रवाई के बाद परिणाम सत्यापित करें। Wikipedia ड्राई रन (dry run) का वर्णन करता है, यानी ऐसा पूर्वाभ्यास जो बिना किए दिखाता है कि क्या होगा; यह नए स्वचालनों के लिए उपयोगी मोड है।

सीमाएँ। सीमित करें कि कार्रवाई एक अवधि में कितनी बार चल सकती है, एक साथ कितने इंस्टेंस छू सकती है, और कितनी देर चल सकती है। Wikipedia दर-सीमन (rate limiting) का वर्णन करता है। सीमा बेक़ाबू स्थिति को परिबद्ध घटना में बदलती है, और सीमा पार होने पर व्यक्ति को बुलाना चाहिए।

सर्किट ब्रेकर और बैकऑफ़। अगर स्वचालित कार्रवाई बार-बार विफल हो या बार-बार चले, तो हमेशा पुनः प्रयास करने के बजाय रुकें और एस्केलेट करें। Wikipedia सर्किट ब्रेकर पैटर्न (circuit breaker pattern) का वर्णन करता है, जिसमें बार-बार की विफलताएँ स्विच ट्रिप करती हैं जो कुछ समय के लिए और प्रयास रोक देता है। पुनः प्रयासों के बीच विराम और हिस्टेरेसिस (hysteresis, जिसका वर्णन Wikipedia पर है) जोड़ें ताकि स्थितियों के बीच झूलना न हो।

आइडेम्पोटेंस। ऐसी कार्रवाई जिसे दोहराना सुरक्षित है। Wikipedia आइडेम्पोटेंस (idempotence) का वर्णन करता है। सेवा को तब पुनः आरंभ करना जब वह पहले से पुनः आरंभ हो रही हो, दूसरा पुनः आरंभ तूफ़ान पैदा नहीं करना चाहिए। ऐसी कार्रवाइयाँ डिज़ाइन करें जो पहले स्थिति जाँचें।

वॉचडॉग और अंतर्निहित पुनर्प्राप्ति। प्लेटफ़ॉर्म अपने पुनर्प्राप्ति तंत्र देते हैं: प्रक्रिया सुपरवाइज़र जो क्रैश हुई सेवाओं को पुनः आरंभ करते हैं, कंटेनर प्लेटफ़ॉर्म जो विफल इंस्टेंस बदलते हैं, और वॉचडॉग टाइमर (watchdog timers, जिनका वर्णन Wikipedia पर है) जो अटकी प्रणाली को रीसेट करते हैं। जहाँ फ़िट हों वहाँ कस्टम स्क्रिप्ट के बजाय अंतर्निहित तंत्र को प्राथमिकता दें, और समझें कि वे क्या करते हैं।

फ़ेलओवर और स्केलिंग। स्टैंडबाय पर स्वचालित फ़ेलओवर और क्षमता की स्वचालित स्केलिंग स्वतः-उपचार के रूप हैं जो प्लेटफ़ॉर्म अक्सर देते हैं। Wikipedia फ़ेलओवर (failover) और ऑटोस्केलिंग (autoscaling) का वर्णन करता है। उन्हें भी परीक्षण और सीमाएँ चाहिए, क्योंकि वे चीज़ों को बदतर कर सकते हैं: संक्षिप्त गड़बड़ी से चालू हुआ फ़ेलओवर स्वस्थ सेवा में बाधा डाल सकता है।

समस्याओं को ढकना। जो स्वचालन चुपचाप दोष ठीक करता है वह बिगड़ते कारण को छिपा सकता है। अगर सेवा हर घंटे पुनः आरंभ होती है, तो पुनः आरंभ ऐसी समस्या का लक्षण है जिसे ठीक करना चाहिए। ट्रैक करें कि हर स्वचालन कितनी बार चलता है और बढ़ती दर को जाँचने योग्य समस्या मानें। «विषय 3.3 — समस्या प्रबंधन» देखें।

लॉग, ऑडिट और सूचना। हर स्वचालित कार्रवाई को दर्ज करना चाहिए कि क्या ट्रिगर हुआ, क्या जाँचा, क्या किया और परिणाम क्या रहा, और स्वामी टीम को सूचित करना चाहिए। चुपचाप स्वचालन प्रणाली की समझ को घटाता है। Wikipedia सामान्य रूप से ऑडिट ट्रेल (audit trails) का वर्णन करता है।

परीक्षण। स्वचालनों को सुरक्षित परिवेश में यथार्थवादी दोषों के विरुद्ध परखें, उन मामलों सहित जहाँ जाँचों को कार्रवाई रोकनी चाहिए। Wikipedia केऑस इंजीनियरिंग (chaos engineering) का वर्णन करता है, यानी जानबूझकर विफलताएँ डालने का अभ्यास, जो यह भी परख सकता है कि उपचार सही व्यवहार करता है या नहीं। «विषय 3.12 — सेवा निरंतरता प्रबंधन» देखें।

स्वामित्व और समीक्षा। हर स्वचालन का स्वामी होता है, वह समीक्षा के साथ संस्करण नियंत्रण में रहता है, और रजिस्टर में दिखता है। नियमित समीक्षा करें कि वह कितनी बार चलता है, सफल रहा या नहीं, और क्या अंतर्निहित कारण ठीक किया जाना चाहिए।

पहुँच और सुरक्षा। उपचार उपकरण का उत्पादन पर अधिकार है। उसे हर कार्रवाई को चाहिए संकीर्ण अनुमतियों वाली अपनी पहचान दें, और कोड तथा ट्रिगर को छेड़छाड़ से बचाएँ। «विषय 3.13 — सूचना सुरक्षा प्रबंधन» देखें।

मानवीय कौशल। अगर स्वचालन नियमित दोष सँभालता है, तो लोग प्रणाली की समझ खो सकते हैं। रनबुक पठनीय रखें, मैन्युअल संचालन का पूर्वाभ्यास करें, और स्वचालनों को गेम डे में शामिल करें। «विषय 6.1 — स्वचालन रणनीति» देखें।

दृष्टियाँ कैसे फ़िट होती हैं। यह विषय संचालन के बिंदु पर स्वचालन दृष्टि है। एजाइल अभ्यास हर घटना के बाद समीक्षा के साथ सीढ़ी पर छोटे चरणों में चढ़ने का सुझाव देता है। AI यहाँ वर्णित सीमाओं के भीतर कार्रवाइयाँ सुझा और रनबुक चुन सकती है। विश्लेषण चलने की दरें, सफलता और ढकी हुई समस्याएँ मापता है।

सर्वोत्तम अभ्यास

  1. अच्छे रनबुक से शुरू करें। पहले प्रक्रिया लिखें, परखें और हाथ से उपयोग करें। जो प्रक्रिया काम नहीं करती उसका स्वचालन केवल तेज़ी से टूटता है।
  2. उम्मीदवार सावधानी से चुनें। भरोसेमंद संकेत वाले बार-बार होने वाले, भली-भाँति समझे गए, सुरक्षित, पलटने योग्य समाधान देखें। बचे ऑन-कॉल समय और जोखिम से क्रम दें।
  3. सीढ़ी चढ़ें। स्क्रिप्ट से एक-कमांड ट्रिगर, अनुमोदन सहित प्रस्तावित कार्रवाई, और फिर स्वचालित कार्रवाई तक केवल प्रमाण जुटने पर जाएँ। हर चरण पर निर्णय दर्ज करें।
  4. पहले और बाद में जाँचें। सत्यापित करें कि स्थिति मेल खाती है, कोई विरोधी गतिविधि नहीं चल रही, और कार्रवाई काम कर गई। कोई जाँच विफल हो तो रुकें और एस्केलेट करें।
  5. सीमाएँ और ब्रेकर लगाएँ। आवृत्ति, दायरा और अवधि सीमित करें। अगर कार्रवाई बहुत बार चले या दो बार विफल हो, तो रुकें और व्यक्ति को बुलाएँ।
  6. कार्रवाइयों को आइडेम्पोटेंट और पलटने योग्य बनाएँ। पहले स्थिति जाँचें, और वापसी का रास्ता लिखें। दोनों परखें।
  7. लॉग करें, सूचित करें और दृश्य बनाएँ। हर स्वचालित कार्रवाई दर्ज करें, स्वामी टीम को बताएँ, और डैशबोर्ड पर चलने की दरें दिखाएँ।
  8. कारण ठीक करें। गिनें कि हर स्वचालन कितनी बार चलता है, और दर ऊँची या बढ़ती होने पर समस्या उठाएँ। स्वचालन को समाधान का पुल मानें, विकल्प नहीं।
  9. सुरक्षित स्थितियों में परखें। यथार्थवादी दोषों और किनारे के मामलों से पूर्वाभ्यास करें, उन सहित जिन्हें अस्वीकार किया जाना चाहिए। स्वचालनों को गेम डे में शामिल करें।
  10. स्वामित्व रखें और समीक्षा करें। स्वामी नामित करें, कोड को समीक्षा के साथ संस्करण नियंत्रण में रखें, हर स्वचालन पंजीकृत करें, और तिमाही समीक्षा करें कि किसे रखना, बदलना या सेवानिवृत्त करना है।

अपनी टीम के साथ चर्चा के प्रश्न

कौन-से अलर्ट हम हर बार एक ही तरीक़े से ठीक करते हैं, और हर एक में कितना समय लगता है? घटना और अलर्ट डेटा का उपयोग करें। मुट्ठी भर की अपेक्षा रखें जो अधिकांश पेज बनाते हैं। फ़ॉलो-अप में एक चुनें और जाँचें कि उसका रनबुक सटीक है।

अगर यह समाधान तब चल जाता जब नहीं चलना चाहिए था, तो क्या ग़लत हो सकता था? ग़लत ट्रिगर या ग़लत लक्ष्य की कल्पना करें। कुछ अप्रिय मामलों की अपेक्षा रखें। फ़ॉलो-अप में हर एक के लिए जाँच या सीमा जोड़ें।

हमें कैसे पता चलेगा कि स्वचालन बढ़ती समस्या को ढक रहा था? पूछें कि हमें क्या दिखेगा। "कुछ नहीं" की अपेक्षा रखें। फ़ॉलो-अप में चलने की गिनती करने और समस्या उठाने की थ्रेशोल्ड तय करने पर सहमत हों।

एक रन अधिकतम कितनी हानि कर सकता है, और हम उसे कैसे रोकेंगे? दायरे का नाम लें। अनिश्चितता की अपेक्षा रखें। फ़ॉलो-अप में सीमा तय करें और रोकने का पूर्वाभ्यास करें।

हमने यह कार्य पिछली बार हाथ से कब किया था, और क्या ऑन-कॉल पर हर कोई अब भी कर सकता है? पिछली बार पूछें। अपेक्षा रखें कि वह बहुत पहले की थी। फ़ॉलो-अप में पूर्वाभ्यास निर्धारित करें।

AI उपचार कहाँ प्रस्तावित या चुन सकती है, और क्या अब भी किसी व्यक्ति द्वारा अनुमोदित होना चाहिए? AI लक्षणों को रनबुक से मिला सकती है और कार्रवाइयाँ सुझा सकती है। पूछें कि किन कार्रवाइयों को अनुमोदन चाहिए और कौन तय करता है। फ़ॉलो-अप में ऐसा परीक्षण चुनें जहाँ AI प्रस्तावित करे और व्यक्ति अनुमोदित करे, यह मापते हुए कि सुझाव कितनी बार सही था।

व्यवहार में: सेवा प्रबंधन का एक उदाहरण

एक राष्ट्रीय रेलवे की यात्री सूचना टीम 400 स्टेशनों पर डिस्प्ले चलाती है, जिन्हें डेटा सेवा से फ़ीड मिलता है। सप्ताह में लगभग दो बार फ़ीड प्रोसेसर अटक जाता है और डिस्प्ले पुराने समय पर जम जाते हैं। ऑन-कॉल इंजीनियर को पेज किया जाता है, वह लॉग इन करता है, जाँचता है कि प्रक्रिया अटकी है, उसे पुनः आरंभ करता है, और अद्यतन की पुष्टि करता है। इसमें लगभग 20 मिनट लगते हैं, ज़्यादातर रात में।

टीम रनबुक लिखती है, दो घटनाओं पर आज़माने के बाद उसे परिष्कृत करती है: अलर्ट की पुष्टि करें, जाँचें कि कोई डिप्लॉयमेंट नहीं चल रहा, जाँचें कि प्रक्रिया ने पाँच मिनट से लॉग में नहीं लिखा, पुनः आरंभ करें, दो मिनट प्रतीक्षा करें, जाँचें कि आउटपुट टाइमस्टैम्प चालू है, और घटना नोट करें। वे इसे ड्राई-रन मोड वाली स्क्रिप्ट में बदलती हैं, और एक इंजीनियर इसे एक महीने तक एक चैट कमांड से चालू करता है। वह हर बार सफल होती है।

फिर वे इसे प्रस्ताव मोड में अलर्ट से जोड़ती हैं: अलर्ट स्क्रिप्ट के निष्कर्ष और एक बटन पोस्ट करता है जो ऑन-कॉल इंजीनियर से अनुमोदन माँगता है। एक महीने बाद, हर अनुमोदन सही था, और दो मिनट से कम लगे। टीम इसे कड़ी शर्तों के तहत स्वतः चलने देने पर सहमत होती है: केवल जब जाँचें पास हों, एक घंटे में अधिकतम दो बार, डिप्लॉयमेंट के दौरान कभी नहीं, और अगर दूसरा पुनः आरंभ ठीक न करे तो व्यक्ति को पेज। यह हर रन लॉग करती है और टीम चैनल में पोस्ट करती है।

स्वचालन पहले दो महीनों में 19 बार चलता है। समीक्षा दिखाती है कि अटकना एक डेटा आपूर्तिकर्ता के रात के अद्यतन के बाद अधिक होता है, जिसे टीम ने हर पेज को अकेले सँभालते समय नोटिस नहीं किया था। वे आपूर्तिकर्ता के साथ समस्या उठाती हैं। एक रन में, दो विफल पुनः आरंभ के बाद ब्रेकर ट्रिप होता है और इंजीनियर को पेज करता है, जो पाता है कि डिस्क भरी है, ऐसा कारण जिसे रनबुक ने कवर नहीं किया था।

क्या बदलता है: इंजीनियर इनमें से अधिकांश घटनाओं के दौरान सोते रहते हैं, और डिस्प्ले तीन मिनट से कम में ठीक हो जाते हैं। क्या कठिन रहता है: आपूर्तिकर्ता ने अभी डेटा प्रारूप ठीक नहीं किया; टीम ने नोटिस किया है कि नए इंजीनियरों ने मैन्युअल प्रक्रिया कभी नहीं की और उनके कौशल की चिंता है; और डिस्क जाँचने का अतिरिक्त चरण आश्चर्य के बाद ही जोड़ा गया। प्रमुख तिमाही मैन्युअल पूर्वाभ्यास निर्धारित करती हैं और डिस्क की जाँच स्क्रिप्ट में जोड़ती हैं।

चार दृष्टिकोण

उत्पाद और डिलीवरी टीमें

ऐसी सेवाएँ बनाएँ जिनका उपचार आसान हो: हेल्थ एंडपॉइंट, सुरक्षित पुनः आरंभ, आइडेम्पोटेंट संक्रियाएँ, और साफ़ लॉग। रनबुक कोड के साथ लिखें, और स्वचालन जो कारण उजागर करता है उन्हें ठीक करें।

सेवा और संचालन टीमें

रनबुक और स्वचालनों के स्वामी बनें: लिखें, परखें, सीमित करें, लॉग करें और समीक्षा करें। मैन्युअल कौशल जीवित रखें, और बार-बार चलने को ठीक करने योग्य समस्या मानें।

नेतृत्व और गवर्नेंस

प्रमाण के साथ सीढ़ी चढ़ने का समर्थन करें, और चलने की दरें तथा ढकी समस्याओं की जाँच माँगें। कारण ठीक करने के समय का वित्तपोषण करें। स्वयं-उपचार करने वाली प्रणालियों के दावों से सतर्क रहें।

ग्राहक और उपयोगकर्ता

आपको तेज़ पुनर्प्राप्ति और कम दिखाई देने वाली रुकावटें दिखनी चाहिए। अगर स्वचालित समाधान काम नहीं किया या समस्या पैदा की, तो प्रदाता को बताएँ ताकि नियम सुधारा जा सके।

एजाइल, AI, स्वचालन और विश्लेषण

एजाइल

हर घटना के बाद उपचार सुधारें: रनबुक परिष्कृत करें, जाँच जोड़ें, या सीढ़ी पर एक क़दम चढ़ें। बदलाव छोटे और समीक्षित रखें। सावधानी: बुरी रात के बाद थोक में स्वचालित न करें; एक-एक समाधान परीक्षणों के साथ लें।

AI

AI अलर्ट को रनबुक से मिला सकती है, चरण सुझा सकती है, और घटना नोट्स से नए रनबुक के मसौदे बना सकती है, जो भी कार्रवाई करे उसके अनुमोदन के साथ। स्वामी नामित करें और सुझाव की सटीकता मापें। सावधानी: असामान्य अलर्ट से कार्रवाई चुनने वाली AI ग़लत चुन सकती है; उसे अनुमोदित कार्रवाइयों की सूची तक सीमित करें। «विषय 5.5 — एजेंटिक AI और मानवीय निगरानी» देखें।

स्वचालन

यह विषय संचालन में स्वचालन दृष्टि है: सुरक्षित शर्तें, सीमाएँ, ब्रेकर, आइडेम्पोटेंस, लॉग और समीक्षा। सावधानी: स्वचालित उपचार समस्याओं को ढक सकता है और बदतर बना सकता है; चलने की गिनती करें, रन सीमित करें और विफलता पर एस्केलेट करें। «विषय 6.1 — स्वचालन रणनीति» देखें।

विश्लेषण

स्वचालन के अनुसार चलने की दर, सफलता दर, पुनर्प्राप्ति का समय, बचे पेजों की संख्या, ब्रेकर ट्रिप, और पैटर्न से उठाई गई समस्याएँ ट्रैक करें। सावधानी: बचे पेज बढ़ा-चढ़ाकर बताना आसान है और बढ़ती चलने की दरें छिपा सकता है; दोनों साथ ट्रैक करें। «विषय 7.4 — ऑब्ज़र्वेबिलिटी और टेलीमेट्री» और सेवा प्रबंधन मेट्रिक्स पुस्तक देखें।

आम विफलता के तरीके

  • बिना परखे रनबुक को स्वचालित करना। समाधान तेज़ी से ग़लत होता है। पहले हाथ से परखें।
  • कोई सीमा नहीं। लूप या ग़लत चलना दोहराता है। रन सीमित करें और ब्रेकर उपयोग करें।
  • छिपी समस्याएँ। पुनः आरंभ कारण को ढकते हैं। चलने की गिनती करें और कारण ठीक करें।
  • कार्रवाई से पहले जाँच नहीं। कार्रवाई स्वस्थ या व्यस्त प्रणाली पर पड़ती है। शर्तें सत्यापित करें।
  • चुपचाप स्वचालन। किसी को पता नहीं कि उसने क्या किया। लॉग करें और सूचित करें।
  • कौशल फीके पड़ते हैं। कोई हाथ से नहीं कर सकता। पूर्वाभ्यास करें।
  • अत्यधिक विशेषाधिकार वाले उपकरण। एक समझौता सब तक पहुँचता है। संकीर्ण पहचानें उपयोग करें।

परिपक्वता मॉडल

आयाम आरंभ विकास मानकीकरण प्रबंधन समन्वय
रनबुक दिमाग़ों या ईमेल में मुख्य अलर्ट के लिए लिखे हुए अलर्ट से जुड़े परखे हुए रनबुक घटनाओं के बाद रनबुक की गुणवत्ता की समीक्षा सेवाओं में कोड के रूप में बनाए रखे गए रनबुक
स्वचालन कोई नहीं लोगों द्वारा चालू की गई स्क्रिप्ट प्रस्तावों के साथ अनुमोदित, परखी हुई कार्रवाइयाँ चुनी हुई कार्रवाइयाँ सीमाओं के साथ स्वतः चलती हैं मानवीय नियंत्रण के साथ जोखिम के अनुसार चुनी सुरक्षित कार्रवाइयों का व्यापक स्वचालन
सुरक्षा कोई नहीं बुनियादी लॉगिंग जाँचें, सीमाएँ, ब्रेकर और रोलबैक सुरक्षा का परीक्षण और लेखा-परीक्षा साझा प्लेटफ़ॉर्म में निर्मित सुरक्षा
सीखना आग बुझाना कभी-कभार समीक्षा चलने की दरें ट्रैक और कारण समस्या के रूप में उठाए गए पुनरावृत्ति मापी और घटाई गई टीमों और आपूर्तिकर्ताओं में साझा सीख

जाँच-सूची

  • स्वचालन से पहले रनबुक लिखा, परखा और हाथ से उपयोग किया गया।
  • हर स्वचालन का ट्रिगर, पूर्व-शर्तें, सत्यापन और एस्केलेशन है।
  • कार्रवाइयाँ आइडेम्पोटेंट और पलटने योग्य हैं।
  • सीमाएँ और सर्किट ब्रेकर आवृत्ति और दायरे को सीमित करते हैं।
  • हर रन लॉग होता है और स्वामी टीम को सूचित किया जाता है।
  • हम ट्रैक करते हैं कि हर स्वचालन कितनी बार चलता है और पैटर्न से समस्याएँ उठाते हैं।
  • स्वचालन संस्करण नियंत्रण में हैं, समीक्षित हैं, और स्वामियों के साथ पंजीकृत हैं।
  • हम मैन्युअल संचालन का पूर्वाभ्यास करते हैं और स्वचालनों को यथार्थवादी दोषों से परखते हैं।

AI प्रॉम्प्ट

घटना नोट्स को रनबुक के मसौदे में बदलें।

ये तीन घटनाओं के नोट्स हैं जिनका समाधान एक ही था: [चिपकाएँ, व्यक्तिगत डेटा हटाकर]।
इन मदों के साथ रनबुक का मसौदा बनाएँ: ट्रिगर, जाँचने की पूर्व-शर्तें, अपेक्षित परिणामों सहित क्रमांकित चरण, सत्यापन, रोलबैक और एस्केलेशन। केवल वही उपयोग करें जो नोट्स कहते हैं; जो कहा नहीं गया उसके लिए [missing] लिखें।
जिनके बारे में आप अनिश्चित हैं उनकी सूची दें।

स्वचालन में सुरक्षा की ख़ाली जगहें खोजें।

यह किसी स्वतः-उपचार का वर्णन है: ट्रिगर, जाँचें, कार्रवाई और सीमाएँ: [चिपकाएँ]।
सूचीबद्ध करें कि इनमें से क्या छूटा या अस्पष्ट है: पूर्व-शर्त जाँचें, कार्रवाई के बाद सत्यापन, दर-सीमा, सर्किट ब्रेकर, आइडेम्पोटेंस, रोलबैक, लॉगिंग, सूचना, स्वामी। जिन्हें आप मौजूद मानते हैं उनके लिए पाठ उद्धृत करें। किसी को मानकर न चलें।
जिनके बारे में आप अनिश्चित हैं उनकी सूची दें।

चलने के डेटा की समीक्षा करें।

यह पिछले महीने का लॉग है कि हर स्वचालन कब चला, परिणाम के साथ: [चिपकाएँ]।
स्वचालन के अनुसार चलने की गिनती करें, उन्हें सूचीबद्ध करें जो बढ़ रहे हैं या दिन के एक ही समय पर जमा हैं, और कारण खोजने के प्रश्न सूचीबद्ध करें। कारणों का अनुमान न लगाएँ।
जिनके बारे में आप अनिश्चित हैं उनकी सूची दें।

AI कौशल

  • runbook: स्वचालित करने से पहले प्रक्रिया लिखने और परखने के लिए उपयोग करें।
  • chaos-testing: यथार्थवादी दोषों के विरुद्ध उपचार परखने के लिए उपयोग करें।
  • root-cause-analysis: वे कारण खोजने के लिए उपयोग करें जिन्हें स्वचालन छिपाता है।
  • on-call-rotation: टिकाऊ ऑन-कॉल व्यवस्थाएँ डिज़ाइन करने के लिए उपयोग करें।
  • incident-response-plan: स्वचालन के आसपास भूमिकाएँ और एस्केलेशन परिभाषित करने के लिए उपयोग करें।

प्रमुख स्रोत

  • Betsy Beyer and others (eds.), Site Reliability Engineering (2016), टॉइल हटाने और स्वचालन पर अध्याय, sre.google पर निःशुल्क।
  • Lisanne Bainbridge, "Ironies of Automation" (Automatica, 1983): स्वचालन मानवीय भूमिका को चौंकाने वाले ढंग से क्यों बदलता है।
  • Wikipedia, "Runbook" और "Autonomic computing": दस्तावेज़ और आकांक्षा का अवलोकन।
  • Wikipedia, "Circuit breaker design pattern": बार-बार की विफलता रोकने का पैटर्न।

संदर्भ

  1. Runbook — Wikipedia — https://en.wikipedia.org/wiki/Runbook
  2. Autonomic computing — Wikipedia — https://en.wikipedia.org/wiki/Autonomic_computing
  3. Circuit breaker design pattern — Wikipedia — https://en.wikipedia.org/wiki/Circuit_breaker_design_pattern
  4. Watchdog timer — Wikipedia — https://en.wikipedia.org/wiki/Watchdog_timer
  5. Idempotence — Wikipedia — https://en.wikipedia.org/wiki/Idempotence
  6. Rate limiting — Wikipedia — https://en.wikipedia.org/wiki/Rate_limiting
  7. Failover — Wikipedia — https://en.wikipedia.org/wiki/Failover
  8. Autoscaling — Wikipedia — https://en.wikipedia.org/wiki/Autoscaling
  9. Chaos engineering — Wikipedia — https://en.wikipedia.org/wiki/Chaos_engineering
  10. Hysteresis — Wikipedia — https://en.wikipedia.org/wiki/Hysteresis
  11. Dry run (testing) — Wikipedia — https://en.wikipedia.org/wiki/Dry_run_(testing)
  12. Site Reliability Engineering: How Google Runs Production Systems — Google — https://sre.google/sre-book/table-of-contents/

सेवा प्रबंधन मार्गदर्शिका — एजाइल, AI, स्वचालन और विश्लेषण के साथ सेवा प्रबंधन।

स्रोत और योगदान: github.com/service-management-guide. इसके साथ बनाया गया Lily Design System™.

संचालन Joel Parker Henderson.