मापन और रिपोर्टिंग
अच्छा मापन लक्ष्यों से शुरू होता है, कम माप उपयोग करता है जो सटीक परिभाषित हों, हर माप को हेरफेर के विरुद्ध रक्षा-रेखा से जोड़ता है, वितरण और रुझान दिखाता है, और उन लोगों को रिपोर्ट करता है जो कार्रवाई कर सकें; परिभाषाएँ सहयोगी सेवा प्रबंधन मेट्रिक्स पुस्तक में हैं, और यह विषय उनका अच्छी तरह उपयोग करने का तरीक़ा है।
यह क्यों मायने रखता है
सेवा प्रबंधन में हर किसी ने ऐसी रिपोर्ट देखी है जो सटीक थी और बेकार। आँकड़ों के पृष्ठ, ट्रैफ़िक-लाइट सारांश, और यह नोट कि सभी लक्ष्य पूरे हुए। फिर एक सप्ताह की ख़राब सेवा पर ग्राहक की शिकायत, और प्रबंधक का पूछना कि यह कैसे संभव हुआ। रिपोर्ट ने वह मापा जो गिनना आसान था, और लक्ष्य परिणाम का प्रतिनिधि बन गया।
विपरीत विफलता भी उतनी ही वास्तविक है। टीम संख्याओं पर अविश्वास करती है, क्योंकि उनसे लोगों को अनुचित ढंग से परखा गया है, और मापने से ही इनकार कर देती है। तब सुधार राय पर निर्भर होता है, और सबसे ऊँची आवाज़ तय करती है।
रास्ता यह है कि मापन को उद्देश्य वाला शिल्प मानें: यह जानना कि सेवाएँ परिणाम देती हैं या नहीं और कहाँ सुधार करना है। माप लक्ष्यों से चुने जाते हैं, इस तरह परिभाषित किए जाते हैं कि दो लोग उन्हें एक जैसे निकालें, वितरण और रुझान के रूप में पढ़े जाते हैं, और उन तरीक़ों के विरुद्ध जाँचे जाते हैं जिनसे वे भ्रमित कर सकते हैं। यह विषय उस शिल्प का सामान्य शब्दों में वर्णन करता है। यह अलग-अलग मेट्रिक्स की परिभाषा नहीं देता: सहयोगी सेवा प्रबंधन मेट्रिक्स पुस्तक हर एक के लिए परिभाषा, हेरफेर का रास्ता और रक्षा-रेखा देती है, और संख्याओं के लिए वही जगह है। यह विषय विश्लेषण («विषय 7.1 — सेवा प्रबंधन के लिए विश्लेषण»), डेटा की नींव («विषय 7.2 — डेटा की नींव और गवर्नेंस»), सेवा स्तर («विषय 3.7 — सेवा स्तर प्रबंधन») और निरंतर सुधार («विषय 3.15 — निरंतर सुधार») से जुड़ता है।
मूल अवधारणाएँ
माप, मेट्रिक, संकेतक। माप वह मात्रा है जिसे आप देख सकते हैं, जैसे घटनाओं की संख्या। मेट्रिक वह माप है जो उद्देश्य के लिए परिभाषित है, गणना, स्रोत और अवधि के साथ। संकेतक उस चीज़ की स्थिति का संकेत देता है जिसे सीधे देखना कठिन है। Wikipedia प्रदर्शन संकेतकों (performance indicators) का सामान्य वर्णन करता है, जिन्हें अक्सर KPI यानी प्रमुख प्रदर्शन संकेतक कहा जाता है। शब्द ढीले ढंग से उपयोग होते हैं; परिभाषित करें कि आपका क्या अर्थ है।
पहले लक्ष्य। माप केवल लक्ष्य के संबंध में उपयोगी है। लक्ष्य सरल शब्दों में लिखें ("कुछ टूटने पर ग्राहक जल्दी मदद पा सकें"), फिर पूछें कि कौन-सा प्रमाण दिखाएगा कि वह पूरा हो रहा है या नहीं। Wikipedia संतुलित स्कोरकार्ड (balanced scorecard) जैसे दृष्टिकोणों का वर्णन करता है, जो कई परिप्रेक्ष्यों से मापों को लक्ष्यों से जोड़ता है, और उद्देश्य और प्रमुख परिणाम (OKRs) का, जो लक्ष्य को मापनीय परिणामों के साथ जोड़ता है। जो भी उपयोग करें, उन्हें बातचीत के सहायक मानें।
परिणाम, आउटपुट और गतिविधि। परिणाम ग्राहकों और संगठन के लिए बदलाव हैं; आउटपुट वह है जो सेवा उत्पन्न करती है; गतिविधि प्रयास है। केवल गतिविधि मापना, जैसे बंद टिकट, इस बारे में कम कहता है कि कोई बेहतर स्थिति में है या नहीं। परिणाम और अनुभव के माप शामिल करें। «विषय 1.1 — सेवा प्रबंधन» देखें।
अग्रगामी और पश्चगामी संकेतक। पश्चगामी संकेतक बाद में परिणाम रिपोर्ट करते हैं, जैसे ग्राहक संतुष्टि। अग्रगामी संकेतक संकेत देते हैं कि क्या आने वाला है, जैसे बढ़ती बैकलॉग आयु। Wikipedia आर्थिक संकेतकों (economic indicators) के अंतर्गत दोनों का वर्णन करता है। संतुलित समूह में दोनों होते हैं।
सटीक परिभाषाएँ। दो लोग माप की गणना कर पाएँ और वही उत्तर पाएँ। जनसंख्या, आरंभ और अंत के इवेंट, क्या बाहर है, अवधि और डेटा स्रोत परिभाषित करें। "समाधान का समय" को परिभाषा चाहिए कि घड़ी कब शुरू होती, रुकती और विराम लेती है। परिभाषा में बदलाव तारीख़ों के साथ दर्ज करें। «विषय 7.2 — डेटा की नींव और गवर्नेंस» देखें।
औसत, माध्यिकाएँ और प्रतिशतक। औसत को कुछ चरम मान आसानी से विकृत कर देते हैं। माध्यिकाएँ और प्रतिशतक (percentiles, जिनका वर्णन Wikipedia पर है) सामान्य मामला और वह पूँछ दिखाते हैं जो अभागे उपयोगकर्ता अनुभव करते हैं। प्रतिक्रिया और समाधान के समय के लिए प्रतिशतक रिपोर्ट करें, जैसे माध्यिका और 90वाँ प्रतिशतक।
वितरण और रुझान। एक महीने की एकल संख्या विविधता छिपाती है। वितरण, कई अवधियों में रुझान, और सामान्य विविधता का दायरा दिखाएँ। Wikipedia नियंत्रण चार्ट (control charts) और सांख्यिकीय प्रक्रिया नियंत्रण का वर्णन करता है, जो सामान्य विविधता को उन संकेतों से अलग करते हैं कि कुछ बदल गया है। हर लहर पर प्रतिक्रिया न दें।
लक्ष्य और थ्रेशोल्ड। लक्ष्य वह स्तर है जिसकी आप आकांक्षा रखते हैं; थ्रेशोल्ड वह स्तर है जो कार्रवाई ट्रिगर करता है। लक्ष्य आवश्यकता और इसके प्रमाण से आने चाहिए कि क्या प्राप्त किया जा सकता है। प्रमाण के बिना तय किया लक्ष्य हेरफेर या हताशा को आमंत्रित करता है।
गुडहार्ट का नियम और हेरफेर। जब कोई माप लक्ष्य बन जाता है, तो वह अच्छा माप नहीं रहता। Wikipedia गुडहार्ट का नियम (Goodhart's law) और सामाजिक वैज्ञानिक Donald Campbell का संबंधित अवलोकन (Campbell's law) बताता है। लोग प्रोत्साहन के अनुसार ढल जाते हैं। टिकट जल्दी बंद किए जाते हैं, घड़ियाँ रोकी जाती हैं, श्रेणियाँ बदली जाती हैं, कठिन मामलों से बचा जाता है। Wikipedia का विकृत प्रोत्साहन (perverse incentives) पर लेख अनपेक्षित प्रभावों के उदाहरण देता है, जिन्हें कभी-कभी कोबरा प्रभाव कहते हैं। हर मेट्रिक का हेरफेर का रास्ता होता है, और सेवा प्रबंधन मेट्रिक्स पुस्तक उसे रक्षा-रेखा के साथ नाम देती है।
रक्षा-रेखाएँ (गार्डरेल)। दूसरा माप या जाँच जो पहले में हेरफेर से बचाती है। उदाहरण के लिए, गति को गुणवत्ता से जोड़ें (समाधान के समय को पुनः खुलने की दर से), मात्रा को परिणाम से (बंद टिकटों को उपयोगकर्ता संतुष्टि से), और स्वचालित मापों को वास्तविक मामलों की नमूना-समीक्षा से। रक्षा-रेखाओं के बिना माप खिसक जाएगा।
लोगों को मापना। व्यक्तिगत प्रदर्शन के माप, जैसे प्रति एजेंट टिकट, हेरफेर और अनुचितता के लिए विशेष रूप से प्रवण हैं, क्योंकि काम लोगों में अलग होता है और प्रणाली तय करती है कि कोई व्यक्ति क्या प्राप्त कर सकता है। यह मार्गदर्शिका और सहयोगी पुस्तक व्यक्तियों को क्रम देने के विरुद्ध अनुशंसा करती हैं। प्रणाली को समझने के लिए टीम-स्तर के माप उपयोग करें।
बेंचमार्किंग। दूसरों से तुलना, जैसा Wikipedia बेंचमार्किंग (benchmarking) में बताता है, अपेक्षाएँ तय करने में मदद कर सकती है। तुलनाएँ केवल तब वैध हैं जब परिभाषाएँ, काम का मिश्रण और संदर्भ मेल खाएँ। उन तुलनाओं पर संदेह करें जो अंतर अनदेखा करती हैं।
रिपोर्टिंग। रिपोर्टें निर्णयों को सूचित करने के लिए हैं। श्रोता और निर्णय जानें। अच्छी रिपोर्टें लक्ष्य, माप, रुझान, व्याख्या और कार्रवाई बताती हैं। ऐसा दृश्य डिज़ाइन उपयोग करें जो संदेश स्पष्ट करे। Wikipedia डेटा और सूचना दृश्यांकन (data and information visualization) और डैशबोर्ड का वर्णन करता है। कई के बजाय कम, स्पष्ट दृश्य बेहतर सेवा करते हैं।
डिलीवरी के माप। सॉफ़्टवेयर डिलीवरी पर शोध कार्यक्रम, जैसे DORA, चार माप उपयोग करते हैं जिन्हें अक्सर चार प्रमुख मेट्रिक्स कहा जाता है: डिप्लॉयमेंट की आवृत्ति, परिवर्तनों का लीड टाइम, परिवर्तन विफलता दर, और सेवा पुनर्स्थापना का समय। वे डिलीवरी प्रणाली के बारे में उपयोगी प्रश्न हैं। वे टीमों को क्रम देने के स्कोर नहीं हैं। «विषय 2.2 — सतत डिलीवरी» देखें।
अनुभव के माप। सर्वेक्षण, संतुष्टि स्कोर और नेट प्रमोटर स्कोर (net promoter score, जिसका वर्णन Wikipedia पर है) उपयोगकर्ताओं से पूछते हैं कि वे क्या सोचते हैं। उनकी अपनी सीमाएँ हैं, जैसे कौन उत्तर देता है और प्रश्न कैसे शब्दबद्ध हैं। «विषय 7.7 — अनुभव और भावना विश्लेषण» देखें।
पारदर्शिता और भरोसा। लोग उन मापों पर भरोसा करते हैं जिन्हें वे समझते हैं, जिन्हें परिभाषित करने में मदद करते हैं, और जिनका निष्पक्ष उपयोग देखते हैं। परिभाषाएँ, डेटा, और परिणामों का उपयोग कैसे होता है, साझा करें। स्पष्ट कहें कि माप सीखने के लिए हैं।
दृष्टियाँ कैसे फ़िट होती हैं। मापन वह जगह है जहाँ विश्लेषण गवर्नेंस और सुधार से मिलता है। एजाइल अभ्यास यह जाँचने के लिए कुछ माप उपयोग करता है कि बदलाव ने मदद की या नहीं। AI समीक्षा के अधीन गणना और मसौदे में मदद कर सकती है, और स्वयं उसे गुणवत्ता के माप चाहिए। स्वचालन उपकरणों से माप उत्पन्न करता है।
सर्वोत्तम अभ्यास
- लक्ष्यों से शुरू करें। लिखें कि सेवा किसलिए है और सफलता कैसी दिखती है, फिर वे माप चुनें जो दिखाएँ कि आप वहाँ पहुँच रहे हैं या नहीं। जो माप किसी लक्ष्य की सेवा नहीं करते उन्हें छोड़ें।
- समूह छोटा रखें। हर सेवा के लिए मुट्ठी भर माप चुनें, जो परिणाम, प्रवाह, गुणवत्ता और अनुभव कवर करें। समूह की समीक्षा कम से कम सालाना करें।
- हर मेट्रिक को सटीक परिभाषित करें। परिभाषा, स्रोत, गणना, अवधि, बहिष्करण, स्वामी और ज्ञात सीमाएँ लिखें। सेवा प्रबंधन मेट्रिक्स पुस्तक की परिभाषाएँ शुरुआती बिंदु के रूप में उपयोग करें।
- हेरफेर का रास्ता नामित करें और रक्षा-रेखा जोड़ें। हर एक के लिए पूछें कि सेवा सुधारे बिना उसे कैसे बेहतर दिखाया जा सकता है, और उसे जाँच के साथ जोड़ें। वास्तविक मामलों का नियमित नमूना लें।
- वितरण और रुझान दिखाएँ। माध्यिकाएँ और प्रतिशतक, सामान्य विविधता का दायरा, और कई अवधियाँ रिपोर्ट करें। बदलावों की व्याख्या करें, और संकेत को शोर से अलग करें।
- प्रमाण से लक्ष्य तय करें। उन्हें इतिहास, आवश्यकता और क्षमता पर आधारित करें, और उन लोगों के साथ सहमत हों जिन्हें उन्हें पूरा करना है। परिस्थितियाँ बदलने पर समीक्षा करें।
- प्रणालियों को मापें, व्यक्तियों को नहीं। प्रणाली समझने के लिए टीम-स्तर और सेवा-स्तर के माप उपयोग करें। उन पर लोगों को क्रम न दें।
- निर्णय के लिए रिपोर्ट करें। हर रिपोर्ट के लिए श्रोता और निर्णय का नाम लें। निष्कर्ष, विश्वास और प्रस्तावित कार्रवाई बताएँ। जिन रिपोर्टों को कोई उपयोग नहीं करता उन्हें सेवानिवृत्त करें।
- खुले रहें। परिभाषाएँ और परिणाम उन्हें प्रकाशित करें जिन्हें मापा जाता है, और चुनौती आमंत्रित करें। लोगों को बताएँ कि डेटा का उपयोग कैसे होगा और कैसे नहीं।
- समीक्षा करें और सेवानिवृत्त करें। जाँचें कि हर माप ने कोई निर्णय बदला या नहीं। जिन्होंने नहीं बदला उन्हें हटाएँ, और जिनमें हेरफेर हुआ उन्हें ठीक करें।
अपनी टीम के साथ चर्चा के प्रश्न
हमारे कौन-से माप किसी ग्राहक को बेहतर स्थिति में लाए बिना पूरे किए जा सकते हैं? यह हेरफेर के रास्ते खोजता है। कुछ आसान उदाहरणों की अपेक्षा रखें। फ़ॉलो-अप में एक चुनें और रक्षा-रेखा पर सहमत हों।
हमारे नियमित मापों में से हर एक किस लक्ष्य की सेवा करता है, और उसके कारण कौन कुछ तय करता है? रिपोर्ट को क्रम से देखें। ऐसे कई मापों की अपेक्षा रखें जिनका कोई लक्ष्य और कोई निर्णय नहीं। फ़ॉलो-अप में एक हटाएँ।
हम "हल" और "प्रतिक्रिया समय" को कैसे परिभाषित करते हैं, और क्या किसी ने परिभाषा बदली है? लिखित परिभाषाएँ माँगें। असहमति की अपेक्षा रखें। फ़ॉलो-अप में एक परिभाषा लिखें और उसका इतिहास दर्ज करें।
हमारे प्रतिशतक क्या कहते हैं जो हमारे औसत छिपाते हैं? एक माप के लिए दोनों निकालें। लंबी पूँछ की अपेक्षा रखें। फ़ॉलो-अप में उसके लिए प्रतिशतक रिपोर्ट करने पर सहमत हों।
यहाँ व्यक्तियों या टीमों को परखने के लिए मापों का उपयोग कैसे होता है, और यह व्यवहार का क्या करता है? खुलकर चर्चा करें। हेरफेर और भय की कहानियों की अपेक्षा रखें। फ़ॉलो-अप में सहमत हों कि किसी माप का उपयोग सीखने के लिए होगा, और इसे लिखित में कहें।
AI मापों की गणना या व्याख्या में कैसे मदद कर सकती है, और हम उसे कैसे जाँचेंगे? AI गणना कर सकती है और टिप्पणी के मसौदे बना सकती है। वह गढ़े हुए कारण से रुझान भी समझा सकती है। पूछें कि कौन जाँचता है। फ़ॉलो-अप में गणना हाथ से दोहराएँ और तुलना करें।
व्यवहार में: सेवा प्रबंधन का एक उदाहरण
एक क्षेत्रीय एम्बुलेंस सेवा का IT विभाग अपने बोर्ड को 24 मापों पर मासिक रिपोर्ट करता है। बोर्ड पूछता है कि रिपोर्ट हरी क्यों है जबकि डिस्पैचर शिकायत करते हैं कि पाली की शुरुआत पर कंप्यूटर-सहायता प्राप्त डिस्पैच प्रणाली धीमी है। IT प्रमुख उन लोगों के साथ मापन समूह को दोबारा बनाने का निर्णय लेती हैं जो उसका उपयोग करते हैं।
वे डिस्पैच नेताओं के साथ सहमत लक्ष्यों से शुरू करती हैं: डिस्पैचर बिना देरी कॉल खोल और अद्यतन कर सकें; दोष जल्दी ठीक हों; और परिवर्तन संचालन को बाधित न करें। वे आठ माप चुनती हैं, हर एक सहयोगी सेवा प्रबंधन मेट्रिक्स पुस्तक पर आधारित एक पृष्ठ की प्रविष्टि में परिभाषित। "डिस्पैचर लेन-देन समय" के लिए परिभाषा बताती है कि क्या मापा जाता है, कहाँ से, और कि 95वाँ प्रतिशतक दिन के घंटे के अनुसार रिपोर्ट होता है। पुराना उपलब्धता माप, जो डेटा सेंटर से पाँच मिनट के अंतराल पर पिंग से मापा जाता था, रखा गया है पर अकेले बोर्ड को नहीं दिखाया जाता।
हर माप के लिए टीम हेरफेर का रास्ता और रक्षा-रेखा लिखती है। "लक्ष्य के भीतर हल की गई घटनाएँ" को पुनः खुलने की दर और वरिष्ठ विश्लेषक द्वारा पढ़ी गई 30 घटनाओं के मासिक नमूने से जोड़ा गया है; टीम पहचानती है कि घटनाओं को जल्दी बंद करना और बाद में फिर खोलना पहले माप को अच्छा दिखाएगा। बोर्ड रिपोर्ट 12 महीनों में सामान्य विविधता के दायरे के साथ माध्यिकाएँ और 95वें प्रतिशतक दिखाती है, और इस पर संक्षिप्त नोट कि क्या बदला और टीम क्या करेगी।
पहली रिपोर्ट दिखाती है कि 95वाँ प्रतिशतक लेन-देन समय 06:30 और 07:30 के बीच दोगुना हो जाता है, और बोर्ड क्षमता अध्ययन का वित्तपोषण करता है। 40 डिस्पैचरों से मासिक पूछा जाने वाला संतुष्टि प्रश्न अनुभव का दृश्य जोड़ता है। IT प्रमुख लिखित में यह भी कहती हैं कि किसी माप का उपयोग व्यक्तिगत विश्लेषकों को क्रम देने के लिए नहीं होगा।
क्या बदलता है: बोर्ड वास्तविक समस्या पर चर्चा करता है, और टीम परिभाषाओं पर बहस करना बंद कर देती है। क्या कठिन रहता है: नया लेन-देन माप एक लॉग फ़ील्ड पर निर्भर है जिसे दो विक्रेता अलग ढंग से दर्ज करते हैं, इसलिए डेटा अनुमानित है; रात की पालियों में सर्वेक्षण की प्रतिक्रिया दर कम है; और एक वरिष्ठ प्रबंधक अब भी बोर्ड के लिए एकल स्कोर चाहते हैं। IT प्रमुख आठों माप रखती हैं और प्रबंधक को दिखाती हैं कि एकल स्कोर सुबह की समस्या को कैसे छिपा देगा।
चार दृष्टिकोण
उत्पाद और डिलीवरी टीमें
मापन को उत्पाद में निर्मित करें: इवेंट, समय-मापन और उपयोगकर्ता-सामने के संकेतक। टीमों की तुलना के लिए नहीं, रुकावटें खोजने के लिए डिलीवरी के माप उपयोग करें। संचालन के साथ परिभाषाएँ साझा करें।
सेवा और संचालन टीमें
जानें कि क्या और कैसे मापा जाता है, और उसे सेवा की अपनी समझ से जाँचें। हेरफेर और ख़राब परिभाषाओं की ईमानदारी से रिपोर्ट करें। देखने के लिए माप उपयोग करें कि कहाँ सुधार करना है।
नेतृत्व और गवर्नेंस
हरे सारांश नहीं, लक्ष्य, परिभाषाएँ, वितरण और रक्षा-रेखाएँ माँगें। मापों से लोगों को क्रम न दें। डेटा के काम का वित्तपोषण करें और बुरी ख़बर सुनने के लिए तैयार रहें।
ग्राहक और उपयोगकर्ता
आपसे पूछा जाना चाहिए कि क्या मायने रखता है, आपके अनुभव को दर्शाने वाले माप दिखने चाहिए, और सुनना चाहिए कि उनके कारण क्या बदल रहा है। जब संख्याएँ आपके देखे से मेल न खाएँ तो प्रदाता को बताएँ।
एजाइल, AI, स्वचालन और विश्लेषण
एजाइल
हर बदलाव को जाँचने के लिए कुछ माप उपयोग करें, अपेक्षा और तारीख़ के साथ, और हितधारकों के साथ समीक्षा करें। जो माप अब सूचित नहीं करते उन्हें सेवानिवृत्त करें। सावधानी: मापों को टीमों के लक्ष्य न बनने दें; वे संख्या का अनुकूलन करेंगी।
AI
AI गणना, चार्ट और टिप्पणी के मसौदे में मदद कर सकती है, और AI प्रणालियों को स्वयं सटीकता, त्रुटियों और लागत के माप चाहिए। सावधानी: संख्या क्यों बदली इसकी AI व्याख्या गढ़ी हुई हो सकती है; उससे डेटा की ओर इशारा करवाएँ और जाँचें। «विषय 5.1 — सेवा प्रबंधन में AI» देखें।
स्वचालन
संग्रह और गणना को परिभाषाओं के दस्तावेज़ीकरण और परिवर्तन-लॉग के साथ स्वचालित करें। सावधानी: स्वचालित रिपोर्ट अपनी परिभाषा के चुपचाप टूटने के बाद भी वर्षों चल सकती है; कच्चे डेटा से नियमित रूप से सत्यापित करें। «विषय 6.1 — स्वचालन रणनीति» देखें।
विश्लेषण
मेट्रिक्स जाँचने के लिए वितरण, रुझान और विविधता की विधियाँ, और वास्तविक मामलों का नमूना उपयोग करें। सावधानी: जब कोई माप मायने रखने लगे तो उसमें हेरफेर हो सकता है; मापों को जोड़ें और मामले पढ़ते रहें। सेवा प्रबंधन मेट्रिक्स पुस्तक और «विषय 7.1 — सेवा प्रबंधन के लिए विश्लेषण» देखें।
आम विफलता के तरीके
- हरी रिपोर्टें, असंतुष्ट ग्राहक। माप परिणाम चूकते हैं। परिणाम और अनुभव के माप और नमूना जोड़ें।
- बहुत अधिक माप। कोई उनका उपयोग नहीं कर सकता। लक्ष्यों से जुड़े कुछ रखें।
- अस्पष्ट परिभाषाएँ। संख्याओं की तुलना नहीं हो सकती। सटीक परिभाषित करें और बदलाव दर्ज करें।
- औसत। पूँछ छिप जाती है। प्रतिशतक और वितरण रिपोर्ट करें।
- प्रमाण के बिना लक्ष्य। हेरफेर या हताशा आती है। लक्ष्य डेटा पर आधारित करें और सहमत हों।
- व्यक्तियों को क्रम देना। भरोसा टूटता है और संख्याओं में हेरफेर होता है। प्रणालियों और टीमों को मापें।
- रक्षा-रेखाएँ नहीं। माप खिसकते हैं। हर एक को जाँच से जोड़ें और मामलों का नमूना लें।
परिपक्वता मॉडल
| आयाम | आरंभ | विकास | मानकीकरण | प्रबंधन | समन्वय |
|---|---|---|---|---|---|
| लक्ष्य और चयन | जो गिनना आसान हो | कुछ लक्ष्य-जुड़े माप | हर सेवा के लिए लक्ष्यों से जुड़ा छोटा समूह | निर्णयों के विरुद्ध समूह की समीक्षा | सेवाओं और साझेदारों में माप संरेखित |
| परिभाषा और गुणवत्ता | अनौपचारिक | कुछ परिभाषाएँ | स्वामियों और परिवर्तन इतिहास के साथ सटीक परिभाषाएँ | कच्चे डेटा से परिभाषाएँ सत्यापित | टीमों में परिभाषाएँ साझा और स्वचालित |
| हेरफेर से बचाव | कोई नहीं | जागरूकता | हर मेट्रिक के लिए हेरफेर का रास्ता और रक्षा-रेखा | वास्तविक मामलों के नमूनों की समीक्षा | बचाव रिपोर्टिंग और संस्कृति में निर्मित |
| रिपोर्टिंग और उपयोग | स्थिर रिपोर्टें | डैशबोर्ड | रुझानों और वितरण के साथ नामित निर्णयों के लिए रिपोर्टें | उपयोग और प्रभाव ट्रैक | नियोजन और सुधार के साथ रिपोर्टिंग एकीकृत |
जाँच-सूची
- हर माप लिखित लक्ष्य की सेवा करता है।
- हर मेट्रिक की सटीक परिभाषा, स्वामी, स्रोत और परिवर्तन इतिहास है।
- हम रुझानों के साथ माध्यिकाएँ और प्रतिशतक रिपोर्ट करते हैं।
- हर मेट्रिक का नामित हेरफेर का रास्ता और रक्षा-रेखा है।
- हम परिणाम और अनुभव के माप शामिल करते हैं।
- हम मापों पर व्यक्तियों को क्रम नहीं देते।
- हर रिपोर्ट अपने श्रोता और जिस निर्णय का समर्थन करती है उसका नाम लेती है।
- हम उन मापों की समीक्षा करते और उन्हें सेवानिवृत्त करते हैं जो अब निर्णय नहीं बदलते।
AI प्रॉम्प्ट
समीक्षा के लिए मेट्रिक की परिभाषा लिखें।
मेट्रिक का नाम: [नाम]। हम क्या जानना चाहते हैं: [सरल शब्दों में लक्ष्य]। हमारे पास डेटा: [फ़ील्ड और स्रोत]।
इन मदों के साथ परिभाषा का मसौदा बनाएँ: उद्देश्य, जनसंख्या, आरंभ और अंत के इवेंट, बहिष्करण, गणना, अवधि, स्रोत, स्वामी (ख़ाली छोड़ें), और ज्ञात सीमाएँ। फिर मेट्रिक में हेरफेर के दो तरीक़े और हर एक के लिए एक रक्षा-रेखा सूचीबद्ध करें। हर मान्यता चिह्नित करें।
जिनके बारे में आप अनिश्चित हैं उनकी सूची दें।
रिपोर्ट को आम समस्याओं के लिए जाँचें।
यह मासिक रिपोर्ट है, इसके मापों और संक्षिप्त टिप्पणी के साथ: [चिपकाएँ]।
बिना कहे लक्ष्य वाले माप, जहाँ प्रतिशतक मदद करते वहाँ औसत का उपयोग, ऐसे कारण के दावे जिनका डेटा समर्थन नहीं करता, ऐसी तुलनाएँ जो समान से समान न हों, और जिसमें हेरफेर हो सकता है वह सब सूचीबद्ध करें। हर एक के लिए पाठ उद्धृत करें। रिपोर्ट दोबारा न लिखें।
जिनके बारे में आप अनिश्चित हैं उनकी सूची दें।
माप में बदलाव की व्याख्या करें।
माप [नाम] [मान] से [मान] में बदला। उसी अवधि के अन्य तथ्य ये हैं: [चिपकाएँ, जैसे उपकरणों, स्टाफ़, मात्राओं, परिभाषाओं में बदलाव]।
संभावित व्याख्याएँ परिकल्पनाओं के रूप में, हर एक को कौन-सा डेटा परखेगा, और कौन-सी दिए गए तथ्यों से समर्थित नहीं हैं, सूचीबद्ध करें। कारण को तथ्य की तरह न बताएँ।
जिनके बारे में आप अनिश्चित हैं उनकी सूची दें।
AI कौशल
- software-engineering-metrics: जोखिमों के साथ डिलीवरी के माप परिभाषित करने के लिए उपयोग करें।
- key-risk-indicators: पूर्व-चेतावनी संकेतक चुनने के लिए उपयोग करें।
- statistical-analysis: विविधता और अनिश्चितता का विश्लेषण करने के लिए उपयोग करें।
- survey-design: पूर्वाग्रह से बचने वाले अनुभव के माप डिज़ाइन करने के लिए उपयोग करें।
- trend-analysis: समय के साथ बदलाव जाँचने के लिए उपयोग करें।
प्रमुख स्रोत
- सहयोगी सेवा प्रबंधन मेट्रिक्स पुस्तक: मेट्रिक की परिभाषाएँ, हेरफेर के रास्ते और रक्षा-रेखाएँ, जिनकी ओर यह विषय पूरे समय इशारा करता है।
- Nicole Forsgren, Jez Humble, and Gene Kim, Accelerate (2018), और DORA (dora.dev): डिलीवरी के मापों पर शोध।
- Donald J. Wheeler, Understanding Variation (1993): मापों में संकेत और शोर का स्पष्ट वृत्तांत।
- Wikipedia, "Goodhart's law" और "Performance indicator": मुख्य विचारों का अवलोकन।
संदर्भ
- Performance indicator — Wikipedia — https://en.wikipedia.org/wiki/Performance_indicator
- Balanced scorecard — Wikipedia — https://en.wikipedia.org/wiki/Balanced_scorecard
- Objectives and key results — Wikipedia — https://en.wikipedia.org/wiki/Objectives_and_key_results
- Goodhart's law — Wikipedia — https://en.wikipedia.org/wiki/Goodhart%27s_law
- Campbell's law — Wikipedia — https://en.wikipedia.org/wiki/Campbell%27s_law
- Perverse incentive — Wikipedia — https://en.wikipedia.org/wiki/Perverse_incentive
- Economic indicator — Wikipedia — https://en.wikipedia.org/wiki/Economic_indicator
- Control chart — Wikipedia — https://en.wikipedia.org/wiki/Control_chart
- Percentile — Wikipedia — https://en.wikipedia.org/wiki/Percentile
- Benchmarking — Wikipedia — https://en.wikipedia.org/wiki/Benchmarking
- Data and information visualization — Wikipedia — https://en.wikipedia.org/wiki/Data_and_information_visualization
- Net promoter score — Wikipedia — https://en.wikipedia.org/wiki/Net_promoter_score