डेटा की नींव और गवर्नेंस
अच्छा विश्लेषण और सुरक्षित AI उस सेवा-डेटा पर टिके हैं जो परिभाषित, स्वामित्व वाला, सटीक, अनुरेखणीय, सुरक्षित और केवल उतने समय रखा गया हो जितना ज़रूरी है; डेटा गवर्नेंस हर महत्त्वपूर्ण डेटासेट को नामित स्वामी, सरल परिभाषा, गुणवत्ता जाँच, और पहुँच तथा प्रतिधारण के नियम देता है।
यह क्यों मायने रखता है
विश्लेषण के निराश करने का सबसे आम कारण विधि नहीं है। वह डेटा है। टिकट की श्रेणियाँ पिछले वसंत में बदली गईं और किसी ने दर्ज नहीं किया कब। दो प्रणालियाँ दोनों दावा करती हैं कि उनमें ग्राहक का विभाग है, और असहमत हैं। टाइमस्टैम्प अलग-अलग समय क्षेत्रों में हैं। जो फ़ील्ड पूर्ण लगता है वह आधे रिकॉर्ड में "अन्य" से भरा है। डैशबोर्ड घटनाओं में गिरावट दिखाता है, और कारण बेहतर सेवा नहीं, लॉगिंग में बदलाव निकलता है।
यही समस्याएँ AI को हानि पहुँचाती हैं। ग़लत लेबल वाले टिकटों पर प्रशिक्षित मॉडल लेबल सीखता है। पुराने लेखों पर आधारित सहायक उन्हीं को उद्धृत करता है। अधूरे इतिहास पर बना पूर्वानुमान ख़ाली जगहों को आगे ले जाता है। जैसे-जैसे संगठन विश्लेषण और AI पर झुकते हैं, डेटा की गुणवत्ता, स्वामित्व और सुरक्षा तकनीकी पृष्ठभूमि का विषय नहीं रहते बल्कि स्वयं एक सेवा बन जाते हैं।
डेटा गवर्नेंस डेटा को परिसंपत्ति के रूप में प्रबंधित करने का अभ्यास है: यह तय करना कि कौन ज़िम्मेदार है, हर शब्द का क्या अर्थ है, गुणवत्ता कैसे जाँची जाती है, डेटा कैसे चलता है और कहाँ से आया, कौन उसका उपयोग कर सकता है, और कब हटाया जाता है। Wikipedia डेटा गवर्नेंस (data governance) का वर्णन डेटा की उपलब्धता, उपयोगिता, अखंडता और सुरक्षा के समग्र प्रबंधन के रूप में करता है। यह विषय इसे सेवा प्रबंधन डेटा के लिए व्यावहारिक शब्दों में बताता है, और दिखाता है कि छोटे से कैसे शुरू करें। यह विश्लेषण («विषय 7.1 — सेवा प्रबंधन के लिए विश्लेषण»), मापन («विषय 7.3 — मापन और रिपोर्टिंग»), ऑब्ज़र्वेबिलिटी («विषय 7.4 — ऑब्ज़र्वेबिलिटी और टेलीमेट्री») और AI («विषय 5.6 — AI गवर्नेंस, जोखिम और अनुपालन») का आधार है, और कॉन्फ़िगरेशन डेटा («विषय 4.4 — कॉन्फ़िगरेशन प्रबंधन») से जुड़ता है। यह कोई क़ानूनी सलाह नहीं देता।
मूल अवधारणाएँ
डेटा परिसंपत्ति। संगठन के लिए मूल्यवान डेटासेट, जैसे टिकट का इतिहास, कॉन्फ़िगरेशन डेटाबेस, निगरानी डेटा, सर्वेक्षण परिणाम या लागत डेटा। अन्य परिसंपत्तियों की तरह उसका स्वामी, लागत, जीवनचक्र और जोखिम होते हैं। «विषय 4.1 — परिसंपत्ति प्रबंधन» देखें।
डेटा स्वामी और स्टीवर्ड। डेटा स्वामी डेटासेट के लिए जवाबदेह है: उसका उद्देश्य, गुणवत्ता और कौन उसका उपयोग कर सकता है। डेटा स्टीवर्ड रोज़ उसकी देखभाल करता है, परिभाषाएँ, गुणवत्ता समस्याएँ और पहुँच अनुरोध सँभालता है। Wikipedia डेटा स्टीवर्ड (data stewards) का वर्णन करता है। छोटी टीमों में एक व्यक्ति दोनों भूमिकाएँ निभा सकता है। नामित लोगों के बिना कोई समस्याएँ ठीक नहीं करता।
डेटा परिभाषाएँ और शब्दकोश। हर फ़ील्ड और शब्द का सरल कथन, जैसे "हल" या "बड़ी घटना", कि उसका क्या अर्थ है, उसकी गणना कैसे होती है और स्रोत क्या है। Wikipedia डेटा शब्दकोश (data dictionaries) का वर्णन करता है। परिभाषाएँ दो टीमों को एक ही शब्द अलग चीज़ों के लिए उपयोग करने से रोकती हैं। परिभाषाओं में बदलाव तारीख़ों के साथ दर्ज करें, ताकि रुझानों की व्याख्या हो सके।
मेटाडेटा। डेटा के बारे में डेटा: वह कहाँ से आया, कब अद्यतन हुआ, किसका है, कैसे वर्गीकृत है, और उसका क्या अर्थ है। Wikipedia मेटाडेटा (metadata) का वर्णन करता है। डेटा कैटलॉग डेटासेट और उनके मेटाडेटा की खोज-योग्य सूची है, जो लोगों को डेटा खोजने और उस पर भरोसा करने में मदद करती है।
डेटा गुणवत्ता। उपयोग के लिए उपयुक्तता, जिसे आम तौर पर सटीकता, पूर्णता, एकरूपता, समयबद्धता और विशिष्टता जैसे आयामों से वर्णित किया जाता है। Wikipedia डेटा गुणवत्ता (data quality) का वर्णन करता है। गुणवत्ता उपयोग के सापेक्ष है: मासिक रुझान के लिए पर्याप्त अच्छी टिकट श्रेणी रूटिंग के लिए बहुत मोटी हो सकती है। इसे उन फ़ील्ड पर मापें जो मायने रखते हैं, और कारण स्रोत पर ठीक करें। डेटा क्लीनिंग (data cleansing, जिसका वर्णन Wikipedia पर है) बाद में त्रुटियाँ सुधारती है और उन्हें दोहराने से नहीं रोकती।
ख़राब गुणवत्ता के स्रोत। मुक्त पाठ फ़ील्ड जिन्हें अलग-अलग लोग अलग ढंग से भरते हैं, डिफ़ॉल्ट जो कभी बदले नहीं जाते, श्रेणियाँ जो बिना छँटाई बढ़ती हैं, मैन्युअल प्रविष्टि जो दबाव में छूट जाती है, एकीकरण जो रिकॉर्ड गिरा या दोहरा देते हैं, और प्रणाली बदलाव जो अर्थ बदल देते हैं। इन्हें बेहतर फ़ॉर्म, सत्यापन, प्रशिक्षण और एकीकरण की समीक्षा से ठीक करें, लोगों को दोष देकर नहीं।
वंशावली (लिनिएज) और प्रोवनेंस। इसका रिकॉर्ड कि डेटा कहाँ से आया और रिपोर्ट या मॉडल तक पहुँचने के रास्ते में उसके साथ क्या हुआ। Wikipedia डेटा वंशावली (data lineage) का वर्णन करता है। जब किसी आँकड़े पर प्रश्न उठे, तो वंशावली आपको उसका पता लगाने देती है। यह भी दिखाती है कि स्रोत बदलने पर कौन-सी रिपोर्टें प्रभावित हैं।
डेटा पाइपलाइन और एकीकरण। वे प्रवाह जो प्रणालियों के बीच डेटा ले जाते हैं, जिन्हें Wikipedia के लेख में अक्सर एक्सट्रैक्ट, ट्रांसफ़ॉर्म, लोड (ETL) कहा जाता है, और डेटा वेयरहाउस तथा डेटा लेक जैसे स्टोर, जिनका वर्णन भी Wikipedia करता है। पाइपलाइन को स्वामी, निगरानी और परीक्षण चाहिए, जैसे किसी भी उत्पादन प्रणाली को। «विषय 6.2 — वर्कफ़्लो स्वचालन और ऑर्केस्ट्रेशन» देखें।
समय और पहचान। दो छोटी बातें बड़ी परेशानी पैदा करती हैं। टाइमस्टैम्प को एकरूप समय क्षेत्र और प्रारूप चाहिए, जैसा Wikipedia के टाइमस्टैम्प और समय क्षेत्र पर लेख सुझाते हैं; मिश्रित क्षेत्र रहस्यमय ख़ाली जगहें और उछाल पैदा करते हैं। लोगों, सेवाओं और परिसंपत्तियों के पहचानकर्ता स्थिर और प्रणालियों में साझा होने चाहिए, ताकि रिकॉर्ड जोड़े जा सकें। मास्टर डेटा प्रबंधन (master data management), जिसका वर्णन Wikipedia पर है, ऐसे मूल डेटा को एकरूप रखने का अनुशासन है।
वर्गीकरण। डेटा को संवेदनशीलता के अनुसार लेबल करना, जैसे सार्वजनिक, आंतरिक, गोपनीय और प्रतिबंधित, और हर स्तर पर नियम जोड़ना। Wikipedia डेटा वर्गीकरण (data classification) का वर्णन करता है। सेवा डेटा में अक्सर व्यक्तिगत जानकारी और सुरक्षा ब्योरे होते हैं, जिन्हें सुरक्षा चाहिए।
गोपनीयता और संरक्षण। व्यक्तिगत डेटा पहचाने जा सकने वाले व्यक्ति से संबंधित जानकारी है। यूरोपीय संघ का जनरल डेटा प्रोटेक्शन रेगुलेशन (GDPR) जैसे क़ानून उद्देश्य, न्यूनतमीकरण, प्रतिधारण और व्यक्तियों के अधिकारों के नियम तय करते हैं; Wikipedia व्यक्तिगत डेटा (personal data) और GDPR का वर्णन करता है। डेटा न्यूनतमीकरण, जिसका वर्णन वहीं है, का अर्थ है केवल वही जुटाना और रखना जो आपको चाहिए। छद्मनामीकरण और गुमनामीकरण (pseudonymization, anonymization), जिनका वर्णन Wikipedia पर है, जोखिम घटाते हैं, हालाँकि उन्हें अच्छी तरह करना कठिन है, और कमज़ोर गुमनामीकरण उलटा जा सकता है। क़ानूनी और गोपनीयता सलाह लें।
पहुँच नियंत्रण। कौन किस डेटा को देख या बदल सकता है, और क्यों। जहाँ संभव हो व्यक्तियों के बजाय भूमिकाएँ उपयोग करें, और पहुँच की नियमित समीक्षा करें। «विषय 3.13 — सूचना सुरक्षा प्रबंधन» और «विषय 3.6 — सेवा अनुरोध प्रबंधन» देखें।
प्रतिधारण और हटाना। डेटा कितने समय रखा जाता है और कैसे नष्ट किया जाता है। जो संचालन, विश्लेषण और क़ानूनी दायित्वों के लिए चाहिए वह रखें, और बाक़ी हटाएँ। Wikipedia डेटा प्रतिधारण (data retention) का वर्णन करता है। पुराना डेटा जोखिम और लागत बढ़ाता है, और AI प्रणालियाँ उससे सीख सकती हैं। आप पर लागू क़ानूनी प्रतिधारण आवश्यकताएँ जाँचें।
डेटा संप्रभुता। डेटा उस देश के क़ानूनों के अधीन हो सकता है जहाँ वह संग्रहीत या संसाधित होता है। Wikipedia डेटा संप्रभुता (data sovereignty) का वर्णन करता है। क्लाउड और AI सेवाएँ डेटा को सीमाओं के पार ले जा सकती हैं; जानें कि आपका कहाँ जाता है।
AI में डेटा। प्रशिक्षण, पुनः प्राप्ति या प्रॉम्प्ट के लिए उपयोग किए डेटा को वही गवर्नेंस चाहिए, अतिरिक्त सावधानी के साथ: उपयोग की अनुमति, स्रोत का लेबल, पूर्वाग्रह और विचलन की जाँच, और बाहरी सेवाओं को क्या भेजा जाता है इस पर नियंत्रण। «विषय 5.1 — सेवा प्रबंधन में AI» देखें।
गवर्नेंस मंच और नीति। मानक तय करने, टकराव सुलझाने और डेटा के काम को प्राथमिकता देने का अधिकार रखने वाला छोटा समूह, और स्वामित्व, गुणवत्ता, वर्गीकरण, पहुँच, प्रतिधारण और AI में डेटा के उपयोग को कवर करने वाली छोटी नीति। इसे हल्का और व्यावहारिक रखें।
दृष्टियाँ कैसे फ़िट होती हैं। डेटा गवर्नेंस विश्लेषण और AI दृष्टियों का आधार है, और स्वचालन भी उस पर निर्भर है। एजाइल अभ्यास डेटा की गुणवत्ता को छोटे चरणों में सुधारने का सुझाव देता है, उन प्रश्नों से संचालित जिनके उत्तर लोगों को वास्तव में चाहिए, डेटा उपयोगकर्ताओं की प्रतिक्रिया के साथ।
सर्वोत्तम अभ्यास
- सबसे महत्त्वपूर्ण डेटासेट से शुरू करें। अपने प्रमुख निर्णयों के पीछे का डेटा सूचीबद्ध करें, जैसे टिकट, कॉन्फ़िगरेशन, निगरानी, सर्वेक्षण और लागतें। पहले उन्हें शासित करें।
- हर एक के लिए स्वामी और स्टीवर्ड नामित करें। उन्हें कैटलॉग में संपर्क करने के तरीक़े के साथ दर्ज करें। उन्हें गुणवत्ता और पहुँच के लिए जवाबदेह बनाएँ।
- परिभाषाएँ लिख लें। मुख्य शब्द और फ़ील्ड सरल भाषा में, गणना और स्रोत के साथ परिभाषित करें। दर्ज करें कि परिभाषाएँ कब बदलीं।
- जहाँ मायने रखता है वहाँ गुणवत्ता मापें। निर्णयों को चलाने वाले कुछ फ़ील्ड चुनें, जाँचें परिभाषित करें, और परिणाम स्वामियों को रिपोर्ट करें। समय के साथ उन्हें ट्रैक करें।
- समस्याएँ स्रोत पर ठीक करें। फ़ॉर्म सुधारें, सत्यापन जोड़ें, श्रेणियाँ सरल करें, और एकीकरण ठीक करें। बाद में क्लीनिंग फ़िलहाल का उपाय है।
- समय और पहचानकर्ता मानकीकृत करें। एक समय मानक और प्रारूप उपयोग करें, और लोगों, सेवाओं तथा परिसंपत्तियों के लिए स्थिर, साझा पहचानकर्ता।
- वंशावली रखें। दर्ज करें कि प्रमुख रिपोर्टें और मॉडल अपना डेटा कहाँ से लेते हैं और कौन-से रूपांतरण लागू होते हैं। स्रोत बदलने पर अद्यतन करें।
- वर्गीकृत करें और सुरक्षित रखें। डेटा को संवेदनशीलता के अनुसार लेबल करें, पहुँच नियम और सुरक्षा लागू करें, और समीक्षा करें कि किसके पास पहुँच है। जहाँ व्यक्तिगत डेटा की ज़रूरत नहीं वहाँ उसे हटाएँ।
- प्रतिधारण तय करें और हटाएँ। तय करें कि हर डेटासेट कितने समय रखा जाए, और उसके बाद हटाएँ या गुमनाम करें। जो नियम आप पर लागू हैं उन्हें जाँचें।
- AI द्वारा उपयोग किए डेटा को शासित करें। प्रशिक्षण और पुनः प्राप्ति के लिए उपयोग किए डेटा के स्रोत, अनुमतियाँ और गुणवत्ता दर्ज करें, और नियंत्रित करें कि बाहरी सेवाओं को क्या जाता है।
अपनी टीम के साथ चर्चा के प्रश्न
कौन-से डेटासेट हमारे सबसे महत्त्वपूर्ण निर्णयों को चलाते हैं, और हर एक का स्वामी कौन है? उन्हें सूचीबद्ध करें। स्वामित्व में ख़ाली जगहों की अपेक्षा रखें। फ़ॉलो-अप में शीर्ष तीन के लिए स्वामी और स्टीवर्ड नामित करें।
हम कौन-से शब्द अलग-अलग टीमों में अलग ढंग से उपयोग करते हैं? "हल", "घटना" या "ग्राहक" चुनें। असहमति की अपेक्षा रखें। फ़ॉलो-अप में एक परिभाषा लिखें और यह भी कि कौन तय करता है।
कब किसी परिभाषा या प्रणाली बदलाव ने रुझान तोड़ा, और क्या हमने उस समय ध्यान दिया? उदाहरण माँगें। "बाद में" की अपेक्षा रखें। फ़ॉलो-अप में परिभाषाओं और स्रोतों के लिए परिवर्तन-लॉग पर सहमत हों।
जिन फ़ील्ड पर हम सबसे अधिक निर्भर हैं उन पर हमारा डेटा कितना अच्छा है, और हमें कैसे पता है? श्रेणी जैसा एक फ़ील्ड लें और 50 रिकॉर्ड का नमूना लें। समस्याओं की अपेक्षा रखें। फ़ॉलो-अप में ठीक करने के लिए एक कारण चुनें।
हम सेवा प्रणालियों में कौन-सा व्यक्तिगत या संवेदनशील डेटा रखते हैं, और कितने समय तक? मुख्य प्रणालियों को क्रम से देखें। अटैचमेंट और चैट लॉग के बारे में चौंकाने वाली बातों की अपेक्षा रखें। फ़ॉलो-अप में गोपनीयता अधिकारी को शामिल करें और एक प्रणाली के लिए प्रतिधारण नियम पर सहमत हों।
हम AI उपकरणों को कौन-सा डेटा खिला रहे हैं, और इस पर सहमत किसने किया? उपयोगों की सूची बनाएँ। अपेक्षा रखें कि कुछ अनौपचारिक हैं। फ़ॉलो-अप में इस पर नियम तय करें कि क्या उपयोग हो सकता है और AI डेटा उपयोगों का रजिस्टर बनाएँ।
व्यवहार में: सेवा प्रबंधन का एक उदाहरण
एक राष्ट्रीय पुस्तकालय की डिजिटल सेवा टीम माँग का पूर्वानुमान लगाना और टिकट रूट करने के लिए मॉडल प्रशिक्षित करना चाहती है। एक डेटा विश्लेषक शुरू करता है और पाता है कि टिकट का इतिहास उपयोग करना कठिन है। श्रेणियों के नाम दो बार बदले गए, और "अन्य" श्रेणी में 35 प्रतिशत टिकट हैं। पुराने उपकरण के टाइमस्टैम्प स्थानीय समय में हैं और नए के सार्वभौमिक समय में। HR प्रणाली से लिया गया विभाग फ़ील्ड लगभग 8 प्रतिशत उपयोगकर्ताओं के लिए पहचान प्रणाली वाले से भिन्न है। मासिक रिपोर्ट घटनाओं में एक-चौथाई गिरावट दिखाती है, पर विश्लेषक पाता है कि डुप्लिकेट घटनाओं को मर्ज करने के तरीक़े में बदलाव गिरावट के अधिकांश की व्याख्या करता है।
सेवा प्रमुख टिकट डेटा को शासित परिसंपत्ति मानने का निर्णय लेती हैं। वे स्वयं को डेटा स्वामी और अनुभवी सर्विस डेस्क विश्लेषक को स्टीवर्ड नामित करती हैं। एक पृष्ठ का शब्दकोश उन 12 फ़ील्ड को परिभाषित करता है जो मायने रखते हैं, जिनमें "हल" की परिभाषा और उसके बदलने की तारीख़ शामिल है। टीम पुरानी श्रेणियों को नई से मिलाती है, इतिहास में विच्छेद को लेबल करती है, और ऐसा सत्यापन नियम जोड़ती है जो मुक्त पाठ टिप्पणी के बिना "अन्य" को रोकता है। साप्ताहिक जॉब तीन गुणवत्ता माप जाँचती है: "अन्य" में टिकटों का हिस्सा, छूटे विभाग वाले टिकटों का हिस्सा, और अपेक्षित श्रेणियों से बाहर टाइमस्टैम्प वाले टिकटों का हिस्सा। परिणाम डेस्क के लिए पोस्ट किए जाते हैं।
गोपनीयता अधिकारी डेटासेट की समीक्षा करता है और पाता है कि मुक्त पाठ फ़ील्ड और अटैचमेंट में जनता के सदस्यों के व्यक्तिगत ब्योरे हैं। टीम सहमत होती है कि विश्लेषण की प्रति से अटैचमेंट हटाए जाएँ, मॉडलिंग के लिए उपयोग से पहले पाठ में नाम और ईमेल पते मास्क किए जाएँ, और पुस्तकालय की रिकॉर्ड नीति के अनुरूप सात साल बाद टिकट हटाए जाएँ। एक रजिस्टर टिकट डेटा के हर AI उपयोग और उसके अनुमोदन को सूचीबद्ध करता है।
क्या बदलता है: विश्लेषक पूर्वानुमान को ज्ञात विच्छेद और साफ़ श्रृंखला के साथ बना सकता है, और रूटिंग मॉडल समीक्षित लेबल पर प्रशिक्षित होता है। क्या कठिन रहता है: मुक्त पाठ का मास्किंग अपूर्ण है, और कुछ व्यक्तिगत ब्योरे रह जाते हैं; HR और पहचान प्रणालियाँ अब भी असहमत हैं, और उन प्रणालियों के स्वामी मिलान पर सहमत नहीं हुए हैं; और गुणवत्ता जाँचें थोड़े कर्मचारियों पर निर्भर हैं। सेवा प्रमुख डेटा असहमति मुख्य सूचना अधिकारी के पास उठाती हैं और जाँचों को कॉन्फ़िगरेशन डेटा तक बढ़ाने की योजना बनाती हैं।
चार दृष्टिकोण
उत्पाद और डिलीवरी टीमें
अपने उत्पाद के लॉग, इवेंट और API को एकरूप फ़ील्ड, टाइमस्टैम्प और पहचानकर्ताओं के साथ डिज़ाइन करें, और उन्हें दस्तावेज़ित करें। डेटा उपयोगकर्ताओं को बदलावों के बारे में पहले से बताएँ।
सेवा और संचालन टीमें
डेटा सावधानी और एकरूपता से दर्ज करें, और फ़ॉर्म या श्रेणी की समस्याओं के बारे में स्टीवर्ड को बताएँ। गुणवत्ता जाँचने में मदद करें, और परिभाषा बदलावों का रिकॉर्ड रखें।
नेतृत्व और गवर्नेंस
स्वामी नामित करें, डेटा के काम का वित्तपोषण करें, और निर्णयों के पीछे के डेटा की गुणवत्ता का प्रमाण माँगें। गोपनीयता और AI उपयोग के नियम तय करें। अपरिभाषित शब्दों वाली रिपोर्टें स्वीकार न करें।
ग्राहक और उपयोगकर्ता
आपको पता होना चाहिए कि आपके बारे में कौन-सा डेटा रखा गया है और क्यों, और उसके बारे में पूछ सकें। सटीक जानकारी दें, और रिकॉर्ड ग़लत लगें तो प्रदाता को बताएँ।
एजाइल, AI, स्वचालन और विश्लेषण
एजाइल
डेटा को वास्तविक प्रश्नों से संचालित छोटे चरणों में सुधारें: वह फ़ील्ड ठीक करें जो अगले विश्लेषण को रोकता है। उपयोगकर्ताओं के साथ नियमित रूप से डेटा गुणवत्ता की समीक्षा करें। सावधानी: दिखाई देने वाले परिणामों के बिना बहु-वर्षीय डेटा कार्यक्रम समर्थन खो देता है; छोटे, उपयोगी लाभ दें।
AI
AI गुणवत्ता की समस्याएँ खोजने, डेटा वर्गीकृत करने, परिभाषाएँ सुझाने और व्यक्तिगत ब्योरे मास्क करने में मदद कर सकती है, समीक्षा के अधीन। AI द्वारा उपयोग किए डेटा को अपना गवर्नेंस चाहिए: स्रोत, अनुमति, गुणवत्ता और विचलन की जाँच। सावधानी: AI-आधारित मास्किंग व्यक्तिगत डेटा को चूक सकती है; उसे परखें और संवेदनशील समूहों के लिए मानवीय समीक्षा रखें। «विषय 5.6 — AI गवर्नेंस, जोखिम और अनुपालन» देखें।
स्वचालन
गुणवत्ता जाँचें, वंशावली कैप्चर, वर्गीकरण लेबल, प्रतिधारण नियम और पहुँच समीक्षाएँ स्वचालित करें, अपवादों के लिए स्वामियों के साथ। सावधानी: स्वचालित क्लीनिंग डेटा को चुपचाप बदल सकती है; बदलाव लॉग करें और जहाँ ज़रूरी हो मूल प्रतियाँ रखें। «विषय 6.2 — वर्कफ़्लो स्वचालन और ऑर्केस्ट्रेशन» देखें।
विश्लेषण
प्रमुख फ़ील्ड की गुणवत्ता, पूर्णता, समयबद्धता, स्वामियों और परिभाषाओं वाले डेटासेट का हिस्सा, और डेटा समस्याओं से हुई घटनाएँ मापें। सावधानी: एकल गुणवत्ता स्कोर किसी एक फ़ील्ड के गंभीर दोष छिपा सकता है; फ़ील्ड और उपयोग के अनुसार रिपोर्ट करें। «विषय 7.3 — मापन और रिपोर्टिंग» और सेवा प्रबंधन मेट्रिक्स पुस्तक देखें।
आम विफलता के तरीके
- कोई स्वामी नहीं। समस्याएँ बनी रहती हैं। स्वामी और स्टीवर्ड नामित करें।
- अपरिभाषित शब्द। टीमें संख्याओं पर बहस करती हैं। परिभाषाएँ लिखें और बदलाव दर्ज करें।
- गुणवत्ता एक बार जाँची गई। डेटा घिसता है। प्रमुख फ़ील्ड की निरंतर निगरानी करें।
- समाधान के रूप में क्लीनिंग। त्रुटियाँ दोहराती हैं। स्रोत ठीक करें।
- मिश्रित समय क्षेत्र और पहचानकर्ता। रिकॉर्ड जोड़े या क्रमबद्ध नहीं किए जा सकते। मानकीकृत करें।
- सब कुछ रखना। जोखिम और लागत बढ़ती है। प्रतिधारण तय करें और हटाएँ।
- अशासित AI डेटा उपयोग। संवेदनशील या ख़राब डेटा मॉडलों तक पहुँचता है। उपयोग पंजीकृत करें और समीक्षा करें।
परिपक्वता मॉडल
| आयाम | आरंभ | विकास | मानकीकरण | प्रबंधन | समन्वय |
|---|---|---|---|---|---|
| स्वामित्व और परिभाषाएँ | अज्ञात | मुख्य डेटासेट के स्वामी | स्वामी, स्टीवर्ड, शब्दकोश और कैटलॉग | परिभाषाएँ और बदलाव प्रबंधित | टीमों और साझेदारों में गवर्नेंस समन्वित |
| गुणवत्ता | अज्ञात | आकस्मिक जाँचें | प्रमुख फ़ील्ड नियमित रूप से मापे जाते हैं | गुणवत्ता सुधार स्रोतों तक ट्रैक | स्वचालन से गुणवत्ता का निरंतर आश्वासन |
| सुरक्षा | तदर्थ | बुनियादी पहुँच नियम | वर्गीकरण, पहुँच और प्रतिधारण नियम | अनुपालन की निगरानी और लेखा-परीक्षा | पाइपलाइन और उपकरणों में निर्मित सुरक्षा |
| AI में उपयोग | दर्ज नहीं | जागरूकता | AI डेटा उपयोग के लिए रजिस्टर और नियम | पूर्वाग्रह और विचलन के लिए उपयोग की समीक्षा और परीक्षण | प्रणालियों और आपूर्तिकर्ताओं में AI डेटा शासित |
जाँच-सूची
- हमारे सबसे महत्त्वपूर्ण डेटासेट के नामित स्वामी और स्टीवर्ड हैं।
- प्रमुख शब्द और फ़ील्ड बदलाव की तारीख़ों सहित लिखित रूप में परिभाषित हैं।
- हम उन फ़ील्ड पर गुणवत्ता मापते हैं जो निर्णयों को चलाते हैं।
- हम गुणवत्ता की समस्याएँ स्रोत पर ठीक करते हैं।
- समय क्षेत्र, प्रारूप और पहचानकर्ता मानकीकृत हैं।
- हम जानते हैं कि प्रमुख रिपोर्टें अपना डेटा कहाँ से लेती हैं (वंशावली)।
- डेटा वर्गीकृत है, पहुँच नियंत्रित है, और प्रतिधारण नियम मौजूद हैं।
- रजिस्टर दर्ज करता है कि AI कौन-सा डेटा उपयोग करती है और किसने सहमति दी।
AI प्रॉम्प्ट
डेटासेट की रूपरेखा बनाएँ।
यह फ़ील्ड नामों के साथ डेटासेट का नमूना है, पहचानकर्ता हटाकर: [चिपकाएँ, 50–100 पंक्तियाँ]।
हर फ़ील्ड के लिए प्रतीत होता अर्थ, प्रकार, छूटे या प्लेसहोल्डर मानों का हिस्सा, अजीब मान, और डेटा स्वामी के लिए एक प्रश्न दें। व्यावसायिक निष्कर्ष न निकालें।
जिनके बारे में आप अनिश्चित हैं उनकी सूची दें।
डेटा शब्दकोश प्रविष्टि का मसौदा बनाएँ।
फ़ील्ड: [नाम]। इसके बारे में जो मैं जानता हूँ: [स्रोत, यह कैसे भरा जाता है, कैसे उपयोग होता है]।
इन मदों के साथ शब्दकोश प्रविष्टि का मसौदा बनाएँ: सरल भाषा में परिभाषा, अनुमत मान, इसकी गणना या प्रविष्टि कैसे होती है, स्रोत प्रणाली, स्वामी (केवल अगर कहा गया हो), ज्ञात समस्याएँ, और अंतिम बदलाव की तारीख़ (केवल अगर कही गई हो)। जो मद नहीं दी गई उसे [missing] चिह्नित करें।
जिनके बारे में आप अनिश्चित हैं उनकी सूची दें।
समीक्षा के लिए मुक्त पाठ में व्यक्तिगत डेटा खोजें।
यह टिकट के मुक्त पाठ का नमूना है, जो पहले से आंशिक रूप से मास्क किया गया है: [चिपकाएँ]।
वे मदें सूचीबद्ध करें जो बचे हुए व्यक्तिगत डेटा (नाम, ईमेल, फ़ोन नंबर, पते, पहचानकर्ता) जैसी लगती हैं, सटीक पाठ उद्धृत करते हुए, और उन्हें पकड़ने वाले नियमों की श्रेणियाँ सुझाएँ। अनुमान न लगाएँ कि कोई वास्तविक है या नहीं।
जिनके बारे में आप अनिश्चित हैं उनकी सूची दें।
AI कौशल
- data-governance: डेटा के लिए स्वामित्व, परिभाषाएँ और नियम तय करने के लिए उपयोग करें।
- data-quality: प्रमुख फ़ील्ड पर गुणवत्ता परिभाषित करने और जाँचने के लिए उपयोग करें।
- data-pipeline: डेटा प्रवाह डिज़ाइन और दस्तावेज़ित करने के लिए उपयोग करें।
- legal-data-privacy-compliance: अपने क़ानूनी सलाहकार के लिए गोपनीयता के प्रश्न तैयार करने के लिए उपयोग करें।
- raci-matrix: स्वामित्व और स्टीवर्डशिप सौंपने के लिए उपयोग करें।
प्रमुख स्रोत
- DAMA International, DAMA-DMBOK: Data Management Body of Knowledge: डेटा प्रबंधन और गवर्नेंस पर व्यापक संदर्भ।
- ISO/IEC 25012, data quality model: डेटा गुणवत्ता की विशेषताओं का मानक समूह; वर्तमान संस्करण प्रकाशक से पढ़ें।
- Wikipedia, "Data governance" और "Data quality": अभ्यास और उसके आयामों का अवलोकन।
- Wikipedia, "General Data Protection Regulation": एक महत्त्वपूर्ण क़ानूनी ढाँचे की पृष्ठभूमि (क़ानूनी सलाह नहीं)।
संदर्भ
- Data governance — Wikipedia — https://en.wikipedia.org/wiki/Data_governance
- Data quality — Wikipedia — https://en.wikipedia.org/wiki/Data_quality
- Data steward — Wikipedia — https://en.wikipedia.org/wiki/Data_steward
- Data dictionary — Wikipedia — https://en.wikipedia.org/wiki/Data_dictionary
- Metadata — Wikipedia — https://en.wikipedia.org/wiki/Metadata
- Data lineage — Wikipedia — https://en.wikipedia.org/wiki/Data_lineage
- Data cleansing — Wikipedia — https://en.wikipedia.org/wiki/Data_cleansing
- Master data management — Wikipedia — https://en.wikipedia.org/wiki/Master_data_management
- Data classification — Wikipedia — https://en.wikipedia.org/wiki/Data_classification
- Personal data — Wikipedia — https://en.wikipedia.org/wiki/Personal_data
- General Data Protection Regulation — Wikipedia — https://en.wikipedia.org/wiki/General_Data_Protection_Regulation
- Data retention — Wikipedia — https://en.wikipedia.org/wiki/Data_retention