एजेंटिक AI और मानवीय निगरानी
जो AI एजेंट केवल प्रश्नों के उत्तर देने के बजाय प्रणालियों पर कार्रवाई करते हैं, उन्हें परिभाषित दायरा, न्यूनतम-विशेषाधिकार अनुमतियाँ, परिणामकारी कार्रवाइयों के लिए अनुमोदन-द्वार, पूर्ण ऑडिट ट्रेल और उन्हें रोकने का परखा हुआ तरीक़ा चाहिए; स्वायत्तता छोटे, प्रमाण-आधारित चरणों में दी जानी चाहिए, और जवाबदेही एक नामित व्यक्ति के पास रहती है।
यह क्यों मायने रखता है
सेवा प्रबंधन में AI के अब तक के अधिकांश उपयोग सलाहकारी हैं। मॉडल टिकट पढ़कर श्रेणी सुझाता है, या उत्तर का मसौदा बनाता है जिसे कोई व्यक्ति संपादित करता है। अगर सुझाव ग़लत हो, तो कुछ होने से पहले कोई मनुष्य ध्यान दे लेता है। AI एजेंट इसे बदल देता है। उसे उपकरण दिए जाते हैं: वह प्रणालियों से क्वेरी कर सकता है, रिकॉर्ड अद्यतन कर सकता है, कमांड चला सकता है, टिकट खोल और बंद कर सकता है, और संदेश भेज सकता है। वह किसी लक्ष्य की ओर चरणों की योजना बनाता है और उन्हें पूरा करता है, अक्सर निर्देश और परिणाम के बीच बहुत कम मानवीय भागीदारी के साथ।
यह वास्तविक मूल्य का वादा करता है। एजेंट लॉग खींचकर, हाल के परिवर्तन जाँचकर और सारांश पोस्ट करके किसी अलर्ट की जाँच कर सकता है। वह किसी नियमित अनुरोध को शुरू से अंत तक संसाधित कर सकता है: पात्रता सत्यापित करना, खाता बनाना, उपयोगकर्ता को सूचित करना। वह समाधान का मसौदा बनाकर पुल रिक्वेस्ट खोल सकता है। अच्छी तरह किया जाए तो वह व्यस्त लोगों से नियमित काम ले लेता है और किसी भी घंटे काम करता है।
यह जोखिम का स्वरूप भी बदल देता है। ग़लत उत्तर एक असुविधा है। ग़लत कार्रवाई डेटा मिटा सकती है, ग़लत व्यक्ति को पहुँच दे सकती है, सेवा गिरा सकती है, या दस हज़ार ग्राहकों को संदेश भेज सकती है। जो गति एजेंटों को उपयोगी बनाती है, वही उनकी ग़लतियों को तेज़ी से फैलाती है। और एजेंट हमले के संपर्क में हैं: टिकट या वेब पेज में छिपा शत्रुतापूर्ण निर्देश कार्रवाई की शक्ति वाले एजेंट को भटका सकता है।
यह विषय सेवा प्रबंधन में एजेंटों के सुरक्षित उपयोग के मुख्य विचार रखता है: दायरा, अनुमतियाँ, अनुमोदन, ऑडिट और रोकना। यह «विषय 5.1 — सेवा प्रबंधन में AI» और «विषय 5.6 — AI गवर्नेंस, जोखिम और अनुपालन» पर बना है, और स्वचालन («विषय 6.1 — स्वचालन रणनीति» और «विषय 6.6 — रनबुक स्वचालन और स्वतः-उपचार»), परिवर्तन सक्षमीकरण («विषय 3.4 — परिवर्तन सक्षमीकरण») तथा सूचना सुरक्षा («विषय 3.13 — सूचना सुरक्षा प्रबंधन») से जुड़ता है।
मूल अवधारणाएँ
AI एजेंट। ऐसी प्रणाली जो अपने परिवेश को देखती है, निर्णय लेती है और लक्ष्य पाने के लिए कार्रवाइयाँ करती है। Wikipedia बुद्धिमान एजेंट (intelligent agents) और AI एजेंट (AI agents) का वर्णन करता है। वर्तमान अभ्यास में एजेंट आम तौर पर भाषा मॉडल को उपकरणों और एक लूप के साथ जोड़ता है: मॉडल तय करता है कि आगे क्या करना है, उपकरण को कॉल करता है, परिणाम पढ़ता है, और तब तक चलता है जब तक वह तय न कर ले कि हो गया या सीमा न आ जाए।
उपकरण और अनुमतियाँ। वे कार्रवाइयाँ जो एजेंट कर सकता है, जैसे ज्ञान आधार पढ़ना, निगरानी से क्वेरी करना, टिकट बनाना या सेवा पुनः आरंभ करना। उपकरण अक्सर एप्लिकेशन प्रोग्रामिंग इंटरफ़ेस (API) के रूप में उपलब्ध कराए जाते हैं। Wikipedia API का वर्णन करता है। मॉडलों को उपकरणों से जोड़ने के खुले प्रोटोकॉल, जैसे Model Context Protocol, जिसका वर्णन Wikipedia पर है, उपकरण जोड़ना आसान बनाते हैं, जो उपयोगी है और एजेंट जो कर सकता है उसे भी चौड़ा करता है। हर उपकरण का अपना जोखिम है।
स्वायत्तता के स्तर। नियंत्रण के बारे में सोचने का उपयोगी तरीक़ा स्तरों का है, शून्य से पूर्ण तक। एक छोर पर एजेंट केवल सुझाता है। फिर वह अनुमोदन के लिए कार्रवाई तैयार करता है। फिर वह संकीर्ण सीमाओं में अकेले कार्य करता है और रिपोर्ट करता है। दूसरे छोर पर वह बिना समीक्षा के व्यापक रूप से कार्य करता है। Wikipedia का पर्यवेक्षी नियंत्रण (supervisory control) पर लेख स्वचालित प्रणालियों के मानवीय पर्यवेक्षण के विचार का वर्णन करता है। हर कार्य के लिए स्तर चुनें, त्रुटि की लागत और उसे पलट पाने की क्षमता के आधार पर।
मानवीय निगरानी। कोई व्यक्ति एजेंट को समझने, अनुमोदित करने, रोकने या सुधारने में सक्षम रहता है। Wikipedia मानव-सहभागी प्रणालियों (human-in-the-loop) का वर्णन करता है। निगरानी कई रूप लेती है: कार्रवाइयों के होने से पहले अनुमोदन, होते समय निगरानी, और बाद में समीक्षा। सही रूप गति और जोखिम पर निर्भर है। अपरिवर्तनीय कार्रवाई के लिए बाद की समीक्षा किसी काम की नहीं।
स्वचालन पूर्वाग्रह और रबर-स्टैंपिंग। लोग वह अनुमोदित करने की ओर झुकते हैं जो प्रणाली प्रस्तावित करती है, विशेषकर जब अनुमोदन बार-बार और एक जैसे दिखने वाले हों। Wikipedia स्वचालन पूर्वाग्रह (automation bias) का वर्णन करता है। जिस नियंत्रण को लोग बिना पढ़े अनुमोदित करते हैं वह नियंत्रण नहीं है। अनुमोदन ऐसे डिज़ाइन करें कि वे दिखाएँ क्या होगा, इतने कम हों कि पढ़े जाएँ, और नमूने से जाँचे जाएँ।
न्यूनतम विशेषाधिकार। एजेंट के पास केवल वही अनुमतियाँ हों जो उसके कार्य को चाहिए, और केवल उतने समय के लिए जितना चाहिए। Wikipedia न्यूनतम विशेषाधिकार का सिद्धांत (principle of least privilege) का वर्णन करता है। एजेंटों के लिए अलग पहचानें उपयोग करें, साझा एडमिनिस्ट्रेटर खाता नहीं, ताकि कार्रवाइयों का पता लगाया और अनुमतियाँ सीमित की जा सकें।
कन्फ़्यूज़्ड डेप्युटी। एक सुरक्षा समस्या जिसमें किसी विश्वसनीय प्रोग्राम को चकमा देकर उसके अधिकार का उपयोग ऐसे व्यक्ति की ओर से करा लिया जाता है जिसके पास वह अधिकार नहीं। Wikipedia कन्फ़्यूज़्ड डेप्युटी समस्या (confused deputy problem) का वर्णन करता है। जो एजेंट ऊँचे विशेषाधिकार से कार्य कर सकता है और कम-विश्वास वाले पाठ, जैसे उपयोगकर्ता के संदेश, से निर्देश लेता है, वह इसका क्लासिक उदाहरण है।
प्रॉम्प्ट इंजेक्शन। एजेंट जो सामग्री पढ़ता है, जैसे टिकट, ईमेल, वेब पेज या लॉग पंक्ति, उसमें छिपे शत्रुतापूर्ण निर्देश। Wikipedia प्रॉम्प्ट इंजेक्शन (prompt injection) का वर्णन करता है। क्योंकि मॉडल निर्देशों और डेटा में भरोसेमंद ढंग से भेद नहीं कर सकता, कोई सामग्री-स्रोत एजेंट को मोड़ने की कोशिश कर सकता है। बचाव मुख्यतः एजेंट जो कर सकता है उसे सीमित करने पर टिका है, मॉडल को बुरे पाठ की अनदेखी के लिए मनाने पर नहीं।
सैंडबॉक्सिंग। एजेंटों को सीमित वातावरण में चलाना, प्रणालियों और डेटा तक सीमित पहुँच के साथ। Wikipedia कंप्यूटर सुरक्षा में सैंडबॉक्स (sandboxes) का वर्णन करता है। एजेंट को उत्पादन में काम करने से पहले परीक्षण वातावरण में कार्रवाइयाँ आज़माने दें।
पलटने की क्षमता। ऐसी कार्रवाइयों को प्राथमिकता दें जिन्हें पलटा जा सके: टिकट बनाना, लेबल जोड़ना, परिवर्तन प्रस्तावित करना। अपरिवर्तनीय कार्रवाइयों, जैसे हटाना, भुगतान और बाहर संदेश भेजना, को अनुमोदन चाहने वाली या वर्जित मानें। Wikipedia डेटा प्रबंधन में रोलबैक (rollback) का वर्णन करता है।
सीमाएँ और सर्किट ब्रेकर। एजेंट प्रति घंटे कितनी कार्रवाइयाँ कर सकता है, कितना ख़र्च कर सकता है, एक साथ कितनी मदें बदल सकता है, और कितनी देर चल सकता है, इन पर सीमाएँ। Wikipedia दर-सीमन (rate limiting) का वर्णन करता है। सीमा बेक़ाबू स्थिति को परिबद्ध त्रुटि में बदल देती है।
किल स्विच। एजेंट को रोकने और उसकी पहुँच रद्द करने का तेज़, भरोसेमंद तरीक़ा। Wikipedia किल स्विच (kill switches) का वर्णन करता है। इसे परखें। जो किल स्विच एजेंट के अपने सहयोग पर या ठप पड़ी प्रणाली पर निर्भर है, वह किल स्विच नहीं है।
ऑडिट ट्रेल। एजेंट से क्या कहा गया, उसने क्या निर्णय लिया, किन इनपुट के साथ कौन-से उपकरण कॉल किए, और क्या हुआ, इसका पूर्ण रिकॉर्ड। Wikipedia ऑडिट ट्रेल (audit trails) का वर्णन करता है। इसके बिना आप ग़लती की जाँच नहीं कर सकते, अनुपालन नहीं दिखा सकते, या सीख नहीं सकते।
जवाबदेही। एजेंट जवाबदेह नहीं होता; लोग होते हैं। एक नामित स्वामी एजेंट जो करता है, उसकी अनुमतियों, और उसके रिकॉर्ड की समीक्षा के लिए ज़िम्मेदार है। Wikipedia जवाबदेही (accountability) का वर्णन करता है। «विषय 2.8 — उत्पाद और सेवा स्वामित्व» देखें।
बहु-एजेंट प्रणालियाँ। साथ काम करने वाले कई एजेंट जटिलता, लहर की तरह फैलने वाली त्रुटियाँ और अस्पष्ट ज़िम्मेदारी जोड़ सकते हैं। Wikipedia बहु-एजेंट प्रणालियों (multi-agent systems) का वर्णन करता है। हर एजेंट के दायरे और अनुमतियों को अलग मानें, और एजेंटों के एजेंटों को निर्देश देने को लेकर सावधान रहें।
कर्तव्यों का पृथक्करण। यह विचार कि कोई एक पक्ष जोखिम भरी कार्रवाई अकेले पूरी न कर सके, एजेंटों पर भी लागू होता है। जो एजेंट परिवर्तन प्रस्तावित करता है वही उसे अनुमोदित करने वाला नहीं होना चाहिए। Wikipedia कर्तव्यों का पृथक्करण (separation of duties) का वर्णन करता है।
दृष्टियाँ कैसे फ़िट होती हैं। एजेंट वहाँ बैठते हैं जहाँ AI स्वचालन से मिलती है। एजेंट अभ्यास छोटी शुरुआत और प्रमाण के साथ चरणों में स्वायत्तता बढ़ाने का सुझाव देता है। विश्लेषण मापता है कि एजेंट क्या करते हैं और क्या ग़लत करते हैं। गवर्नेंस («विषय 5.6 — AI गवर्नेंस, जोखिम और अनुपालन» देखें) नियम तय करता है।
सर्वोत्तम अभ्यास
- दायरा लिखित में तय करें। बताएँ कि एजेंट किसलिए है, वह क्या कर सकता है, क्या कभी नहीं कर सकता, और किस डेटा को छू सकता है। शुरू में इसे संकीर्ण रखें।
- हर एजेंट को उसकी अपनी पहचान दें। न्यूनतम अनुमतियों वाला अलग खाता उपयोग करें, जो उसके कार्य तक सीमित हो, और क्रेडेंशियल घुमाएँ या समाप्त करें। मानव एडमिनिस्ट्रेटर खाते का पुनः उपयोग न करें।
- जोखिम के अनुसार स्वायत्तता का स्तर चुनें। एजेंट को पहले सुझाने दें, फिर कम जोखिम वाले पलटने योग्य कार्यों पर कार्रवाई करने दें, और जो भी परिणामकारी या अपरिवर्तनीय हो उसके लिए अनुमोदन आवश्यक करें। हर कार्य के लिए स्तर लिख लें।
- ऐसे अनुमोदन डिज़ाइन करें जिन्हें लोग पढ़ें। प्रस्तावित कार्रवाई, कारण, प्रमाण और प्रभाव दिखाएँ। अनुमोदन इतने कम रखें कि पढ़े जाएँ, और गुणवत्ता के लिए अनुमोदित मदों का नमूना लें।
- पहले सैंडबॉक्स में परखें। एजेंट को उत्पादन छूने से पहले सुरक्षित प्रति पर यथार्थवादी मामलों, विरोधी मामलों सहित, के साथ चलाएँ।
- इनपुट को अविश्वसनीय मानें। टिकटों, ईमेल या वेब की सामग्री को अधिकार न देने दें। अविश्वसनीय सामग्री संसाधित करते समय एजेंट के उपलब्ध उपकरण सीमित करें।
- प्रभाव-क्षेत्र को सीमित रखें। कार्रवाइयों की संख्या, बदलाव की मात्रा, ख़र्च और समय पर सीमाएँ लगाएँ। थोक कार्रवाई को अलग, अनुमोदित चरण बनाएँ।
- सब कुछ लॉग करें और उसकी समीक्षा करें। पूरा ट्रेल रखें, उसे वहाँ रखें जहाँ एजेंट उसे बदल न सके, और नियमित रूप से नमूनों की समीक्षा करें। असामान्य पैटर्न पर अलर्ट करें।
- किल स्विच बनाएँ और परखें। उसे तेज़, एजेंट से स्वतंत्र, और ऑन-कॉल लोगों को ज्ञात बनाएँ। उसका पूर्वाभ्यास करें।
- स्वायत्तता धीरे-धीरे बढ़ाएँ। अच्छे परिणामों की अवधि के बाद ही अधिक दें, नामित स्वामी के अनुमोदन और मापी गई त्रुटि-दर के साथ। समस्याएँ आने पर इसे घटाएँ।
अपनी टीम के साथ चर्चा के प्रश्न
जो अनुमतियाँ हम इस एजेंट को देने की योजना बना रहे हैं, उनसे वह सबसे बुरा क्या कर सकता है? अनुमतियों को उपकरण-दर-उपकरण देखें। असहजता की अपेक्षा रखें। फ़ॉलो-अप में हर उस अनुमति को हटाएँ या सीमित करें जिसके सबसे बुरे परिणाम को हम स्वीकार नहीं करेंगे।
उसकी कौन-सी कार्रवाइयाँ हम पलट सकते हैं, और कौन-सी नहीं? उन्हें सूचीबद्ध करें। कुछ ऐसी अपरिवर्तनीय कार्रवाइयों की अपेक्षा रखें जिन्हें सुरक्षित मान लिया गया था। फ़ॉलो-अप में हर अपरिवर्तनीय कार्रवाई के लिए अनुमोदन आवश्यक करें।
अनुमोदकों को कैसे पता चलेगा कि वे क्या अनुमोदित कर रहे हैं, और उन्हें कितनी बार अनुरोध दिखेगा? किसी व्यस्त दिन पर अनुमोदक की कल्पना करें। लंबे, एक जैसे दिखने वाले अनुरोधों की अपेक्षा रखें। फ़ॉलो-अप में सारांश और अनुमोदन की मात्रा पर सीमा डिज़ाइन करें।
टिकट या ईमेल में किसी को क्या डालना होगा कि एजेंट वह करे जो हम नहीं चाहते? हमलावर के रूप में आज़माएँ। चौंकाने वाली बातों की अपेक्षा रखें। फ़ॉलो-अप में शमन चुनें, जैसे अविश्वसनीय सामग्री पढ़ते समय उपकरण सीमित करना।
अगर हमें इसे अभी रोकना हो, तो कौन करेगा, कैसे, और कितना समय लगेगा? चरण माँगें और पूर्वाभ्यास करें। अनिश्चितता की अपेक्षा रखें। फ़ॉलो-अप में एक पृष्ठ की रोक-प्रक्रिया लिखें और उसे परखें।
इस एजेंट का स्वामी कौन है, और वह हर सप्ताह क्या समीक्षा करता है? व्यक्ति और समीक्षा का नाम लें। ख़ाली जगहों की अपेक्षा रखें। फ़ॉलो-अप में स्वामित्व और परिभाषित प्रश्नों के साथ साप्ताहिक नमूना-समीक्षा सौंपें।
व्यवहार में: सेवा प्रबंधन का एक उदाहरण
एक राष्ट्रीय कर एजेंसी की इन्फ्रास्ट्रक्चर टीम चाहती है कि एक एजेंट रात भर उत्पादन अलर्ट की जाँच करे। अभी अधिकांश अलर्ट पर ऑन-कॉल इंजीनियर को जगाया जाता है, जो संदर्भ जुटाने में 15 से 30 मिनट लगाता है, और अक्सर पाता है कि कारण दस्तावेज़ित समाधान वाली ज्ञात समस्या है।
टीम एजेंट को तीन चरणों में डिज़ाइन करती है। चरण एक में एजेंट के पास केवल-पठन पहुँच है: वह मेट्रिक्स, लॉग, हाल के परिवर्तन-रिकॉर्ड और ज्ञान आधार से क्वेरी कर सकता है, और अपने उपयोग किए प्रमाण के साथ घटना चैनल में सारांश पोस्ट कर सकता है। चरण दो में वह पलटने योग्य कार्रवाइयों की एक छोटी सूची भी कर सकता है, जैसे स्टेटलेस सेवा पुनः आरंभ करना या वर्कर पूल में दो इंस्टेंस बढ़ाना, केवल तब जब अलर्ट दस्तावेज़ित रनबुक से मेल खाए, प्रति घंटे तीन कार्रवाइयों की सीमा के साथ और हर कार्रवाई के बाद चैनल में पोस्ट के साथ। चरण तीन में, जो अभी अनुमोदित नहीं है, उसे मानवीय अनुमोदन के लिए कॉन्फ़िगरेशन परिवर्तन प्रस्तावित करने की अनुमति होगी।
एजेंट के पास अपना सर्विस खाता है, जिसकी उत्पादन तक केवल-पठन पहुँच है, साथ में दो नामित कार्रवाइयाँ। वह टिकट का पाठ और लॉग पढ़ता है, जिनमें शत्रुतापूर्ण सामग्री हो सकती है, इसलिए जब वह मुक्त पाठ पढ़ता है तब उसी चरण में कोई कार्रवाई-उपकरण कॉल नहीं कर सकता। अनुरोधों, उपकरण-कॉल और परिणामों का एजेंट का पूरा रिकॉर्ड अलग लॉग स्टोर में जाता है। एक वरिष्ठ इंजीनियर एजेंट का स्वामी है, हर सप्ताह दस सत्रों की समीक्षा करता है, और एक कमांड से उसके क्रेडेंशियल अक्षम कर सकता है, जिसका टीम मासिक पूर्वाभ्यास करती है।
चरण एक में दो महीने बाद, ऑन-कॉल इंजीनियर पाते हैं कि सारांश 85 प्रतिशत मामलों में सही हैं। 10 प्रतिशत में वे किसी प्रासंगिक परिवर्तन को चूक जाते हैं क्योंकि परिवर्तन-रिकॉर्ड अधूरा था, और 5 प्रतिशत में वे ग़लत घटक की ओर इशारा करते हैं। चरण दो एक रनबुक के साथ शुरू होता है। पहले महीने में एजेंट एक सेवा को तीन बार पुनः आरंभ करता है, तीनों सही। एक परीक्षण में, जिसमें तैयार किए गए टिकट में किसी पूल को बहुत ऊँची संख्या तक बढ़ाने का छिपा निर्देश था, दर-सीमा और कार्रवाई-नियम उसे रोक देते हैं।
क्या बदलता है: इंजीनियर कम बार जगाए जाते हैं और सारांश तथा प्रमाण के साथ पहुँचते हैं। क्या कठिन रहता है: एजेंट की सटीक परिवर्तन-रिकॉर्ड पर निर्भरता डेटा-गुणवत्ता की ख़ाली जगहें उजागर करती है; इंजीनियर कभी-कभी अपनी जाँच से ज़्यादा सारांश पर भरोसा करते हैं; और सुरक्षा टीम ने कहा है कि ऑडिट लॉग का प्रतिधारण बढ़ाया और उसकी समीक्षा की जाए। स्वामी ये बातें दर्ज करता है और चरण तीन को तब तक रोकता है जब तक चरण दो की त्रुटि-दर एक तिमाही में मापी न जाए।
चार दृष्टिकोण
उत्पाद और डिलीवरी टीमें
सुरक्षित, संकीर्ण उपकरण स्पष्ट अनुमतियों, दर-सीमाओं और लॉग के साथ उपलब्ध कराएँ। एजेंटों को अपनी पाइपलाइन या डेटा तक व्यापक पहुँच न दें। एजेंटों को अपने ख़तरा-मॉडल में शामिल करें।
सेवा और संचालन टीमें
एजेंट के दायरे के स्वामी बनें, उसके रिकॉर्ड की समीक्षा करें, और उसे रोकने का पूर्वाभ्यास करें। रनबुक सटीक रखें, क्योंकि एजेंट उन पर निर्भर करते हैं। त्रुटियों और बाल-बाल बचे मामलों की रिपोर्ट करें।
नेतृत्व और गवर्नेंस
तय करें कि हर कार्य के लिए कितनी स्वायत्तता स्वीकार्य है, और एक नामित स्वामी तथा ऑडिट ट्रेल आवश्यक करें। चरण-दर-चरण परीक्षणों से प्रमाण माँगें, और स्वायत्तता घटाने के लिए तैयार रहें। केवल विक्रेता के आश्वासनों पर निर्भर न रहें।
ग्राहक और उपयोगकर्ता
आपको पता होना चाहिए कि कब कोई स्वचालित एजेंट आपके अनुरोध पर कार्रवाई करता है, और ग़लती सुधार सकने वाले व्यक्ति तक पहुँचने का रास्ता हो। अगर कोई स्वचालित कार्रवाई ग़लत थी तो प्रदाता को बताएँ।
एजाइल, AI, स्वचालन और विश्लेषण
एजाइल
स्वायत्तता छोटे चरणों में प्रमाण के साथ बढ़ाएँ, हर चरण की हितधारकों के साथ समीक्षा करें, और हर रिलीज़ छोटी रखें। सावधानी: तेज़ पुनरावृत्ति सुरक्षा-समीक्षा से आगे निकल सकती है; स्वायत्तता की हर वृद्धि के लिए एक द्वार रखें।
AI
एजेंट एक AI प्रणाली है जिसका स्वामी, परीक्षण-मामले और निगरानी हो, और उसे विशेष सावधानी चाहिए क्योंकि वह कार्रवाई करता है। प्रॉम्प्ट इंजेक्शन और अति-भरोसे से बचें। सावधानी: मॉडल को सावधान रहने के निर्देश पर मुख्य नियंत्रण के रूप में निर्भर न रहें; अनुमतियों, सीमाओं और अनुमोदन पर निर्भर रहें। «विषय 5.6 — AI गवर्नेंस, जोखिम और अनुपालन» देखें।
स्वचालन
एजेंट स्वचालन से जुड़ते हैं: वे कार्रवाइयाँ चुनते और चालू करते हैं। कार्रवाइयों को स्वयं नियतात्मक और परखा हुआ रखें, उनके अपने सत्यापन के साथ, ताकि एजेंट का चुनाव अनुमोदित विकल्पों तक सीमित रहे। सावधानी: जो स्वचालन एजेंट से मुक्त-रूप कमांड स्वीकार करता है वह एजेंट जितना ही जोखिम भरा है; संकीर्ण, नामित कार्रवाइयाँ उपलब्ध कराएँ। «विषय 6.6 — रनबुक स्वचालन और स्वतः-उपचार» देखें।
विश्लेषण
की गई कार्रवाइयाँ, अनुमोदन-दरें, ओवरराइड, समीक्षा में मिली त्रुटियाँ, बचा समय और बाल-बाल बचे मामले मापें। सावधानी: ऊँची अनुमोदन-दर का अर्थ अच्छे प्रस्ताव हो सकता है या रबर-स्टैंपिंग; अनुमोदित मदों का नमूना लें। सेवा प्रबंधन मेट्रिक्स पुस्तक और «विषय 7.3 — मापन और रिपोर्टिंग» देखें।
आम विफलता के तरीके
- व्यापक अनुमतियाँ। एजेंट को साझा एडमिन खाता दे दिया जाता है। अलग न्यूनतम-विशेषाधिकार पहचान उपयोग करें।
- ऐसे अनुमोदन जिन्हें कोई नहीं पढ़ता। बार-बार आने वाले, अस्पष्ट अनुरोधों पर रबर-स्टैंप लगता है। उन्हें कम, स्पष्ट और नमूना-जाँचे बनाएँ।
- शत्रुतापूर्ण पाठ एजेंट को मोड़ता है। टिकटों या वेब पेजों की सामग्री कमांड देती है। अविश्वसनीय इनपुट के आसपास उपकरण सीमित करें।
- कोई सीमा नहीं। लूप या ग़लती मशीन की गति से चलती है। कार्रवाइयों, ख़र्च और दायरे पर सीमा लगाएँ।
- रोकने का बटन नहीं। कोई इसे रोक नहीं सकता। किल स्विच बनाएँ और उसका पूर्वाभ्यास करें।
- कोई रिकॉर्ड नहीं। घटनाओं की जाँच नहीं हो पाती। पूर्ण, सुरक्षित ऑडिट ट्रेल रखें।
- उत्साह से बढ़ाई गई स्वायत्तता। एजेंट को बिना प्रमाण के और शक्ति मिल जाती है। मापों के साथ चरणों में बढ़ाएँ।
परिपक्वता मॉडल
| आयाम | आरंभ | विकास | मानकीकरण | प्रबंधन | समन्वय |
|---|---|---|---|---|---|
| दायरा और अनुमतियाँ | व्यापक या अस्पष्ट | संकीर्ण परीक्षण | लिखित दायरा, अपनी पहचान, न्यूनतम विशेषाधिकार | दायरे और अनुमतियों की नियमित समीक्षा | अनुमोदन के साथ जोखिम के अनुसार अनुमतियाँ अनुकूलित |
| निगरानी | कोई नहीं | अनौपचारिक समीक्षा | परिभाषित स्वायत्तता-स्तर और अनुमोदन-द्वार | अनुमोदन की गुणवत्ता का नमूना और माप | एजेंटों में प्रमाण से निगरानी ट्यून |
| सुरक्षा नियंत्रण | कोई नहीं | बुनियादी लॉगिंग | सैंडबॉक्स, सीमाएँ, परखा हुआ किल स्विच | नियंत्रणों की लेखा-परीक्षा और अभ्यास | सभी एजेंटों के लिए प्लेटफ़ॉर्म में निर्मित नियंत्रण |
| जवाबदेही | अस्पष्ट | निर्माता स्वामी है | साप्ताहिक समीक्षा के साथ नामित स्वामी | स्वामी माप और घटनाओं की समीक्षा करता है | एजेंटों और टीमों में स्वामित्व समन्वित |
जाँच-सूची
- एजेंट का लिखित दायरा और नामित स्वामी है।
- वह न्यूनतम-विशेषाधिकार अनुमतियों के साथ अपनी पहचान उपयोग करता है।
- हर कार्य के लिए स्वायत्तता-स्तर परिभाषित हैं, परिणामकारी या अपरिवर्तनीय कार्रवाइयों के लिए अनुमोदन के साथ।
- अनुमोदन दिखाते हैं कि क्या होगा और गुणवत्ता के लिए उनका नमूना लिया जाता है।
- हमने इसे सैंडबॉक्स में परखा, विरोधी इनपुट सहित।
- सीमाएँ कार्रवाइयों, ख़र्च और दायरे पर रोक लगाती हैं।
- उसका पूरा रिकॉर्ड वहाँ लॉग होता है जहाँ वह उसे बदल नहीं सकता, और उसकी समीक्षा होती है।
- हमारे पास किल स्विच है और हमने उसके उपयोग का पूर्वाभ्यास किया है।
AI प्रॉम्प्ट
एजेंट के दायरे को परखें।
हमारे एजेंट का लिखित दायरा है: [चिपकाएँ]। उसके उपकरण और अनुमतियाँ: [सूची]।
बीस परिदृश्य सूचीबद्ध करें, कुछ दायरे के भीतर, कुछ किनारे पर, और कुछ जो एजेंट को दायरे से बाहर कार्य करने या किसी उपकरण का हानिकारक उपयोग करने पर मजबूर करने की कोशिश करते हैं, और हर एक के लिए बताएँ कि सही व्यवहार क्या है। वास्तविक प्रणालियाँ या डेटा शामिल न करें।
जिनके बारे में आप अनिश्चित हैं उनकी सूची दें।
कार्रवाई-लॉग की समीक्षा करें।
यह एजेंट के कार्रवाई-लॉग का एक नमूना है, पहचानकर्ता हटाकर: [चिपकाएँ]।
वे कार्रवाइयाँ सूचीबद्ध करें जो आकार, समय या लक्ष्य में असामान्य लगती हैं, वे जो किसी दस्तावेज़ित रनबुक से मेल नहीं खातीं, और वह सब जो ऐसा लगता है कि एजेंट अविश्वसनीय पाठ के निर्देशों का पालन कर रहा था। हर एक को उद्धृत करें। यह न कहें कि एजेंट सही था या नहीं।
जिनके बारे में आप अनिश्चित हैं उनकी सूची दें।
अनुमोदन संदेश का मसौदा बनाएँ।
एजेंट यह कार्रवाई प्रस्तावित करता है: [वर्णन करें]। उसने जो प्रमाण उपयोग किया: [सूची]। अगर यह की जाए तो क्या बदलेगा: [वर्णन करें]। इसे कैसे पलटें: [वर्णन करें या "ज्ञात नहीं" लिखें]।
व्यस्त अनुमोदक के लिए 100 शब्दों से कम का स्पष्ट अनुमोदन-अनुरोध लिखें, जिसमें बताया हो कि क्या होगा, क्यों, जोखिम, और इसे कैसे पलटें। अनुमोदन की अनुशंसा न करें।
जिनके बारे में आप अनिश्चित हैं उनकी सूची दें।
AI कौशल
- risk-register: एजेंट के जोखिमों, स्वामियों और निर्णयों को दर्ज करने के लिए उपयोग करें।
- runbook: एजेंट कौन-सी कार्रवाइयाँ और कब कर सकता है, यह परिभाषित करने के लिए उपयोग करें।
- security-testing: एजेंटों को शत्रुतापूर्ण इनपुट के विरुद्ध परखने के लिए उपयोग करें।
- incident-response-plan: जब एजेंट ग़लत व्यवहार करे तब प्रतिक्रिया की योजना बनाने के लिए उपयोग करें।
- mlops: एजेंटों के पीछे के मॉडलों की निगरानी और संस्करण-नियंत्रण के लिए उपयोग करें।
प्रमुख स्रोत
- NIST, AI Risk Management Framework: AI जोखिमों के शासन का ढाँचा, स्वायत्त प्रणालियों के जोखिमों सहित।
- OWASP, बड़े भाषा मॉडलों पर बने अनुप्रयोगों के जोखिमों पर मार्गदर्शन (owasp.org): प्रॉम्प्ट इंजेक्शन और अत्यधिक एजेंसी (excessive agency) सहित।
- Wikipedia, "AI agent" और "Prompt injection": विचार और एक मुख्य सुरक्षा जोखिम का अवलोकन।
- Wikipedia, "Principle of least privilege": हानि सीमित करने का बुनियादी नियंत्रण।
संदर्भ
- Intelligent agent — Wikipedia — https://en.wikipedia.org/wiki/Intelligent_agent
- AI agent — Wikipedia — https://en.wikipedia.org/wiki/AI_agent
- Human-in-the-loop — Wikipedia — https://en.wikipedia.org/wiki/Human-in-the-loop
- Principle of least privilege — Wikipedia — https://en.wikipedia.org/wiki/Principle_of_least_privilege
- Confused deputy problem — Wikipedia — https://en.wikipedia.org/wiki/Confused_deputy_problem
- Prompt injection — Wikipedia — https://en.wikipedia.org/wiki/Prompt_injection
- Sandbox (computer security) — Wikipedia — https://en.wikipedia.org/wiki/Sandbox_(computer_security)
- Kill switch — Wikipedia — https://en.wikipedia.org/wiki/Kill_switch
- Audit trail — Wikipedia — https://en.wikipedia.org/wiki/Audit_trail
- Automation bias — Wikipedia — https://en.wikipedia.org/wiki/Automation_bias
- Rate limiting — Wikipedia — https://en.wikipedia.org/wiki/Rate_limiting
- OWASP — OWASP Foundation — https://owasp.org