কেন এটি গুরুত্বপূর্ণ

অন-কল কাজের একটি আকার আছে। একটি সতর্কবার্তা বাজে। একজন ক্লান্ত প্রকৌশলী একটি রানবুক খোলেন, একসারি ধাপ অনুসরণ করেন, কিছু একটা পুনরায় চালু করেন, কাজ হয়েছে কি না যাচাই করেন এবং ঘুমোতে ফিরে যান। এক সপ্তাহ পরে একই সতর্কবার্তা বাজে, এবং একই ধাপ অনুসরণ করা হয়। দশমবারের পর কেউ বলেন: একজন মানুষ এটা কেন করছে?

তাঁরা ঠিক। জানা একটি সংশোধন হাতে বারবার করা ধীর, ত্রুটিপ্রবণ এবং যাঁরা করেন তাঁদের জন্য ক্ষয়কারী। একই ধাপ কোড হিসেবে লেখা হলে সেকেন্ডে চলে, প্রতিবার একই ভাবে, এবং একটি রেকর্ড রাখে। Wikipedia রানবুককে এমন নিয়মিত পদ্ধতির সংকলন হিসেবে বর্ণনা করে, যা একজন অপারেটর সম্পাদন করেন। সেগুলোকে চালনাযোগ্য করা, এবং কিছু ক্ষেত্রে নিজে নিজে চালানো, নথি থেকে অটোমেশনের ধাপ।

এই ধাপটি একটি বিপদও। একজন মানুষের পড়া রানবুক প্রতিটি ধাপে মানব বিচারের মধ্য দিয়ে যায়। কোড যায় না। ভুল একটি স্বয়ংক্রিয় পুনরায় চালু চিরকাল পুনরাবৃত্তি হতে পারে, বা একটি সুস্থ সেবা নামিয়ে দিতে পারে, বা একটি গভীরতর সমস্যা অনেক খারাপ হওয়া পর্যন্ত ঢেকে রাখতে পারে। অনেক বিভ্রাট দীর্ঘ হয়েছে বা ঘটেছে সদুদ্দেশ্যে করা প্রতিকারের কারণে, যা দ্রুত ভুল কাজ করেছে। Wikipedia স্বায়ত্ত কম্পিউটিং বর্ণনা করে, নিজেকে পরিচালনা করা ব্যবস্থার দীর্ঘদিনের লক্ষ্য, এবং ব্যবহারিক শিক্ষা হলো স্বায়ত্তশাসনের সীমা দরকার।

এই বিষয়টি বর্ণনা করে নথি থেকে স্ক্রিপ্ট হয়ে স্বয়ংক্রিয় কাজে যত্নের সঙ্গে কীভাবে যাবেন। এটি জ্ঞান ব্যবস্থাপনা (বিষয় 3.9 — জ্ঞান ব্যবস্থাপনা), মনিটরিং (বিষয় 3.10 — মনিটরিং ও ইভেন্ট ম্যানেজমেন্ট), ইনসিডেন্ট ম্যানেজমেন্ট (বিষয় 3.2 — ইনসিডেন্ট ম্যানেজমেন্ট) এবং অটোমেশন কৌশলের (বিষয় 6.1 — অটোমেশন কৌশল) ওপর গড়া। এটি এআই অপারেশন (বিষয় 5.2 — এআইঅপস) এবং কাজ করা এজেন্টের (বিষয় 5.5 — এজেন্টিক এআই ও মানব তত্ত্বাবধান) সঙ্গে যুক্ত।

মূল ধারণা

রানবুক। একটি নির্দিষ্ট, পুনরাবৃত্ত অপারেশনাল কাজ বা পরিস্থিতির জন্য নথিবদ্ধ পদ্ধতি। Wikipedia রানবুক বর্ণনা করে। একটি ভালো রানবুকে থাকে একটি ট্রিগার, ক্রমিক ধাপ, প্রত্যাশিত ফল, একটি যাচাই ধাপ এবং একটি এসকেলেশন পথ। দেখুন বিষয় 3.9 — জ্ঞান ব্যবস্থাপনা।

রানবুক অটোমেশন। একটি রানবুককে এমন কোড হিসেবে বাস্তবায়ন করা, যা তার কিছু বা সব ধাপ কার্যকর করে, সাধারণত একজন ব্যক্তি একটি কনসোল বা চ্যাট কমান্ড থেকে, বা একটি ব্যবস্থার ঘটনা দ্বারা ট্রিগার করেন। এটি রানবুকের যুক্তি ধরে রাখে, গতি, সঙ্গতি ও রেকর্ডের সুবিধাসহ।

স্বয়ংক্রিয় প্রতিকার। একটি সতর্কবার্তা বা ঘটনার জবাবে স্বয়ংক্রিয় সংশোধনমূলক কাজ, কোনো ব্যক্তি শুরু না করে। উদাহরণের মধ্যে আছে একটি ব্যর্থ প্রক্রিয়া পুনরায় চালু, একটি ভরা অস্থায়ী ডিরেক্টরি পরিষ্কার, একটি ওয়ার্কার পুল বাড়ানো, বা একটি স্ট্যান্ডবাইয়ে ফেইলওভার। Wikipedia-র স্বায়ত্ত কম্পিউটিং নিবন্ধ নিজের ত্রুটি শনাক্ত ও সংশোধন করা ব্যবস্থাকে একটি লক্ষ্য হিসেবে বর্ণনা করে। বাস্তবে স্বয়ংক্রিয় প্রতিকার ভালো-বোঝা ত্রুটির একটি সংকীর্ণ সেট আচ্ছাদন করে।

একটি ক্রমোন্নতি। দলগুলো সাধারণত কয়েকটি ধাপ পার হয়: একটি লিখিত রানবুক; একজন ব্যক্তির চালানো স্ক্রিপ্টসহ রানবুক; একটি রানবুক, যা একজন ব্যক্তি একটি কমান্ডে ট্রিগার করেন, স্ক্রিপ্ট আগে যাচাই সংগ্রহ করে; একটি সতর্কবার্তা, যা কাজ প্রস্তাব করে এবং অনুমোদন চায়; এবং একটি সতর্কবার্তা, যা সীমার মধ্যে একা কাজ চালায়। প্রতিটি ধাপে আগেরটির প্রমাণ দরকার। বাস্তব পরিণতিসহ কাজের জন্য ধাপ বাদ দেবেন না।

কী স্বয়ংক্রিয় কাজের যোগ্য। একটি ত্রুটি যা সাধারণ, যার কারণ ও সংশোধন ভালো-বোঝা, যার সংশোধন নিরাপদ ও ফেরানো যায়, এবং যার লক্ষণ নির্ভরযোগ্যভাবে তাকে শনাক্ত করে। উদাহরণ হলো একটি আটকে থাকা স্টেটলেস ওয়ার্কার বা ভরে যাওয়া একটি লগ ডিরেক্টরি। দুর্বল প্রার্থীর মধ্যে আছে ডেটা মোছে, প্রবেশাধিকার বদলায় বা ব্যবসায়িক প্রভাব নিয়ে বিচারের ওপর নির্ভর করে এমন কিছু।

নিরাপত্তার শর্ত। কাজ করার আগে যাচাই করুন পরিস্থিতি সত্যিই মেলে কি না: সতর্কবার্তাটি বর্তমান, সেবা প্রত্যাশিত অবস্থায়, কোনো মোতায়েন বা রক্ষণাবেক্ষণ চলছে না, এবং কাজটি এইমাত্র চলেনি। কাজের পর ফল যাচাই করুন। Wikipedia ড্রাই রান বর্ণনা করে, একটি মহড়া যা না করে দেখায় কী ঘটত; নতুন অটোমেশনের জন্য এটি একটি কাজের মোড।

সীমা। একটি কাজ একটি সময়ে কতবার চলতে পারে, একসঙ্গে কতগুলো ইনস্ট্যান্স ছুঁতে পারে এবং কতক্ষণ চলতে পারে তার ঊর্ধ্বসীমা দিন। Wikipedia হার সীমাবদ্ধতা বর্ণনা করে। একটি সীমা নিয়ন্ত্রণহীন ঘটনাকে সীমাবদ্ধ ঘটনায় পরিণত করে, এবং সীমা ছাড়ালে একজন ব্যক্তিকে ডাকা উচিত।

সার্কিট ব্রেকার ও ব্যাকঅফ। একটি স্বয়ংক্রিয় কাজ বারবার ব্যর্থ হলে বা বারবার চললে চিরকাল পুনঃচেষ্টা না করে থামুন ও এসকেলেট করুন। Wikipedia সার্কিট ব্রেকার নকশা ধরন বর্ণনা করে, যেখানে বারবার ব্যর্থতা একটি সুইচ ট্রিপ করে যা কিছু সময়ের জন্য আরও চেষ্টা থামায়। পুনঃচেষ্টার মাঝে বিরতি এবং Wikipedia-য় বর্ণিত হিস্টেরেসিস যোগ করুন, অবস্থার মধ্যে ঝাপটানো রোধ করতে।

আইডেমপোটেন্স। যে কাজ পুনরাবৃত্তিতে নিরাপদ। Wikipedia আইডেমপোটেন্স বর্ণনা করে। একটি সেবা আগে থেকেই পুনরায় চালু হচ্ছে, এমন সময় পুনরায় চালু করা দ্বিতীয় রিস্টার্ট ঝড় তৈরি করা উচিত নয়। আগে অবস্থা যাচাই করে এমন কাজ নকশা করুন।

ওয়াচডগ ও গাঁথা পুনরুদ্ধার। প্ল্যাটফর্ম নিজস্ব পুনরুদ্ধার ব্যবস্থা দেয়: ক্র্যাশ হওয়া সেবা পুনরায় চালু করা প্রক্রিয়া তত্ত্বাবধায়ক, ব্যর্থ ইনস্ট্যান্স প্রতিস্থাপন করা কন্টেইনার প্ল্যাটফর্ম, এবং Wikipedia-য় বর্ণিত ওয়াচডগ টাইমার, যা আটকে থাকা ব্যবস্থা রিসেট করে। যেখানে খাপ খায় সেখানে কাস্টম স্ক্রিপ্টের চেয়ে গাঁথা ব্যবস্থা পছন্দ করুন এবং তারা কী করে বুঝুন।

ফেইলওভার ও স্কেলিং। একটি স্ট্যান্ডবাইয়ে স্বয়ংক্রিয় ফেইলওভার এবং সক্ষমতার স্বয়ংক্রিয় স্কেলিং স্বয়ংক্রিয় প্রতিকারের রূপ, যা প্ল্যাটফর্ম প্রায়ই দেয়। Wikipedia ফেইলওভার ও অটোস্কেলিং বর্ণনা করে। এগুলোরও পরীক্ষা ও সীমা দরকার, কারণ এগুলো পরিস্থিতি খারাপ করতে পারে: একটি ক্ষণস্থায়ী ত্রুটিতে ট্রিগার হওয়া ফেইলওভার একটি সুস্থ সেবাকে ব্যাহত করতে পারে।

সমস্যা ঢেকে রাখা। যে অটোমেশন নীরবে একটি ত্রুটি সারায়, তা একটি বাড়তে থাকা কারণ লুকিয়ে রাখতে পারে। একটি সেবা প্রতি ঘণ্টায় পুনরায় চালু হলে সেই রিস্টার্ট একটি সমস্যার লক্ষণ, যা সারানো দরকার। প্রতিটি অটোমেশন কত ঘন ঘন চলে ট্র্যাক করুন এবং বাড়তে থাকা হারকে তদন্তের সমস্যা হিসেবে দেখুন। দেখুন বিষয় 3.3 — প্রবলেম ম্যানেজমেন্ট।

লগ, নিরীক্ষা ও বিজ্ঞপ্তি। প্রতিটি স্বয়ংক্রিয় কাজ রেকর্ড করা উচিত কী একে ট্রিগার করেছে, কী যাচাই করেছে, কী করেছে এবং ফল কী, এবং মালিক দলকে জানানো উচিত। নীরব অটোমেশন ব্যবস্থা সম্পর্কে বোঝাপড়া ক্ষয় করে। Wikipedia সাধারণভাবে নিরীক্ষা ট্রেইল বর্ণনা করে।

পরীক্ষা। একটি নিরাপদ পরিবেশে বাস্তবসম্মত ত্রুটির বিপরীতে অটোমেশন পরীক্ষা করুন, যে ক্ষেত্রে যাচাই কাজটি থামানো উচিত সেগুলোসহ। Wikipedia কেওস ইঞ্জিনিয়ারিং বর্ণনা করে, ইচ্ছাকৃতভাবে ব্যর্থতা ঢোকানোর চর্চা, যা প্রতিকার সঠিক আচরণ করে কি না তাও পরীক্ষা করতে পারে। দেখুন বিষয় 3.12 — সার্ভিস ধারাবাহিকতা ব্যবস্থাপনা।

মালিকানা ও পর্যালোচনা। প্রতিটি অটোমেশনের একজন মালিক আছে, পর্যালোচনাসহ সংস্করণ নিয়ন্ত্রণে থাকে, এবং একটি রেজিস্টারে আসে। নিয়মিত পর্যালোচনা করুন এটি কত ঘন ঘন চলে, সফল হয়েছে কি না, এবং অন্তর্নিহিত কারণ সারানো উচিত কি না।

প্রবেশাধিকার ও নিরাপত্তা। প্রতিকারের টুলিং প্রোডাকশনের ওপর ক্ষমতা রাখে। প্রতিটি কাজের প্রয়োজনীয় সংকীর্ণ অনুমতিসহ একে নিজস্ব পরিচয় দিন, এবং কোড ও ট্রিগারকে হস্তক্ষেপ থেকে রক্ষা করুন। দেখুন বিষয় 3.13 — তথ্য নিরাপত্তা ব্যবস্থাপনা।

মানুষের দক্ষতা। অটোমেশন নিয়মিত ত্রুটি সামলালে মানুষ ব্যবস্থা সম্পর্কে অনুভূতি হারাতে পারে। রানবুক পাঠযোগ্য রাখুন, হাতে পরিচালনার মহড়া দিন এবং গেম ডে-তে অটোমেশন অন্তর্ভুক্ত করুন। দেখুন বিষয় 6.1 — অটোমেশন কৌশল।

দৃষ্টিকোণগুলো কীভাবে খাপ খায়। এই বিষয়টি অপারেশনের বিন্দুতে অটোমেশন দৃষ্টিকোণ। এজাইল অনুশীলন প্রতিটি ইনসিডেন্টের পর পর্যালোচনাসহ ছোট ধাপে ক্রমোন্নতিতে উঠতে প্রস্তাব করে। এআই এখানে বর্ণিত সীমার অধীনে কাজ প্রস্তাব ও রানবুক বাছতে পারে। বিশ্লেষণ চলার হার, সাফল্য ও ঢেকে রাখা সমস্যা মাপে।

সেরা অনুশীলন

  1. একটি ভালো রানবুক দিয়ে শুরু করুন। আগে হাতে পদ্ধতিটি লিখুন, পরীক্ষা করুন ও ব্যবহার করুন। যে পদ্ধতি কাজ করে না তার অটোমেশন কেবল দ্রুততর ভাঙে।
  2. প্রার্থী সাবধানে বাছুন। নির্ভরযোগ্য সংকেতসহ ঘন ঘন, ভালো-বোঝা, নিরাপদ, ফেরানো যায় এমন সংশোধন খুঁজুন। বাঁচানো অন-কল সময় ও ঝুঁকি অনুযায়ী র‍্যাঙ্ক করুন।
  3. সিঁড়ি বেয়ে উঠুন। প্রমাণ জমলে স্ক্রিপ্ট থেকে এক-কমান্ড ট্রিগার, অনুমোদনসহ প্রস্তাবিত কাজ, তারপর স্বয়ংক্রিয় কাজে যান। প্রতিটি ধাপে সিদ্ধান্ত লিখে রাখুন।
  4. আগে ও পরে যাচাই করুন। যাচাই করুন পরিস্থিতি মেলে, কোনো বিরোধী কার্যকলাপ চলছে না এবং কাজটি সফল হয়েছে। কোনো যাচাই ব্যর্থ হলে থামুন ও এসকেলেট করুন।
  5. সীমা ও একটি ব্রেকার দিন। ঘনত্ব, পরিধি ও সময়কালের ঊর্ধ্বসীমা দিন। একটি কাজ খুব ঘন ঘন চললে বা দুবার ব্যর্থ হলে থামুন এবং একজন ব্যক্তিকে ডাকুন।
  6. কাজ আইডেমপোটেন্ট ও ফেরানো যায় এমন করুন। আগে অবস্থা যাচাই করুন এবং ফেরার পথ লিখুন। দুটিই পরীক্ষা করুন।
  7. লগ করুন, জানান এবং দৃশ্যমান করুন। প্রতিটি স্বয়ংক্রিয় কাজ রেকর্ড করুন, মালিক দলকে জানান এবং একটি ড্যাশবোর্ডে চলার হার দেখান।
  8. কারণ সারান। প্রতিটি অটোমেশন কত ঘন ঘন চলে গুনুন, এবং হার বেশি বা বাড়লে একটি প্রবলেম তুলুন। অটোমেশনকে সংশোধনের সেতু হিসেবে দেখুন, বিকল্প হিসেবে নয়।
  9. নিরাপদ অবস্থায় পরীক্ষা করুন। প্রত্যাখ্যান করা উচিত এমন ক্ষেত্রসহ বাস্তবসম্মত ত্রুটি ও প্রান্তিক ক্ষেত্রে মহড়া দিন। গেম ডে-তে অটোমেশন অন্তর্ভুক্ত করুন।
  10. মালিক হোন ও পর্যালোচনা করুন। একজন মালিকের নাম দিন, পর্যালোচনাসহ কোড সংস্করণ নিয়ন্ত্রণে রাখুন, প্রতিটি অটোমেশন নিবন্ধন করুন, এবং ত্রৈমাসিকে পর্যালোচনা করুন কোনটি রাখবেন, বদলাবেন বা অবসর দেবেন।

দলের সঙ্গে আলোচনার প্রশ্ন

কোন সতর্কবার্তা আমরা প্রতিবার একইভাবে সারাই, এবং প্রতিটিতে কত সময় লাগে? ইনসিডেন্ট ও সতর্কবার্তার ডেটা ব্যবহার করুন। বেশিরভাগ পেজের কারণ কয়েকটি আশা করুন। পরবর্তী ধাপে একটি বেছে তার রানবুক নির্ভুল কি না যাচাই করুন।

এই সংশোধন যখন চলা উচিত ছিল না তখন চললে কী ভুল হতে পারত? ভুল ট্রিগার বা ভুল লক্ষ্যের কথা কল্পনা করুন। কয়েকটি অপ্রীতিকর ক্ষেত্র আশা করুন। পরবর্তী ধাপে প্রতিটির জন্য একটি যাচাই বা সীমা যোগ করুন।

অটোমেশন একটি বাড়তে থাকা সমস্যা ঢেকে রাখছে আমরা কীভাবে জানব? জিজ্ঞাসা করুন আমরা কী দেখতাম। "কিছুই না" আশা করুন। পরবর্তী ধাপে চলা গোনা এবং প্রবলেম তোলার একটি সীমায় সম্মত হোন।

একটি একক চালনা সর্বোচ্চ কত ক্ষতি করতে পারে, এবং আমরা কীভাবে তা থামাব? পরিধির নাম দিন। অনিশ্চয়তা আশা করুন। পরবর্তী ধাপে একটি ঊর্ধ্বসীমা ঠিক করুন এবং থামানোর মহড়া দিন।

শেষবার কখন আমরা এই কাজ হাতে করেছি, এবং অন-কলের সবাই কি এখনো তা পারতেন? শেষবারের কথা জিজ্ঞাসা করুন। আশা করুন অনেক আগে। পরবর্তী ধাপে একটি মহড়ার সূচি করুন।

একটি প্রতিকার প্রস্তাব বা বাছতে এআই কোথায় পারে, এবং কী এখনো একজন ব্যক্তিকে অনুমোদন করতে হবে? এআই লক্ষণকে রানবুকের সঙ্গে মেলাতে ও কাজ প্রস্তাব করতে পারে। জিজ্ঞাসা করুন কোন কাজে অনুমোদন লাগে এবং কে সিদ্ধান্ত নেয়। পরবর্তী ধাপে এমন একটি পরীক্ষা বাছুন, যেখানে এআই প্রস্তাব করে ও একজন ব্যক্তি অনুমোদন করেন, পরামর্শ কত ঘন ঘন ঠিক ছিল তার মাপকাঠিসহ।

বাস্তবে: সেবা ব্যবস্থাপনার একটি উদাহরণ

একটি জাতীয় রেলওয়ের যাত্রী তথ্য দল 400টি স্টেশনে ডিসপ্লে চালায়, একটি ডেটা সেবা থেকে খাওয়ানো। সপ্তাহে প্রায় দুবার ফিড প্রসেসর আটকে যায় এবং ডিসপ্লে পুরোনো সময়ে জমে থাকে। অন-কল প্রকৌশলীকে পেজ করা হয়, তিনি লগইন করেন, প্রক্রিয়াটি আটকে আছে কি না দেখেন, পুনরায় চালু করেন এবং হালনাগাদ নিশ্চিত করেন। এতে প্রায় 20 মিনিট লাগে, বেশিরভাগ রাতে।

দল রানবুক লিখে ফেলে, দুটি ইনসিডেন্টে চেষ্টা করে পরিমার্জন করে: সতর্কবার্তা নিশ্চিত করুন, কোনো মোতায়েন চলছে না যাচাই করুন, প্রক্রিয়াটি পাঁচ মিনিট লগে লেখেনি যাচাই করুন, পুনরায় চালু করুন, দুই মিনিট অপেক্ষা করুন, আউটপুটের টাইমস্ট্যাম্প বর্তমান যাচাই করুন, এবং ইনসিডেন্ট লিখে রাখুন। তারা এটিকে ড্রাই-রান মোডসহ একটি স্ক্রিপ্টে রূপ দেয়, এবং এক মাস একজন প্রকৌশলী একটি চ্যাট কমান্ডে এটি ট্রিগার করেন। প্রতিবার সফল হয়।

তারপর তারা এটিকে সতর্কবার্তার সঙ্গে প্রস্তাব মোডে যুক্ত করে: সতর্কবার্তা স্ক্রিপ্টের ফল এবং অন-কল প্রকৌশলীকে অনুমোদন চাওয়া একটি বোতাম পোস্ট করে। এক মাস পর প্রতিটি অনুমোদন সঠিক ছিল, প্রতিটিতে দুই মিনিটের কম সময় লেগে। দল কঠোর শর্তে স্বয়ংক্রিয়ভাবে চলতে দিতে সম্মত হয়: শুধু যখন যাচাই পাস করে, ঘণ্টায় সর্বোচ্চ দুবার, মোতায়েনের সময় কখনো নয়, এবং দ্বিতীয় রিস্টার্ট সারাতে না পারলে একজন ব্যক্তিকে পেজ। এটি প্রতিটি চালনা লগ করে এবং দলের চ্যানেলে পোস্ট করে।

প্রথম দুই মাসে অটোমেশন 19 বার চলে। একটি পর্যালোচনা দেখায় একজন নির্দিষ্ট ডেটা সরবরাহকারীর গভীর রাতের হালনাগাদের পর আটকে যাওয়া বেশি ঘটে, যা দল প্রতিটি পেজ একা সামলানোর সময় লক্ষ করেনি। তারা সরবরাহকারীর কাছে একটি প্রবলেম তোলে। একটি চালনায় দুটি ব্যর্থ রিস্টার্টের পর ব্রেকার ট্রিপ করে এবং একজন প্রকৌশলীকে পেজ করে, যিনি দেখেন ডিস্ক ভরা, এমন একটি কারণ যা রানবুক আচ্ছাদন করেনি।

যা বদলায়: প্রকৌশলীরা এসব ঘটনার বেশিরভাগ ঘুমিয়ে কাটান, এবং ডিসপ্লে তিন মিনিটের কমে সেরে ওঠে। যা এখনো কঠিন: সরবরাহকারী এখনো ডেটার বিন্যাস সারায়নি; দল লক্ষ করেছে নতুন প্রকৌশলীরা কখনো হাতে পদ্ধতিটি করেননি এবং তাঁদের দক্ষতা নিয়ে চিন্তিত; এবং ডিস্ক যাচাইয়ের বাড়তি ধাপ যোগ হয়েছে কেবল বিস্ময়ের পর। প্রধান একটি ত্রৈমাসিক হাতে মহড়ার সূচি করেন এবং স্ক্রিপ্টে ডিস্ক যাচাই যোগ করেন।

চারটি দৃষ্টিকোণ

পণ্য ও ডেলিভারি দল

প্রতিকার সহজ এমন সেবা গড়ুন: স্বাস্থ্য এন্ডপয়েন্ট, নিরাপদ পুনরায় চালু, আইডেমপোটেন্ট কাজ এবং স্পষ্ট লগ। কোডের সঙ্গে রানবুক লিখুন, এবং অটোমেশন যে কারণ উন্মোচন করে তা সারান।

সেবা ও অপারেশন দল

রানবুক ও অটোমেশনের মালিক হোন: লিখুন, পরীক্ষা করুন, সীমা দিন, লগ করুন এবং পর্যালোচনা করুন। হাতে করার দক্ষতা বাঁচিয়ে রাখুন, এবং ঘন ঘন চলাকে সারানোর সমস্যা হিসেবে দেখুন।

নেতৃত্ব ও শাসন

প্রমাণ নিয়ে সিঁড়ি বেয়ে ওঠা সমর্থন করুন, এবং চলার হার ও ঢেকে রাখা সমস্যার যাচাই চান। কারণ সারানোর সময়ে অর্থ দিন। স্ব-সারানো ব্যবস্থার দাবি নিয়ে সতর্ক থাকুন।

গ্রাহক ও ব্যবহারকারী

আপনি দ্রুততর পুনরুদ্ধার এবং কম দৃশ্যমান বিভ্রাট দেখবেন। একটি স্বয়ংক্রিয় সংশোধন কাজ না করলে বা সমস্যা তৈরি করলে সরবরাহকারীকে জানান, যাতে নিয়মটি সংশোধন করা যায়।

এজাইল, এআই, অটোমেশন ও বিশ্লেষণ

এজাইল

প্রতিটি ইনসিডেন্টের পর প্রতিকার উন্নত করুন: রানবুক পরিমার্জন করুন, একটি যাচাই যোগ করুন, বা সিঁড়ির এক ধাপ উঠুন। পরিবর্তন ছোট ও পর্যালোচিত রাখুন। সতর্কতা: একটি খারাপ রাতের পর একসঙ্গে অনেক কিছু স্বয়ংক্রিয় করবেন না; পরীক্ষাসহ একবারে একটি সংশোধন নিন।

এআই

যা কাজ করে তার জন্য অনুমোদনসহ, এআই সতর্কবার্তাকে রানবুকের সঙ্গে মেলাতে, ধাপ প্রস্তাব করতে এবং ইনসিডেন্টের নোট থেকে নতুন রানবুক খসড়া করতে পারে। একজন মালিকের নাম দিন এবং প্রস্তাবের নির্ভুলতা মাপুন। সতর্কতা: অস্বাভাবিক সতর্কবার্তা থেকে কাজ বাছা এআই ভুল বাছতে পারে; একে অনুমোদিত কাজের তালিকায় সীমিত করুন। দেখুন বিষয় 5.5 — এজেন্টিক এআই ও মানব তত্ত্বাবধান।

অটোমেশন

এই বিষয়টি অপারেশনে অটোমেশন দৃষ্টিকোণ: নিরাপত্তার শর্ত, সীমা, ব্রেকার, আইডেমপোটেন্স, লগ ও পর্যালোচনা। সতর্কতা: স্বয়ংক্রিয় প্রতিকার সমস্যা ঢেকে রাখতে এবং খারাপ করতে পারে; চলা গুনুন, চালনা সীমিত করুন এবং ব্যর্থতায় এসকেলেট করুন। দেখুন বিষয় 6.1 — অটোমেশন কৌশল।

বিশ্লেষণ

অটোমেশন অনুযায়ী চলার হার, সাফল্যের হার, পুনরুদ্ধারের সময়, এড়ানো পেজের সংখ্যা, ব্রেকার ট্রিপ এবং ধরন থেকে তোলা প্রবলেম ট্র্যাক করুন। সতর্কতা: এড়ানো পেজ সহজে ফাঁপানো যায় এবং বাড়তে থাকা চলার হার লুকাতে পারে; দুটি একসঙ্গে ট্র্যাক করুন। দেখুন বিষয় 7.4 — পর্যবেক্ষণযোগ্যতা ও টেলিমেট্রি এবং Service Management Metrics বই।

সাধারণ ব্যর্থতার ধরন

  • অপরীক্ষিত রানবুক স্বয়ংক্রিয় করা। সংশোধন গতিতে ভুল হয়। আগে হাতে পরীক্ষা করুন।
  • সীমা নেই। একটি লুপ বা ভুল ট্রিগার পুনরাবৃত্ত হয়। চালনা সীমিত করুন এবং একটি ব্রেকার ব্যবহার করুন।
  • লুকানো সমস্যা। রিস্টার্ট কারণ ঢেকে রাখে। চলা গুনুন এবং কারণ সারান।
  • কাজের আগে যাচাই নেই। কাজটি সুস্থ বা ব্যস্ত ব্যবস্থায় আঘাত করে। শর্ত যাচাই করুন।
  • নীরব অটোমেশন। কেউ জানে না এটি কী করেছে। লগ করুন ও জানান।
  • দক্ষতা ম্লান হয়। কেউ হাতে করতে পারে না। মহড়া দিন।
  • অতি-অধিকারযুক্ত টুলিং। একটি আপস সবকিছুতে পৌঁছায়। সংকীর্ণ পরিচয় ব্যবহার করুন।

পরিপক্বতা মডেল

মাত্রা সূচনা বিকাশ মানসম্মতকরণ ব্যবস্থাপনা সমন্বয়
রানবুক মাথায় বা ইমেইলে প্রধান সতর্কবার্তার জন্য লিখিত সতর্কবার্তার সঙ্গে যুক্ত পরীক্ষিত রানবুক ইনসিডেন্টের পর রানবুকের মান পর্যালোচিত সেবা জুড়ে কোড হিসেবে রক্ষণাবেক্ষণ করা রানবুক
অটোমেশন নেই মানুষ ট্রিগার করা স্ক্রিপ্ট প্রস্তাবসহ অনুমোদিত, পরীক্ষিত কাজ সীমাসহ বাছা কাজ স্বয়ংক্রিয়ভাবে চলে মানব নিয়ন্ত্রণসহ ঝুঁকি অনুযায়ী বাছা নিরাপদ কাজ
নিরাপত্তা নেই মৌলিক লগিং যাচাই, সীমা, ব্রেকার ও রোলব্যাক নিরাপত্তা পরীক্ষিত ও নিরীক্ষিত ভাগ করা প্ল্যাটফর্মে গাঁথা নিরাপত্তা
শেখা আগুন নেভানো মাঝে মাঝে পর্যালোচনা চলার হার ট্র্যাক এবং কারণ প্রবলেম হিসেবে তোলা পুনরাবৃত্তি মাপা ও কমানো দল ও সরবরাহকারী জুড়ে ভাগ করা শেখা

চেকলিস্ট

  • অটোমেশনের আগে রানবুক লেখা, পরীক্ষা করা এবং হাতে ব্যবহার করা হয়েছিল।
  • প্রতিটি অটোমেশনের একটি ট্রিগার, পূর্বশর্ত, যাচাই ও এসকেলেশন আছে।
  • কাজ আইডেমপোটেন্ট ও ফেরানো যায়।
  • সীমা ও একটি সার্কিট ব্রেকার ঘনত্ব ও পরিধির ঊর্ধ্বসীমা দেয়।
  • প্রতিটি চালনা লগ করা এবং মালিক দলকে জানানো হয়।
  • আমরা ট্র্যাক করি প্রতিটি অটোমেশন কত ঘন ঘন চলে এবং ধরন থেকে প্রবলেম তুলি।
  • অটোমেশন সংস্করণ নিয়ন্ত্রণে, পর্যালোচিত এবং মালিকসহ নিবন্ধিত।
  • আমরা হাতে পরিচালনার মহড়া দিই এবং বাস্তবসম্মত ত্রুটিতে অটোমেশন পরীক্ষা করি।

এআই প্রম্পট

ইনসিডেন্টের নোটকে রানবুকের খসড়ায় পরিণত করুন।

Here are notes from three incidents that had the same fix: [paste, personal data removed].
Draft a runbook with: trigger, preconditions to check, numbered steps with expected results, verification, rollback, and escalation. Use only what the notes say; write [missing] for anything not stated.
List what you are unsure of.

একটি অটোমেশনে নিরাপত্তার ফাঁক খুঁজুন।

Here is a description of an auto-remediation: trigger, checks, action, and limits: [paste].
List which of these are missing or unclear: precondition checks, post-action verification, rate limit, circuit breaker, idempotence, rollback, logging, notification, owner. Quote the text for each you consider present. Do not assume any.
List what you are unsure of.

চলার ডেটা পর্যালোচনা করুন।

Here is a log of when each automation fired in the last month, with result: [paste].
Count firings per automation, list those that are rising or clustered at the same time of day, and list questions to find causes. Do not guess causes.
List what you are unsure of.

এআই স্কিল

  • runbook: স্বয়ংক্রিয় করার আগে পদ্ধতি লিখতে ও পরীক্ষা করতে ব্যবহার করুন।
  • chaos-testing: বাস্তবসম্মত ত্রুটির বিপরীতে প্রতিকার পরীক্ষা করতে ব্যবহার করুন।
  • root-cause-analysis: অটোমেশন যা লুকায় সেই কারণ খুঁজতে ব্যবহার করুন।
  • on-call-rotation: টেকসই অন-কল ব্যবস্থা নকশা করতে ব্যবহার করুন।
  • incident-response-plan: অটোমেশনের চারপাশে ভূমিকা ও এসকেলেশন সংজ্ঞায়িত করতে ব্যবহার করুন।

মূল সূত্র

  • Betsy Beyer and others (eds.), Site Reliability Engineering (2016), শ্রম দূর করা ও অটোমেশন নিয়ে অধ্যায়, sre.google-তে বিনামূল্যে।
  • Lisanne Bainbridge, "Ironies of Automation" (Automatica, 1983): কেন অটোমেশন মানুষের ভূমিকা বিস্ময়কর উপায়ে বদলে দেয়।
  • Wikipedia, "Runbook" ও "Autonomic computing": নথি ও আকাঙ্ক্ষার পরিচিতি।
  • Wikipedia, "Circuit breaker design pattern": বারবার ব্যর্থতা থামানোর একটি ধরন।

তথ্যসূত্র

  1. Runbook — Wikipedia — https://en.wikipedia.org/wiki/Runbook
  2. Autonomic computing — Wikipedia — https://en.wikipedia.org/wiki/Autonomic_computing
  3. Circuit breaker design pattern — Wikipedia — https://en.wikipedia.org/wiki/Circuit_breaker_design_pattern
  4. Watchdog timer — Wikipedia — https://en.wikipedia.org/wiki/Watchdog_timer
  5. Idempotence — Wikipedia — https://en.wikipedia.org/wiki/Idempotence
  6. Rate limiting — Wikipedia — https://en.wikipedia.org/wiki/Rate_limiting
  7. Failover — Wikipedia — https://en.wikipedia.org/wiki/Failover
  8. Autoscaling — Wikipedia — https://en.wikipedia.org/wiki/Autoscaling
  9. Chaos engineering — Wikipedia — https://en.wikipedia.org/wiki/Chaos_engineering
  10. Hysteresis — Wikipedia — https://en.wikipedia.org/wiki/Hysteresis
  11. Dry run (testing) — Wikipedia — https://en.wikipedia.org/wiki/Dry_run_(testing)
  12. Site Reliability Engineering: How Google Runs Production Systems — Google — https://sre.google/sre-book/table-of-contents/

সেবা ব্যবস্থাপনা নির্দেশিকা — এজাইল, এআই, অটোমেশন ও বিশ্লেষণসহ সেবা ব্যবস্থাপনা।

উৎস ও অবদান: github.com/service-management-guide. যা দিয়ে তৈরি Lily Design System™.

প্রতিষ্ঠাতা Joel Parker Henderson.