لماذا يهم هذا

الحادث انقطاع غير مخطط في خدمة، أو انخفاض في جودتها. وحين يقع، يكون المعنيون تحت ضغط، والمعلومات ناقصة، والساعة تدور. والقرارات المتخذة في أول عشر دقائق كثيرًا ما تحدد هل يدوم الحادث ساعة أو ست ساعات.

المؤسسات التي تعالج الحوادث جيدًا لا تعتمد على الأبطال. فقد اتفقت كيف تقرر مدى خطورة شيء ما، ومن يقود، ومن يخاطب المستخدمين، وكيف تصعّد، ومتى تتوقف عن التحقيق وتطبق حلًا مؤقتًا. وقد تدربت. أما التي تعالجها سيئًا فترتجل في كل مرة، وتتجادل حول الأولويات أثناء الحدث، وتجد أن الشخص الوحيد الذي يعرف النظام في إجازة.

يصف هذا الموضوع إدارة الحوادث ممارسةً: التعريفات والأدوار والجسامة والتواصل والمراجعة. ويعامل الحوادث الكبرى ببنية إضافية، ويغطي كيف يستطيع الذكاء الاصطناعي والأتمتة المساعدة وأين قد يضرّان. وهو يقف بجانب إدارة المشكلات (الموضوع 3.3 — إدارة المشكلات) التي تبحث عن الأسباب الكامنة، والمراقبة (الموضوع 3.10 — المراقبة وإدارة الأحداث) التي كثيرًا ما تكتشف الحادث.

المفاهيم الأساسية

الحادث. في ITIL 4، انقطاع غير مخطط في خدمة أو انخفاض في جودتها. وتصف مقالة ويكيبيديا عن إدارة الحوادث الممارسة في إدارة خدمات تقنية المعلومات. وقد يوجد الحادث قبل أن يلاحظه أي مستخدم، مثلًا حين تُظهر المراقبة قرصًا يفشل.

استعد الخدمة أولًا. الهدف استعادة الخدمة إلى وضعها الطبيعي، لا إيجاد السبب الجذري. والحل المؤقت الذي يعيد الخدمة نتيجة جيدة؛ أما السبب الجذري فمن شأن إدارة المشكلات. والفرق التي تنقب عن السبب والخدمة متعطلة تطيل الانقطاع.

الحل المؤقت. حل يقلل أثر الحادث أو يزيله دون معالجة سببه، مثل إعادة توجيه حركة المرور أو إعادة تشغيل مكوّن أو التحول إلى عملية يدوية. انظر الموضوع 3.3 — إدارة المشكلات لمعرفة كيف تُتتبع الأخطاء المعروفة والحلول المؤقتة.

الجسامة والأولوية. تصف الجسامة الأثر على المستخدمين والأعمال، مثل كم متأثرًا وإلى أي حد. وتضيف الأولوية الإلحاح، مثل موعد نهائي. وتستخدم مؤسسات كثيرة مقياسًا صغيرًا، كأربعة مستويات مثلًا، بتعريف واستجابة متوقعة لكل منها. وينبغي أن تستخدم التعريفات وقائع قابلة للملاحظة («أكثر من 100 مستخدم لا يستطيعون الدفع») لا مشاعر.

الحوادث الكبرى. للحادث الكبير أثر مهم ويحتاج إلى استجابة أسرع وأكثر تنسيقًا من العملية المعيارية. وتحدد المؤسسات عتباتها. وللحوادث الكبرى عادة قائد حادث مسمّى وقائد اتصالات وإيقاع منتظم للتحديثات.

الأدوار. يتولى قائد الحادث التنسيق واتخاذ القرارات؛ ويشخّص المستجيبون التقنيون ويصلحون؛ ويبقي قائد الاتصالات أصحاب المصلحة والمستخدمين على اطلاع؛ ويسجل كاتب ما يُفعل ومتى. ويستطيع شخص واحد أن يشغل عدة أدوار في حادث صغير. ونظام قيادة الحوادث، المستخدم في إدارة الطوارئ وتصفه ويكيبيديا، مؤثر في البنية المستخدمة في مؤسسات تقنية كثيرة.

التصعيد. استقدام مزيد من المهارات أو الصلاحيات. التصعيد الوظيفي ينقل الحادث إلى أصحاب الخبرة المناسبة. والتصعيد الهرمي يستقدم مديرين يستطيعون القرار أو توفير الموارد. وتجعل المعايير الواضحة، مثل «لا تقدم بعد 30 دقيقة في الجسامة الأولى»، التصعيد روتينًا لا علامة فشل.

المناوبة. ترتيبات ليكون الناس متاحين خارج ساعات العمل العادية. وتشمل الممارسة الجيدة للمناوبة حدودًا على الحمل وجدولًا واضحًا وكتيّبات تشغيل وتعويضًا. انظر الموضوع 2.6 — هندسة موثوقية المواقع. ويجعل إرهاق التنبيهات، وهي ظاهرة تصفها ويكيبيديا، الناس يتجاهلون التنبيهات الكثيرة أو غير القابلة للتصرف.

التواصل. يحتاج المستخدمون وأصحاب المصلحة إلى معرفة ما تأثر وما تفعلونه ومتى سيسمعون خبرًا. والتحديثات المتكررة البسيطة تقلل الاتصالات المتكررة والقلق. وتعطي مقالة ويكيبيديا عن الاتصال في الأزمات مبادئ عامة. وتخدم صفحة الحالة وقناة داخلية ورسائل مباشرة للعملاء الرئيسين جماهير مختلفة.

سجلات الحوادث. تذكرة أو سجل بوقت البدء والأعراض والإجراءات والقرارات ووقت الانتهاء. ويدعم السجل المراجعة ويعطي بيانات للتحسين. والخط الزمني المحفوظ أثناء الحادث أدق من الذي يُعاد بناؤه لاحقًا.

المراجعة. بعد حادث مهم، أجرِ مراجعة خالية من اللوم تنظر في ما حدث وما ساعد وما أبطأ الاستجابة وما يجب تغييره. وتذهب النتائج إلى إدارة المشكلات ورصيد التحسين. انظر الموضوع 3.3 — إدارة المشكلات.

المقاييس. زمن الاكتشاف وزمن الاستجابة وزمن الاستعادة، وتُلخَّص غالبًا في متوسط زمن التعافي (MTTR) كما تصفه ويكيبيديا، شائعة. وتخفي المتوسطات فروقًا كبيرة بين الحوادث، ويمكن التلاعب بها بطريقة تحديد وقتي البدء والانتهاء. استخدم التوزيعات وانظر في الحوادث منفردة. انظر كتاب Service Management Metrics.

كيف تتلاءم العدسات. تعامل الممارسة الرشيقة كل مراجعة تغذيةً راجعة وتُبقي التحسين صغيرًا ومستمرًا. ويستطيع الذكاء الاصطناعي تلخيص الخطوط الزمنية واقتراح حوادث سابقة مشابهة وصياغة التحديثات، مع شخص مسؤول. وتنفذ الأتمتة خطوات آمنة معروفة جيدًا مثل إعادة التشغيل والتحويل عند الفشل. وتُظهر التحليلات أنماط التكرار.

أفضل الممارسات

  1. عرّف مستويات الجسامة بوقائع قابلة للملاحظة. اكتب معنى كل مستوى ومن يُخطَر وبأي سرعة. وراجع التعريفات بعد حوادث كان تصنيفها صعبًا.
  2. سمِّ الأدوار ومارسها. اتفقوا من يقود ومن يتواصل ومن يسجل. وتمرّنوا في تمارين، لئلا تكون المرة الأولى أزمة حقيقية. انظر الموضوع 3.12 — إدارة استمرارية الخدمة.
  3. استعد أولًا، حقق لاحقًا. ضع قاعدة بتطبيق الحل المؤقت حين يتوفر ويكون آمنًا. سجّل الحادث لإدارة المشكلات وتابع.
  4. احتفظ بخط زمني حي. سجّل الإجراءات والقرارات بأوقاتها لحظة حدوثها، في مكان مشترك. فهو يمنع الجدالات ويسرّع المراجعة.
  5. صعّد مبكرًا وبلا لوم. عرّف محفزات التصعيد وعامل استخدامها ممارسة جيدة. فمن يصعّدون متأخرين يخشون النقد، فأزله.
  6. تواصل بإيقاع. اتفقوا على فاصل تحديث لكل مستوى جسامة، وأرسلوا التحديثات حتى حين لا جديد، مع قول ذلك. استخدموا لغة بسيطة.
  7. أعطِ المستجيبين ما يحتاجون. حافظ على كتيّبات التشغيل والوصول واللوحات وقوائم الاتصال. واختبر الوصول قبل الليلة التي يلزم فيها.
  8. احمِ الناس. حدّ حمل المناوبة، وسلّم الحوادث الطويلة، وتأكد أن المستجيبين يستريحون. المتعبون يتخذون قرارات أسوأ.
  9. راجع بلا لوم وتابع حتى النهاية. اكتب تقريرًا قصيرًا بالخط الزمني والعوامل المساهمة والإجراءات بمالكيها ومواعيدها. وتتبّع الإجراءات حتى الإنجاز. انظر الموضوع 3.3 — إدارة المشكلات.
  10. أعد الدروس إلى العمل. حدّث كتيّبات التشغيل والمراقبة والتصميم. وشارك التعلم مع الفرق الأخرى، وتحقق أن الحوادث المتكررة تنخفض.

أسئلة للنقاش مع فريقك

كيف نقرر مدى جدية حادث، وهل جرى جدال حول ذلك أثناء حادث من قبل؟ الخلاف على الجسامة يهدر الوقت. اطلب أمثلة حديثة. وقد تسمع أن الجواب يتوقف على من يسأل. وتابع بإعادة كتابة تعريف مستوى واحد بوقائع قابلة للملاحظة.

من يقود حادثًا في الثالثة صباحًا، وكيف يعرف أنه القائد؟ غموض القيادة سبب شائع للارتباك. اسأل من اتخذ القرارات في آخر حادث كبير. توقّع إجابات مختلفة. وتابع بالاتفاق على كيفية اختيار القائد والإعلان عنه.

ماذا يسمع المستخدمون منا أثناء حادث، وكم مرة؟ قارن ما سمعه المستخدمون في آخر حادث بما أرادوه. توقّع فترات صمت طويلة. وتابع باختيار فاصل تحديث وقناة وصياغة قالب.

ما الذي صعّدناه متأخرين، ولماذا؟ يستكشف هذا الخوف والعادة. قد يتأخر الناس خوفًا من الظهور بمظهر عدم الكفاءة أو من إيقاظ أحد. اسأل ما الذي يجعل التصعيد أسهل. وتابع بكتابة قاعدة مثل «صعّد إن لم يحدث تقدم خلال 30 دقيقة».

ماذا تقول مراجعة آخر حادث إنه ينبغي تغييره، وما الذي تغيّر فعلًا؟ يختبر هذا المتابعة. اطلب الإجراءات وحالتها. توقّع أن بعضها مفتوح منذ أشهر. وتابع بتعيين مالكين ومواعيد ومراجعتها بعد شهر.

أين يستطيع الذكاء الاصطناعي المساعدة أثناء حادث، وأين يجب أن يقرر شخص؟ يستطيع الذكاء الاصطناعي تلخيص الخط الزمني والبحث في الحوادث السابقة وصياغة التحديثات. ولا يمكن أن يكون مسؤولًا. اسأل أي الإجراءات قد يتخذها الذكاء الاصطناعي دون موافقة، إن وُجدت. وتابع باختيار استخدام واحد منخفض الخطر والاتفاق على كيفية فحص مخرجاته.

في الممارسة: مثال على إدارة الخدمات

يدير الفريق الرقمي في سلسلة صيدليات وطنية تطبيقًا يتيح للعملاء طلب وصفات طبية متكررة. مساء يوم جمعة، تبدأ الطلبات تفشل لنحو 30 في المئة من المستخدمين. يرى المهندس المناوب أخطاء من قاعدة بيانات ويستدعي قائد الحادث بحسب الجدول. يعلن القائد حادثًا من الجسامة الثانية لأن المستخدمين لا يستطيعون إكمال مهمة أساسية، ويعيّن قائد اتصالات، ويبدأ خطًا زمنيًا.

خلال 15 دقيقة يشتبه الفريق في تغيير قاعدة بيانات نُشر بعد ظهر ذلك اليوم. يسأل القائد هل التراجع عنه آمن؛ ويؤكد المهندس الذي أجرى التغيير ذلك. يتراجع الفريق وتتعافى الطلبات خلال خمس دقائق. والزمن الكلي من أول تنبيه إلى التعافي 47 دقيقة. وكان قائد الاتصالات قد نشر في صفحة الحالة عند الدقيقة 20، ومرة أخرى عند 35، وتحديثًا أخيرًا عند التعافي، وأبلغ فريق خدمة العملاء بما يقولونه.

في الأسبوع التالي يعقد الفريق مراجعة خالية من اللوم. يُظهر الخط الزمني أن الاكتشاف اعتمد على شكوى مستخدم، لأن لا تنبيه يغطي الطلبات الفاشلة؛ وأن التغيير روجع لكن بيئة الاختبار لم تكن فيها بيانات واقعية؛ وأن أول تحديث جاء أبطأ من الفاصل المتفق عليه لأن قائد الاتصالات لم يكن متأكدًا مما يُسمح لصفحة الحالة بقوله. فيضيف الفريق تنبيهًا على معدل فشل الطلبات، ويحسّن بيانات الاختبار، ويكتب قالبًا لصفحة الحالة.

ما الذي يتغير: الحادث المشابه التالي يكتشفه التنبيه خلال ثلاث دقائق. وما يظل صعبًا: لا تحتوي بيانات الاختبار على معلومات مرضى حقيقية، لأسباب وجيهة، مما يحد من واقعيتها؛ ولا يزال الجدول يضم مهندسين قلائل يستطيعون التراجع بأمان عن قاعدة البيانات؛ وتضم قائمة إجراءات المراجعة اثني عشر بندًا ولدى الفريق وقت لخمسة. فيختارون بحسب الخطر ويضعون الباقي في الرصيد بمواعيد.

أربع زوايا نظر

فرق المنتج والتسليم

ابنوا للاستعادة: اجعلوا التغييرات قابلة للتراجع، وأضيفوا تنبيهات وسجلات تُظهر أثر المستخدم، واكتبوا كتيّبات التشغيل أثناء العمل. شاركوا في المراجعات وأصلحوا الأسباب في التصميم.

فرق الخدمة والعمليات

اعرفوا دوركم ومارسوه واحتفظوا بالخط الزمني. صعّدوا مبكرًا، وتواصلوا باستمرار، واعتنوا ببعضكم. وأحضروا ما تتعلمونه إلى المراجعات واستخدموه لتحسين كتيّبات التشغيل والمراقبة.

القيادة والحوكمة

اتفقوا على تعريفات الجسامة والتوقعات مسبقًا، وقاوموا إسناد اللوم. وأثناء حادث كبير، ادعموا القائد واطلبوا التحديثات عبر القناة المتفق عليها فقط. وموّلوا إجراءات المتابعة.

العملاء والمستخدمون

ينبغي أن تُخبروا سريعًا بما تأثر وما يُفعل ومتى ستسمعون خبرًا. أبلغوا بما ترونه، بتفاصيل. وبعد حادث كبير، توقعوا روايةً واضحة لما تغيّر.

الرشاقة والذكاء الاصطناعي والأتمتة والتحليلات

الرشاقة

عامل مراجعات الحوادث حلقة التغذية الراجعة القصيرة التي تقود التحسين: تغييرات صغيرة لكتيّبات التشغيل والتنبيهات والتصميم، تُجرى بسرعة مع إبلاغ أصحاب المصلحة. تنبيه: قائمة إجراءات طويلة لا يُنهيها أحد أسوأ من قصيرة تُنجز.

الذكاء الاصطناعي

يستطيع الذكاء الاصطناعي صياغة التحديثات وتلخيص الخط الزمني والمحادثة وإيجاد حوادث سابقة مشابهة. ويبقى قائد الحادث مسؤولًا، ومخرج الذكاء الاصطناعي اقتراح. تنبيه: قد يخترع الذكاء الاصطناعي أسبابًا أو أزمنة، وتحديث مصوغ آليًا يُرسل دون مراجعة قد يضلل العملاء؛ فافحص دائمًا قبل الإرسال. انظر الموضوع 5.4 — الذكاء الاصطناعي التوليدي للحوادث والمعرفة والتغييرات.

الأتمتة

أتمت خطوات استجابة آمنة قابلة للتكرار، مثل جمع بيانات التشخيص واستدعاء الأشخاص المناسبين وتنفيذ إعادة تشغيل مراجعة، مع سجلات وحدود. تنبيه: قد تزيد الأتمتة التي تتصرف أثناء حادث الأمر سوءًا؛ فأبقِ إيقافًا يدويًا واختبر في بيئة آمنة. انظر الموضوع 6.6 — أتمتة كتيّبات التشغيل والإصلاح التلقائي.

التحليلات

انظر في زمن الاكتشاف والاستجابة والاستعادة، وفي توزيع كل منها، وفي الحوادث المتكررة. تنبيه: المتوسطات تخفي أسوأ الحوادث، وتعريفات البدء والانتهاء تتفاوت، والمقاييس المستخدمة للحكم على الفرق تدعو إلى التلاعب بالطوابع الزمنية؛ فادرس الحوادث منفردة أيضًا. انظر كتاب Service Management Metrics والموضوع 7.3 — القياس والتقارير.

أنماط الإخفاق الشائعة

  • جدال حول الجسامة أثناء الحادث. يضيع الوقت. اكتب التعريفات بوقائع قابلة للملاحظة.
  • لا قائد واضح. يتصرف الجميع ولا يقرر أحد. سمِّ القائد وأعلن ذلك.
  • التحقيق والخدمة متعطلة. تتأخر الاستعادة. طبّق حلًا مؤقتًا آمنًا أولًا.
  • صمت تجاه المستخدمين. يرتفع القلق والاتصالات المتكررة. حدّث بإيقاع.
  • اللوم في المراجعات. يخفي الناس الأخطاء. أجرِ مراجعات خالية من اللوم وتتبّع الإجراءات.
  • الاعتماد على البطل. شخص واحد يصلح كل شيء. شارك المعرفة واكتب كتيّبات التشغيل.
  • إجراءات آلية بلا حدود. تفاقم أتمتة حادثًا. أضف حدودًا وسجلات وإيقافًا يدويًا.

نموذج النضج

البُعد البدء التطوير التوحيد الإدارة التنسيق
الجسامة والعملية ارتجالًا مستويات غير رسمية مستويات معرّفة بتوقعات استجابة تُراجع المستويات بالبيانات تتكيف العملية عبر الخدمات والشركاء
الأدوار والتمرن ارتجالية بعض الأدوار مسماة أدوار معرّفة ومتمرَّن عليها تُقاس التمارين وتُحسَّن تُتشارك التمارين مع الموردين والعملاء
التواصل غير منتظم تحديثات حين يُتذكر إيقاع تحديث وقنوات لكل جسامة تُراجع جودة التواصل متسق عبر الفرق والعملاء والشركاء
التعلم اللوم مراجعات عرضية مراجعات بلا لوم بإجراءات متتبَّعة يُقاس التكرار ويُقلَّل يُتشارك التعلم عبر المؤسسة

قائمة التحقق

  • مستويات الجسامة معرّفة بوقائع قابلة للملاحظة واستجابات متوقعة.
  • أدوار الحوادث مسماة ومتمرَّن عليها.
  • محفزات التصعيد مكتوبة.
  • يُحتفظ بخط زمني حي للحوادث المهمة.
  • فواصل التحديث والقنوات محددة لكل جسامة.
  • حمل المناوبة محدود ومراقَب.
  • المراجعات بلا لوم والإجراءات تُتتبَّع حتى الإنجاز.
  • للذكاء الاصطناعي والأتمتة المستخدمين في الحوادث مالك وحدود ومراجعة.

موجّهات الذكاء الاصطناعي

لخّص الخط الزمني لحادث للمراجعة.

Here are the chat messages and notes from an incident, with times and names removed: [paste text].
Produce a timeline of key events, a list of decisions and who made them (by role only), what helped, what slowed us down, and questions for the review. Use only the text and mark anything uncertain.
List what you are unsure of.

صُغ تحديث حالة للمراجعة.

Facts we know: [paste confirmed facts]. Facts we do not know: [list]. Next update in: [time].
Draft a status update of under 80 words in plain language that states what is affected, what we are doing, and when the next update is due. Do not speculate about causes or give an estimate for recovery that is not in the facts.
List what you are unsure of.

افحص تعريفات الجسامة.

Our severity definitions: [paste]. Here are three past incidents with their impact: [paste].
For each incident, say which level the definitions suggest, quote the words you used, and note where the definitions were ambiguous. Do not change the definitions.
List what you are unsure of.

مهارات الذكاء الاصطناعي

  • incident-response-plan: استخدمها لتعريف الأدوار والجسامة وخطوات الاستجابة للحوادث.
  • postmortem: استخدمها لإجراء مراجعة خالية من اللوم بإجراءات متتبَّعة.
  • runbook: استخدمها لتدوين خطوات الاستجابة للإخفاقات المعروفة.
  • crisis-communication-plan: استخدمها لتخطيط التحديثات للمستخدمين وأصحاب المصلحة.
  • on-call-rotation: استخدمها لتصميم ترتيب مناوبة مستدام.

المصادر الرئيسة

  • Betsy Beyer and others (eds.), Site Reliability Engineering (2016), chapters on incident response and postmortems, free at sre.google: إرشاد عملي من مشغّل كبير.
  • PeopleCert, ITIL certification pages: وصف المالك لممارسة إدارة الحوادث.
  • Wikipedia, "Incident management": نظرة عامة على الممارسة.
  • Wikipedia, "Incident Command System": نموذج إدارة الطوارئ الذي أثّر في أدوار الحوادث التقنية.

المراجع

  1. Incident management — Wikipedia — https://en.wikipedia.org/wiki/Incident_management
  2. Incident Command System — Wikipedia — https://en.wikipedia.org/wiki/Incident_Command_System
  3. Mean time to recovery — Wikipedia — https://en.wikipedia.org/wiki/Mean_time_to_recovery
  4. Escalation — Wikipedia — https://en.wikipedia.org/wiki/Escalation
  5. Crisis communication — Wikipedia — https://en.wikipedia.org/wiki/Crisis_communication
  6. Alarm fatigue — Wikipedia — https://en.wikipedia.org/wiki/Alarm_fatigue
  7. Workaround — Wikipedia — https://en.wikipedia.org/wiki/Workaround
  8. Runbook — Wikipedia — https://en.wikipedia.org/wiki/Runbook
  9. Triage — Wikipedia — https://en.wikipedia.org/wiki/Triage
  10. Site Reliability Engineering: How Google Runs Production Systems — Google — https://sre.google/sre-book/table-of-contents/