المراقبة وإدارة الأحداث
تراقب المراقبة وإدارة الأحداث الخدمات ليسمع الشخص المناسب عن المشكلات الحقيقية مبكرًا ولا يوقظ الضجيج أحدًا؛ وهما تنجحان حين تصف التنبيهات ما يشعر به المستخدمون، ولكل تنبيه إجراء، ويُبقى حجم الأحداث منخفضًا بما يكفي ليثق به الناس.
لماذا يهم هذا
ينبغي أن تأتي أول علامة على المشكلة من أنظمتك أنت لا من مستخدم. وهذا وعد المراقبة: تُرصد صحة الخدمة باستمرار ويُلاحَظ الانحراف قبل أن يلاحظه معظم المستخدمين. وعمليًا، تجد فرق كثيرة أن المستخدمين لا يزالون يبلغون عن المشكلات أولًا، بينما الفريق مدفون تحت تنبيهات لا يتصرف بشأنها أحد.
والفرق بين التجربتين تصميم. فإعداد مراقبة يطلق تنبيهًا عند كل عتبة تُتجاوز يعلّم متلقيه تجاهل التنبيهات. وتصف ويكيبيديا هذا بإرهاق التنبيهات، وهي ظاهرة درست أول مرة في المستشفيات، حيث يفقد الموظفون المعرَّضون لإنذارات كثيرة جدًا حساسيتهم ويفوتون المهمة منها. أما الإعداد الذي يقيس ما يختبره المستخدمون ولا ينبّه إلا حين يلزم إجراء ويمنح المستجيب سياقًا فيحوّل المراقبة إلى نظام إنذار مبكر.
وللمراقبة دور أكبر من التقاط الإخفاقات. فهي توفر البيانات لتخطيط السعة وعمل الأداء والتحقق من صحة إصدار وتقرير ما يُحسَّن. يصف هذا الموضوع المفردات والممارسات التي تميّز المراقبة المفيدة من الضجيج. وهو يرتبط ارتباطًا وثيقًا بإدارة الحوادث (الموضوع 3.2 — إدارة الحوادث) والتوافر والسعة (الموضوع 3.11 — التوافر والسعة والأداء) وقابلية الملاحظة (الموضوع 7.4 — قابلية الملاحظة والقياس عن بُعد).
المفاهيم الأساسية
المراقبة. جمع بيانات عن حالة الخدمات ومكوّناتها ومعالجتها واستخدامها. وتصف ويكيبيديا مراقبة النظم ومراقبة الشبكات بأنها ممارسات رصد الأنظمة بحثًا عن الأعطال والأداء. تجيب المراقبة عن أسئلة معروفة: هل يعمل، وهل هو سريع، وهل امتلأ؟
الحدث. في ITIL 4، أي تغيير في الحالة له دلالة لإدارة خدمة أو عنصر تكوين آخر. وقد تكون الأحداث إعلامية أو تحذيرية أو استثنائية. كثير من الأحداث عادي ولا يحتاج إلى إجراء؛ والممارسة تقرر أيها يحتاج.
التنبيه. إشعار بأن حدثًا يحتاج إلى انتباه. ليس كل حدث ينبغي أن يصبح تنبيهًا. والتنبيه الجيد يخبر شخصًا أن شيئًا يحتاج إلى إجراء الآن، وما الخطأ، وأين ينظر.
إرهاق التنبيهات. فقدان الحساسية للتنبيهات حين تكون كثيرة جدًا أو كثير منها كاذب. انظر مقالة ويكيبيديا عن إرهاق التنبيهات. وتشمل علاماته تنبيهات يُقرّ بها دون قراءتها، وقنوات مكتومة، وحوادث تُكتشف متأخرة. وهي مشكلة تصميم لا مشكلة انضباط.
المقاييس والسجلات والتتبعات. ثلاثة أنواع شائعة من القياس عن بُعد. المقاييس قياسات رقمية عبر الزمن، مثل معدل الطلبات أو استخدام الذاكرة. والسجلات تسجيلات مؤرخة للأحداث. والتتبعات تتبع طلبًا عبر أجزاء نظام موزع. وتصف مقالتا ويكيبيديا عن القياس عن بُعد وإدارة السجلات أفكارًا عامة. وهي معًا تدعم المراقبة والتحقيق الأعمق الذي تغطيه قابلية الملاحظة.
قابلية الملاحظة. القدرة على فهم الحالة الداخلية لنظام من مخرجاته. وتصف ويكيبيديا قابلية الملاحظة في البرمجيات بأنها توسيع للمراقبة إلى أسئلة لم تتوقعها. ويتداخل الاثنان: تراقب المراقبة الإخفاق المعروف؛ وتساعد قابلية الملاحظة في التحقيق في المجهول. انظر الموضوع 7.4 — قابلية الملاحظة والقياس عن بُعد.
الأعراض والأسباب. العَرَض ما يختبره المستخدمون أو الخدمة، مثل استجابات بطيئة؛ والسبب ما وراءه، مثل قرص ممتلئ. التنبيه على الأعراض يخبرك أن المستخدمين تأثروا. والتنبيه على كل سبب ممكن يخلق ضجيجًا. وتنبّه فرق كثيرة على الأعراض وتستخدم مقاييس مستوى السبب للتحقيق.
العتبات وخطوط الأساس. العتبة الثابتة، مثل «المعالج فوق 90 في المئة»، بسيطة وكثيرًا ما تكون خاطئة، لأن المستويات الطبيعية تتفاوت مع الوقت والحمل. وتتعلم خطوط الأساس ما هو طبيعي في وقت من اليوم وتطلق تنبيهات عند الانحراف. وتصف مقالة ويكيبيديا عن كشف الشذوذ الفكرة وتحذيراتها.
ربط الأحداث. الجمع بين أحداث متصلة لإيجاد المشكلة الكامنة، فتصبح مئة تنبيه من مكوّن فاشل واحد تنبيهًا واحدًا. وتصف ويكيبيديا ربط الأحداث. وقد يكون قائمًا على القواعد أو يستخدم تعلم الآلة. انظر الموضوع 5.2 — AIOps.
المراقبة الاصطناعية ومراقبة المستخدمين الحقيقيين. تشغّل المراقبة الاصطناعية اختبارات مبرمجة تحاكي المستخدمين وتفحص بانتظام هل تعمل رحلة. وتسجل مراقبة المستخدمين الحقيقيين تجربة المستخدمين الفعليين. وتصف ويكيبيديا كليهما. تلتقط الفحوص الاصطناعية الانقطاعات في الأوقات الهادئة؛ وتُظهر بيانات المستخدمين الحقيقيين ما يختبره الناس فعلًا.
إدارة أداء التطبيقات. أدوات وممارسات لمراقبة أداء التطبيقات وتوافرها، بما في ذلك أزمنة الاستجابة ومعدلات الأخطاء. وتصف ويكيبيديا الحقل.
قابلية التصرف. ينبغي أن يكون لكل تنبيه إجراء محدد، ولو كان «افحص كتيّب التشغيل». فإن لم يستطع شخص قول ما يفعل، فينبغي إزالة التنبيه أو تحويله إلى تقرير. انظر الموضوع 3.9 — إدارة المعرفة.
التوجيه والتصعيد. تذهب التنبيهات إلى من يستطيعون التصرف، باستخدام جداول المناوبة، مع تصعيد إن لم يكن هناك إقرار. انظر الموضوع 3.2 — إدارة الحوادث.
إدارة الأحداث وITIL. يصف ITIL 4 «المراقبة وإدارة الأحداث» بأنها ممارسة ترصد الخدمات ومكوّناتها بانتظام وتسجل وتبلّغ عن تغييرات مختارة في الحالة. والتشديد على تقرير أي الأحداث يهم وماذا يُفعل بكل منها.
كيف تتلاءم العدسات. المراقبة هي جانب التغذية الراجعة من التسليم المستمر: تُظهر هل التغيير سليم. وتعامل الممارسة الرشيقة جودة التنبيه بندًا في الرصيد. ويستطيع الذكاء الاصطناعي تقليل الضجيج وربط الأحداث والتلخيص، تحت المراجعة. وتستطيع الأتمتة التصرف على أحداث مفهومة جيدًا. وتُظهر التحليلات الاتجاهات وكلفة الضجيج.
أفضل الممارسات
- نبّه على ما يشعر به المستخدمون. ابدأ بالأعراض، مثل الطلبات الفاشلة والصفحات البطيئة والمهام الفاشلة. واستخدم مقاييس الأسباب للتشخيص لا للاستدعاء، إلا إن كان سبب إنذارًا مبكرًا موثوقًا.
- اجعل كل تنبيه قابلًا للتصرف. لكل تنبيه، اكتب ماذا يعني ومن يتصرف وماذا يفعل أولًا. واربطه بكتيّب تشغيل. وأزل التنبيهات التي لا إجراء لها.
- أبقِ الحجم منخفضًا. عُدّ التنبيهات التي يتلقاها كل مناوب في المناوبة، وضع حدًا. وراجع أكثر التنبيهات إزعاجًا كل أسبوع وأصلحها أو احذفها.
- استدعِ للإلحاح، وافتح تذكرة لما عداه. استخدم المكالمة أو الاستدعاء فقط حين يجب أن يتصرف أحدهم الآن. وأرسل الإشارات الأخرى إلى طابور أو تقرير. وعرّف الفرق بوضوح.
- استخدم خطوط الأساس بحذر. حيث يتغير الطبيعي مع الوقت والحمل، استخدم عتبات واعية بالوقت أو كشف شذوذ، وراجعها. ولا تثق بنموذج لا تستطيع شرحه لمن يستجيبون.
- جمّع التنبيهات المتصلة. اربط الأحداث من السبب نفسه، واكتم التنبيهات اللاحقة حين يفشل اعتماد. وأرسل رسالة واحدة بسياق.
- افحص من وجهة نظر المستخدم. أضف فحوصًا اصطناعية للرحلات الأساسية، واستخدم بيانات المستخدمين الحقيقيين للتجربة. فقد يكون خادم «يعمل» والمستخدمون لا يستطيعون تسجيل الدخول.
- راقب المراقبة. اختبر أن التنبيهات تصل إلى الناس، وأن نظام الاستدعاء يعمل، وأن فشلًا صامتًا للمراقبة نفسه يُكتشف. وأجرِ اختبارات شاملة من حين لآخر.
- راجع بعد الحوادث. اسأل أي تنبيه انطلق وأيها كان ينبغي أن ينطلق وأيها كان ضجيجًا. وعدّل في مراجعة الحادث. انظر الموضوع 3.3 — إدارة المشكلات.
- شارك اللوحات والسياق. أعطِ المطورين والعمليات والدعم الوصول إلى البيانات نفسها، وأظهر أثر التغييرات الحديثة. وتجنب اللوحات التي لا يستخدمها أحد.
أسئلة للنقاش مع فريقك
ما آخر حادث أخبرنا به المستخدمون قبل مراقبتنا، ولماذا؟ يجد هذا النقاط العمياء. انظر ما رآه المستخدمون. توقّع فجوات عند أطراف الرحلات. وتابع باختيار فحص واحد يراه المستخدم للإضافة.
كم تنبيهًا تلقى مناوبونا الشهر الماضي، وكم منها احتاج إلى إجراء؟ عُدّوا معًا. فإن لم يعرف أحد فتلك نتيجة. توقّع حصة منخفضة من التنبيهات القابلة للتصرف. وتابع باختيار أكثر خمسة تنبيهات إزعاجًا وتقرير مصير كل منها.
أي التنبيهات نتجاهل، وماذا سيحدث لو حذفناها؟ تجاهل التنبيهات علامة إرهاق. اسأل عن آخر مرة كان كل منها مهمًا. وتابع بحذف أو خفض واحد، بموعد مراجعة.
من يُوقَظ لماذا، وهل يتفق الجميع أن الأمر يستحق إيقاظه؟ اتفقوا على معايير الاستدعاء. توقّع خلافًا، وهو مفيد. وتابع بكتابة قاعدة من فقرة واحدة وتجربتها شهرًا.
كيف سنعرف لو توقفت مراقبتنا نفسها عن العمل؟ يختبر هذا المراقبة الفوقية. توقّع صمتًا أو جوابًا مبهمًا. وتابع بإضافة فحص نبض أو تنبيه اختبار يومي والاتفاق على من يراقبه.
ماذا نريد من الذكاء الاصطناعي أن يفعل بتنبيهاتنا، وما الذي يجب أن يبقى قرارًا بشريًا؟ يستطيع الذكاء الاصطناعي تجميع التنبيهات واقتراح الأسباب وتلخيص السياق. وقد يكتم تنبيهًا حقيقيًا. اسأل أي الإجراءات تحتاج موافقة. وتابع باختيار تجربة محصورة في التجميع والتلخيص، مع مراجعة ما أخفاه.
في الممارسة: مثال على إدارة الخدمات
يراقب فريق تقنية العمليات في مطار إقليمي مناولة الأمتعة وأنظمة تسجيل الوصول وشاشات معلومات الرحلات. يتلقى الفريق، وهو من ستة، نحو 400 تنبيه في اليوم. ويقول المناوبون إنهم يلقون نظرة على الإشعارات ويكتمون معظمها. وفي الشهر الماضي بقي مبدّل شبكة معطل في صالة دون ملاحظة 40 دقيقة، حتى اشتكى المسافرون من شاشات فارغة.
يقضي قائد الفريق أسبوعًا في النظر في البيانات. من 400 تنبيه يومي، يأتي نحو 350 من 12 قاعدة، مثل تحذيرات القرص على أجهزة تنظف نفسها، وتذبذبات واجهة على منفذ غير مستخدم. ولا يحتاج إلى إجراء بشري إلا نحو 15 يوميًا. ويتفق القائد والفريق على ثلاثة تغييرات. يحذفون القواعد الـ12 المزعجة أو يخفضونها إلى تقرير يومي. ويضيفون فحصين اصطناعيين يحمّلان صفحة الشاشة وشاشة تسجيل الوصول من كل صالة كل دقيقة ويستدعيان إن فشل أي منهما مرتين متتاليتين. ويُعدّون ربطًا بحيث ينتج مبدّل فاشل تنبيهًا واحدًا يسمّي الشاشات المتأثرة لا مئة.
في الشهر التالي، تنخفض تنبيهات المناوبة إلى نحو 20 في اليوم، ويُكتشف فشل المبدّل التالي خلال ثلاث دقائق، باستدعاء واحد يسرد الصالات المتأثرة. وفي المراجعة الأسبوعية يجد الفريق تنبيهًا واحدًا كُتم بالربط وما كان ينبغي أن يُكتم، ويصحح القاعدة.
ما الذي يتغير: يثق الناس بالاستدعاءات ويستجيبون. وما يظل صعبًا: تُرسل معدات مورّد مناولة الأمتعة تنبيهاتها بصيغة لا يستطيع الفريق ترشيحها، فيبقى بعض الضجيج؛ ويقلق بعض موظفي المناوبة الليلية أن التقرير اليومي لن يُقرأ؛ ولم يختبر أحد بعد ما يحدث إن فشل نظام المراقبة نفسه. ويجدول القائد تمرينًا ويضيف تنبيه اختبار يوميًا.
أربع زوايا نظر
فرق المنتج والتسليم
ابنوا الإشارات: مقاييس وسجلات وتتبعات ذات معنى، وفحوص صحة تعكس رحلات المستخدمين. اكتبوا كتيّب التشغيل مع التنبيه. وراقبوا آثار كل إصدار.
فرق الخدمة والعمليات
امتلكوا جودة التنبيهات. راجعوا أكثر التنبيهات إزعاجًا أسبوعيًا، واحموا الناس من الحمل الزائد، وتحققوا أن لكل استدعاء إجراءً. واختبروا المسارات التي تسلكها التنبيهات.
القيادة والحوكمة
اطلبوا عدد التنبيهات القابلة للتصرف لا عدد المراقبات. موّلوا وقت إصلاح التنبيهات المزعجة. وعاملوا الاستدعاءات المتكررة خارج ساعات العمل كلفة على الموظفين وعلى الجودة.
العملاء والمستخدمون
ينبغي أن تسمعوا عن المشكلات من المزود قبل أن تلاحظوها، وأن تُخبروا بما تأثر. أبلغوا بما ترونه، مع الأوقات، وأخبروا المزود أين فاتت المراقبة.
الرشاقة والذكاء الاصطناعي والأتمتة والتحليلات
الرشاقة
عامل التنبيهات واللوحات جزءًا من المنتج: حسّنها بخطوات صغيرة بعد كل حادث وإصدار. وراجعها مع من يستجيبون. تنبيه: إضافة مراقبات لكل ميزة جديدة دون إزالة القديمة تزيد الضجيج.
الذكاء الاصطناعي
يستطيع الذكاء الاصطناعي تعلم الأنماط الطبيعية وتجميع التنبيهات المتصلة واقتراح الأسباب المحتملة وتلخيص عاصفة تنبيهات، بمالك وقرارات بشرية. اختبره مقابل حوادث سابقة. تنبيه: النموذج الذي يكتم التنبيهات قد يخفي إخفاقًا نادرًا لكنه حقيقي؛ فقِس ما كتمه وما فاته. انظر الموضوع 5.2 — AIOps.
الأتمتة
أتمت الاستجابات للأحداث المفهومة جيدًا، مثل إعادة تشغيل عملية فاشلة، وتوجيه التنبيهات وإثرائها، مع حدود وسجلات. تنبيه: قد يخفي الإصلاح التلقائي الذي يعيد المحاولة إلى ما لا نهاية نظامًا فاشلًا أو يزيده سوءًا؛ فأضف حدود معدل وتصعيدًا. انظر الموضوع 6.6 — أتمتة كتيّبات التشغيل والإصلاح التلقائي.
التحليلات
تتبّع حجم التنبيهات ونسبة القابل للتصرف منها وزمن الإقرار والحوادث المكتشفة بالمراقبة مقابل بالمستخدمين. تنبيه: يمكن التلاعب بأعداد التنبيهات وحدها برفع العتبات حتى لا ينطلق شيء؛ فتحقق مقابل الحوادث. انظر الموضوع 7.4 — قابلية الملاحظة والقياس عن بُعد وكتاب Service Management Metrics.
أنماط الإخفاق الشائعة
- التنبيه على كل شيء. يكتم الناس القناة. نبّه على الأعراض وأزل الباقي.
- تنبيهات بلا إجراء. لا يعرف المستجيبون ماذا يفعلون. اربط بكتيّب تشغيل أو احذف التنبيه.
- عتبات ثابتة فقط. إنذارات كاذبة في الأوقات المزدحمة. استخدم أساليب واعية بالوقت أو خطوط الأساس بحذر.
- يعرف المستخدمون أولًا. فجوات في الفحوص التي يراها المستخدم. أضف المراقبة الاصطناعية ومراقبة المستخدمين الحقيقيين.
- لا مراقبة فوقية. تفشل المراقبة بصمت. أضف نبضًا وتمارين.
- تفرع اللوحات. لا ينظر إليها أحد. أبقِ قليلًا منها يدعم القرارات.
- الثقة بنموذج معتم. لا يستطيع المستجيبون شرح ما فعله. أبقِ القواعد والمنطق قابلين للمراجعة.
نموذج النضج
| البُعد | البدء | التطوير | التوحيد | الإدارة | التنسيق |
|---|---|---|---|---|---|
| تصميم التنبيه | كل عتبة تنبّه | بعض التنبيهات الأساسية | تنبيهات قائمة على الأعراض وقابلة للتصرف بكتيّبات تشغيل | تُقاس جودة التنبيه وتُراجع أسبوعيًا | تتكيف التنبيهات وتُربط عبر الخدمات |
| التغطية | الخوادم فقط | بعض التطبيقات | رحلات المستخدمين تُفحص اصطناعيًا وببيانات مستخدمين حقيقيين | تُراجع التغطية بعد الحوادث | تغطية متسقة عبر المشهد والموردين |
| الضجيج | ساحق | مُدرَك | الحجم محدود ومراجَع | يُقاس الضجيج وينخفض | يُدار الضجيج بالربط والأتمتة مع إشراف |
| الاستجابة | يدوية | استدعاءات إلى فريق | توجيه مع تصعيد | يُتتبَّع زمن الاستجابة | إجراءات آمنة مؤتمتة بسيطرة بشرية |
قائمة التحقق
- التنبيهات قائمة على أعراض يشعر بها المستخدمون.
- لكل تنبيه إجراء محدد وكتيّب تشغيل مرتبط.
- حجم تنبيهات المناوبة في كل مناوبة مقيس ومحدود.
- نراجع أكثر التنبيهات إزعاجًا كل أسبوع.
- للرحلات الرئيسة للمستخدمين فحوص اصطناعية.
- التنبيهات المتصلة مربوطة.
- نختبر أن التنبيهات تصل إلى الناس وأن فشل المراقبة يُكتشف.
- للذكاء الاصطناعي أو الأتمتة التي تتصرف على التنبيهات مالك وحدود ومراجعة.
موجّهات الذكاء الاصطناعي
رتّب التنبيهات المزعجة.
Here is a list of alert rules with the number of times each fired last month and how many led to action: [paste].
Rank them by number of non-actionable firings, list the top ten, and give one question per rule to ask about whether to remove, change, or keep it. Do not recommend deleting any.
List what you are unsure of.
صُغ نص تنبيه.
The situation to alert on: [describe]. Who acts: [role]. The first checks they should make: [list].
Draft an alert title (under 80 characters) and a body (under 80 words) that says what is wrong, what users may be experiencing, and the first step, with a link placeholder for the runbook. Do not speculate about causes.
List what you are unsure of.
اختبر قاعدة ربط.
Here is a correlation rule: [describe]. Here is a list of recent events with timestamps and sources: [paste].
List which events the rule would group, which it would suppress, and any case where a real separate problem could be hidden. Do not propose a new rule.
List what you are unsure of.
مهارات الذكاء الاصطناعي
- runbook: استخدمها لكتابة الإجراء المرافق لكل تنبيه.
- anomaly-analysis: استخدمها لفحص الأنماط غير المعتادة في المقاييس.
- key-risk-indicators: استخدمها لاختيار مؤشرات الإنذار المبكر.
- on-call-rotation: استخدمها لتصميم ترتيبات مناوبة مستدامة.
المصادر الرئيسة
- Betsy Beyer and others (eds.), Site Reliability Engineering (2016), chapter on monitoring distributed systems, free at sre.google.
- Rob Ewaschuk, "My Philosophy on Alerting" (2013): مقال قصير معروف عن التنبيه القائم على الأعراض.
- Wikipedia, "Alarm fatigue" and "Observability (software)": نظرات عامة على الأفكار الرئيسة.
- PeopleCert, ITIL certification pages: وصف المالك لممارسة المراقبة وإدارة الأحداث.
المراجع
- Alarm fatigue — Wikipedia — https://en.wikipedia.org/wiki/Alarm_fatigue
- Observability (software) — Wikipedia — https://en.wikipedia.org/wiki/Observability_(software)
- Application performance management — Wikipedia — https://en.wikipedia.org/wiki/Application_performance_management
- Event correlation — Wikipedia — https://en.wikipedia.org/wiki/Event_correlation
- Log management — Wikipedia — https://en.wikipedia.org/wiki/Log_management
- Synthetic monitoring — Wikipedia — https://en.wikipedia.org/wiki/Synthetic_monitoring
- Real user monitoring — Wikipedia — https://en.wikipedia.org/wiki/Real_user_monitoring
- Network monitoring — Wikipedia — https://en.wikipedia.org/wiki/Network_monitoring
- Anomaly detection — Wikipedia — https://en.wikipedia.org/wiki/Anomaly_detection
- Telemetry — Wikipedia — https://en.wikipedia.org/wiki/Telemetry
- Site Reliability Engineering: How Google Runs Production Systems — Google — https://sre.google/sre-book/table-of-contents/