AIOps
تطبّق AIOps تعلم الآلة على بيانات العمليات لتقليل ضجيج التنبيهات وإيجاد الشذوذ وربط الأحداث واقتراح الأسباب؛ وتؤتي ثمارها حين تُختبر مقابل حوادث سابقة، وتبقى قابلة للتفسير لمن يستجيبون، وتُعامَل مساعدًا للمناوبين لا بديلًا عن الحكم.
لماذا يهم هذا
تغرق فرق العمليات في البيانات. تُصدر الخدمة الحديثة ملايين أسطر السجلات وآلاف المقاييس ومئات التنبيهات كل يوم. ولا يستطيع الناس قراءة كل ذلك، فيضعون عتبات وقواعد ليقرروا ما يُنظر فيه. وتنمو القواعد وتتفاعل وتبلى. ويتبين أن معظم التنبيهات ضجيج، وتختبئ مشكلات حقيقية بينها.
وتَعِد AIOps، وهو مصطلح ابتكرته شركة المحللين غارتنر في منتصف العقد الثاني من الألفية من «العمليات الخوارزمية لتقنية المعلومات» ويُقرأ الآن عمومًا «الذكاء الاصطناعي لعمليات تقنية المعلومات»، بالمساعدة. إنها تستخدم تعلم الآلة لتتعلم ما هو طبيعي، وتلاحظ حين لا يكون شيء كذلك، وتجمّع التنبيهات المتصلة في حدث واحد، وتقترح أين قد يكون السبب. وتصف ويكيبيديا AIOps بأنها تطبيق الذكاء الاصطناعي لتحسين عمليات تقنية المعلومات. ويقدمها الباعة بعبارات قوية. ويذكر الممارسون مكاسب حقيقية في بعض الاستخدامات، مثل تقليل الضجيج، وخيبة أمل في أخرى، مثل التشخيص الآلي الكامل.
وبالنسبة إلى إدارة الخدمات السؤال عملي: أي أجزاء AIOps تعطي قيمة موثوقة، وكيف تفحصها، وكيف تُبقي الناس متحكمين؟ يصف هذا الموضوع التقنيات الرئيسة وأنماط فشلها المعتادة ومسارًا معقولًا للتبني. وهو يبني على المراقبة (الموضوع 3.10 — المراقبة وإدارة الأحداث) وقابلية الملاحظة (الموضوع 7.4 — قابلية الملاحظة والقياس عن بُعد)، ويتداخل مع إدارة الحوادث (الموضوع 3.2 — إدارة الحوادث) وأتمتة كتيّبات التشغيل (الموضوع 6.6 — أتمتة كتيّبات التشغيل والإصلاح التلقائي).
المفاهيم الأساسية
AIOps. استخدام تقنيات الذكاء الاصطناعي، أساسًا تعلم الآلة والإحصاء، على بيانات العمليات لدعم مهام مثل كشف الشذوذ وربط الأحداث واقتراح السبب الجذري والتنبؤ. وهي مجموعة تقنيات لا منتج واحد، وتتفاوت القدرات تفاوتًا واسعًا.
كشف الشذوذ. إيجاد نقاط بيانات أو أنماط تختلف عن المتوقع. وتصف ويكيبيديا كشف الشذوذ وأساليبه. وفي العمليات، قد يتعلم نموذج النمط اليومي والأسبوعي العادي للطلبات وينبّه على الانحرافات. والعادي ليس ثابتًا: فالموسمية، التي تصفها ويكيبيديا، تعني أن صباح الاثنين يبدو مختلفًا عن مساء الأحد. والكاشفات الجيدة تأخذ ذلك في الحسبان.
السلاسل الزمنية. بيانات مسجلة عبر الزمن، مثل أزمنة الاستجابة أو أعداد الأخطاء. وتصف ويكيبيديا تحليل السلاسل الزمنية. ومعظم مقاييس العمليات سلاسل زمنية، وتبني تقنيات AIOps على أساليب نمذجتها والتنبؤ بها.
ربط الأحداث وتقليل الضجيج. الجمع بين التنبيهات الناشئة عن سبب واحد في حادث واحد، وكتم التكرارات والضجيج المعروف. وتصف ويكيبيديا ربط الأحداث. وتجمّع تقنيات العنقدة، التي تصفها ويكيبيديا بتحليل العناقيد، العناصر بحسب التشابه. والربط الجيد يحوّل مئتي تنبيه إلى واحد، مع تسمية المصدر المرجح.
اقتراح السبب الجذري. استخدام الطوبولوجيا وسجلات التغيير والسجلات وحوادث سابقة لاقتراح أين يقع العطل على الأرجح. الاقتراحات فرضيات. وهي أنفع حين تشير إلى تغيير حديث أو اعتماد، وأقل موثوقية حين يكون السبب جديدًا.
العمليات التنبؤية. توقع المشكلات قبل وقوعها، مثل قرص سيمتلئ خلال ثلاثة أيام أو مكوّن يرجح فشله. وتصف ويكيبيديا الصيانة التنبؤية والتحليلات التنبؤية. والتنبؤات احتمالات، ولكل منها كلفة للإنذارات الكاذبة وللفائت. انظر الموضوع 7.5 — التحليلات التنبؤية والتوقّع.
تحليل السجلات. استخدام تقنيات من معالجة اللغة الطبيعية والإحصاء لإيجاد أنماط في السجلات، مثل أنواع رسائل جديدة أو تغيرات في التكرار. وتصف ويكيبيديا تحليل السجلات.
الذكاء الاصطناعي التوليدي في العمليات. تستطيع النماذج اللغوية الكبيرة تلخيص الخطوط الزمنية للحوادث وترجمة التنبيهات إلى لغة بسيطة وصياغة خطوات كتيّبات التشغيل والإجابة عن أسئلة عن البيئة. وهي تضيف مرونة وخطر محتوى مخترع. انظر الموضوع 5.4 — الذكاء الاصطناعي التوليدي للحوادث والمعرفة والتغييرات.
الدقة والاسترجاع وكلفة الأخطاء. يمكن للكاشف أن يخطئ بطريقتين: أن يطلق إنذارًا كاذبًا (إيجابية كاذبة) أو يفوّت مشكلة حقيقية (سلبية كاذبة). وتصف ويكيبيديا نوعي الخطأ ومقياسي الدقة والاسترجاع. والضبط لتقليل أحدهما يزيد الآخر. ويعتمد التوازن الصحيح على كلفة كل منهما، وتستحق الخدمات المختلفة إعدادات مختلفة.
انجراف المفهوم. تتعلم النماذج من بيانات سابقة، والعالم يتغير: إصدارات جديدة وأنماط حركة جديدة وبنية تحتية جديدة. وتصف ويكيبيديا انجراف المفهوم، حيث تتغير الخصائص الإحصائية لما يُتنبأ به عبر الزمن. وقد يكون نموذج دقيق في يناير مضللًا بحلول يونيو ما لم يُراقب ويُعاد تدريبه.
قابلية التفسير. سيثق المستجيبون باقتراح أكثر، ويصححونه بنفع أكبر، إن استطاعوا رؤية لماذا قُدّم: أي المقاييس تحركت، وأي الأحداث جُمّعت، وأي تغيير سبق التحول. وتصف ويكيبيديا الذكاء الاصطناعي القابل للتفسير ومشكلة الصناديق السوداء. وللعمليات، فضّل الأساليب التي تُظهر أدلتها.
جودة البيانات وتغطيتها. تحتاج AIOps إلى بيانات جيدة: كاملة ومتسقة ومؤرخة صحيحًا ومعنونة بالخدمات والمالكين. والبيانات الناقصة أو غير المتسقة تنتج إشارات فائتة وروابط كاذبة. انظر الموضوع 4.4 — إدارة التكوين والموضوع 7.2 — أسس البيانات وحوكمتها.
أفكار التشغيل الذاتي والشفاء الذاتي. الهدف القديم لأنظمة تكتشف أعطالها وتصلحها، وتصفه ويكيبيديا بالحوسبة الذاتية. وبعض أجزائه عملي اليوم، مثل إعادة تشغيل عملية فاشلة. أما الشفاء الذاتي الواسع فأصعب بكثير. انظر الموضوع 6.6 — أتمتة كتيّبات التشغيل والإصلاح التلقائي.
الإشراف البشري. يبقى المستجيب مسؤولًا. مخرجات AIOps مدخلات لقرار بشري، إلا إن اختُبر إجراء محدد بدقة واعتُمد ليجري تلقائيًا. انظر الموضوع 5.5 — الذكاء الاصطناعي الوكيلي والإشراف البشري.
كيف تتلاءم العدسات. تجمع AIOps بين الذكاء الاصطناعي والتحليلات لجزء العمليات من إدارة الخدمات. وتقترح الممارسة الرشيقة تجارب صغيرة على خدمة واحدة، بملاحظات من المناوبين. وتستهلك الأتمتة مخرجات AIOps، مثلًا لفتح تذكرة أو إجراء فحص آمن.
أفضل الممارسات
- ابدأ بألم واضح. اختر مشكلة واحدة، مثل تنبيهات كثيرة جدًا على خدمة واحدة، ومقياسًا، مثل عدد الاستدعاءات في المناوبة. وجرّب AIOps هناك.
- رتّب البيانات أولًا. تحقق أن السجلات والمقاييس كاملة، والطوابع الزمنية متسقة، والخدمات والمالكين معنونون. وسدّ الفجوات قبل أن تلوم النموذج.
- اختبر مقابل حوادث سابقة. أعد تشغيل بيانات تاريخية عبر الأداة، واسأل ماذا كانت ستنبّه عليه وتجمّعه وتقترحه. وعُدّ الإنذارات الكاذبة والفائت.
- قارن بأساليب بسيطة. قارن بعتبات ثابتة وقواعد أساسية. فإن أدى أسلوب بسيط الأداء نفسه، فاستخدمه. ولا تدفع ثمن تعقيد لا يضيف شيئًا.
- فضّل المخرجات القابلة للتفسير. اختر أدوات تُظهر الدليل وراء تنبيه أو سبب مقترح. واشترط أن يستطيع المستجيبون رؤيته وتحديه.
- ابدأ بالوضع الاستشاري. دع الأداة تقترح ودع الناس يقررون. وراجع الاقتراحات مقابل ما حدث فعلًا لبضعة أسابيع قبل أن تمنحها أي إجراء آلي.
- حدّ الإجراءات الآلية. لا تسمح إلا بإجراءات ضيقة مفهومة جيدًا قابلة للعكس، بحدود معدل وسجلات وإيقاف يدوي. وراجع كل فئة من الإجراءات قبل تفعيلها.
- راقب النماذج. تتبّع الإنذارات الكاذبة والفائت ونسبة الاقتراحات المفيدة. وراقب الانجراف بعد الإصدارات الكبرى وأعد التدريب أو التكوين عند الحاجة.
- أبقِ المناوبين مشاركين. اطلب منهم تقييم الاقتراحات في الأداة، وراجع ملاحظاتهم أسبوعيًا. فهم أفضل من يحكم على الفائدة.
- سجّل ما كُتم. احتفظ بسجل للتنبيهات التي أخفاها النظام أو دمجها، وراجع عينات منها بانتظام. فالكتم هو حيث تقع أسوأ الإخفاقات.
أسئلة للنقاش مع فريقك
أي التنبيهات تهدر أكبر قدر من وقت مناوبينا، وهل ستصلحها قواعد أفضل قبل أي ذكاء اصطناعي؟ ابدأ بالبيانات. كثير من مشكلات الضجيج يستجيب لإصلاحات بسيطة. توقّع أن بضع قواعد تسبب معظم الضجيج. وتابع بإصلاحها ثم إعادة تقييم ما يستطيع الذكاء الاصطناعي إضافته.
لو كانت الأداة تعمل أثناء آخر ثلاثة حوادث، ماذا كانت ستخبرنا، وهل كان ذلك سيفيد؟ أعد التشغيل أو حاكِ. توقّع نتائج مختلطة. اسأل ما الذي كانت ستفوّته. وتابع باختيار نوع الحادث الذي تبدو الأداة أكثر وعدًا فيه.
كيف سنعرف أن الأداة كتمت تنبيهًا حقيقيًا؟ يختبر هذا الإشراف. توقّع «لن نعرف». وتابع بالاتفاق على سجل للأحداث المكتومة وعينة منتظمة وقاعدة بما لا يُكتم أبدًا.
من المسؤول حين يسوء إجراء آلي، وما حدوده؟ سمِّ مالكًا واسرد الإجراءات المسموحة. توقّع إجابات مبهمة. وتابع بكتابة قائمة قصيرة بالإجراءات المسموحة دون موافقة، لكل منها تراجع.
كيف سنكتشف أن النموذج انجرف بعد إصدار كبير أو تغير في الحركة؟ اطلب الخطة. توقّع أن لا خطة. وتابع باختيار مؤشرات، مثل معدل الإنذارات الكاذبة، وموعد مراجعة بعد كل إصدار كبير.
ماذا يريد المناوبون من هذه الأداة، وما الذي سيجعلهم يتوقفون عن الوثوق بها؟ اسألهم مباشرة. توقّع إجابات عملية عن السياق والإنذارات الكاذبة. وتابع بتحويل الإجابات إلى معايير قبول للتجربة.
في الممارسة: مثال على إدارة الخدمات
يدير فريق العمليات في هيئة أرصاد جوية وطنية خطوط بيانات التنبؤ وواجهة برمجية عامة على مشهد مختلط من أنظمة المقر والسحابة. يتلقى المناوبون نحو 300 تنبيه في اليوم، معظمها من بضعة مصادر مزعجة. ويقترح مورّد منصة AIOps بربط آلي واقتراحات للسبب الجذري.
يوافق قائد العمليات على تجربة بشروط. أولًا ينظف الفريق القواعد الـ12 الأكثر إزعاجًا، مما يزيل نحو نصف الحجم. وثانيًا يعيد تشغيل ستة أشهر من البيانات، بما فيها 14 حادثًا، عبر المنصة في الوضع الاستشاري. وفي إعادة التشغيل، تجمّع المنصة التنبيهات جيدًا: الحادث المتوسط الذي أنتج 80 تنبيهًا يظهر ثلاث مجموعات. وتنبّه بصواب على أول علامة في تسعة من 14 حادثًا، وتفوّت ثلاثة كان أول عَرَض فيها في سجل، وتطلق إنذارات كاذبة على إعادة المعالجة الليلية الروتينية، التي لها نمط لم تتعلمه.
ينشر الفريق الأداة في الوضع الاستشاري على خط واحد شهرين، ويقيّم المناوبون كل اقتراح مفيدًا أو محايدًا أو خاطئًا. يُقيَّم نحو 55 في المئة مفيدًا، و15 في المئة خاطئًا، عادة حيث يكون السبب تغييرًا حديثًا غير مسجل. ثم يُسمح للمنصة بفتح تذاكر آليًا للحوادث المجمّعة، ولا شيء غير ذلك. ويحتفظ الفريق بمراجعة أسبوعية للتنبيهات المكتومة، وبعد إصدار كبير يجد أن خط أساس النموذج للحركة خاطئ الآن ويجب إعادة تدريبه.
ما الذي يتغير: يتلقى المناوبون تنبيهات أقل بكثير وأفضل تجميعًا. وما يظل صعبًا: تعتمد اقتراحات المنصة على سجلات تغيير دقيقة، وهي ناقصة؛ وهي أقل نفعًا للإخفاقات الجديدة؛ ويزداد تسعير المورّد مع حجم البيانات، فيحدّ الفريق ما يُدخله. ويخطط القائد لتوسيع التجربة إلى خط آخر فقط بعد مراجعة إضافية للفائت.
أربع زوايا نظر
فرق المنتج والتسليم
أصدروا قياسًا عن بُعد جيدًا: سجلات متسقة ومقاييس بتسميات الخدمة وسجلات للنشر والتغييرات. شاركوا معرفة التصميم مع فريق العمليات، وساعدوا في فحص اقتراحات الأداة عن خدمتكم.
فرق الخدمة والعمليات
استخدموا الأداة مساعدًا: قيّموا الاقتراحات، وراجعوا المكتوم، وأبلغوا عن الفائت. أبقوا القواعد بسيطة حيث تعمل، وأبقوا ملكية القرارات والإجراءات.
القيادة والحوكمة
اطلبوا نتائج من اختبارات إعادة التشغيل وتجربة، لا من عرض توضيحي. وضعوا حدودًا للإجراءات الآلية. موّلوا جودة البيانات والتدريب. واحذروا ادعاءات العمليات المستقلة كليًا.
العملاء والمستخدمون
ينبغي أن تلاحظوا اضطرابات أقل وأقصر، لا تغيرًا في كيفية إبلاغكم بالمشكلات. أخبروا المزود إن فات حادث قبل أن تلاحظوه.
الرشاقة والذكاء الاصطناعي والأتمتة والتحليلات
الرشاقة
جرّب على خدمة واحدة، مع ملاحظات متكررة من المناوبين، ثم وسّع بخطوات. وراجع الفائت بعد كل حادث وعدّل. تنبيه: ضبط نموذج باستمرار دون تسجيل التغييرات يجعل السلوك غير متوقع؛ فاحتفظ بسجل تغييرات.
الذكاء الاصطناعي
الأداة نفسها نظام ذكاء اصطناعي بمالك وبيانات اختبار ومراجعة. عاملها كغيرها: سجّل ما يجوز لها فعله، وراقبها، واختبر بعد التحديثات. تنبيه: قد يغيّر الموردون النماذج دون إشعار؛ فاسأل كيف يعلنون التغييرات واختبر بانتظام. انظر الموضوع 5.6 — حوكمة الذكاء الاصطناعي ومخاطره والامتثال.
الأتمتة
اربط مخرجات AIOps بإجراءات آلية ضيقة مختبرة، مثل إنشاء التذاكر وجمع التشخيصات وإعادة تشغيل عملية فاشلة معروفة، مع حدود وسجلات. تنبيه: قد تزيد الإجراءات الآلية المختارة من تنبؤات غير مؤكدة الحادث سوءًا؛ فاشترط ثقة عالية وتراجعًا. انظر الموضوع 6.6 — أتمتة كتيّبات التشغيل والإصلاح التلقائي.
التحليلات
قِس حجم التنبيهات ونسبة المفيد والإنذارات الكاذبة والفائت المكتشف في مراجعات الحوادث وزمن الكشف وزمن التشخيص. تنبيه: يمكن خفض حجم التنبيهات بإخفاء تنبيهات حقيقية؛ فقارن دائمًا بالحوادث والفائت. انظر الموضوع 7.4 — قابلية الملاحظة والقياس عن بُعد وكتاب Service Management Metrics.
أنماط الإخفاق الشائعة
- شراء وعد. يُؤخذ عرض المورّد دليلًا. اختبر على بياناتك بإعادة التشغيل وتجربة.
- بيانات رديئة. يتعلم النموذج من سجلات وتسميات غير متسقة. أصلح البيانات أولًا.
- كتم بلا مراجعة. تُخفى تنبيهات حقيقية. سجّل المكتوم وخذ عينات.
- اقتراحات معتمة. لا يستطيع المستجيبون الحكم عليها. فضّل أدوات تُظهر الدليل.
- أتمتة سابقة لأوانها. تقع إجراءات خاطئة بسرعة. ابدأ استشاريًا وحدّ الإجراءات.
- تجاهل انجراف النموذج. تتدهور الدقة بصمت. راقب وأعد التدريب بعد التغييرات.
- تعقيد بلا مكسب. كانت قاعدة بسيطة تكفي. قارن بأساليب بسيطة.
نموذج النضج
| البُعد | البدء | التطوير | التوحيد | الإدارة | التنسيق |
|---|---|---|---|---|---|
| أساس البيانات | غير متسق | جُمعت المصادر الرئيسة | قياس عن بُعد متسق ومعنون ومملوك | تُقاس جودة البيانات وتُحسَّن | بيانات مشتركة عبر الفرق والموردين بحوكمة |
| استخدام الذكاء الاصطناعي | ادعاءات المورّد | تجربة على خدمة واحدة | استخدام استشاري مع إعادة تشغيل وملاحظات | تُقاس النتائج ويُتصرف بشأنها | ذكاء اصطناعي مدمج عبر العمليات مع إشراف |
| الأتمتة | لا شيء | إنشاء التذاكر | إجراءات ضيقة معتمدة بحدود | تُراجع الإجراءات وتُحسَّن | أتمتة أوسع بحسب الخطر مع سيطرة بشرية |
| رعاية النموذج | لا شيء | ضبط ارتجالي | مراقبة الانجراف والأخطاء | إعادة التدريب مرتبطة بالتغيير | تقييم مستمر عبر الأدوات |
قائمة التحقق
- اخترنا مشكلة محددة ومقياسًا لتجربة.
- أصلحنا أسوأ ضجيج تنبيهاتنا بقواعد بسيطة أولًا.
- اختبرنا الأداة على حوادث تاريخية وعددنا الفائت والإنذارات الكاذبة.
- قارناها بأساليب بسيطة.
- المخرجات قابلة للتفسير للمستجيبين.
- نعمل في الوضع الاستشاري قبل السماح بأي إجراء.
- الإجراءات الآلية ضيقة ومسجلة ومحددة المعدل وقابلة للعكس.
- نراقب الانجراف ونراجع التنبيهات المكتومة.
موجّهات الذكاء الاصطناعي
افحص نتائج إعادة التشغيل.
Here are the results of replaying [number] past incidents through our AIOps tool: for each, the first real symptom, what the tool flagged and when, and what it suggested: [paste].
Compute for each incident whether the tool flagged the problem before the first page, and list false alarms and misses. Summarize counts and note incidents where the data is unclear. Do not rate the tool overall.
List what you are unsure of.
راجع التنبيهات المكتومة.
Here is a sample of alerts that the system suppressed or merged last week, with details: [paste sample].
For each, say whether the details suggest it was noise, a duplicate of another alert, or possibly a real problem, and give your reason. Mark those you cannot judge.
List what you are unsure of.
صُغ معايير قبول لتجربة.
Our service: [describe]. Our current pain: [describe, with numbers if known]. Our constraints: [list].
Draft acceptance criteria for a two-month pilot of an AIOps tool: measures, thresholds we should agree beforehand, what would make us stop, and what automatic actions are not allowed. Do not state vendor claims as facts.
List what you are unsure of.
مهارات الذكاء الاصطناعي
- anomaly-analysis: استخدمها لفحص الأنماط غير المعتادة في بيانات العمليات.
- trend-analysis: استخدمها لرؤية كيف تتغير المقاييس عبر الزمن.
- data-quality: استخدمها لفحص المدخلات التي تعتمد عليها AIOps.
- mlops: استخدمها لمراقبة النماذج قيد الاستخدام وصيانتها.
- root-cause-analysis: استخدمها لاختبار الأسباب المقترحة مقابل الأدلة.
المصادر الرئيسة
- Betsy Beyer and others (eds.), Site Reliability Engineering (2016), chapter on monitoring distributed systems, free at sre.google: الأسس التي تبني عليها AIOps.
- PeopleCert, ITIL certification pages: وصف المالك لممارسة المراقبة وإدارة الأحداث.
- Wikipedia, "AIOps" and "Anomaly detection": نظرات عامة على المصطلح والتقنيات.
- Wikipedia, "Concept drift": السبب الرئيس لتدهور النماذج عبر الزمن.
المراجع
- AIOps — Wikipedia — https://en.wikipedia.org/wiki/AIOps
- Anomaly detection — Wikipedia — https://en.wikipedia.org/wiki/Anomaly_detection
- Event correlation — Wikipedia — https://en.wikipedia.org/wiki/Event_correlation
- Time series — Wikipedia — https://en.wikipedia.org/wiki/Time_series
- Seasonality — Wikipedia — https://en.wikipedia.org/wiki/Seasonality
- Cluster analysis — Wikipedia — https://en.wikipedia.org/wiki/Cluster_analysis
- Precision and recall — Wikipedia — https://en.wikipedia.org/wiki/Precision_and_recall
- Type I and type II errors — Wikipedia — https://en.wikipedia.org/wiki/Type_I_and_type_II_errors
- Concept drift — Wikipedia — https://en.wikipedia.org/wiki/Concept_drift
- Explainable artificial intelligence — Wikipedia — https://en.wikipedia.org/wiki/Explainable_artificial_intelligence
- Predictive maintenance — Wikipedia — https://en.wikipedia.org/wiki/Predictive_maintenance