التوافر والسعة والأداء
تُبقي إدارة التوافر والسعة والأداء الخدمة قابلة للاستخدام وكبيرة بما يكفي وسريعة بما يكفي للطلب الذي تواجهه؛ وهي تنجح حين تأتي الأهداف من احتياجات المستخدمين، وتُصمَّم المخاطر خارج النظام بالتكرار والاختبار، وتُفحص التوقعات مقابل الواقع بدل الوثوق بها.
لماذا يهم هذا
يحكم المستخدمون على الخدمة بثلاثة أشياء قبل أي شيء آخر: هل أستطيع استخدامها، وهل تتحمل حين يستخدمها كثيرون، وهل هي سريعة؟ وتظهر الإخفاقات في أي منها عملًا ضائعًا وعمليات شراء متروكة واتصالات غاضبة. ومع ذلك يسهل إهمال الثلاثة حتى يوم سيئ: إطلاق يضاعف الحركة، أو موعد نهائي يرسل الجميع إلى النظام في الساعة الأخيرة، أو فشل مكوّن واحد لم يدرك أحد أن كل شيء يعتمد عليه.
وتوجد هذه الممارسات لتجنب تلك الأيام السيئة بالتفكير فيها مسبقًا. إنها تسأل كم من الإخفاق تتحمل الخدمة وكم يكلّف ذلك، وكم من الطلب يجب أن تعالج وكيف سينمو، وكم بسرعة ينبغي أن تستجيب. وتجيب بخيارات تصميم مثل التكرار، وباختبارات تجد الحدود قبل أن يجدها المستخدمون، وبتوقعات تُفحص وتُحدَّث.
يصف ITIL 4 ثلاث ممارسات متصلة: إدارة التوافر، وإدارة السعة والأداء، ووثيقة الصلة بها إدارة استمرارية الخدمة (الموضوع 3.12 — إدارة استمرارية الخدمة). وتلتقي بها فرق الهندسة بوصفها هندسة الموثوقية وهندسة الأداء وتخطيط السعة، باستخدام SLO وميزانيات الأخطاء (الموضوع 2.6 — هندسة موثوقية المواقع). يجمع هذا الموضوع الأفكار ويشرح كيف تستخدمها دون إسراف: فمزيد من التوافر ليس أفضل دائمًا، لأن كل تسعة إضافي يكلّف أكثر. وهو يتصل بإدارة مستوى الخدمة (الموضوع 3.7 — إدارة مستوى الخدمة) والمراقبة (الموضوع 3.10 — المراقبة وإدارة الأحداث).
المفاهيم الأساسية
التوافر. قدرة الخدمة على أداء وظيفتها المتفق عليها حين تلزم. وتصف ويكيبيديا التوافر بأنه نسبة الزمن التي يعمل فيها نظام. ويُعبَّر عنه عادة بنسبة مئوية على فترة، مثل 99.9 في المئة في شهر، مما يتيح نحو 43 دقيقة من التعطل. ولا يكون للرقم معنى إلا حين تعرّف ماذا يعني «يعمل» للمستخدمين.
الموثوقية وقابلية الصيانة. الموثوقية هي كم تعمل الخدمة دون إخفاق؛ وقابلية الصيانة هي مدى سرعة استعادتها. ويعتمد التوافر على كليهما. وتصف مقالتا ويكيبيديا عن هندسة الموثوقية ومتوسط الزمن بين الأعطال (MTBF) المقاييس. وفي خدمات حديثة كثيرة، الاستعادة السريعة أيسر تحقيقًا من الإخفاق النادر.
التكرار ونقاط الفشل الوحيدة. التكرار يعني وجود مكوّنات احتياطية بحيث لا يوقف فشل واحد الخدمة. ونقطة الفشل الوحيدة مكوّن يوقف فشله كل شيء. وتصف مقالتا ويكيبيديا عن التكرار ونقاط الفشل الوحيدة الفكرتين. وإيجاد نقاط الفشل الوحيدة، بما فيها الناس والموردون والشهادات التي تنتهي صلاحيتها، مهمة جوهرية في التوافر.
تحمل الأعطال والتدهور الرشيق. النظام المتحمل للأعطال يواصل العمل حين تفشل أجزاؤه؛ والذي يتدهور برشاقة يفقد بعض الوظائف لكنه يحتفظ بالجوهر. فمثلًا قد يعطل موقع تسوق التوصيات لكنه يواصل معالجة الطلبات. صمّم للثاني حيث يكون التحمل الكامل مكلفًا جدًا.
التحويل عند الفشل. التحول إلى مكوّن احتياطي حين يفشل الأساسي. وينبغي اختباره؛ فالتحويل غير المختبر كثيرًا ما يفشل حين يلزم. انظر الموضوع 3.12 — إدارة استمرارية الخدمة.
السعة. أقصى إنتاجية تستطيع الخدمة تسليمها. وتتأكد إدارة السعة أن هناك ما يكفي، ولا أكثر كثيرًا مما يكفي، لتلبية الطلب الحالي والمستقبلي بالتكلفة المتفق عليها. وتصفها مقالة ويكيبيديا عن تخطيط السعة.
الطلب. الحمل الموضوع على الخدمة: المستخدمون والطلبات وحجم البيانات. يتفاوت الطلب بالساعة واليوم والموسم والحدث، وتؤثر فيه الإطلاقات والحملات والأحداث الخارجية. وفهم النمط أهم من المتوسط.
قابلية التوسع والتوسع الآلي. القدرة على معالجة حمل أكبر بإضافة موارد. وتتيح المنصات السحابية توسعًا آليًا يضيف سعة حين يرتفع الحمل. وهو يساعد لكنه لا يزيل الحاجة إلى التخطيط: فله حدود، ويكلّف مالًا، ولا يصلح قاعدة بيانات لا تتوسع. انظر الموضوع 4.5 — الإدارة المالية وFinOps.
الأداء. مدى سرعة الخدمة وكفاءتها في الاستجابة. والمقاييس الشائعة هي زمن الاستجابة (كم يستغرق طلب) والإنتاجية (كم طلبًا يُعالج) ومعدل الأخطاء. وتصف ويكيبيديا زمن الاستجابة في الهندسة. يلاحظ المستخدمون الذيل البطيء، فانظر في المئينات، مثل الخامس والتسعين، لا المتوسط فقط. انظر الموضوع 3.7 — إدارة مستوى الخدمة.
الطوابير والتشبع. كلما اقترب نظام من الاستخدام الكامل، ينمو زمن الانتظار بحدة. وتشرح نظرية الطوابير، التي تصفها ويكيبيديا، لماذا تبدو خدمة تعمل عند 95 في المئة من سعتها مختلفة جدًا عن أخرى عند 60 في المئة. اترك هامشًا.
هندسة الأداء واختباره. التصميم والاختبار من أجل الأداء طوال التطوير، لا في النهاية فقط. يطبق اختبار الحمل الطلب المتوقع؛ ويدفع اختبار الإجهاد إلى ما بعده لإيجاد نقاط الانهيار. وتصف ويكيبيديا كليهما. اختبر في بيئة تشبه الإنتاج، ببيانات واقعية.
التنبؤ. تقدير الطلب المستقبلي من التاريخ والأحداث المعروفة والنمو. وتصف ويكيبيديا أساليب التنبؤ. والتوقعات غير مؤكدة: سجّل الافتراضات، وأظهر النطاقات، وقارن التنبؤات بما يحدث. انظر الموضوع 7.5 — التحليلات التنبؤية والتوقّع.
مفاضلات التكلفة. كل زيادة في التوافر أو السعة تكلّف مالًا. ويعتمد المستوى الصحيح على كلفة الفشل والبطء على الأعمال. اجعل المفاضلة صريحة مع من يدفعون، واكتبها.
كيف تتلاءم العدسات. تعامل الممارسة الرشيقة عمل الموثوقية جزءًا من الرصيد وتختبر مبكرًا وكثيرًا. ويستطيع الذكاء الاصطناعي كشف الشذوذ ودعم التنبؤ تحت المراجعة. وتوسّع الأتمتة الموارد وتحوّل عند الفشل. وتوفر التحليلات البيانات للممارسات الثلاث كلها.
أفضل الممارسات
- ضع أهداف التوافر من حاجة المستخدم. اسأل ماذا يحدث حين تتعطل الخدمة ساعة أو يومًا أو أسبوعًا. ضع هدفًا وتكلفة يتطابقان. واكتب تعريف «متاح» من وجهة نظر المستخدم.
- اعثر على نقاط الفشل الوحيدة. ارسم مكوّنات الخدمات المهمة واعتمادياتها، واسأل ماذا يحدث إن فشل كل منها. وضمّن الشهادات والتراخيص والناس والموردين.
- صمّم للفشل. استخدم التكرار حيث تبرر التكلفة ذلك، واجعل المكوّنات تفشل باستقلال، وقرر ما يمكن إطفاؤه لحماية الجوهر.
- اختبر التحويل عند الفشل والاستعادة. تمرّن على التحويل في بيئة آمنة، وسجّل الزمن الذي يستغرقه. وأصلح ما تكشفه البروفة.
- اعرف نمط طلبك. اجمع بيانات الحمل بالساعة واليوم والموسم، واسرد الأحداث القادمة المعروفة مثل الإطلاقات والمواعيد النهائية. وخطّط للذروات لا للمتوسطات.
- اترك هامشًا. لا تشغّل مكوّنات مهمة قرب السعة الكاملة. وضع عتبات تنبيه تحذّر في وقت يتيح التصرف.
- اختبر الأداء قبل أن يفعل المستخدمون. أجرِ اختبارات حمل وإجهاد على سيناريوهات واقعية قبل الإصدارات الكبرى وقبل الذروات المعروفة. وتعلّم أين ينهار النظام.
- تنبأ وافحص. اصنع توقعًا مع افتراضاته، وراجعه بانتظام مقابل الفعلي، وعدّل. وشارك النطاقات لا أرقامًا منفردة.
- راقب الذيل. أبلغ عن مئينات زمن الاستجابة ومعدلات الأخطاء، وحقق في أبطأ الطلبات. فالمتوسطات تخفي تجربة المستخدمين سيئي الحظ.
- زن التكلفة والخطر علنًا. أرِ المالكين كلفة كل مستوى من التوافر والسعة، وسجّل القرار ومن اتخذه.
أسئلة للنقاش مع فريقك
ماذا سيخسر مستخدمونا لو تعطلت هذه الخدمة ساعة، وهل يطابق هدفنا ذلك؟ يربط هذا الأهداف بالأثر. توقّع أن مختلف المستخدمين يعطون إجابات مختلفة. اطلب أمثلة حقيقية. وتابع بكتابة الهدف مع كلفة وفحصه مع عميل.
ما نقاط الفشل الوحيدة لدينا، بما فيها غير الآلات؟ ارسم الاعتماديات لخدمة حرجة واحدة. توقّع مفاجآت: شهادة لا يتتبعها أحد، أو مهندس واحد، أو مورّد بلا بديل. وتابع باختيار واحدة للتقليل.
متى اختبرنا التحويل عند الفشل آخر مرة، وماذا حدث؟ اطلب التاريخ والنتيجة. توقّع «أبدًا» أو «نجح في بيئة الاختبار». وتابع بالتخطيط لبروفة بزمن استعادة معلن.
ما أكثر ساعات السنة ازدحامًا لهذه الخدمة، وهل نحن مستعدون لها؟ فكّر في المواعيد النهائية والإطلاقات والتخفيضات. اسأل ماذا حدث آخر مرة. وتابع بالتخطيط لاختبار حمل قبل الذروة التالية.
ما مدى دقة آخر ثلاثة توقعات للسعة؟ يختبر هذا التعلم. توقّع أن أحدًا لم يفحص. قارن التوقعات بالفعلي. وتابع بالاتفاق على دورة مراجعة وتسجيل الافتراضات.
كيف يستطيع الذكاء الاصطناعي المساعدة في توقع الطلب أو كشف المشكلات مبكرًا، وكيف سنعرف أنه أخطأ؟ يستطيع الذكاء الاصطناعي إيجاد أنماط في القياس عن بُعد. وقد يلائم الضجيج أيضًا. اسأل من يملكه وبماذا سيُقارن. وتابع بتشغيل توقع ذكاء اصطناعي بجانب الأسلوب القائم ربعًا.
في الممارسة: مثال على إدارة الخدمات
تدير وكالة وطنية لقروض الطلاب بوابة طلبات. في معظم السنة تعالج بضعة آلاف مستخدم في اليوم. وفي اليومين الأخيرين قبل الموعد النهائي السنوي للتقديم تعالج أكثر من مئة ضعف ذلك. قبل سنتين انهارت في المساء الأخير؛ والعام الماضي نجت بتوسع طارئ وليلة من العمل الإضافي.
تبدأ مالكة الخدمة في يناير، قبل الموعد النهائي التالي بوقت طويل. تطلب بيانات الحركة لآخر ثلاث سنوات ساعة بساعة، وتجد شكلًا ثابتًا: ارتفاع بطيء في الأسبوع الأخير، وارتفاع حاد في اليوم الأخير، وذروة في الساعات الثلاث الأخيرة. وتطلب من الفريق تحديد نقاط الفشل الوحيدة. فيجدون أن البوابة تعتمد على خدمة تحقق هوية يديرها مورّد بحد معدل ثابت، من شأنه أن يحدد الإنتاجية بنحو نصف الذروة المتوقعة.
يفعل الفريق ثلاثة أشياء. يتفاوض مع المورّد على حد معدل أعلى ويحصل على زيادة مؤقتة للأسبوع الأخير. ويجري اختبارات حمل في مارس ويونيو باستخدام نمط العام السابق زائد 30 في المئة، ويجد أن قاعدة البيانات تصبح الاختناق عند نحو 70 في المئة من الذروة المتوقعة، فيصلح ذلك بإضافة نسخة قراءة وتخزين بعض الاستعلامات المكلفة مؤقتًا. ويجهز وضعًا متدهورًا: في اليوم الأخير تُطفأ الميزات غير الأساسية مثل حاسبة المدخرات إن تجاوز الحمل عتبة.
في يوم الموعد النهائي، تعالج البوابة الذروة. تبطؤ خدمة الهوية في أزحم ساعة لكنها لا تفشل، ويُفعَّل الوضع المتدهور مرة واحدة لمدة 40 دقيقة. ما الذي يتغير: لا انقطاع ولا أزمة عمل إضافي. وما يظل صعبًا: حد المورّد مسألة تعاقدية تُعاد كل عام؛ وكان توقع الزيادة بـ30 في المئة افتراضًا، والزيادة الفعلية 22 في المئة، فربما أنفق الفريق أكثر مما يلزم؛ ولم يختبر أحد فشل منطقة كاملة، وهو ما يوقف الخدمة. وتسجل المالكة هذه في خطة العام القادم.
أربع زوايا نظر
فرق المنتج والتسليم
صمّموا للفشل وللحمل: اجعلوا المكوّنات مستقلة، واختبروا الأداء أثناء البناء، واعرفوا حدودكم. وضمّنوا في التصميم أوضاعًا متدهورة وحدود معدل.
فرق الخدمة والعمليات
اعرفوا نمط الطلب وهامش السعة. تمرّنوا على التحويل عند الفشل، وراقبوا الذيل البطيء، وحذّروا مبكرًا من الاتجاهات. وأبقوا خريطة الاعتماديات حديثة.
القيادة والحوكمة
قرروا مستويات التوافر والسعة بعين على التكلفة والخطر، واطلبوا الأدلة وراءها. موّلوا الاختبار والبروفات لا المعدات فقط. وانتبهوا للذروات المعروفة.
العملاء والمستخدمون
أخبروا المزود عن أزحم فتراتكم وكم يكلفكم الفشل. اسألوا أي مستوى من التوافر مخطط وماذا يحدث حين يُفوَّت.
الرشاقة والذكاء الاصطناعي والأتمتة والتحليلات
الرشاقة
ضمّن عمل الموثوقية والأداء في الرصيد، واختبر مبكرًا وكثيرًا في خط الإنتاج، وتعلّم من كل حادث وذروة. تنبيه: دفع الموثوقية إلى «لاحقًا» يبني دينًا يظهر في أسوأ وقت.
الذكاء الاصطناعي
يستطيع الذكاء الاصطناعي كشف الشذوذ وتوقع الطلب من التاريخ والأحداث واقتراح إجراءات التوسع، بمالكين وقرارات بشرية بشأن التكلفة والخطر. تنبيه: قد يفشل نموذج دُرِّب على أيام عادية أمام أحداث غير مسبوقة؛ فقارنه بخطوط أساس بسيطة وأبقِ شخصًا مسؤولًا. انظر الموضوع 5.2 — AIOps.
الأتمتة
أتمت التوسع والتحويل عند الفشل وفحوص الصحة واختبارات الحمل في خط الإنتاج، مع حدود وسجلات. تنبيه: قد يرفع التوسع الآلي التكاليف أو يخفي إصدارًا معيبًا؛ فضع ميزانيات وتنبيهات، واختبر قواعد التوسع. انظر الموضوع 6.6 — أتمتة كتيّبات التشغيل والإصلاح التلقائي.
التحليلات
اجمع الطلب والاستخدام ومئينات زمن الاستجابة ومعدلات الأخطاء ودقة التوقع. تنبيه: يمكن التلاعب بأهداف الاستخدام بنقل الحمل، وتخفي المتوسطات الذيل البطيء؛ فتحقق ببيانات تجربة المستخدم. انظر الموضوع 7.5 — التحليلات التنبؤية والتوقّع وكتاب Service Management Metrics.
أنماط الإخفاق الشائعة
- أهداف بالعادة. يُوعد بـ«خمس تسعات» بلا سبب. ضع الأهداف من حاجة المستخدم والتكلفة.
- نقاط فشل وحيدة مخفية. شهادة أو شخص يوقف كل شيء. ارسم الاعتماديات على نطاق واسع.
- تحويل عند الفشل غير مختبر. يفشل حين يلزم. تمرّن بانتظام.
- التخطيط للمتوسطات. تغمر الذروات النظام. خطط للذروات المعروفة واترك هامشًا.
- توقعات لا تُفحص أبدًا. تتكرر الأخطاء. قارن التنبؤات بالفعلي.
- التوسع الآلي علاجًا شاملًا. تبقى التكاليف والاختناقات. اختبر الحدود وضع ميزانيات.
- المتوسطات فقط. يُتجاهل الذيل البطيء. أبلغ بالمئينات.
نموذج النضج
| البُعد | البدء | التطوير | التوحيد | الإدارة | التنسيق |
|---|---|---|---|---|---|
| التوافر | تفاعلي | أهداف للخدمات الرئيسة | أهداف وتكرار وتحويل عند الفشل مختبَر | يُقاس التوافر مقابل تجربة المستخدم | يُصمَّم التوافر ويُدار عبر الخدمات والموردين |
| السعة | تُضاف حين تنفد | مراقبة أساسية | أنماط الطلب معروفة وموقَّعة بافتراضات | تُراجع دقة التوقع | تُخطَّط السعة وتُعدَّل تلقائيًا مع إشراف |
| الأداء | الشكاوى فقط | بعض المقاييس | أهداف مئينات واختبارات حمل قبل الإصدارات | تُتتبَّع اتجاهات الأداء وانحداراته | يُهندَس الأداء عبر دورة الحياة |
| الوعي بالتكلفة | مجهولة | معروفة تقريبًا | مفاضلات موثقة بمالكين | تُراجع التكلفة والخطر بانتظام | تُحسَّن التكلفة والخطر والموثوقية معًا |
قائمة التحقق
- أهداف التوافر مبنية على حاجة المستخدم والتكلفة، بتعريف واضح.
- نقاط الفشل الوحيدة للخدمات المهمة مرسومة ومتتبَّعة.
- التحويل عند الفشل متمرَّن عليه ومحسوب زمنه.
- نعرف نمط طلبنا وذرواتنا القادمة.
- نجري اختبارات حمل قبل الإصدارات الكبرى والذروات المعروفة.
- تسجل التوقعات افتراضاتها وتُفحص مقابل الفعلي.
- نبلّغ عن مئينات زمن الاستجابة ومعدلات الأخطاء.
- مفاضلات التكلفة والخطر مسجلة بمالكين.
موجّهات الذكاء الاصطناعي
اعثر على نقاط الفشل الوحيدة.
Here is a description of how [service] works and what it depends on: [paste].
List each component and dependency, and for each one say what the description implies would happen if it failed, or "not stated". Mark candidate single points of failure and questions to ask. Do not assume redundancy that is not described.
List what you are unsure of.
لخّص أنماط الطلب.
Here is hourly request data for [period]: [paste summary or data].
Describe the daily, weekly, and seasonal patterns you can see, give the peak-to-average ratio, and list dates that look unusual. Do not forecast.
List what you are unsure of.
صُغ خطة اختبار حمل.
Our service: [describe]. Expected peak: [number and pattern]. Known limits or concerns: [list].
Draft a test plan with scenarios, load levels, what to measure, what would make us stop, and risks of testing. Specify that it is run only in a safe environment.
List what you are unsure of.
مهارات الذكاء الاصطناعي
- capacity-planning: استخدمها لتوقع الطلب وتخطيط الموارد.
- load-testing: استخدمها لتصميم اختبارات الحمل وتشغيلها.
- performance-testing: استخدمها لفحص السرعة والاستجابة.
- demand-forecasting: استخدمها لتقدير الطلب المستقبلي بعدم يقين معلن.
- chaos-testing: استخدمها لاختبار كيف تنتشر الإخفاقات.
المصادر الرئيسة
- Betsy Beyer and others (eds.), Site Reliability Engineering (2016): chapters on handling overload and load balancing, free at sre.google.
- PeopleCert, ITIL certification pages: وصف المالك لممارسات التوافر والسعة.
- Wikipedia, "High availability" and "Capacity planning": نظرات عامة على الأفكار الرئيسة.
- Wikipedia, "Queueing theory": الرياضيات وراء الانتظار والتشبع.
المراجع
- Availability — Wikipedia — https://en.wikipedia.org/wiki/Availability
- High availability — Wikipedia — https://en.wikipedia.org/wiki/High_availability
- Capacity planning — Wikipedia — https://en.wikipedia.org/wiki/Capacity_planning
- Reliability engineering — Wikipedia — https://en.wikipedia.org/wiki/Reliability_engineering
- Mean time between failures — Wikipedia — https://en.wikipedia.org/wiki/Mean_time_between_failures
- Single point of failure — Wikipedia — https://en.wikipedia.org/wiki/Single_point_of_failure
- Redundancy (engineering) — Wikipedia — https://en.wikipedia.org/wiki/Redundancy_(engineering)
- Load testing — Wikipedia — https://en.wikipedia.org/wiki/Load_testing
- Queueing theory — Wikipedia — https://en.wikipedia.org/wiki/Queueing_theory
- Forecasting — Wikipedia — https://en.wikipedia.org/wiki/Forecasting
- Site Reliability Engineering: How Google Runs Production Systems — Google — https://sre.google/sre-book/table-of-contents/