هندسة موثوقية المواقع
تعامل هندسة موثوقية المواقع (SRE) العمليات مشكلة هندسية: فهي تضع أهدافًا قابلة للقياس للموثوقية، وتنفق ميزانية أخطاء على التغيير، وتزيل الكدح المتكرر بالبرمجيات، وتتعلم من الإخفاقات بلا لوم؛ وهي تعبّر عن كثير من ممارسات إدارة الخدمات بلغة هندسية.
لماذا يهم هذا
لكل خدمة توتر بين التغيير والموثوقية. يريد العملاء ميزات جديدة ويريدون أن تعمل الخدمة. والفرق التي تدفع التغيير بسرعة تتسبب في انقطاعات، والفرق التي تحرس الاستقرار تبطئ كل شيء. وبلا طريقة للموازنة بين الاثنين، يحسم الجدل أعلى الأصوات أو آخر حادث.
تقدم هندسة موثوقية المواقع طريقة لجعل المفاضلة صريحة. إنها تنطلق من أن الموثوقية الكاملة لا هي ممكنة ولا مرغوبة: فلا يستطيع المستخدمون التمييز بين توافر 99.999 في المئة و99.99 في المئة حين تفشل أجهزتهم وشبكاتهم نفسها أكثر من ذلك، ويكلّف كل رقم تسعة إضافي أكثر بكثير. فيتفق الفريق على هدف يطابق ما يحتاجه المستخدمون، ويقيسه، ويستخدم المسافة بين الهدف والكمال ميزانية للمخاطرة.
بدأت SRE في غوغل في أوائل الألفية الثالثة وتوصف في كتب نشرتها الشركة على الإنترنت. وتبنت مؤسسات أخرى كثيرة أجزاء منها. وقيمتها لإدارة الخدمات أنها تقدم نسخًا ملموسة بأسلوب هندسي من أفكار يسميها ITIL إدارة مستوى الخدمة وإدارة التوافر والتحسين المستمر. يشرح هذا الموضوع الأفكار الرئيسة ويحذر من نسخها دون السياق الذي جعلها تنجح.
المفاهيم الأساسية
ما هي SRE. تصف ويكيبيديا هندسة موثوقية المواقع بأنها مجموعة مبادئ وممارسات تطبق جوانب من هندسة البرمجيات على بنية تقنية المعلومات وعملياتها، لإنشاء أنظمة قابلة للتوسع وموثوقة. ويضم فريق SRE عادة أناسًا بمهارات برمجية ونظمية يؤتمتون عمل العمليات ويشاركون في التصميم من أجل الموثوقية.
مؤشر مستوى الخدمة (SLI). مقياس لجانب من الخدمة كما يختبره المستخدمون، مثل نسبة الطلبات الناجحة، أو نسبة ما يكتمل في أقل من 300 ملّي ثانية. والمؤشر الجيد يعكس ما يهتم به المستخدمون، لا ما يسهل قياسه.
هدف مستوى الخدمة (SLO). هدف لمؤشر على مدى فترة، مثل «99.9 في المئة من الطلبات تنجح في 30 يومًا متحركة». والهدف غاية داخلية يُتفق عليها بين من يشغّلون الخدمة ومن يعتمدون عليها. وتصف ويكيبيديا أهداف مستوى الخدمة جزءًا من اتفاقيات مستوى الخدمة.
اتفاقية مستوى الخدمة (SLA). عقد بعواقب، غالبًا مالية، إن هبطت الخدمة دون مستوى متفق عليه. وتضع SLA عادة هدفًا أرخى من SLO الداخلي، ليكون لدى الفريق إنذار قبل الإخلال. انظر الموضوع 3.7 — إدارة مستوى الخدمة.
ميزانية الأخطاء. المقدار المسموح به من عدم الموثوقية: إن كان الهدف 99.9 في المئة، فالميزانية هي الـ0.1 في المئة المتبقية. وما دامت هناك ميزانية متبقية، يستطيع الفريق المخاطرة، مثل الإصدار بسرعة أكبر. وحين تُنفق الميزانية، يبطئ الفريق التغيير ويستثمر في الموثوقية. وتجعل الميزانية المفاضلة بين الموثوقية والتغيير قرارًا مشتركًا قابلًا للقياس لا جدالًا.
الكدح. عمل يدوي ومتكرر وقابل للأتمتة وتكتيكي ويتزايد مع الخدمة دون أن يضيف قيمة دائمة. من أمثلته إعادة تشغيل خدمة يدويًا، ومعالجة النوع نفسه من الطلبات يدويًا، والاستجابة لتنبيهات مزعجة. وتحدّ ممارسة SRE من حصة الوقت المقضية في الكدح، غالبًا بنحو النصف، وتنفق الباقي على عمل هندسي يقلله.
المراقبة والتنبيه. ينبغي أن تكون التنبيهات قابلة للتصرف ومرتبطة بأعراض يشعر بها المستخدمون، مع استجابة واضحة. والتنبيهات المزعجة التي لا يتصرف بشأنها أحد تعلّم الناس تجاهلها. انظر الموضوع 3.10 — المراقبة وإدارة الأحداث والموضوع 7.4 — قابلية الملاحظة والقياس عن بُعد.
الاستجابة للحوادث والمراجعات بلا لوم. تشدد SRE على أدوار واضحة أثناء الحوادث والتواصل ومراجعات منظمة بعدها تنظر في النظام وتنتج إجراءات متتبَّعة. انظر الموضوع 3.2 — إدارة الحوادث والموضوع 3.3 — إدارة المشكلات.
السعة والأداء. تشمل SRE توقع الطلب واختبار الحدود وتخطيط السعة ليحدث النمو دون فشل. انظر الموضوع 3.11 — التوافر والسعة والأداء.
هندسة الإصدار والتغيير. من عمل SRE إصدارات موثوقة قابلة للتكرار، غالبًا بطرح تدريجي وتراجع تلقائي. انظر الموضوع 2.2 — التسليم المستمر.
التمرن على الفشل. تحقن هندسة الفوضى أعطالًا عمدًا وتحت السيطرة لاكتشاف مواطن الضعف قبل الحوادث الحقيقية. وتُجري أيام اللعب بروفات على الاستجابة. انظر الموضوع 3.12 — إدارة استمرارية الخدمة.
SRE وDevOps. تتشارك الاثنتان أفكارًا كثيرة. ووصف شائع أن SRE إحدى طرق تنفيذ مبادئ DevOps، بمجموعة محددة من الممارسات مثل SLO وميزانيات الأخطاء وحدود الكدح. انظر الموضوع 2.5 — DevOps.
SRE وITIL. تقع SLO وميزانيات الأخطاء بجانب إدارة مستوى الخدمة؛ وتقع المراجعات بلا لوم بجانب إدارة المشكلات؛ ويدعم تقليل الكدح التحسين المستمر. وتصف SRE كيف يستطيع فريق تقني أداء هذا العمل، بينما يصف ITIL الممارسات التي تحتاجها المؤسسة عمومًا.
حدود النسخ. نشأت SRE في مؤسسة هندسية كبيرة جدًا بحجم وتوظيف محددين. ولا يستطيع فريق صغير نسخ هيكلها ولا يحتاج إلى ذلك. ابدأ ببضع أفكار: اختر مؤشرًا محوره المستخدم، وضع هدفًا، واكتب ماذا ستفعل حين تُنفق الميزانية.
كيف تتلاءم العدسات. SRE في معظمها الجانب الهندسي من العدسة الرشيقة للخدمات الحية. يستطيع الذكاء الاصطناعي المساعدة في فرز التنبيهات وتلخيص الحوادث، تحت مراجعة بشرية. والأتمتة هي الأداة الرئيسة ضد الكدح. وتقدم التحليلات SLI والبيانات عن الكدح والحوادث.
أفضل الممارسات
- اختر مؤشرات تعكس تجربة المستخدم. اسأل ماذا سيقول المستخدم إنه «يعمل»: صفحات تُحمَّل، ومدفوعات تكتمل، وملفات تصل. قِس ذلك، لا استخدام المعالج.
- ضع هدفًا مع من يعتمدون على الخدمة. اتفقوا على رقم يطابق الحاجة الفعلية، مكتوب بالفترة وكيفية القياس. وراجعه حين تتغير الاحتياجات.
- استخدم ميزانية الأخطاء لاتخاذ القرارات. اكتب ما يحدث حين تقارب الميزانية النفاد، مثل تجميد التغييرات الخطرة، ومن يقرر. اتفقوا على هذا قبل أول مرة يهم فيها.
- أبقِ الأهداف أشد من الاتفاقيات. ضع هدفك الداخلي بحيث تلاحظ المشكلة قبل أن تخل بعقد. انظر الموضوع 3.7 — إدارة مستوى الخدمة.
- عُدّ الكدح وحدّه. تتبّع كم من الوقت يذهب على العمل اليدوي المتكرر، وضع حدًا. وأنفق الباقي على إزالة أكبر مصادر الكدح.
- نبّه على الأعراض، وأبقِ التنبيهات قابلة للتصرف. ينبغي أن يقول كل تنبيه ما الخطأ للمستخدمين وماذا يُفعل. أزل أو أصلح التنبيهات التي لا يتصرف بشأنها أحد.
- تقاسم المناوبة بإنصاف واستدامة. حدّ عدد التنبيهات في المناوبة الواحدة، ووفّر تدريبًا ومسار تصعيد موثقًا، وراجع الحمل بانتظام. انظر الموضوع 8.3 — التغيير المؤسسي والتبني.
- راجع الحوادث بلا لوم وتابع حتى النهاية. اكتب الخط الزمني والعوامل المساهمة والإجراءات بمالكيها ومواعيدها. وتأكد من إنجاز الإجراءات.
- تمرّن على الفشل في ظروف آمنة. أجرِ أيام لعب وتجارب فوضى صغيرة في بيئة التهيئة أو بتعرض محدود، مع زر إيقاف واضح.
- ابدأ صغيرًا. اختر خدمة مهمة واحدة، وعرّف مؤشرًا أو اثنين وهدفًا، وتعلّم من النتيجة قبل التوسع.
أسئلة للنقاش مع فريقك
ماذا سيقول مستخدمونا إن «يعمل» تعني لهذه الخدمة، وهل نقيس ذلك؟ هذه نقطة البداية للمؤشرات. كثيرًا ما تقيس الفرق صحة الخوادم بدلًا من ذلك. اسأل عن آخر مرة كان المستخدمون فيها غير راضين بينما لوحاتنا خضراء. وتابع باختيار مؤشر واحد يراه المستخدم للقياس.
ما مدى الموثوقية التي تحتاجها هذه الخدمة فعلًا، ومن قرر؟ كثيرًا ما تُضبط الأهداف بالعادة، مثل «خمس تسعات». اسأل ماذا يفعل المستخدمون حين تتعطل الخدمة وكم تكلّف ساعة من التعطل. توقّع خلافًا. وتابع بصياغة هدف وفحصه مع عميل.
ماذا سنفعل حين ننفق ميزانية الأخطاء، وهل سنفعله فعلًا؟ السياسات التي لا تُطبَّق أبدًا تعلّم الناس تجاهلها. اسأل ماذا حدث آخر مرة تضررت فيها الموثوقية واستمر التغيير. وتابع بالاتفاق على استجابة صغيرة محددة ومن يقرر.
ما أكبر ثلاثة مصادر للكدح لدى فريقنا، وماذا يلزم لإزالة كل منها؟ اطلب من الناس سرد المهام المتكررة وتقدير الوقت. توقّع إعادات تشغيل يدوية وإصلاحات بيانات وطلبات وصول. وتابع باختيار بند وتقدير العمل لأتمتته مقارنة بالوقت الموفَّر على مدى سنة.
كم تنبيهًا تلقى المناوبون لدينا الشهر الماضي، وكم منها احتاج إلى تصرف بشري؟ يختبر هذا جودة التنبيه وعبء العمل. اطلب الأرقام؛ فإن لم يعرفها أحد فتلك نتيجة. وتابع باختيار أكثر التنبيهات إزعاجًا لإصلاحه أو حذفه.
أين قد يساعد الذكاء الاصطناعي في التنبيهات أو ملخصات الحوادث، وكيف سنلاحظ أخطاءه؟ يستطيع الذكاء الاصطناعي تجميع التنبيهات وصياغة الملخصات واقتراح خطوات كتيّب التشغيل. وقد يخفي إشارة حقيقية أو يخترع سببًا. اسأل من يملكه وكيف تُفحص مخرجاته. وتابع بتجربة أداة تلخيص بجانب العملية البشرية والمقارنة.
في الممارسة: مثال على إدارة الخدمات
يدير فريق الأرشيف الرقمي في مكتبة وطنية خدمة بحث للباحثين. الفريق، وهو من ستة، يتناوب على المناوبة. تصل التنبيهات ليلًا نحو مرة في الأسبوع، معظمها من تنبيه مساحة القرص على خادم دفعات يمسحه أحدهم يدويًا. وتطلب الإدارة «توافر 99.99 في المئة» في الخطة السنوية، وإن لم يقس أحد الأداء الحالي.
يقترح قائد الفريق تجربة أصغر. مع باحثين اثنين، يعرّف الفريق مؤشرًا واحدًا: نسبة طلبات البحث التي تعيد نتائج خلال ثانيتين. ويقيسونه شهرًا ويجدون 99.2 في المئة. ويقول الباحثون إنهم يلاحظون البطء فقط حين تستغرق عمليات البحث أكثر من خمس ثوانٍ، وهذا يحدث في نحو 0.3 في المئة من الطلبات، معظمها أثناء إعادة بناء الفهرس ليلًا. فيتفقون على هدف 99.5 في المئة خلال ثانيتين على 30 يومًا، وسياسة لميزانية الأخطاء: إذا أُنفق أكثر من 75 في المئة من الميزانية في فترة، يوقف الفريق الإصدارات غير العاجلة ويصلح أكبر الأسباب.
ويعدّ الفريق الكدح أيضًا. مسح القرص يدويًا يستغرق نحو ساعتين شهريًا ويوقظ شخصًا. فيؤتمتون التنظيف، ويضيفون تنبيهًا للنمو السريع بدل القرص الممتلئ، ويجرون يوم لعب لاستعادة الفهرس من النسخة الاحتياطية.
ما الذي يتغير: تنخفض تنبيهات الليل، ويُوقف إصدار مرة واحدة في الربع الأول حين تقل الميزانية، ويُتتبع السبب إلى استعلام بطيء واحد. وما يظل صعبًا: لا تزال الخطة السنوية تقول «99.99 في المئة»، لأن كبار المديرين لم يوافقوا على استبدالها؛ ويعتمد إعادة بناء الفهرس على خدمة تخزين تديرها إدارة أخرى؛ والفريق غير متأكد هل يختبر الباحثون في مناطق زمنية أخرى الخدمة بالطريقة نفسها. ويحمل القائد صياغة الخطة إلى المراجعة التالية.
أربع زوايا نظر
فرق المنتج والتسليم
شاركوا العمليات الهدف والميزانية. ضمّنوا عمل الموثوقية في الرصيد، وأصدروا تدريجيًا، وراقبوا أثر التغييرات. وحين تُنفق الميزانية، انضموا إلى الجهد لتقليل السبب.
فرق الخدمة والعمليات
عرّفوا المؤشرات مع المستخدمين، وأبقوا التنبيهات قابلة للتصرف، وأنفقوا وقتكم على الهندسة التي تزيل الكدح. وأحضروا حمل المناوبة وبيانات الحوادث إلى التخطيط. واكتبوا مراجعات تقود إلى إجراءات متتبَّعة.
القيادة والحوكمة
اتفقوا على أهداف تعكس الحاجة الفعلية، وادعموا سياسة الميزانية حين تتطلب إبطاء التغيير. وموّلوا الوقت لتقليل الكدح وعمل الموثوقية. ولا تطلبوا الكمال.
العملاء والمستخدمون
ينبغي أن تُسألوا ماذا تعني «يعمل» لكم وأن تُخبروا ما الهدف. أبلغوا عن المشكلات بوضوح، وتوقعوا أن تسمعوا ما فُعل. وإن بدا الهدف خطأ لاحتياجاتكم فقولوا ذلك.
الرشاقة والذكاء الاصطناعي والأتمتة والتحليلات
الرشاقة
تضيف SRE أهدافًا قابلة للقياس للموثوقية إلى التسليم والتحسين المستمرين. أبقِ أصحاب المصلحة مشاركين في وضع الأهداف، وراجعها بانتظام. تنبيه: ميزانيات الأخطاء لا تحل محل الحكم؛ فبعض الحوادث، مثل خرق البيانات، تهم أيًّا كانت الميزانية.
الذكاء الاصطناعي
يستطيع الذكاء الاصطناعي تجميع التنبيهات المترابطة واقتراح أسباب محتملة وصياغة ملخصات الحوادث. يحتاج كل استخدام إلى مالك وإنسان مسؤول عن القرارات، وطريقة لمقارنة اقتراحات الذكاء الاصطناعي بما حدث فعلًا. تنبيه: الذكاء الاصطناعي الذي يكتم التنبيهات لتقليل الضجيج قد يخفي إخفاقات حقيقية؛ فاختبره بحوادث معروفة. انظر الموضوع 5.2 — AIOps.
الأتمتة
أتمت الكدح: إعادات التشغيل والتنظيف والوصول الروتيني والتشخيص المتكرر، مع سجلات وحدود ووسيلة لإيقافها. تنبيه: قد تزيد الأتمتة التي تتصرف على الإنتاج الحادث سوءًا؛ فأضف حدود معدل وإيقافًا يدويًا. انظر الموضوع 6.6 — أتمتة كتيّبات التشغيل والإصلاح التلقائي.
التحليلات
استخدم SLI وتحقق SLO واستهلاك ميزانية الأخطاء وساعات الكدح وجودة التنبيهات. تنبيه: الأهداف المختارة لأنها سهلة التحقق، أو المؤشرات التي تتجاهل أجزاء من تجربة المستخدم، تمنح راحة زائفة؛ فاختبرها مقابل شكاوى المستخدمين. انظر الموضوع 7.4 — قابلية الملاحظة والقياس عن بُعد وكتاب Service Management Metrics.
أنماط الإخفاق الشائعة
- نسخ الأرقام من الآخرين. تُعتمد «خمس تسعات» دون معرفة الحاجة. قرر من حاجة المستخدم والتكلفة.
- مؤشرات تفوّت المستخدم. اللوحات خضراء والمستخدمون يشتكون. قِس ما يختبره المستخدمون.
- سياسة ميزانية لا يتبعها أحد. يستمر التغيير حين تُنفق الميزانية. اتفقوا على الاستجابة مسبقًا وطبّقوها.
- ضجيج التنبيهات. يتجاهل المناوبون التنبيهات. اجعل كل تنبيه قابلًا للتصرف.
- الكدح أمرًا عاديًا. لا يجد الفريق وقتًا للأتمتة. عُدّه وضع له حدًا.
- SRE إعادة تسمية للعمليات. لا تُعتمد الممارسات. عرّف المؤشرات والأهداف والميزانيات.
- ثقافة البطل. شخص واحد يحل كل حادث. شارك المعرفة وكتيّبات التشغيل.
نموذج النضج
| البُعد | البدء | التطوير | التوحيد | الإدارة | التنسيق |
|---|---|---|---|---|---|
| المؤشرات والأهداف | لا مقاييس تراها المستخدمين | مقاييس البنية التحتية فقط | SLI وSLO محورها المستخدم للخدمات الرئيسة | تُراجع الأهداف مع المستخدمين والتكاليف | تُنسَّق الأهداف عبر الخدمات المعتمِدة |
| ميزانية الأخطاء | لا شيء | مناقَشة | سياسة مكتوبة مطبَّقة | تُراجع نتائج السياسة | تُتشارك الميزانيات عبر الفرق والشركاء |
| الكدح | غير مقيس | محدد بصورة غير رسمية | معدود ومحدود | يُقلَّل بأتمتة متتبَّعة | يُقلَّل عبر الخدمات بأدوات مشتركة |
| التعلم من الحوادث | اللوم | بعض المراجعات | مراجعات بلا لوم بإجراءات متتبَّعة | يُقاس إنجاز الإجراءات والتكرار | يُتشارك التعلم عبر المؤسسة |
قائمة التحقق
- لدينا مؤشر واحد على الأقل يراه المستخدم لكل خدمة مهمة.
- لكل منها هدف متفق عليه مع من يعتمدون عليها.
- كتبنا ما يحدث حين تقارب ميزانية الأخطاء النفاد.
- أهدافنا الداخلية أشد من اتفاقياتنا.
- نتتبع الكدح ولدينا حد له.
- التنبيهات قابلة للتصرف، والمزعجة تُصلح أو تُزال.
- حمل المناوبة مقيس ومستدام.
- مراجعات الحوادث بلا لوم والإجراءات تُتتبَّع حتى الإنجاز.
موجّهات الذكاء الاصطناعي
صُغ مؤشرات مرشحة.
Our service: [describe what it does and who uses it]. What users complain about: [list].
Propose up to five candidate service level indicators, each with what it measures, how it could be computed from [available data sources], and one way it could mislead. Do not choose an objective.
List what you are unsure of.
احسب استهلاك ميزانية الأخطاء.
Our objective: [for example, 99.5 percent of requests under two seconds over 30 days]. Here are daily counts of good and total events for the period: [paste data].
Calculate attainment so far, the error budget used as a percentage, and the daily burn rate, showing each calculation. Do not predict beyond the data.
List what you are unsure of.
رتّب مرشحي الكدح.
Here is a list of repetitive tasks our team does, with how often and how long each takes: [paste list].
Compute hours per month for each, rank them, and for the top five list one question about whether automating it is safe. Do not recommend specific tools.
List what you are unsure of.
مهارات الذكاء الاصطناعي
- service-level-agreement: استخدمها لربط الأهداف بالاتفاقيات.
- postmortem: استخدمها لإجراء مراجعات بلا لوم بإجراءات متتبَّعة.
- chaos-testing: استخدمها لتخطيط تجارب فشل آمنة.
- capacity-planning: استخدمها لتوقع الطلب والحدود.
المصادر الرئيسة
- Betsy Beyer, Chris Jones, Jennifer Petoff, and Niall Richard Murphy (eds.), Site Reliability Engineering: How Google Runs Production Systems (2016), freely available at sre.google: المصدر الرئيس للممارسات.
- Betsy Beyer and others (eds.), The Site Reliability Workbook (2018): إرشاد عملي للتبني.
- Wikipedia, "Site reliability engineering": نظرة عامة محايدة.
- Wikipedia, "Service-level objective": خلفية عن المصطلحات.
المراجع
- Site reliability engineering — Wikipedia — https://en.wikipedia.org/wiki/Site_reliability_engineering
- Service-level objective — Wikipedia — https://en.wikipedia.org/wiki/Service-level_objective
- Service level indicator — Wikipedia — https://en.wikipedia.org/wiki/Service_level_indicator
- Service-level agreement — Wikipedia — https://en.wikipedia.org/wiki/Service-level_agreement
- Capacity planning — Wikipedia — https://en.wikipedia.org/wiki/Capacity_planning
- Reliability engineering — Wikipedia — https://en.wikipedia.org/wiki/Reliability_engineering
- Chaos engineering — Wikipedia — https://en.wikipedia.org/wiki/Chaos_engineering
- Observability (software) — Wikipedia — https://en.wikipedia.org/wiki/Observability_(software)
- Postmortem documentation — Wikipedia — https://en.wikipedia.org/wiki/Postmortem_documentation
- Site Reliability Engineering: How Google Runs Production Systems — Google — https://sre.google/sre-book/table-of-contents/