أتمتة كتيّبات التشغيل والإصلاح التلقائي
تحوّل أتمتة كتيّبات التشغيل إجراءً موثقًا مختبرًا إلى شيفرة يستطيع شخص أو تنبيه إطلاقها، ويتيح الإصلاح التلقائي لإشارة مراقبة إطلاقها دون شخص؛ وكلاهما آمن فقط للإجراءات المفهومة جيدًا القابلة للعكس مع حدود وسجلات وإيقاف يدوي ومالك يراجع كم مرة تُطلق.
لماذا يهم هذا
لعمل المناوبة شكل. ينطلق تنبيه. يفتح مهندس متعب كتيّب تشغيل، ويتبع سلسلة خطوات، ويعيد تشغيل شيء، ويفحص أنه نجح، ويعود إلى النوم. وبعد أسبوع ينطلق التنبيه نفسه، وتُتبع الخطوات نفسها. وبعد المرة العاشرة يقول أحدهم: لماذا يفعل شخص هذا؟
وهم محقون. فتكرار إصلاح معروف يدويًا بطيء وعرضة للخطأ ومُنهِك لمن يؤدونه. أما الخطوات نفسها مكتوبة شيفرةً فتجري في ثوانٍ، بالطريقة نفسها كل مرة، وتترك سجلًا. وتصف ويكيبيديا كتيّبات التشغيل بأنها تجميعات إجراءات روتينية ينفذها مشغّل. وجعلها قابلة للتنفيذ، وفي بعض الحالات جعلها تجري وحدها، هو الخطوة من التوثيق إلى الأتمتة.
والخطوة خطر أيضًا. كتيّب تشغيل يقرؤه إنسان يمر بحكم بشري عند كل خطوة. أما الشيفرة فلا. وإعادة تشغيل آلية خاطئة قد تتكرر إلى ما لا نهاية، أو تُسقط خدمة سليمة، أو تُخفي مشكلة أعمق حتى تسوء كثيرًا. وكثير من الانقطاعات أُطيلت أو سُببت بإصلاح حسن النية فعل الشيء الخطأ بسرعة. وتصف ويكيبيديا الحوسبة الذاتية، الهدف القديم لأنظمة تدير نفسها، والدرس العملي أن الاستقلالية تحتاج حدودًا.
يصف هذا الموضوع كيف تنتقل من وثيقة إلى سكربت إلى إجراء آلي بعناية. وهو يبني على إدارة المعرفة (الموضوع 3.9 — إدارة المعرفة) والمراقبة (الموضوع 3.10 — المراقبة وإدارة الأحداث) وإدارة الحوادث (الموضوع 3.2 — إدارة الحوادث) واستراتيجية الأتمتة (الموضوع 6.1 — استراتيجية الأتمتة). ويتصل بعمليات الذكاء الاصطناعي (الموضوع 5.2 — AIOps) والوكلاء الذين يتصرفون (الموضوع 5.5 — الذكاء الاصطناعي الوكيلي والإشراف البشري).
المفاهيم الأساسية
كتيّب التشغيل. إجراء موثق لمهمة تشغيلية أو حالة محددة متكررة. وتصف ويكيبيديا كتيّبات التشغيل. وللكتيّب الجيد محفز وخطوات مرقّمة ونتائج متوقعة وخطوة تحقق ومسار تصعيد. انظر الموضوع 3.9 — إدارة المعرفة.
أتمتة كتيّبات التشغيل. تنفيذ كتيّب تشغيل شيفرةً تنفذ بعض خطواته أو كلها، يطلقها عادة شخص من وحدة تحكم أو أمر محادثة، أو حدث في نظام. وهي تحتفظ بمنطق الكتيّب، مع فائدة السرعة والاتساق والسجلات.
الإصلاح التلقائي. إجراء تصحيحي آلي استجابة لتنبيه أو حدث، دون أن يبدأه شخص. من الأمثلة إعادة تشغيل عملية فاشلة، أو مسح دليل مؤقت ممتلئ، أو توسيع مجموعة عاملين، أو التحويل إلى احتياطي عند الفشل. وتصف مقالة ويكيبيديا عن الحوسبة الذاتية أنظمة تكتشف أعطالها وتصححها هدفًا. وعمليًا، يغطي الإصلاح التلقائي مجموعة ضيقة من الأعطال المفهومة جيدًا.
تدرّج. تنتقل الفرق عادة عبر مراحل: كتيّب تشغيل مكتوب؛ ثم كتيّب بسكربتات يشغّلها شخص؛ ثم كتيّب يطلقه شخص بأمر واحد، والسكربت يجمع الفحوص أولًا؛ ثم تنبيه يقترح الإجراء ويطلب الموافقة؛ ثم تنبيه يشغّل الإجراء وحده ضمن حدود. وتحتاج كل مرحلة إلى دليل من التي قبلها. لا تتخط المراحل للإجراءات ذات العواقب الحقيقية.
ما يستحق الإجراء الآلي. عطل شائع، سببه وإصلاحه مفهومان جيدًا، وإصلاحه آمن وقابل للعكس، وعَرَضه يحدده بموثوقية. من الأمثلة عامل بلا حالة معلّق أو دليل سجلات يمتلئ. والمرشحات السيئة تشمل كل ما يحذف بيانات أو يغيّر وصولًا أو يعتمد على حكم بشأن أثر الأعمال.
شروط السلامة. قبل التصرف، تحقق أن الوضع يطابق فعلًا: التنبيه حالي، والخدمة في الحالة المتوقعة، ولا نشر أو صيانة جارية، ولم يجرِ الإجراء للتو. وبعد التصرف تحقق من النتيجة. وتصف ويكيبيديا التشغيل التجريبي، بروفة تُظهر ما كان سيحدث دون فعله؛ وهو نمط مفيد للأتمتات الجديدة.
الحدود. حدّ كم مرة يستطيع إجراء أن يجري في فترة، وكم مثيلًا يستطيع مسّه دفعة واحدة، وكم يستطيع أن يعمل. وتصف ويكيبيديا تحديد المعدل. الحد يحوّل الانفلات إلى حدث محدود، وتجاوز الحد ينبغي أن يستدعي شخصًا.
قواطع الدائرة والتراجع. إن فشل إجراء آلي مرارًا أو انطلق مرارًا، فتوقف وصعّد بدل إعادة المحاولة إلى الأبد. وتصف ويكيبيديا نمط قاطع الدائرة، حيث يفعّل الفشل المتكرر مفتاحًا يوقف المحاولات اللاحقة لفترة. وأضف فواصل بين إعادات المحاولة وتباطؤًا، تصفه ويكيبيديا، لمنع التذبذب بين الحالات.
قابلية التكرار الآمن. إجراء آمن للتكرار. وتصف ويكيبيديا idempotence. ولا ينبغي أن تسبب إعادة تشغيل خدمة وهي تعيد التشغيل أصلًا عاصفة إعادة تشغيل ثانية. صمّم إجراءات تفحص الحالة أولًا.
كلاب الحراسة والاستعادة المضمَّنة. توفر المنصات آليات استعادة خاصة بها: مشرفو عمليات يعيدون تشغيل الخدمات المنهارة، ومنصات حاويات تستبدل المثيلات الفاشلة، ومؤقتات حراسة، تصفها ويكيبيديا، تعيد ضبط نظام معلّق. فضّل الآليات المضمَّنة على السكربتات المخصصة حيث تلائم، وافهم ما تفعله.
التحويل عند الفشل والتوسع. التحويل الآلي إلى احتياطي والتوسع الآلي في السعة صورتان للإصلاح التلقائي توفرهما المنصات غالبًا. وتصف ويكيبيديا التحويل عند الفشل والتوسع الآلي. وتحتاج أيضًا إلى اختبارات وحدود، لأنها قد تزيد الأمر سوءًا: فتحويل يطلقه خلل عابر قد يقاطع خدمة سليمة.
إخفاء المشكلات. أتمتة تصلح عطلًا بهدوء قد تخفي سببًا يتفاقم. فإن أُعيد تشغيل خدمة كل ساعة، فإعادة التشغيل عَرَض لمشكلة تحتاج إصلاحًا. تتبّع كم مرة تنطلق كل أتمتة وعامل المعدل المتصاعد مشكلة للتحقيق. انظر الموضوع 3.3 — إدارة المشكلات.
السجلات والتدقيق والإخطار. ينبغي أن يسجل كل إجراء آلي ما أطلقه وما فحصه وما فعله والنتيجة، وأن يخطر الفريق المالك. والأتمتة الصامتة تآكل فهم النظام. وتصف ويكيبيديا مسارات التدقيق عمومًا.
الاختبار. اختبر الأتمتات مقابل أعطال واقعية في بيئة آمنة، بما في ذلك حالات يجب أن توقف فيها الفحوص الإجراء. وتصف ويكيبيديا هندسة الفوضى، ممارسة حقن الأعطال عمدًا، التي تختبر أيضًا هل يتصرف الإصلاح بصواب. انظر الموضوع 3.12 — إدارة استمرارية الخدمة.
الملكية والمراجعة. لكل أتمتة مالك، وتعيش في التحكم في الإصدارات بمراجعة، وتظهر في سجل. راجع بانتظام كم مرة تنطلق وهل نجحت وهل ينبغي إصلاح السبب الكامن.
الوصول والأمن. لأدوات الإصلاح سلطة على الإنتاج. أعطها هويتها الخاصة بالصلاحيات الضيقة التي يحتاجها كل إجراء، واحمِ الشيفرة والمحفزات من العبث. انظر الموضوع 3.13 — إدارة أمن المعلومات.
المهارات البشرية. إن تولت الأتمتة الأعطال الروتينية، فقد يفقد الناس الإحساس بالنظام. أبقِ كتيّبات التشغيل مقروءة، وتمرّن على التشغيل اليدوي، وضمّن الأتمتات في أيام اللعب. انظر الموضوع 6.1 — استراتيجية الأتمتة.
كيف تتلاءم العدسات. هذا الموضوع عدسة الأتمتة عند نقطة العمليات. وتقترح الممارسة الرشيقة الصعود في التدرج بخطوات صغيرة مع مراجعة بعد كل حادث. ويستطيع الذكاء الاصطناعي اقتراح إجراءات واختيار كتيّبات تشغيل، تحت الحدود الموصوفة هنا. وتقيس التحليلات معدلات الإطلاق والنجاح والمشكلات المخفية.
أفضل الممارسات
- ابدأ بكتيّب تشغيل جيد. اكتب الإجراء واختبره واستخدمه يدويًا أولًا. فأتمتة إجراء لا يعمل لا تفعل إلا أن تكسره أسرع.
- اختر المرشحات بعناية. ابحث عن إصلاحات متكررة مفهومة جيدًا آمنة قابلة للعكس بإشارة موثوقة. ورتّب بوقت المناوبة الموفَّر وبالخطر.
- اصعد السلم. انتقل من سكربت إلى محفز بأمر واحد إلى إجراء مقترح بموافقة إلى إجراء آلي فقط كلما تراكم الدليل. وسجّل القرار عند كل خطوة.
- افحص قبل وبعد. تحقق أن الوضع يطابق، وأن لا نشاط متعارضًا جاريًا، وأن الإجراء نجح. وتوقف وصعّد إن فشل أي فحص.
- ضع حدودًا وقاطعًا. حدّ التكرار والنطاق والمدة. وإن انطلق إجراء كثيرًا أو فشل مرتين، فتوقف واستدعِ شخصًا.
- اجعل الإجراءات آمنة للتكرار وقابلة للعكس. افحص الحالة أولًا، واكتب طريق العودة. واختبر الاثنين.
- سجّل وأخطر وأظهر. سجّل كل إجراء آلي، وأخبر الفريق المالك، وأظهر معدلات الإطلاق في لوحة.
- أصلح السبب. عُدّ كم مرة تنطلق كل أتمتة، وارفع مشكلة حين يكون المعدل مرتفعًا أو متصاعدًا. وعامل الأتمتة جسرًا إلى إصلاح لا بديلًا منه.
- اختبر في ظروف آمنة. تمرّن بأعطال وحالات طرفية واقعية، بما فيها ما ينبغي رفضه. وضمّن الأتمتات في أيام اللعب.
- امتلك وراجع. سمِّ مالكًا، واحتفظ بالشيفرة في التحكم في الإصدارات بمراجعة، وسجّل كل أتمتة، وراجع فصليًا أيها يبقى ويتغير ويتقاعد.
أسئلة للنقاش مع فريقك
أي التنبيهات نصلحها بالطريقة نفسها كل مرة، وكم يستغرق كل منها؟ استخدم بيانات الحوادث والتنبيهات. توقّع حفنة تسبب معظم الاستدعاءات. وتابع باختيار واحد والتحقق أن كتيّبه دقيق.
ماذا قد يسوء لو جرى هذا الإصلاح حين لا ينبغي؟ تخيّل المحفز الخطأ أو الهدف الخطأ. توقّع بضع حالات غير سارة. وتابع بإضافة فحص أو حد لكل منها.
كيف سنعرف أن الأتمتة تخفي مشكلة متنامية؟ اسأل ماذا سنرى. توقّع «لا شيء». وتابع بالاتفاق على عدّ مرات الإطلاق ووضع عتبة لرفع مشكلة.
ما أقصى ضرر قد يسببه تشغيل واحد، وكيف سنوقفه؟ سمِّ النطاق. توقّع عدم يقين. وتابع بوضع سقف والتمرن على الإيقاف.
متى أدينا هذه المهمة يدويًا آخر مرة، وهل ما زال كل مناوب قادرًا على ذلك؟ اسأل عن آخر مرة. توقّع أنها كانت منذ زمن بعيد. وتابع بجدولة بروفة.
أين قد يقترح الذكاء الاصطناعي إصلاحًا أو يختاره، وما الذي يجب أن يوافق عليه شخص؟ يستطيع الذكاء الاصطناعي مطابقة الأعراض بكتيّبات التشغيل واقتراح إجراءات. اسأل أي الإجراءات تحتاج موافقة ومن يقرر. وتابع باختيار تجربة يقترح فيها الذكاء الاصطناعي ويوافق شخص، مع مقاييس لكم مرة كان الاقتراح صحيحًا.
في الممارسة: مثال على إدارة الخدمات
يدير فريق معلومات الركاب في سكك حديد وطنية شاشات في 400 محطة، تغذيها خدمة بيانات. نحو مرتين في الأسبوع، يتعلق معالج التغذية وتتجمد الشاشات عند أوقات قديمة. يُستدعى المهندس المناوب، ويدخل، ويتحقق أن العملية معلقة، ويعيد تشغيلها، ويؤكد التحديثات. يستغرق ذلك نحو 20 دقيقة، معظمها ليلًا.
يكتب الفريق كتيّب التشغيل، ويصقله بعد تجربته على حادثين: أكّد التنبيه، وافحص أن لا نشر جاريًا، وافحص أن العملية لم تكتب في سجلها خلال خمس دقائق، وأعد التشغيل، وانتظر دقيقتين، وافحص أن طابع زمن المخرجات حالي، ودوّن الحادث. ويحولونه إلى سكربت بنمط تشغيل تجريبي، ويطلقه مهندس بأمر محادثة واحد لمدة شهر. وينجح كل مرة.
ثم يربطونه بالتنبيه في نمط الاقتراح: ينشر التنبيه نتائج السكربت وزرًّا يطلب من المهندس المناوب الموافقة. وبعد شهر، كانت كل موافقة صحيحة، وتستغرق أقل من دقيقتين. فيتفق الفريق على تركه يجري آليًا بشروط صارمة: فقط حين تنجح الفحوص، وبحد أقصى مرتين في الساعة، ولا أثناء نشر، مع استدعاء شخص إن لم تُصلح إعادة التشغيل الثانية. ويسجل كل تشغيل وينشر في قناة الفريق.
تنطلق الأتمتة 19 مرة في الشهرين الأولين. وتُظهر مراجعة أن التعليق يحدث أكثر بعد تحديث متأخر ليلًا من مورّد بيانات معين، وهو ما لم يلاحظه الفريق حين عالج كل استدعاء وحده. فيرفعون مشكلة مع المورّد. وفي تشغيل واحد، يفعّل القاطع بعد إعادتي تشغيل فاشلتين ويستدعي مهندسًا، فيجد أن القرص ممتلئ، وهو سبب لم يغطه الكتيّب.
ما الذي يتغير: ينام المهندسون عبر معظم هذه الأحداث، وتتعافى الشاشات في أقل من ثلاث دقائق. وما يظل صعبًا: لم يصلح المورّد بعد صيغة البيانات؛ ولاحظ الفريق أن المهندسين الجدد لم يؤدوا الإجراء اليدوي قط ويقلق بشأن مهارتهم؛ ولم تُضَف خطوة فحص القرص إلا بعد المفاجأة. ويجدول القائد بروفة يدوية فصلية ويضيف فحص القرص إلى السكربت.
أربع زوايا نظر
فرق المنتج والتسليم
ابنوا خدمات يسهل إصلاحها: نقاط صحة، وإعادة تشغيل آمنة، وعمليات آمنة للتكرار، وسجلات واضحة. اكتبوا كتيّبات التشغيل مع الشيفرة، وأصلحوا الأسباب التي تكشفها الأتمتة.
فرق الخدمة والعمليات
امتلكوا كتيّبات التشغيل والأتمتات: اكتبوا واختبروا وحدّوا وسجّلوا وراجعوا. أبقوا المهارات اليدوية حية، وعاملوا الإطلاق المتكرر مشكلة للإصلاح.
القيادة والحوكمة
ادعموا الصعود في السلم بالأدلة، واطلبوا معدلات الإطلاق وفحوص المشكلات المخفية. موّلوا وقت إصلاح الأسباب. واحذروا من ادعاءات الأنظمة الشافية ذاتيًا.
العملاء والمستخدمون
ينبغي أن تروا استعادة أسرع وانقطاعات مرئية أقل. وإن لم ينجح إصلاح آلي أو سبب مشكلة، فأخبروا المزود ليُصحَّح القاعدة.
الرشاقة والذكاء الاصطناعي والأتمتة والتحليلات
الرشاقة
حسّن الإصلاح بعد كل حادث: صقل كتيّب التشغيل، أو أضف فحصًا، أو اصعد درجة في السلم. وأبقِ التغييرات صغيرة ومراجَعة. تنبيه: لا تؤتمت بالجملة بعد ليلة سيئة؛ فخذ إصلاحًا واحدًا في كل مرة باختبارات.
الذكاء الاصطناعي
يستطيع الذكاء الاصطناعي مطابقة التنبيهات بكتيّبات التشغيل واقتراح الخطوات وصياغة كتيّبات جديدة من ملاحظات الحوادث، بموافقة لكل ما يتصرف. سمِّ مالكًا وقِس دقة الاقتراح. تنبيه: قد يختار ذكاء اصطناعي إجراءً خطأ من تنبيه غير معتاد؛ فاحصره بقائمة إجراءات معتمدة. انظر الموضوع 5.5 — الذكاء الاصطناعي الوكيلي والإشراف البشري.
الأتمتة
هذا الموضوع عدسة الأتمتة في العمليات: شروط السلامة والحدود والقواطع والتكرار الآمن والسجلات والمراجعة. تنبيه: قد يخفي الإصلاح التلقائي المشكلات ويزيدها سوءًا؛ فعُدّ مرات الإطلاق وحدّ التشغيلات وصعّد عند الفشل. انظر الموضوع 6.1 — استراتيجية الأتمتة.
التحليلات
تتبّع معدل الإطلاق لكل أتمتة ومعدل النجاح وزمن الاستعادة وعدد الاستدعاءات المتجنَّبة وتفعيلات القاطع والمشكلات المرفوعة من الأنماط. تنبيه: يسهل تضخيم الاستدعاءات المتجنَّبة وقد تخفي معدلات إطلاق متصاعدة؛ فتتبّع الاثنين معًا. انظر الموضوع 7.4 — قابلية الملاحظة والقياس عن بُعد وكتاب Service Management Metrics.
أنماط الإخفاق الشائعة
- أتمتة كتيّب غير مختبر. يكون الإصلاح خاطئًا بسرعة. اختبر يدويًا أولًا.
- لا حدود. تتكرر حلقة أو إطلاق خاطئ. حدّ التشغيلات واستخدم قاطعًا.
- مشكلات مخفية. تخفي إعادات التشغيل سببًا. عُدّ مرات الإطلاق وأصلح الأسباب.
- لا فحوص قبل التصرف. يصيب الإجراء نظامًا سليمًا أو مشغولًا. تحقق من الشروط.
- أتمتة صامتة. لا أحد يعرف ما فعلته. سجّل وأخطر.
- تخبو المهارات. لا أحد يستطيع الفعل يدويًا. تمرّن.
- أدوات مفرطة الصلاحيات. اختراق واحد يصل إلى كل شيء. استخدم هويات ضيقة.
نموذج النضج
| البُعد | البدء | التطوير | التوحيد | الإدارة | التنسيق |
|---|---|---|---|---|---|
| كتيّبات التشغيل | في الرؤوس أو البريد | مكتوبة للتنبيهات الرئيسة | كتيّبات مختبرة مرتبطة بالتنبيهات | تُراجع جودة الكتيّب بعد الحوادث | كتيّبات تُصان شيفرةً عبر الخدمات |
| الأتمتة | لا شيء | سكربتات يطلقها الناس | إجراءات معتمدة مختبرة بمقترحات | إجراءات مختارة تجري آليًا بحدود | إجراءات آمنة تُختار بالخطر بسيطرة بشرية |
| السلامة | لا شيء | تسجيل أساسي | فحوص وحدود وقواطع وتراجع | تُختبر السلامة وتُدقَّق | سلامة مبنية في المنصات المشتركة |
| التعلم | إطفاء الحرائق | مراجعة عرضية | تُتتبَّع معدلات الإطلاق وتُرفع الأسباب مشكلات | يُقاس التكرار ويُقلَّل | يُتشارك التعلم عبر الفرق والموردين |
قائمة التحقق
- كُتب كتيّب التشغيل واختُبر واستُخدم يدويًا قبل الأتمتة.
- لكل أتمتة محفز وشروط مسبقة وتحقق وتصعيد.
- الإجراءات آمنة للتكرار وقابلة للعكس.
- تحدّ الحدود وقاطع الدائرة التكرار والنطاق.
- كل تشغيل مسجل ويُخطَر الفريق المالك.
- نتتبع كم مرة تنطلق كل أتمتة ونرفع مشكلات من الأنماط.
- الأتمتات في التحكم في الإصدارات ومراجَعة ومسجلة بمالكين.
- نتمرن على التشغيل اليدوي ونختبر الأتمتات بأعطال واقعية.
موجّهات الذكاء الاصطناعي
حوّل ملاحظات الحوادث إلى مسودة كتيّب تشغيل.
Here are notes from three incidents that had the same fix: [paste, personal data removed].
Draft a runbook with: trigger, preconditions to check, numbered steps with expected results, verification, rollback, and escalation. Use only what the notes say; write [missing] for anything not stated.
List what you are unsure of.
اعثر على فجوات السلامة في أتمتة.
Here is a description of an auto-remediation: trigger, checks, action, and limits: [paste].
List which of these are missing or unclear: precondition checks, post-action verification, rate limit, circuit breaker, idempotence, rollback, logging, notification, owner. Quote the text for each you consider present. Do not assume any.
List what you are unsure of.
راجع بيانات الإطلاق.
Here is a log of when each automation fired in the last month, with result: [paste].
Count firings per automation, list those that are rising or clustered at the same time of day, and list questions to find causes. Do not guess causes.
List what you are unsure of.
مهارات الذكاء الاصطناعي
- runbook: استخدمها لكتابة الإجراء واختباره قبل الأتمتة.
- chaos-testing: استخدمها لاختبار الإصلاح مقابل أعطال واقعية.
- root-cause-analysis: استخدمها لإيجاد الأسباب التي تخفيها الأتمتة.
- on-call-rotation: استخدمها لتصميم ترتيبات مناوبة مستدامة.
- incident-response-plan: استخدمها لتعريف الأدوار والتصعيد حول الأتمتة.
المصادر الرئيسة
- Betsy Beyer and others (eds.), Site Reliability Engineering (2016), chapters on eliminating toil and on automation, free at sre.google.
- Lisanne Bainbridge, "Ironies of Automation" (Automatica, 1983): لماذا تغيّر الأتمتة الدور البشري بطرق مفاجئة.
- Wikipedia, "Runbook" and "Autonomic computing": نظرات عامة على الوثيقة والطموح.
- Wikipedia, "Circuit breaker design pattern": نمط لإيقاف الفشل المتكرر.
المراجع
- Runbook — Wikipedia — https://en.wikipedia.org/wiki/Runbook
- Autonomic computing — Wikipedia — https://en.wikipedia.org/wiki/Autonomic_computing
- Circuit breaker design pattern — Wikipedia — https://en.wikipedia.org/wiki/Circuit_breaker_design_pattern
- Watchdog timer — Wikipedia — https://en.wikipedia.org/wiki/Watchdog_timer
- Idempotence — Wikipedia — https://en.wikipedia.org/wiki/Idempotence
- Rate limiting — Wikipedia — https://en.wikipedia.org/wiki/Rate_limiting
- Failover — Wikipedia — https://en.wikipedia.org/wiki/Failover
- Autoscaling — Wikipedia — https://en.wikipedia.org/wiki/Autoscaling
- Chaos engineering — Wikipedia — https://en.wikipedia.org/wiki/Chaos_engineering
- Hysteresis — Wikipedia — https://en.wikipedia.org/wiki/Hysteresis
- Dry run (testing) — Wikipedia — https://en.wikipedia.org/wiki/Dry_run_(testing)
- Site Reliability Engineering: How Google Runs Production Systems — Google — https://sre.google/sre-book/table-of-contents/