قابلية الملاحظة والقياس عن بُعد
قابلية الملاحظة هي القدرة على طرح أسئلة جديدة على نظام قيد التشغيل والحصول على إجابات من البيانات التي يصدرها: مقاييس وسجلات وتتبعات تحمل سياقًا متسقًا؛ وهي تؤتي ثمارها حين يُصمَّم القياس عن بُعد من البداية، ويُوحَّد على صيغ مفتوحة، ويُبقى بكلفة تحتملها، ويُستخدم لفهم تجربة المستخدم لا صحة الآلة فقط.
لماذا يهم هذا
تجيب المراقبة عن أسئلة فكّرت فيها مسبقًا. هل الخدمة تعمل؟ هل القرص ممتلئ؟ هل زمن الاستجابة فوق ثانيتين؟ هذه أسئلة جيدة، وهي تلتقط الإخفاقات التي رأيتها من قبل. لكن الخدمات الحديثة تفشل بطرق جديدة. تغيير في مكوّن يبطئ طلبًا في آخر. وبيانات غير معتادة لعميل واحد تطلق مسارًا نادرًا. واعتماد يبعد ثلاث طبقات يتدهور، ولا لوحة لديه عند أحد.
وحين يصل إخفاق جديد، يحتاج الفريق إلى طرح أسئلة لم يتوقعها أحد: أي الطلبات بطيئة، ولأي المستخدمين، عبر أي الخدمات، منذ أي إصدار؟ فإن كان النظام يصدر بيانات غنية مترابطة، استطاع الفريق متابعة الأثر. وإن لم يكن، خمّنوا وأضافوا تسجيلًا وأعادوا النشر وانتظروا أن يتكرر الإخفاق. وتصف ويكيبيديا قابلية الملاحظة في البرمجيات بأنها القدرة على فهم الحالة الداخلية لنظام من مخرجاته الخارجية، فكرة مستعارة من نظرية التحكم.
والعمل العملي في القياس عن بُعد: البيانات التي تصدرها الأنظمة عن نفسها. القياس الجيد مصمَّم ومتسق ومترابط، بحيث يمكن تتبع شكوى مستخدم إلى طلب، والطلب إلى الخدمات التي مسّها، والبطء إلى استدعاء بعينه. يصف هذا الموضوع الأنواع الرئيسة للقياس عن بُعد والمعايير التي تجعلها قابلة للنقل والكلف والمخاطر المصاحبة. وهو يبني على المراقبة (الموضوع 3.10 — المراقبة وإدارة الأحداث) ويتصل بهندسة موثوقية المواقع (الموضوع 2.6 — هندسة موثوقية المواقع) وAIOps (الموضوع 5.2 — AIOps) وحوكمة البيانات (الموضوع 7.2 — أسس البيانات وحوكمتها).
المفاهيم الأساسية
القياس عن بُعد. بيانات تُجمع من نظام وتُرسل إلى مكان يمكن فحصها فيه. وتصف ويكيبيديا القياس عن بُعد عمومًا. وفي البرمجيات، الإشارات الرئيسة هي المقاييس والسجلات والتتبعات، مع أحدث مثل الملفات التعريفية والأحداث.
المقاييس. أرقام تُقاس عبر الزمن، مثل معدل الطلبات ومعدل الأخطاء وزمن الاستجابة واستخدام الذاكرة وعمق الطابور. المقاييس رخيصة التخزين وجيدة للاتجاهات والتنبيهات واللوحات. وهي تلخص، فتفقد التفاصيل عن الطلبات الفردية. وتخزنها قواعد بيانات السلاسل الزمنية، التي تصفها ويكيبيديا، بكفاءة؛ وPrometheus مثال مفتوح المصدر واسع الاستخدام.
السجلات. تسجيلات مؤرخة لأحداث منفصلة، مثل رسالة خطأ أو معاملة مكتملة. وتصف ويكيبيديا التسجيل في الحوسبة. تحمل السجلات التفاصيل، وهي ضخمة الحجم ومكلفة التخزين والبحث. والسجلات المنظمة، بحقول مسماة متسقة بدل نص حر، أسهل استعلامًا وربطًا بالإشارات الأخرى.
التتبعات. سجل لمسار طلب واحد عبر أجزاء نظام موزع، يُظهر أي الخدمات مر بها وكم استغرق كل منها. وتصف ويكيبيديا التتبع في البرمجيات. تجيب التتبعات عن «أين ذهب الوقت؟» في أنظمة مبنية من خدمات كثيرة، مثل الخدمات المصغرة التي تصفها ويكيبيديا أيضًا.
السياق والترابط. ما يجعل الإشارات الثلاث قوية معًا هو السياق المشترك: معرّف يربط سطر سجل بالتتبع وبطلب المستخدم، وتسميات مثل الخدمة والإصدار والبيئة على كل شيء. وبدون سياق مشترك لديك ثلاثة أكوام من البيانات. ومعه تستطيع الانتقال من طلب بطيء في مقياس إلى التتبع ثم إلى سطر السجل الذي يفسره.
الأدوات القياسية (Instrumentation). إضافة الشيفرة التي تنتج القياس عن بُعد. وتصف ويكيبيديا ذلك في البرمجة. ويمكن أن يكون آليًا، عبر مكتبات ووكلاء، أو يدويًا، حيث يضيف المطورون الإشارات المهمة للأعمال، مثل «طُلب أُنشئ». زوّد بالأدوات ما يفعله المستخدمون، لا ما تفعله الآلات فقط.
OpenTelemetry والمعايير المفتوحة. OpenTelemetry مشروع مفتوح المصدر، تحت مؤسسة الحوسبة السحابية الأصلية (التي تصفها ويكيبيديا)، يوفر صيغًا وأدوات مشتركة لإصدار المقاييس والسجلات والتتبعات، بمعزل عن الأداة التي تخزنها وتحللها. راجع موقع المشروع نفسه لحالته الحالية. والهدف أن تجمع القياس عن بُعد مرة وترسله إلى أي واجهة خلفية متوافقة، مما يقلل الارتهان. وتصف ويكيبيديا المعايير المفتوحة والارتهان بمورّد عمومًا. انظر الموضوع 3.14 — إدارة الموردين.
المراقبة مقابل قابلية الملاحظة. تراقب المراقبة حالات معروفة وتنبّه؛ وتدعم قابلية الملاحظة استكشاف المجهول. وهما متكاملتان: تخبرك التنبيهات أن شيئًا خطأ، ويخبرك الاستكشاف لماذا. انظر الموضوع 3.10 — المراقبة وإدارة الأحداث.
مؤشرات مستوى الخدمة من القياس عن بُعد. تُحسب SLI، مثل نسبة الطلبات التي تنجح ضمن زمن، من القياس عن بُعد. عرّفها من وجهة نظر المستخدم، وقِسها حيث يدخل طلب المستخدم النظام. انظر الموضوع 2.6 — هندسة موثوقية المواقع ومقالة ويكيبيديا عن أهداف مستوى الخدمة.
القياس عن بُعد للمستخدمين والأعمال. تُظهر مراقبة المستخدمين الحقيقيين والمراقبة الاصطناعية، التي تصفهما ويكيبيديا، التجربة من الخارج: أزمنة تحميل الصفحات ونجاح الرحلات وأخطاء المتصفحات والتطبيقات. وتربط أحداث الأعمال، مثل التسجيلات والمدفوعات، الصحة التقنية بالنتائج. انظر الموضوع 7.7 — تحليلات التجربة والمشاعر.
العدد الرئيس والكلفة. عدد القيم المميزة لتسمية ما. والمقياس الموسوم بمعرّف المستخدم له عدد رئيس ضخم وقد يغمر مخزن المقاييس. وتصف ويكيبيديا العدد الرئيس في نمذجة البيانات. ينمو حجم القياس عن بُعد مع الحركة والتفصيل، وتنمو كلفة التخزين والمعالجة معه. قرر ما يُحفظ بتفصيل كامل وما يُؤخذ منه عينات وما يُجمَّع.
أخذ العينات. الاحتفاظ بجزء فقط من التتبعات أو السجلات. وتصف ويكيبيديا أخذ العينات في الإحصاء. يخفض أخذ العينات الكلفة وقد يخفي أحداثًا نادرة؛ فكّر في الاحتفاظ بكل الأخطاء والطلبات البطيئة وأخذ عينات من العادية.
الاحتفاظ. كم يُحفظ القياس عن بُعد. احتفظ بالبيانات عالية التفصيل قصيرًا، وبالمجمّعات أطول. ويؤثر الاحتفاظ في الكلفة والتحقيق والخصوصية. انظر الموضوع 7.2 — أسس البيانات وحوكمتها.
الخصوصية والأمن في القياس عن بُعد. قد تحتوي السجلات والتتبعات على بيانات شخصية وبيانات اعتماد وأسرار، عن طريق الخطأ أو عن قصد. وتصف ويكيبيديا البيانات الشخصية. امسح أو تجنب الحقول الحساسة عند المصدر، واضبط الوصول، وضع الاحتفاظ. والقياس عن بُعد أيضًا مصدر بيانات أمنية. انظر الموضوع 3.13 — إدارة أمن المعلومات.
قابلية الملاحظة للذكاء الاصطناعي. تحتاج أنظمة الذكاء الاصطناعي قياسها الخاص عن بُعد: المدخلات والمخرجات وزمن الاستجابة والكلفة ومعدلات الخطأ والرفض وملاحظات المستخدمين وإشارات الانجراف. سجّل ما يكفي للتحقيق في إجابة خاطئة، بعناية للبيانات المسجلة. انظر الموضوع 5.1 — الذكاء الاصطناعي في إدارة الخدمات.
المنصة والملكية. تشغّل مؤسسات كثيرة منصة قياس عن بُعد مشتركة، بمعايير للتسمية والوسم والاحتفاظ، وفرق تملك الإشارات الصادرة من خدماتها. يوفر فريق المنصة الأدوات والإرشاد؛ وتملك فرق الخدمة ما تصدره وكيف تستخدمه.
كيف تتلاءم العدسات. قابلية الملاحظة القاعدة البيانية للتحليلات ولـAIOps. وتعامل الممارسة الرشيقة تزويد الأدوات جزءًا من تعريف الإنجاز. وتستخدم الأتمتة القياس عن بُعد للتوسع والإصلاح.
أفضل الممارسات
- زوّد بالأدوات أثناء البناء. عامل القياس عن بُعد جزءًا من الميزة. ضمّنه في تعريف الإنجاز، وراجعه مع التصميم.
- وحّد الأسماء والسياق. اتفقوا على أسماء الخدمات ومجموعات التسميات والوحدات ومعرّف طلب يُحمل عبر كل خدمة. ووثّقها وافحصها في خط الإنتاج.
- أصدر سجلات منظمة. استخدم حقولًا مسماة متسقة، وضمّن معرّف الطلب، وأبقِ الرسائل قصيرة. وتجنب تسجيل الأسرار والبيانات الشخصية غير اللازمة.
- تتبّع المسارات المهمة. زوّد بالأدوات رحلات المستخدمين الرئيسة والاستدعاءات بين الخدمات، وانقل السياق عبر كل قفزة، بما فيها الطوابير والاستدعاءات الخارجية.
- عرّف المؤشرات من وجهة نظر المستخدم. احسب SLI من القياس عن بُعد عند نقطة اتصال المستخدم، وأضف أحداث الأعمال التي تُظهر هل حقق المستخدمون ما جاؤوا لأجله.
- استخدم صيغًا مفتوحة. فضّل المعايير المفتوحة لإصدار القياس عن بُعد، لتستطيع تغيير الواجهات الخلفية دون إعادة تزويد بالأدوات. وافحص الدعم في منصاتك.
- اضبط الكلفة عن قصد. ضع ميزانيات للقياس عن بُعد، وتجنب التسميات ذات العدد الرئيس العالي، وخذ عينات من الحركة العادية، واحتفظ بالأخطاء والطلبات البطيئة، ورتّب الاحتفاظ في مستويات.
- احمِ القياس عن بُعد. امسح البيانات الحساسة عند المصدر، وقيّد الوصول، وطبّق قواعد الاحتفاظ. وراقب الوصول إلى مخازن القياس.
- اجعله قابلًا للاستخدام. أعطِ الفرق لوحات مشتركة واستعلامات محفوظة وتدريبًا على كيفية التحقيق. واربط التنبيهات بالقياس عن بُعد وكتيّبات التشغيل ذات الصلة.
- راجع القياس عن بُعد بعد الحوادث. اسأل ما الذي لم تستطع رؤيته أثناء الحادث، وأضفه. وأزل الإشارات التي لا يستخدمها أحد.
أسئلة للنقاش مع فريقك
أثناء آخر حادث، ماذا أردنا معرفته ولم نستطع؟ اسأل المستجيبين. توقّع فجوات في التتبعات أو السياق أو بيانات مستوى المستخدم. وتابع باختيار فجوة واحدة وإضافة الإشارة.
هل نستطيع تتبع طلب مستخدم واحد عبر كل الخدمات التي يمسّها؟ جرّب بطلب حقيقي. توقّع انقطاعات عند الطوابير والاستدعاءات الخارجية. وتابع بنقل المعرّف عبر أول انقطاع.
ماذا نسجل مما لا ينبغي، وماذا لا نسجل مما ينبغي؟ انظر في عينة من السجلات. توقّع أسرارًا وبيانات شخصية وضجيجًا. وتابع بالاتفاق على قاعدة ومسح.
كم ننفق على القياس عن بُعد، وماذا نحصل مقابله؟ اطلب الرقم وأكبر المصادر. توقّع مفاجآت. وتابع باختيار أغلى إشارة وأقلها استخدامًا لقطعها أو أخذ عينات منها.
ما مدى ارتباطنا بأداة القياس عن بُعد الحالية، وماذا يلزم للتغيير؟ قدّر. توقّع «كثيرًا». وتابع باختيار خدمة واحدة لتزويدها بالأدوات بمعيار مفتوح.
ماذا تنتج ميزاتنا للذكاء الاصطناعي من قياس عن بُعد، وهل نستطيع التحقيق في إجابة خاطئة منه؟ اسأل. توقّع سجلات ضئيلة. وتابع بالاتفاق على ما يُسجَّل، بحدود خصوصية، وتجربة تحقيق.
في الممارسة: مثال على إدارة الخدمات
تخدم الواجهة البرمجية العامة لدى هيئة أرصاد جوية وطنية عدة ملايين طلب في اليوم عبر ثماني خدمات داخلية. يشتكي المستخدمون من استجابات بطيئة عرضية لمواقع معينة. وتُظهر المراقبة الواجهة ضمن هدف زمن الاستجابة في المتوسط، وتبدو كل خدمة سليمة بمعزل. ويقضي المهندس المناوب يومين في مطاردة المشكلة.
كان فريق المنصة ينتقل إلى تزويد OpenTelemetry بالأدوات. وعلى بوابة الواجهة وأربع من الخدمات الثماني، تحمل الطلبات معرّف تتبع وتسجل كل خدمة امتدادات بأزمنتها. وبالتتبعات، يرشح مهندس الطلبات البطيئة من الأسبوع الماضي ويرى أن جميعها تقريبًا يمر بالاستدعاء نفسه: بحث في خدمة البيانات الجغرافية لمواقع بأحرف غير معتادة في أسمائها، يستغرق عشرة أضعاف المعتاد. والخدمات الأربع الأخرى لم تُزوَّد بعد، لكن الفجوة صارت ضيقة بما يكفي للتحقيق يدويًا. والسبب فهرس قاعدة بيانات ناقص لتلك الاستعلامات، ويستغرق الإصلاح ساعة.
يراجع الفريق الكلفة. نما إنفاق القياس عن بُعد 40 في المئة في ستة أشهر، معظمه من تسمية على مقياس تتضمن الموقع المطلوب، ولها مئات الآلاف من القيم. فيزيلون التسمية، ويُبقون الموقع في التتبعات والسجلات، ويأخذون عينة 5 في المئة من التتبعات العادية مع الاحتفاظ بكل الأخطاء والطلبات البطيئة. ويزيل مسح عناوين IP من السجلات بعد 24 ساعة، بعدما لاحظ مسؤول الخصوصية أنها تُعد بيانات شخصية في بعض الولايات القضائية.
ويضيف الفريق أيضًا إشارة أعمال: عدّ استدعاءات الواجهة التي أعادت نتيجة فارغة، التي كان المستخدمون يبلغون عنها سابقًا بأنها «لا بيانات». وتُظهر نمطًا بعد كل تحديث للنموذج.
ما الذي يتغير: تستغرق التحقيقات ساعات بدل أيام، وتنخفض الكلفة بالثلث. وما يظل صعبًا: لا تزال أربع خدمات بلا تتبعات، واثنتان تملكهما وكالة أخرى؛ وقد أخفت قاعدة أخذ العينات بالفعل خطأ نادرًا ظهر فقط في حركة غير مأخوذة منها ووُجد في سجل؛ ويحتاج المهندسون إلى ممارسة لاستخدام أدوات التتبع جيدًا. ويجدول الفريق جلسة تدريب ويضع قاعدة بالاحتفاظ بكل التتبعات التي فيها أي خطأ.
أربع زوايا نظر
فرق المنتج والتسليم
ابنوا القياس عن بُعد في الميزات: أسماء متسقة، ومعرّفات طلب، وسجلات منظمة، وامتدادات على المسارات الرئيسة، وأحداث أعمال. وتجنبوا الأسرار في الإشارات، وراجعوا القياس عن بُعد في التصميم.
فرق الخدمة والعمليات
استخدموا القياس عن بُعد للتحقيق لا للتنبيه فقط. أبقوا اللوحات والاستعلامات وكتيّبات التشغيل مرتبطة، وأخبروا المطورين بما لم تستطيعوا رؤيته. وراقبوا كلفة القياس عن بُعد وجودته.
القيادة والحوكمة
موّلوا المنصة والمعايير والتدريب. اطلبوا دليلًا على أن القياس عن بُعد يقصّر التحقيقات ويعكس تجربة المستخدم. وضعوا ميزانيات وقواعد خصوصية، وفضّلوا المعايير المفتوحة.
العملاء والمستخدمون
تستفيدون حين يستطيع مزود تتبع مشكلتكم إلى سبب بسرعة. أعطوا تفاصيل حين تبلّغون عن مشكلة، مثل الوقت وما فعلتموه، فهي تساعد في إيجاد طلبكم.
الرشاقة والذكاء الاصطناعي والأتمتة والتحليلات
الرشاقة
أضف تزويد الأدوات بخطوات صغيرة مع كل ميزة، وصقله بعد كل حادث. وراجع اللوحات مع الفريق وأزل ما لا يستخدمه أحد. تنبيه: تثبيت القياس عن بُعد في النهاية ينتج فجوات؛ فضمّنه في تعريف الإنجاز.
الذكاء الاصطناعي
يستطيع الذكاء الاصطناعي تلخيص التتبعات والسجلات وتجميع الشذوذ والإجابة عن أسئلة عن القياس عن بُعد، بمالكين وفحوص. وتحتاج ميزات الذكاء الاصطناعي أيضًا قياسها الخاص. تنبيه: يعتمد تحليل الذكاء الاصطناعي على جودة البيانات وسياقها؛ والتسميات الرديئة تنتج استنتاجات رديئة. انظر الموضوع 5.2 — AIOps.
الأتمتة
أتمت تزويد الأدوات حيث تسمح المكتبات، وأنفذ معايير التسمية والوسم في خط الإنتاج، واستخدم القياس عن بُعد للتوسع والإصلاح بحدود. تنبيه: قد تخطئ أتمتة يطلقها قياس عن بُعد مزعج؛ فاختبر العتبات وأضف حدودًا. انظر الموضوع 6.6 — أتمتة كتيّبات التشغيل والإصلاح التلقائي.
التحليلات
استخدم القياس عن بُعد لـSLI والاتجاهات والسعة وتجربة المستخدم ولكلفة القياس نفسه. تنبيه: يغيّر أخذ العينات والتجميع ما تستطيع البيانات إظهاره، وقد تشوّه التسميات عالية العدد الرئيس الأنظمة أو تكسرها؛ فاذكر الحدود في التقارير. انظر الموضوع 7.1 — التحليلات لإدارة الخدمات وكتاب Service Management Metrics.
أنماط الإخفاق الشائعة
- ثلاثة أكوام من البيانات. لا يمكن ربط المقاييس والسجلات والتتبعات. شارك المعرّفات والتسميات.
- القياس عن بُعد فكرة لاحقة. تظهر فجوات في الحوادث. زوّد بالأدوات مع الميزة.
- تسميات عالية العدد الرئيس. تعاني الكلفة والأداء. حدّ التسميات وأبقِ التفصيل في التتبعات والسجلات.
- أسرار وبيانات شخصية في السجلات. تتسرب بيانات حساسة. امسح عند المصدر واضبط الوصول.
- الارتهان بأداة واحدة. التغيير مكلف. استخدم معايير مفتوحة.
- حفظ كل شيء إلى الأبد. ترتفع الكلفة. رتّب الاحتفاظ في مستويات وخذ عينات.
- لوحات لا يستخدمها أحد. يضيع الجهد. قلّم واربط بالقرارات.
نموذج النضج
| البُعد | البدء | التطوير | التوحيد | الإدارة | التنسيق |
|---|---|---|---|---|---|
| التغطية | مقاييس البنية التحتية | خدمات رئيسة بمقاييس وسجلات | مقاييس وسجلات وتتبعات بسياق مشترك على الرحلات الرئيسة | تُراجع التغطية بعد الحوادث | تغطية متسقة عبر الخدمات والموردين |
| المعايير | لا شيء | اصطلاحات محلية | أسماء وتسميات وصيغ مفتوحة متفق عليها | تُفحص المعايير في خط الإنتاج | معايير مشتركة وتتطور مع المنصة |
| الكلفة والاحتفاظ | غير مُدارة | وعي | ميزانيات وأخذ عينات واحتفاظ في مستويات | تُراجع الكلفة لكل إشارة والقيمة | تُحسَّن الكلفة والقيمة باستمرار |
| الحماية | غير واضحة | ضبط وصول أساسي | قواعد مسح ووصول واحتفاظ | يُراقب الامتثال | ضوابط مبنية في الجمع والتخزين |
قائمة التحقق
- القياس عن بُعد جزء من تعريف الإنجاز لدينا.
- لدينا أسماء وتسميات ووحدات متفق عليها ومعرّف طلب يُحمل عبر الخدمات.
- السجلات منظمة وخالية من الأسرار والبيانات الشخصية غير اللازمة.
- رحلات المستخدمين الرئيسة متتبَّعة من الطرف إلى الطرف.
- تُحسب SLI من القياس عن بُعد عند نقطة اتصال المستخدم.
- نستخدم صيغًا مفتوحة لإصدار القياس عن بُعد.
- لدينا ميزانية قياس عن بُعد مع أخذ عينات واحتفاظ في مستويات.
- نراجع ما لم نستطع رؤيته بعد كل حادث.
موجّهات الذكاء الاصطناعي
اعثر على فجوات القياس عن بُعد من حادث.
Here is the timeline of an incident and notes on what responders tried to find out: [paste].
List each question the responders could not answer, what signal would have answered it (metric, log, trace, user data), and a question for the owning team. Do not assume any signal exists.
List what you are unsure of.
افحص عينة سجلات بحثًا عن بيانات حساسة.
Here is a sample of log lines from our service: [paste, already partially scrubbed].
List any content that looks like secrets, personal data, or internal details, quoting the exact text, and suggest categories of scrub rules. Do not guess whether any is real.
List what you are unsure of.
اقترح معيار تسمية ووسم.
Our services: [list]. Our environments: [list]. Our teams: [list]. What we want to be able to filter by: [list].
Draft a one-page standard for service names, label keys, allowed values, and request identifiers, with examples. Warn about labels that could have very many distinct values. Do not name a vendor.
List what you are unsure of.
مهارات الذكاء الاصطناعي
- anomaly-analysis: استخدمها لفحص الأنماط غير المعتادة في القياس عن بُعد.
- data-pipeline: استخدمها لتصميم كيف يتحرك القياس عن بُعد ويُخزَّن.
- data-governance: استخدمها لوضع قواعد الخصوصية والاحتفاظ والوصول.
- key-risk-indicators: استخدمها لاختيار إشارات الإنذار المبكر.
- performance-testing: استخدمها لاختبار زمن الاستجابة والسعة بالقياس عن بُعد.
المصادر الرئيسة
- OpenTelemetry (opentelemetry.io): المعيار المفتوح والأدوات للمقاييس والسجلات والتتبعات.
- Charity Majors, Liz Fong-Jones, and George Miranda, Observability Engineering (2022): دليل ممارس للنهج.
- Betsy Beyer and others (eds.), Site Reliability Engineering (2016), chapter on monitoring, free at sre.google.
- Wikipedia, "Observability (software)" and "Telemetry": نظرات عامة على الأفكار.
المراجع
- Observability (software) — Wikipedia — https://en.wikipedia.org/wiki/Observability_(software)
- Telemetry — Wikipedia — https://en.wikipedia.org/wiki/Telemetry
- Logging (computing) — Wikipedia — https://en.wikipedia.org/wiki/Logging_(computing)
- Tracing (software) — Wikipedia — https://en.wikipedia.org/wiki/Tracing_(software)
- Time series database — Wikipedia — https://en.wikipedia.org/wiki/Time_series_database
- Prometheus (software) — Wikipedia — https://en.wikipedia.org/wiki/Prometheus_(software)
- Cloud Native Computing Foundation — Wikipedia — https://en.wikipedia.org/wiki/Cloud_Native_Computing_Foundation
- Instrumentation (computer programming) — Wikipedia — https://en.wikipedia.org/wiki/Instrumentation_(computer_programming)
- Cardinality (data modeling) — Wikipedia — https://en.wikipedia.org/wiki/Cardinality_(data_modeling)
- Real user monitoring — Wikipedia — https://en.wikipedia.org/wiki/Real_user_monitoring
- Synthetic monitoring — Wikipedia — https://en.wikipedia.org/wiki/Synthetic_monitoring
- OpenTelemetry — Cloud Native Computing Foundation — https://opentelemetry.io