관측 가능성과 텔레메트리
관측 가능성은 실행 중인 시스템에 새로운 질문을 던지고, 시스템이 내보내는 데이터, 즉 일관된 맥락을 담은 지표, 로그, 트레이스에서 답을 얻는 능력입니다. 텔레메트리를 설계에 넣고, 개방형 형식으로 표준화하고, 감당할 수 있는 비용으로 유지하고, 기계의 건강만이 아니라 사용자 경험을 이해하는 데 쓸 때 성과를 냅니다.
왜 중요한가
모니터링은 미리 생각해 둔 질문에 답합니다. 서비스가 떠 있는가? 디스크가 가득 찼는가? 지연이 2초를 넘는가? 좋은 질문이고, 전에 본 적 있는 실패를 잡아냅니다. 하지만 현대적인 서비스는 새로운 방식으로 실패합니다. 한 구성 요소의 변경이 다른 구성 요소의 요청을 느리게 합니다. 한 고객의 특이한 데이터가 드문 경로를 촉발합니다. 세 계층 아래의 의존성이 저하되는데 아무도 그것을 위한 대시보드가 없습니다.
새로운 실패가 오면 팀은 아무도 예상하지 못한 질문을 던져야 합니다. 어떤 요청이 느린가, 어떤 사용자에게, 어떤 서비스를 거쳐서, 어떤 릴리스 이후로? 시스템이 풍부하고 연결된 데이터를 내보내면 팀은 흔적을 따라갈 수 있습니다. 그렇지 않으면 추측하고, 로깅을 추가하고, 다시 배포하고, 실패가 다시 일어나기를 기다립니다. Wikipedia는 소프트웨어의 관측 가능성을 제어 이론에서 빌려 온 생각으로, 외부 출력에서 시스템의 내부 상태를 이해하는 능력으로 설명합니다.
실용적인 작업은 시스템이 자신에 대해 내보내는 데이터인 텔레메트리에 있습니다. 좋은 텔레메트리는 설계되고, 일관되고, 연결되어 있어서, 사용자의 불만을 요청으로, 요청을 그것이 건드린 서비스로, 느림을 특정 호출로 추적할 수 있습니다. 이 주제는 텔레메트리의 주요 종류, 그것을 이식 가능하게 하는 표준, 따라오는 비용과 위험을 설명합니다. 모니터링(주제 3.10 — 모니터링과 이벤트 관리) 위에 서 있으며 SRE(주제 2.6 — 사이트 신뢰성 엔지니어링), AIOps(주제 5.2 — AIOps), 데이터 거버넌스(주제 7.2 — 데이터 기반과 데이터 거버넌스)와 연결됩니다.
핵심 개념
텔레메트리. 시스템에서 수집해 검사할 수 있는 곳으로 보내는 데이터입니다. Wikipedia가 텔레메트리를 일반적으로 설명합니다. 소프트웨어에서 주된 신호는 지표, 로그, 트레이스이며, 프로파일과 이벤트 같은 더 새로운 것도 있습니다.
지표. 요청 비율, 오류율, 지연, 메모리 사용, 큐 깊이처럼 시간에 따라 측정한 숫자입니다. 지표는 저장 비용이 싸고 추세, 알림, 대시보드에 좋습니다. 요약하기 때문에 개별 요청에 대한 세부는 잃습니다. Wikipedia가 설명하는 시계열 데이터베이스가 지표를 효율적으로 저장하며, Prometheus가 널리 쓰이는 오픈 소스 예입니다.
로그. 오류 메시지나 완료된 트랜잭션 같은 개별 이벤트의 타임스탬프가 있는 기록입니다. Wikipedia가 컴퓨팅의 로깅을 설명합니다. 로그는 세부를 담지만, 양이 많고 저장과 검색에 비용이 듭니다. 자유 텍스트가 아니라 일관된 이름 붙은 필드가 있는 구조화된 로그는 질의하고 다른 신호와 연결하기 더 쉽습니다.
트레이스. 분산 시스템의 여러 부분을 거치는 하나의 요청의 경로를 기록한 것으로, 어떤 서비스를 거쳤고 각각이 얼마나 걸렸는지 보여 줍니다. Wikipedia가 소프트웨어의 트레이싱을 설명합니다. 트레이스는 Wikipedia가 역시 설명하는 마이크로서비스처럼 많은 서비스로 만들어진 시스템에서 "시간이 어디로 갔는가?"에 답합니다.
맥락과 상관관계. 세 신호를 함께 강력하게 만드는 것은 공유된 맥락입니다. 로그 줄을 트레이스와 사용자의 요청에 묶는 식별자와, 모든 것에 붙은 서비스, 버전, 환경 같은 레이블입니다. 공유된 맥락이 없으면 세 더미의 데이터가 있을 뿐입니다. 있으면 지표 속 느린 요청에서 트레이스로, 그것을 설명하는 로그 줄로 옮겨 갈 수 있습니다.
계측. 텔레메트리를 만드는 코드를 추가하는 것입니다. Wikipedia가 프로그래밍의 계측을 설명합니다. 라이브러리와 에이전트를 통해 자동일 수도 있고, 개발자가 "주문 접수"처럼 비즈니스에 중요한 신호를 추가하는 수동일 수도 있습니다. 기계가 하는 것만이 아니라 사용자가 하는 것을 계측하세요.
OpenTelemetry와 개방형 표준. OpenTelemetry는 Wikipedia가 설명하는 Cloud Native Computing Foundation 산하의 오픈 소스 프로젝트로, 저장하고 분석하는 도구와 무관하게 지표, 로그, 트레이스를 내보내기 위한 공통 형식과 도구를 제공합니다. 현재 상태는 프로젝트 자체 사이트에서 확인하세요. 목표는 텔레메트리를 한 번 수집해 호환되는 어떤 백엔드로든 보내게 해 종속을 줄이는 것입니다. Wikipedia가 개방형 표준과 벤더 종속을 일반적인 말로 설명합니다. 주제 3.14 — 공급자 관리를 참조하세요.
모니터링 대 관측 가능성. 모니터링은 알려진 조건을 지켜보고 알리며, 관측 가능성은 알려지지 않은 조건을 탐색하도록 뒷받침합니다. 둘은 상호 보완적입니다. 알림은 무언가 잘못되었음을 알려 주고, 탐색은 왜인지 알려 줍니다. 주제 3.10 — 모니터링과 이벤트 관리를 참조하세요.
텔레메트리에서 얻는 서비스 수준 인디케이터. 일정 시간 안에 성공하는 요청의 비중 같은 SLI는 텔레메트리에서 계산됩니다. 사용자의 관점에서 정의하고, 사용자의 요청이 시스템에 들어오는 곳에서 측정하세요. 주제 2.6 — 사이트 신뢰성 엔지니어링과 Wikipedia의 서비스 수준 목표 문서를 참조하세요.
사용자 및 비즈니스 텔레메트리. Wikipedia가 설명하는 실제 사용자 모니터링과 합성 모니터링은 페이지 로드 시간, 여정의 성공, 브라우저와 앱의 오류처럼 바깥에서 본 경험을 보여 줍니다. 가입과 결제 같은 비즈니스 이벤트는 기술적 건강을 성과와 연결합니다. 주제 7.7 — 경험과 감성 분석을 참조하세요.
카디널리티와 비용. 카디널리티는 레이블의 서로 다른 값의 수입니다. 사용자 식별자로 레이블된 지표는 카디널리티가 엄청나서 지표 저장소를 압도할 수 있습니다. Wikipedia가 데이터 모델링의 카디널리티를 설명합니다. 텔레메트리 양은 트래픽과 세부에 따라 늘고, 저장과 처리 비용도 함께 늡니다. 무엇을 전체 세부로 보관하고, 무엇을 표본 추출하고, 무엇을 집계할지 정하세요.
표본 추출. 트레이스나 로그의 일부만 보관하는 것입니다. Wikipedia가 통계의 표본 추출을 설명합니다. 표본 추출은 비용을 줄이지만 드문 이벤트를 가릴 수 있습니다. 모든 오류와 느린 요청을 보관하고 정상적인 것을 표본 추출하는 것을 고려하세요.
보존. 텔레메트리를 얼마나 오래 보관하는가입니다. 높은 세부 데이터는 짧게, 집계는 더 오래 보관하세요. 보존은 비용, 조사, 프라이버시에 영향을 줍니다. 주제 7.2 — 데이터 기반과 데이터 거버넌스를 참조하세요.
텔레메트리의 프라이버시와 보안. 로그와 트레이스에는 우연이든 설계든 개인 데이터, 자격 증명, 비밀이 담길 수 있습니다. Wikipedia가 개인 데이터를 설명합니다. 민감한 필드는 출처에서 지우거나 피하고, 접근을 통제하고, 보존을 정하세요. 텔레메트리는 보안 데이터 원천이기도 합니다. 주제 3.13 — 정보 보안 관리를 참조하세요.
AI의 관측 가능성. AI 시스템에는 자체 텔레메트리가 필요합니다. 입력, 출력, 지연, 비용, 오류와 거부 비율, 사용자 피드백, 드리프트 신호입니다. 틀린 답을 조사할 만큼 기록하되, 기록하는 데이터에 주의하세요. 주제 5.1 — 서비스 관리에서의 AI를 참조하세요.
플랫폼과 오너십. 많은 조직이 이름 짓기, 레이블링, 보존의 표준이 있는 공유 텔레메트리 플랫폼과, 자기 서비스의 신호를 소유하는 팀을 운영합니다. 플랫폼 팀은 도구와 지침을 제공하고, 서비스 팀은 자신이 내보내는 것과 그것을 쓰는 방식을 소유합니다.
렌즈는 어떻게 맞물리는가. 관측 가능성은 분석과 AIOps의 데이터 기반입니다. 애자일 프랙티스는 계측을 완료의 정의의 일부로 다룹니다. 자동화는 텔레메트리를 써서 확장하고 복구합니다.
모범 사례
- 만들면서 계측합니다. 텔레메트리를 기능의 일부로 다루세요. 완료의 정의에 포함하고 설계와 함께 검토하세요.
- 이름과 맥락을 표준화합니다. 서비스 이름, 레이블 집합, 단위, 모든 서비스를 거쳐 전달되는 요청 식별자에 합의하세요. 문서화하고 파이프라인에서 점검하세요.
- 구조화된 로그를 내보냅니다. 일관된 이름 붙은 필드를 쓰고, 요청 식별자를 포함하고, 메시지는 짧게 유지하세요. 비밀과 불필요한 개인 데이터를 로깅하지 마세요.
- 중요한 경로를 트레이싱합니다. 주요 사용자 여정과 서비스 간 호출을 계측하고, 큐와 외부 호출을 포함한 모든 홉을 거쳐 맥락을 전파하세요.
- 사용자의 관점에서 인디케이터를 정의합니다. 사용자 접점에서 텔레메트리로 SLI를 계산하고, 사용자가 하러 온 일을 달성했는지 보여 주는 비즈니스 이벤트를 더하세요.
- 개방형 형식을 씁니다. 다시 계측하지 않고 백엔드를 바꿀 수 있도록 텔레메트리를 내보내는 데 개방형 표준을 선호하세요. 플랫폼의 지원을 확인하세요.
- 비용을 의도적으로 통제합니다. 텔레메트리 예산을 정하고, 카디널리티가 높은 레이블을 피하고, 정상 트래픽을 표본 추출하고, 오류와 느린 요청은 보관하고, 보존을 계층화하세요.
- 텔레메트리를 보호합니다. 민감한 데이터를 출처에서 지우고, 접근을 제한하고, 보존 규칙을 적용하세요. 텔레메트리 저장소에 대한 접근을 모니터링하세요.
- 쓸 수 있게 만듭니다. 팀에 공유 대시보드, 저장된 쿼리, 조사 방법에 대한 교육을 제공하세요. 알림을 관련 텔레메트리와 런북에 연결하세요.
- 인시던트 뒤에 텔레메트리를 검토합니다. 인시던트 중에 무엇을 볼 수 없었는지 묻고 추가하세요. 아무도 쓰지 않는 신호는 제거하세요.
팀과 논의할 질문
지난 인시던트 중에 우리가 알고 싶었지만 알아낼 수 없었던 것은 무엇입니까? 대응자에게 물으세요. 트레이스, 맥락, 사용자 수준 데이터의 공백이 예상됩니다. 더 깊이 들어가려면, 공백 하나를 골라 신호를 추가하세요.
단일 사용자의 요청을 그것이 건드리는 모든 서비스를 거쳐 따라갈 수 있습니까? 실제 요청으로 해 보세요. 큐와 외부 호출에서 끊김이 예상됩니다. 더 깊이 들어가려면, 첫 끊김을 거쳐 식별자를 전파하세요.
우리가 로깅하지 말아야 하는데 하는 것은 무엇이며, 로깅해야 하는데 하지 않는 것은 무엇입니까? 로그 표본을 보세요. 비밀, 개인 데이터, 소음이 예상됩니다. 더 깊이 들어가려면, 규칙과 정리에 합의하세요.
우리는 텔레메트리에 얼마를 쓰며, 그로 무엇을 얻습니까? 숫자와 가장 큰 원천을 요청하세요. 놀라움이 예상됩니다. 더 깊이 들어가려면, 가장 비싸고 가장 덜 쓰이는 신호를 골라 줄이거나 표본 추출하세요.
우리는 현재의 텔레메트리 도구에 얼마나 묶여 있으며, 바꾸려면 무엇이 필요합니까? 추정해 보세요. "많이"가 예상됩니다. 더 깊이 들어가려면, 서비스 하나를 골라 개방형 표준으로 계측하세요.
우리의 AI 기능은 어떤 텔레메트리를 만들며, 그것으로 틀린 답을 조사할 수 있습니까? 물어보세요. 최소한의 기록이 예상됩니다. 더 깊이 들어가려면, 프라이버시 한도 안에서 무엇을 기록할지 합의하고 조사를 시도해 보세요.
실제 적용: 서비스 관리 사례
한 국립 기상 서비스의 공개 API는 여덟 개의 내부 서비스를 거쳐 하루에 수백만 건의 요청을 처리합니다. 사용자들이 특정 위치에 대해 가끔 느린 응답을 불평합니다. 모니터링은 API가 평균적으로 지연 목표 안에 있고 각 서비스가 따로 보면 건강해 보임을 보여 줍니다. 당직 엔지니어는 이틀을 문제를 쫓으며 보냅니다.
플랫폼 팀은 OpenTelemetry 계측으로 옮겨 가고 있었습니다. API의 게이트웨이와 여덟 개 서비스 중 넷에서 요청이 트레이스 식별자를 운반하고 각 서비스가 시간 정보가 있는 스팬을 기록합니다. 트레이스로 엔지니어가 지난주의 느린 요청을 필터링하자 거의 모두가 같은 호출을 거침을 봅니다. 이름에 특이한 문자가 있는 위치에 대한 지리 데이터 서비스의 조회가 평소보다 열 배 오래 걸립니다. 나머지 네 서비스는 아직 계측되지 않았지만, 공백이 이제 손으로 조사할 만큼 좁아졌습니다. 원인은 그 쿼리에 대한 데이터베이스 인덱스 누락이고, 수정에는 한 시간이 걸립니다.
팀은 비용을 검토합니다. 텔레메트리 지출이 6개월 사이 40퍼센트 늘었는데, 대부분 요청된 위치를 포함하고 수십만 개의 값을 가진 지표 레이블에서 비롯됩니다. 레이블을 제거하고, 위치는 트레이스와 로그에 유지하고, 일반 트레이스의 5퍼센트를 표본 추출하면서 모든 오류와 느린 요청을 보관합니다. 개인정보 보호 책임자가 IP 주소가 일부 관할권에서는 개인 데이터로 간주된다고 지적한 뒤, 정리 작업이 로그에서 24시간 뒤 IP 주소를 제거합니다.
팀은 비즈니스 신호도 더합니다. 빈 결과를 돌려준 API 호출의 수로, 과거에 사용자가 "데이터 없음"으로 신고한 것입니다. 모델 업데이트 뒤마다 패턴이 나타남을 보여 줍니다.
달라진 점은 조사가 며칠이 아니라 몇 시간이 걸리고 비용이 3분의 1 줄었다는 것입니다. 여전히 어려운 점은 네 서비스에 트레이스가 아직 없고 둘은 다른 기관이 소유한다는 것, 표본 추출 규칙이 이미 표본 추출되지 않은 트래픽에서만 나타나 로그에서 발견된 드문 오류를 가렸다는 것, 엔지니어가 트레이스 도구를 잘 쓰려면 연습이 필요하다는 것입니다. 팀은 교육 세션을 일정에 올리고 오류가 있는 모든 트레이스를 보관하는 규칙을 정합니다.
네 가지 관점
제품 및 전달 팀
텔레메트리를 기능에 내장하세요. 일관된 이름, 요청 식별자, 구조화된 로그, 핵심 경로의 스팬, 비즈니스 이벤트입니다. 신호에 비밀을 넣지 말고, 설계에서 텔레메트리를 검토하세요.
서비스 및 운영 팀
텔레메트리를 알림에만이 아니라 조사에 쓰세요. 대시보드, 쿼리, 런북을 연결해 두고, 볼 수 없었던 것을 개발자에게 알리세요. 텔레메트리의 비용과 품질을 지켜보세요.
리더십과 거버넌스
플랫폼, 표준, 교육에 재원을 대세요. 텔레메트리가 조사를 단축하고 사용자 경험을 반영한다는 증거를 요청하세요. 예산과 프라이버시 규칙을 정하고 개방형 표준을 선호하세요.
고객과 사용자
제공자가 여러분의 문제를 원인까지 빠르게 추적할 수 있을 때 혜택을 봅니다. 문제를 신고할 때 시각과 한 일 같은 세부 사항을 주면 여러분의 요청을 찾는 데 도움이 됩니다.
애자일, AI, 자동화, 분석
애자일
기능마다 작은 단계로 계측을 추가하고, 인시던트마다 다듬으세요. 팀과 대시보드를 검토하고 아무도 쓰지 않는 것을 제거하세요. 주의: 마지막에 덧붙인 텔레메트리는 공백을 만들므로, 완료의 정의에 포함하세요.
AI
AI는 오너와 점검 아래 트레이스와 로그를 요약하고, 이상을 묶고, 텔레메트리에 대한 질문에 답할 수 있습니다. AI 기능에도 자체 텔레메트리가 필요합니다. 주의: AI 분석은 데이터의 품질과 맥락에 달려 있으므로, 나쁜 레이블은 나쁜 결론을 낳습니다. 주제 5.2 — AIOps를 참조하세요.
자동화
라이브러리가 허용하는 곳에서 계측을 자동화하고, 파이프라인에서 이름과 레이블 표준을 강제하고, 텔레메트리를 한도와 함께 확장과 복구에 쓰세요. 주의: 소음 있는 텔레메트리가 촉발한 자동화는 오발할 수 있으므로, 임계값을 시험하고 한도를 더하세요. 주제 6.6 — 런북 자동화와 자동 복구를 참조하세요.
분석
SLI, 추세, 용량, 사용자 경험에, 그리고 텔레메트리 자체의 비용에 텔레메트리를 쓰세요. 주의: 표본 추출과 집계는 데이터가 보여 줄 수 있는 것을 바꾸고, 카디널리티가 높은 레이블은 시스템을 왜곡하거나 망가뜨릴 수 있으므로, 보고서에 한계를 적으세요. 주제 7.1 — 서비스 관리를 위한 분석과 서비스 관리 지표(Service Management Metrics) 책을 참조하세요.
흔한 실패 유형
- 세 더미의 데이터. 지표, 로그, 트레이스를 연결할 수 없습니다. 식별자와 레이블을 공유하세요.
- 사후에 생각한 텔레메트리. 인시던트에서 공백이 나타납니다. 기능과 함께 계측하세요.
- 카디널리티가 높은 레이블. 비용과 성능이 나빠집니다. 레이블을 제한하고 세부는 트레이스와 로그에 두세요.
- 로그 속 비밀과 개인 데이터. 민감한 데이터가 유출됩니다. 출처에서 지우고 접근을 통제하세요.
- 한 도구에 대한 종속. 바꾸기 비쌉니다. 개방형 표준을 쓰세요.
- 영원히 보관되는 모든 것. 비용이 오릅니다. 보존을 계층화하고 표본 추출하세요.
- 아무도 쓰지 않는 대시보드. 노력이 낭비됩니다. 가지치기하고 결정에 연결하세요.
성숙도 모델
| 영역 | 시작 | 발전 | 표준화 | 관리 | 오케스트레이션 |
|---|---|---|---|---|---|
| 범위 | 인프라 지표 | 지표와 로그가 있는 핵심 서비스 | 핵심 여정에 공유된 맥락을 갖춘 지표, 로그, 트레이스 | 인시던트 뒤에 범위를 검토한다 | 서비스와 공급자 전반에서 범위가 일관된다 |
| 표준 | 없음 | 지역적 관례 | 이름, 레이블, 개방형 형식에 합의 | 파이프라인에서 표준을 점검한다 | 표준이 공유되고 플랫폼과 함께 발전한다 |
| 비용과 보존 | 관리되지 않는다 | 인식한다 | 예산, 표본 추출, 계층화된 보존 | 신호별 비용과 가치를 검토한다 | 비용과 가치를 지속적으로 최적화한다 |
| 보호 | 불분명하다 | 기본 접근 제어 | 정리, 접근, 보존 규칙 | 규정 준수를 모니터링한다 | 수집과 저장에 통제가 내장된다 |
체크리스트
- 텔레메트리가 우리의 완료의 정의의 일부다.
- 합의된 이름, 레이블, 단위, 서비스 전반에 전달되는 요청 식별자가 있다.
- 로그가 구조화되어 있고 비밀과 불필요한 개인 데이터가 없다.
- 핵심 사용자 여정을 끝에서 끝까지 트레이싱한다.
- SLI를 사용자 접점의 텔레메트리에서 계산한다.
- 텔레메트리를 내보낼 때 개방형 형식을 쓴다.
- 표본 추출과 계층화된 보존이 있는 텔레메트리 예산이 있다.
- 인시던트마다 볼 수 없었던 것을 검토한다.
AI 프롬프트
인시던트에서 텔레메트리의 공백을 찾습니다.
Here is the timeline of an incident and notes on what responders tried to find out: [paste].
List each question the responders could not answer, what signal would have answered it (metric, log, trace, user data), and a question for the owning team. Do not assume any signal exists.
List what you are unsure of.
로그 표본에서 민감한 데이터를 검토합니다.
Here is a sample of log lines from our service: [paste, already partially scrubbed].
List any content that looks like secrets, personal data, or internal details, quoting the exact text, and suggest categories of scrub rules. Do not guess whether any is real.
List what you are unsure of.
이름과 레이블 표준을 제안합니다.
Our services: [list]. Our environments: [list]. Our teams: [list]. What we want to be able to filter by: [list].
Draft a one-page standard for service names, label keys, allowed values, and request identifiers, with examples. Warn about labels that could have very many distinct values. Do not name a vendor.
List what you are unsure of.
AI 스킬
- anomaly-analysis: 텔레메트리의 비정상 패턴을 살펴볼 때 사용합니다.
- data-pipeline: 텔레메트리가 이동하고 저장되는 방식을 설계할 때 사용합니다.
- data-governance: 프라이버시, 보존, 접근 규칙을 정할 때 사용합니다.
- key-risk-indicators: 조기 경보 신호를 고를 때 사용합니다.
- performance-testing: 텔레메트리로 지연과 용량을 시험할 때 사용합니다.
주요 출처
- OpenTelemetry (opentelemetry.io): 지표, 로그, 트레이스를 위한 개방형 표준과 도구.
- Charity Majors, Liz Fong-Jones, and George Miranda, Observability Engineering (2022): 접근에 대한 실천가 안내서.
- Betsy Beyer and others (eds.), Site Reliability Engineering (2016), chapter on monitoring, free at sre.google.
- Wikipedia, "Observability (software)" and "Telemetry": 개념의 개관.
참고 문헌
- Observability (software) — Wikipedia — https://en.wikipedia.org/wiki/Observability_(software)
- Telemetry — Wikipedia — https://en.wikipedia.org/wiki/Telemetry
- Logging (computing) — Wikipedia — https://en.wikipedia.org/wiki/Logging_(computing)
- Tracing (software) — Wikipedia — https://en.wikipedia.org/wiki/Tracing_(software)
- Time series database — Wikipedia — https://en.wikipedia.org/wiki/Time_series_database
- Prometheus (software) — Wikipedia — https://en.wikipedia.org/wiki/Prometheus_(software)
- Cloud Native Computing Foundation — Wikipedia — https://en.wikipedia.org/wiki/Cloud_Native_Computing_Foundation
- Instrumentation (computer programming) — Wikipedia — https://en.wikipedia.org/wiki/Instrumentation_(computer_programming)
- Cardinality (data modeling) — Wikipedia — https://en.wikipedia.org/wiki/Cardinality_(data_modeling)
- Real user monitoring — Wikipedia — https://en.wikipedia.org/wiki/Real_user_monitoring
- Synthetic monitoring — Wikipedia — https://en.wikipedia.org/wiki/Synthetic_monitoring
- OpenTelemetry — Cloud Native Computing Foundation — https://opentelemetry.io