에이전트형 AI와 사람의 감독
질문에 답하는 데 그치지 않고 시스템에 행동하는 AI 에이전트에게는 정의된 범위, 최소 권한 권한 부여, 중대한 행동을 위한 승인 관문, 완전한 감사 추적, 시험된 중지 방법이 필요합니다. 자율성은 증거에 기반한 작은 단계로 부여해야 하며, 책임은 이름이 있는 사람에게 남습니다.
왜 중요한가
서비스 관리에서 지금까지의 AI 사용 대부분은 자문 성격입니다. 모델이 티켓을 읽고 범주를 제안하거나, 사람이 편집할 답변 초안을 씁니다. 제안이 틀리면 아무 일이 일어나기 전에 사람이 알아챕니다. AI 에이전트는 이를 바꿉니다. 에이전트에게는 도구가 주어집니다. 시스템에 질의하고, 기록을 갱신하고, 명령을 실행하고, 티켓을 열고 닫고, 메시지를 보낼 수 있습니다. 목표를 향한 단계를 계획하고 실행하며, 지시와 결과 사이에 사람의 개입이 거의 없는 경우가 많습니다.
여기에는 실질적인 가치가 있습니다. 에이전트는 로그를 가져오고, 최근 변경을 확인하고, 요약을 게시해 알림을 조사할 수 있습니다. 자격을 확인하고, 계정을 만들고, 사용자에게 알려 일상적인 요청을 처음부터 끝까지 처리할 수 있습니다. 수정안의 초안을 쓰고 풀 리퀘스트를 열 수 있습니다. 잘 되면 바쁜 사람들에게서 일상 업무를 덜어 주고 어느 시각에든 일합니다.
위험의 성격도 바뀝니다. 틀린 답은 불편입니다. 틀린 행동은 데이터를 지우고, 엉뚱한 사람에게 접근을 부여하고, 서비스를 내리고, 고객 만 명에게 메시지를 보낼 수 있습니다. 에이전트를 유용하게 하는 속도가 실수도 빠르게 퍼뜨립니다. 그리고 에이전트는 공격에 노출됩니다. 티켓이나 웹 페이지에 숨겨진 적대적 지시가 행동할 힘이 있는 에이전트를 조종할 수 있습니다.
이 주제는 서비스 관리에서 에이전트를 안전하게 쓰기 위한 핵심 생각을 제시합니다. 범위, 권한, 승인, 감사, 중지입니다. 주제 5.1 — 서비스 관리에서의 AI와 주제 5.6 — AI 거버넌스, 위험, 규정 준수 위에 서 있으며, 자동화(주제 6.1 — 자동화 전략과 주제 6.6 — 런북 자동화와 자동 복구), 변경 실현(주제 3.4 — 변경 실현), 정보 보안(주제 3.13 — 정보 보안 관리)과 연결됩니다.
핵심 개념
AI 에이전트. 환경을 인지하고, 결정을 내리고, 목표를 달성하기 위해 행동하는 시스템입니다. Wikipedia가 지능형 에이전트와 AI 에이전트를 설명합니다. 현재의 실무에서 에이전트는 보통 언어 모델에 도구와 루프를 결합합니다. 모델이 다음에 할 일을 결정하고, 도구를 호출하고, 결과를 읽고, 끝났다고 판단하거나 한도에 이를 때까지 계속합니다.
도구와 권한. 지식 기반 읽기, 모니터링 질의, 티켓 생성, 서비스 재시작처럼 에이전트가 취할 수 있는 행동의 집합입니다. 도구는 흔히 애플리케이션 프로그래밍 인터페이스(API)로 노출됩니다. Wikipedia가 API를 설명합니다. Wikipedia가 설명하는 Model Context Protocol 같은, 모델을 도구에 연결하기 위한 개방형 프로토콜은 도구를 쉽게 추가하게 해 주는데, 이는 유용하면서 에이전트가 할 수 있는 일도 넓힙니다. 각 도구는 고유한 위험을 지닙니다.
자율성 수준. 통제를 생각하는 유용한 방법은 없음에서 완전까지의 수준으로 보는 것입니다. 한쪽 끝에서 에이전트는 제안만 합니다. 그다음에는 승인을 위해 행동을 준비합니다. 그다음에는 좁은 한도 안에서 혼자 행동하고 보고합니다. 반대쪽 끝에서는 검토 없이 폭넓게 행동합니다. Wikipedia의 감독 제어 문서는 자동화 시스템에 대한 사람의 감독이라는 생각을 설명합니다. 오류의 비용과 되돌릴 수 있는지를 바탕으로 작업마다 수준을 고르세요.
사람의 감독. 사람이 에이전트를 이해하고, 승인하고, 멈추고, 바로잡을 수 있는 상태를 유지합니다. Wikipedia가 휴먼 인 더 루프 시스템을 설명합니다. 감독은 여러 형태를 띱니다. 행동이 일어나기 전의 승인, 일어나는 동안의 모니터링, 사후 검토입니다. 알맞은 형태는 속도와 위험에 달려 있습니다. 사후 검토는 되돌릴 수 없는 행동에는 쓸모가 없습니다.
자동화 편향과 도장 찍기. 사람은 특히 승인이 잦고 비슷해 보일 때 시스템이 제안하는 것을 승인하는 경향이 있습니다. Wikipedia가 자동화 편향을 설명합니다. 사람들이 읽지 않고 승인하는 통제는 통제가 아닙니다. 승인이 무슨 일이 일어날지 보여 주고, 읽힐 만큼 드물고, 표본 추출로 점검되도록 설계하세요.
최소 권한. 에이전트는 작업에 필요한 권한만, 필요한 동안에만 가져야 합니다. Wikipedia가 최소 권한의 원칙을 설명합니다. 공유 관리자 계정이 아니라 에이전트별 별도 신원을 써서 행동을 추적하고 권한을 제한할 수 있게 하세요.
혼란된 대리인. 신뢰받는 프로그램이 그 권한을 갖지 않은 누군가를 대신해 쓰도록 속는 보안 문제입니다. Wikipedia가 혼란된 대리인 문제를 설명합니다. 높은 권한으로 행동할 수 있으면서 사용자의 메시지 같은 낮은 신뢰의 텍스트에서 지시를 받는 에이전트가 전형적인 사례입니다.
프롬프트 인젝션. 티켓, 이메일, 웹 페이지, 로그 줄처럼 에이전트가 읽는 콘텐츠에 숨겨진 적대적 지시입니다. Wikipedia가 프롬프트 인젝션을 설명합니다. 모델은 지시와 데이터를 확실하게 구별하지 못하므로, 콘텐츠 출처가 에이전트의 방향을 바꾸려 할 수 있습니다. 방어는 나쁜 텍스트를 무시하도록 모델을 설득하는 데보다 주로 에이전트가 할 수 있는 일을 제한하는 데 기댑니다.
샌드박싱. 시스템과 데이터에 대한 접근이 제한된 환경에서 에이전트를 실행하는 것입니다. Wikipedia가 컴퓨터 보안의 샌드박스를 설명합니다. 에이전트가 운영 환경에서 일하기 전에 시험 환경에서 행동을 시도해 보게 하세요.
되돌릴 수 있음. 티켓 생성, 레이블 추가, 변경 제안처럼 되돌릴 수 있는 행동을 선호하세요. 삭제, 결제, 외부로 메시지 보내기처럼 되돌릴 수 없는 행동은 승인이 필요하거나 금지된 것으로 다루세요. Wikipedia가 데이터 관리의 롤백을 설명합니다.
한도와 회로 차단기. 에이전트가 시간당 취할 수 있는 행동의 수, 쓸 수 있는 비용, 한 번에 바꿀 수 있는 항목 수, 실행할 수 있는 시간의 상한입니다. Wikipedia가 속도 제한을 설명합니다. 한도는 폭주를 한정된 오류로 바꿉니다.
킬 스위치. 에이전트를 멈추고 접근을 철회하는 빠르고 신뢰할 수 있는 방법입니다. Wikipedia가 킬 스위치를 설명합니다. 시험하세요. 에이전트 자신의 협조나 내려가 있는 시스템에 의존하는 킬 스위치는 킬 스위치가 아닙니다.
감사 추적. 에이전트가 무엇을 요청받았고, 무엇을 결정했고, 어떤 도구를 어떤 입력으로 호출했고, 무슨 일이 일어났는지에 대한 완전한 기록입니다. Wikipedia가 감사 추적을 설명합니다. 이것이 없으면 실수를 조사하고, 규정 준수를 보이고, 배울 수 없습니다.
책임. 에이전트는 책임질 수 없으며, 사람이 책임집니다. 이름이 있는 오너가 에이전트가 하는 일, 권한, 기록 검토에 책임이 있습니다. Wikipedia가 책임성을 설명합니다. 주제 2.8 — 제품과 서비스 오너십을 참조하세요.
다중 에이전트 시스템. 여러 에이전트가 함께 일하면 복잡성, 연쇄되는 오류, 불분명한 책임이 더해질 수 있습니다. Wikipedia가 다중 에이전트 시스템을 설명합니다. 각 에이전트의 범위와 권한을 따로 다루고, 에이전트가 에이전트에게 지시하는 것을 조심하세요.
직무 분리. 어느 한 당사자도 위험한 행동을 혼자 완료할 수 없어야 한다는 생각은 에이전트에게도 적용됩니다. 변경을 제안하는 에이전트가 그것을 승인하는 쪽이어서는 안 됩니다. Wikipedia가 직무 분리를 설명합니다.
렌즈는 어떻게 맞물리는가. 에이전트는 AI가 자동화와 만나는 지점에 있습니다. 애자일 프랙티스는 작게 시작해 증거와 함께 단계적으로 자율성을 넓히기를 제안합니다. 분석은 에이전트가 하는 일과 틀리는 것을 측정합니다. 거버넌스(주제 5.6 — AI 거버넌스, 위험, 규정 준수 참조)가 규칙을 정합니다.
모범 사례
- 범위를 문서로 정의합니다. 에이전트가 무엇을 위한 것인지, 무엇을 해도 되는지, 절대 해서는 안 되는 것이 무엇인지, 어떤 데이터를 만져도 되는지 적으세요. 처음에는 좁게 유지하세요.
- 각 에이전트에 자신의 신원을 줍니다. 작업 범위에 맞춘 최소 권한의 별도 계정을 쓰고, 자격 증명을 교체하거나 만료시키세요. 사람 관리자 계정을 재사용하지 마세요.
- 위험에 따라 자율성 수준을 고릅니다. 에이전트가 먼저 제안하게 하고, 그다음 위험이 낮고 되돌릴 수 있는 작업에 행동하게 하고, 중대하거나 되돌릴 수 없는 모든 일에는 승인을 요구하세요. 작업마다 수준을 적으세요.
- 사람들이 읽는 승인을 설계합니다. 제안된 행동, 이유, 증거, 영향을 보여 주세요. 읽힐 만큼 승인을 드물게 유지하고, 승인된 항목의 품질을 표본 추출하세요.
- 먼저 샌드박스에서 시험합니다. 에이전트가 운영 환경을 만지기 전에, 적대적인 것을 포함한 현실적인 사례로 안전한 복제본에 대해 돌려 보세요.
- 입력을 신뢰할 수 없는 것으로 다룹니다. 티켓, 이메일, 웹의 콘텐츠가 권한을 부여하게 하지 마세요. 에이전트가 신뢰할 수 없는 콘텐츠를 처리할 때는 쓸 수 있는 도구를 제한하세요.
- 피해 반경을 제한합니다. 행동의 수, 변경의 양, 비용, 시간에 한도를 정하세요. 일괄 행동은 별도의 승인된 단계로 만드세요.
- 모든 것을 기록하고 검토합니다. 전체 추적을 유지하고, 에이전트가 바꿀 수 없는 곳에 저장하고, 표본을 정기적으로 검토하세요. 비정상 패턴에 알림을 거세요.
- 킬 스위치를 만들고 시험합니다. 빠르고, 에이전트와 독립적이며, 당직자가 알도록 하세요. 연습하세요.
- 자율성을 천천히 넓힙니다. 좋은 결과가 한동안 이어지고, 이름이 있는 오너가 승인하고, 측정된 오류율이 있을 때에만 더 부여하세요. 문제가 생기면 줄이세요.
팀과 논의할 질문
이 에이전트가 우리가 주려는 권한으로 할 수 있는 최악의 일은 무엇입니까? 도구별로 권한을 따라가 보세요. 불편함이 예상됩니다. 더 깊이 들어가려면, 최악의 경우를 우리가 받아들이지 못할 모든 권한을 제거하거나 제한하세요.
그 행동 중 되돌릴 수 있는 것은 무엇이고 없는 것은 무엇입니까? 나열하세요. 안전하다고 가정했던 되돌릴 수 없는 것들이 예상됩니다. 더 깊이 들어가려면, 되돌릴 수 없는 각 행동에 승인을 요구하세요.
승인자는 무엇을 승인하는지 어떻게 알며, 요청을 얼마나 자주 보게 됩니까? 바쁜 날의 승인자를 상상해 보세요. 길고 비슷해 보이는 요청이 예상됩니다. 더 깊이 들어가려면, 요약과 승인량의 한도를 설계하세요.
누군가 티켓이나 이메일에 무엇을 넣으면 에이전트가 우리가 원하지 않는 일을 하게 만들 수 있습니까? 공격자가 되어 시도해 보세요. 놀라움이 예상됩니다. 더 깊이 들어가려면, 신뢰할 수 없는 콘텐츠를 읽을 때 도구를 제한하는 것 같은 완화책을 고르세요.
지금 당장 멈춰야 한다면 누가, 어떻게 하며, 얼마나 걸립니까? 단계를 요청하고 연습하세요. 불확실함이 예상됩니다. 더 깊이 들어가려면, 한 쪽짜리 중지 절차를 작성하고 시험하세요.
누가 이 에이전트를 소유하며, 매주 무엇을 검토합니까? 사람과 검토의 이름을 대세요. 공백이 예상됩니다. 더 깊이 들어가려면, 오너십과 정해진 질문이 있는 주간 표본 검토를 배정하세요.
실제 적용: 서비스 관리 사례
한 국세청의 인프라 팀은 에이전트가 밤새 운영 알림을 조사하기를 원합니다. 지금은 당직 엔지니어가 대부분의 알림에 깨어나 맥락을 모으는 데 15분에서 30분을 쓰고, 원인이 문서화된 해결책이 있는 알려진 문제임을 발견하는 경우가 많습니다.
팀은 에이전트를 세 단계로 설계합니다. 1단계에서 에이전트는 읽기 전용 접근을 갖습니다. 지표, 로그, 최근 변경 기록, 지식 기반을 질의하고, 사용한 증거와 함께 요약을 인시던트 채널에 게시할 수 있습니다. 2단계에서는 알림이 문서화된 런북과 일치할 때만, 시간당 세 번의 행동 한도와 각 행동 뒤 채널 게시와 함께, 상태 없는 서비스 재시작이나 워커 풀을 두 인스턴스 늘리는 것처럼 되돌릴 수 있는 소수의 행동 목록도 수행할 수 있습니다. 아직 승인되지 않은 3단계에서는 사람의 승인을 위해 구성 변경을 제안하는 것이 허용될 것입니다.
에이전트에게는 운영 환경에 대한 읽기 전용 접근에 두 개의 이름 붙은 행동을 더한 자신의 서비스 계정이 있습니다. 에이전트는 적대적인 콘텐츠를 담을 수 있는 티켓 텍스트와 로그를 읽으므로, 자유 형식 텍스트를 읽을 때는 같은 단계에서 어떤 행동 도구도 호출할 수 없습니다. 에이전트의 요청, 도구 호출, 결과에 대한 전체 기록은 별도의 로그 저장소로 갑니다. 선임 엔지니어가 에이전트를 소유하고, 매주 세션 열 건을 검토하며, 명령 하나로 자격 증명을 비활성화할 수 있고, 팀은 이를 매달 연습합니다.
1단계에서 두 달이 지난 뒤, 당직 엔지니어들은 요약이 85퍼센트의 사례에서 맞다고 평가합니다. 10퍼센트에서는 변경 기록이 불완전해서 관련 변경을 놓치고, 5퍼센트에서는 엉뚱한 구성 요소를 가리킵니다. 2단계는 런북 하나로 시작합니다. 첫 달에 에이전트는 서비스를 세 번 올바르게 재시작합니다. 풀을 매우 큰 수로 늘리라는 숨겨진 지시가 담긴 조작된 티켓으로 한 시험에서는 속도 제한과 행동 규칙이 이를 막습니다.
달라진 점은 엔지니어가 덜 자주 깨고 요약과 증거를 갖고 도착한다는 것입니다. 여전히 어려운 점은 에이전트가 정확한 변경 기록에 의존하는 탓에 데이터 품질의 공백이 드러난다는 것, 엔지니어가 가끔 자신의 확인보다 요약을 신뢰한다는 것, 보안 팀이 감사 로그 보존을 연장하고 검토해 달라고 요청했다는 것입니다. 오너는 이를 기록하고, 2단계의 오류율이 한 분기에 걸쳐 측정될 때까지 3단계를 보류합니다.
네 가지 관점
제품 및 전달 팀
명확한 권한, 속도 제한, 로그를 갖춘 안전하고 좁은 도구를 노출하세요. 에이전트에게 파이프라인이나 데이터에 대한 포괄적 접근을 주지 마세요. 위협 모델에 에이전트를 포함하세요.
서비스 및 운영 팀
에이전트의 범위를 소유하고, 기록을 검토하고, 중지를 연습하세요. 에이전트가 의존하므로 런북을 정확하게 유지하세요. 오류와 아차 사고를 보고하세요.
리더십과 거버넌스
작업마다 어떤 자율성이 받아들여질 수 있는지 정하고, 이름이 있는 오너와 감사 추적을 요구하세요. 단계별 시험의 증거를 요청하고, 자율성을 줄일 의향을 지니세요. 벤더의 보증에만 의존하지 마세요.
고객과 사용자
자동화된 에이전트가 여러분의 요청에 따라 행동할 때를 알아야 하며, 실수를 바로잡을 수 있는 사람에게 가는 경로가 있어야 합니다. 자동화된 행동이 틀렸다면 제공자에게 알리세요.
애자일, AI, 자동화, 분석
애자일
증거와 함께 작은 단계로 자율성을 넓히고, 모든 단계를 이해관계자와 검토하고, 각 릴리스를 작게 유지하세요. 주의: 빠른 반복은 안전 검토를 앞지를 수 있으므로, 자율성을 높일 때마다 관문을 유지하세요.
AI
에이전트는 오너, 시험 사례, 모니터링이 있는 AI 시스템이며, 행동하기 때문에 특별한 주의가 필요합니다. 프롬프트 인젝션과 과신을 경계하세요. 주의: 모델에게 조심하라고 이르는 지시를 주된 통제로 삼지 말고, 권한, 한도, 승인에 의존하세요. 주제 5.6 — AI 거버넌스, 위험, 규정 준수를 참조하세요.
자동화
에이전트는 자동화에 연결됩니다. 행동을 선택하고 촉발합니다. 행동 자체는 결정적이고 시험된 상태로 고유한 검증과 함께 유지해, 에이전트의 선택이 승인된 옵션으로 제한되게 하세요. 주의: 에이전트의 자유 형식 명령을 받아들이는 자동화는 에이전트만큼 위험하므로, 좁고 이름 붙은 행동을 노출하세요. 주제 6.6 — 런북 자동화와 자동 복구를 참조하세요.
분석
취한 행동, 승인율, 재정의, 검토에서 발견된 오류, 절약한 시간, 아차 사고를 측정하세요. 주의: 높은 승인율은 좋은 제안을 뜻할 수도 도장 찍기를 뜻할 수도 있으므로, 승인된 항목을 표본 추출하세요. 서비스 관리 지표(Service Management Metrics) 책과 주제 7.3 — 측정과 보고를 참조하세요.
흔한 실패 유형
- 넓은 권한. 공유 관리자 계정이 에이전트에게 주어집니다. 별도의 최소 권한 신원을 쓰세요.
- 아무도 읽지 않는 승인. 잦고 모호한 요청이 도장 찍기로 처리됩니다. 드물고, 분명하고, 표본 추출되게 하세요.
- 적대적 텍스트가 에이전트를 조종함. 티켓이나 웹 페이지의 콘텐츠가 명령을 내립니다. 신뢰할 수 없는 입력 주변에서는 도구를 제한하세요.
- 한도 없음. 루프나 실수가 기계의 속도로 돌아갑니다. 행동, 비용, 범위에 상한을 두세요.
- 정지 버튼 없음. 아무도 멈출 수 없습니다. 킬 스위치를 만들고 연습하세요.
- 기록 없음. 인시던트를 조사할 수 없습니다. 보호된 완전한 감사 추적을 유지하세요.
- 열의로 높인 자율성. 증거 없이 에이전트에게 더 많은 힘이 주어집니다. 척도와 함께 단계적으로 넓히세요.
성숙도 모델
| 영역 | 시작 | 발전 | 표준화 | 관리 | 오케스트레이션 |
|---|---|---|---|---|---|
| 범위와 권한 | 넓거나 불분명하다 | 좁은 시험 | 문서화된 범위, 자체 신원, 최소 권한 | 범위와 권한을 정기적으로 검토한다 | 승인과 함께 위험에 따라 권한이 조정된다 |
| 감독 | 없음 | 비공식적 검토 | 정의된 자율성 수준과 승인 관문 | 승인의 품질을 표본 추출하고 측정한다 | 에이전트 전반에서 증거로 감독을 조정한다 |
| 안전 통제 | 없음 | 기본 로깅 | 샌드박스, 한도, 시험된 킬 스위치 | 통제를 감사하고 실행해 본다 | 모든 에이전트를 위해 통제가 플랫폼에 내장된다 |
| 책임 | 불분명하다 | 만든 사람이 소유한다 | 주간 검토를 하는 이름 있는 오너 | 오너가 척도와 인시던트를 검토한다 | 에이전트와 팀 전반에서 오너십을 조율한다 |
체크리스트
- 에이전트에 문서화된 범위와 이름이 있는 오너가 있다.
- 최소 권한 권한을 가진 자신의 신원을 쓴다.
- 자율성 수준이 작업마다 정의되어 있고, 중대하거나 되돌릴 수 없는 행동에는 승인이 있다.
- 승인은 무슨 일이 일어날지 보여 주며 품질을 표본 추출한다.
- 적대적 입력을 포함해 샌드박스에서 시험했다.
- 한도가 행동, 비용, 범위에 상한을 둔다.
- 전체 기록을 에이전트가 바꿀 수 없는 곳에 로깅하고 검토한다.
- 킬 스위치가 있고 사용을 연습했다.
AI 프롬프트
에이전트의 범위를 시험합니다.
Our agent's written scope is: [paste]. Its tools and permissions: [list].
List twenty scenarios, some inside the scope, some at the edge, and some that try to get the agent to act outside it or to use a tool in a harmful way, and for each state what the correct behavior is. Do not include real systems or data.
List what you are unsure of.
행동 로그를 검토합니다.
Here is a sample of an agent's action log, with identifiers removed: [paste].
List actions that look unusual in size, timing, or target, actions that did not match a documented runbook, and anything that looks like the agent following instructions from untrusted text. Quote each. Do not say whether the agent was right.
List what you are unsure of.
승인 메시지의 초안을 작성합니다.
The agent proposes this action: [describe]. The evidence it used: [list]. What would change if it were done: [describe]. How to undo it: [describe or write "not known"].
Write a clear approval request of under 100 words for a busy approver, stating what will happen, why, the risk, and how to undo it. Do not recommend approval.
List what you are unsure of.
AI 스킬
- risk-register: 에이전트의 위험, 오너, 결정을 기록할 때 사용합니다.
- runbook: 에이전트가 취해도 되는 행동과 시점을 정의할 때 사용합니다.
- security-testing: 에이전트를 적대적 입력에 대해 시험할 때 사용합니다.
- incident-response-plan: 에이전트가 잘못 행동할 때의 대응을 계획할 때 사용합니다.
- mlops: 에이전트 뒤의 모델을 모니터링하고 버전 관리할 때 사용합니다.
주요 출처
- NIST, AI Risk Management Framework: 자율 시스템의 위험을 포함한 AI 위험을 거버넌스하기 위한 구조.
- OWASP, guidance on risks for applications built on large language models (owasp.org): 프롬프트 인젝션과 과도한 권한 위임(excessive agency)을 포함합니다.
- Wikipedia, "AI agent" and "Prompt injection": 개념과 주된 보안 위험의 개관.
- Wikipedia, "Principle of least privilege": 피해를 제한하기 위한 기본 통제.
참고 문헌
- Intelligent agent — Wikipedia — https://en.wikipedia.org/wiki/Intelligent_agent
- AI agent — Wikipedia — https://en.wikipedia.org/wiki/AI_agent
- Human-in-the-loop — Wikipedia — https://en.wikipedia.org/wiki/Human-in-the-loop
- Principle of least privilege — Wikipedia — https://en.wikipedia.org/wiki/Principle_of_least_privilege
- Confused deputy problem — Wikipedia — https://en.wikipedia.org/wiki/Confused_deputy_problem
- Prompt injection — Wikipedia — https://en.wikipedia.org/wiki/Prompt_injection
- Sandbox (computer security) — Wikipedia — https://en.wikipedia.org/wiki/Sandbox_(computer_security)
- Kill switch — Wikipedia — https://en.wikipedia.org/wiki/Kill_switch
- Audit trail — Wikipedia — https://en.wikipedia.org/wiki/Audit_trail
- Automation bias — Wikipedia — https://en.wikipedia.org/wiki/Automation_bias
- Rate limiting — Wikipedia — https://en.wikipedia.org/wiki/Rate_limiting
- OWASP — OWASP Foundation — https://owasp.org