챗봇이 틀리면 답변 하나가 틀립니다. 에이전트가 틀리면 행동이 실행됩니다
AI가 문장을 만드는 단계와 이메일을 보내고 파일을 옮기고 CRM을 수정하는 단계는 위험 구조가 다릅니다. 에이전트의 편리함은 '행동할 수 있다'는 데서 나오고 위험도 같은 곳에서 생깁니다.
NIST AI Risk Management Framework는 AI 위험관리를 Govern, Map, Measure, Manage 네 기능으로 구조화하고 사람의 역할과 감독 책임을 명확히 할 것을 권고합니다.
연결 전에 답해야 할 8가지
- 어떤 계정과 데이터까지 읽을 수 있는가
- 읽기와 쓰기 권한을 분리할 수 있는가
- 삭제·송금·외부발송은 사람이 승인하는가
- 에이전트가 한 행동을 나중에 추적할 수 있는가
- 잘못된 반복 실행을 즉시 멈출 장치가 있는가
- API key와 OAuth token은 어디에 저장되는가
- 퇴사·역할 변경 시 권한을 어떻게 회수하는가
- 모델·프롬프트·업무 규칙 변경 후 누가 재검증하는가
가장 흔한 실수: 개인 계정 하나에 모든 권한 주기
테스트가 빨라 보여 개인 Gmail이나 관리자 계정의 광범위한 권한을 연결하면 자동화 범위보다 접근 범위가 훨씬 커집니다. 가능하면 전용 계정, 최소권한 scope, 읽기 전용 권한부터 시작합니다.
승인 단계는 영향과 복구 가능성으로 정하세요
- 되돌리기 쉽고 영향이 작다 → 자동 실행 후보
- 외부 고객에게 노출된다 → 조건부 승인
- 돈·계약·삭제·권한 변경이 포함된다 → 명시적 사람 승인
작은 범위에서 실패를 먼저 만들어보세요
빈 첨부파일, 중복 요청, 권한 만료, API timeout, 잘못된 형식, 예상보다 큰 금액을 일부러 넣습니다. 에이전트가 '모르겠다'고 멈출 수 있는지가 중요한 품질 기준입니다.
로그에는 언제, 어떤 입력을 받아, 어떤 외부 시스템에서 무엇을 변경했는지와 실패·재시도까지 남아야 합니다.
자율성은 권한을 많이 주는 것이 아니라, 안전하게 행동할 수 있는 경계를 명확하게 만드는 것입니다.
근거: NIST AI Risk Management Framework 1.0 및 AI RMF Playbook. NIST 프레임워크는 자발적 위험관리 체계이며 개별 기업의 법률·보안 의무를 대체하지 않습니다.
SOURCE원문 / 참고자료 ↗