왜 지금, ‘로그인’이 아니라 ‘행동’을 봐야 하는가

최근 몇 년 사이 AI는 질문에 답하는 도구에서 API를 호출하고 실제로 자금을 이동시키는 자율 에이전트로 진화했다. Gartner는 2026년까지 전체 엔터프라이즈 애플리케이션의 40%가 특정 업무를 수행하는 AI 에이전트를 탑재할 것으로 전망했는데, 이는 2025년 5% 미만에서 급격히 늘어난 수치다(Gartner Newsroom). 문제는 속도다. AI가 가세한 비즈니스 이메일 사기(BEC)는 자금 이동을 수 초 만에 승인해버리는 구조적 취약점을 파고들며 확산하고 있고, 공격자가 노리는 질문도 더 이상 ‘이 로그인이 정당한가’가 아니라 ‘이 행동이 허용되어야 하는가’로 바뀌었다(CIO). 전통 보안 도구 대부분은 여전히 전자만 검사하도록 설계돼 있다.

Non-Human Identity: 조용히 불어나는 신원

에이전트가 늘어날수록 API 키, 서비스 프린시펄, 하위 에이전트가 함께 증식한다. KPMG의 2026년 보고서는 클라우드 환경에서 비인간 신원(Non-Human Identity, NHI)이 사람 신원을 80대 1 비율로 압도한다고 밝혔고, 다른 조사에서는 이 비율이 144대 1까지 치솟았다는 결과도 나왔다(nhimg.org). 이 신원들은 사람 계정처럼 소유자·만료일·검토 주기를 갖지 못한 채 ‘한 번 발급하고 잊어버리는’ 방식으로 관리되는 경우가 많다. 업계는 상시 권한(standing access) 대신 작업 시점에만 짧게 발급되고 곧바로 소멸하는 just-in-time 자격 증명으로 방향을 틀고 있으며, AWS Bedrock AgentCore Identity는 OAuth 2.0 On-Behalf-Of 토큰 교환을 통해 에이전트가 사용자를 대신할 때마다 범위가 축소된 다운스트림 토큰만 발급하는 방식을 제시한다(AWS Security Blog).

Runtime 공격 표면: Prompt Injection과 오염된 메모리

OWASP는 2025년 개정판 LLM Top 10에서도 프롬프트 인젝션을 여전히 1위 위험으로 꼽는다(Oligo Security). 특히 위험한 유형은 공격자가 모델과 직접 대화하지 않는 간접(indirect) 인젝션으로, 이메일 첨부파일이나 웹페이지, 도구 응답에 숨겨진 지시가 에이전트에 의해 ‘읽히는 즉시 실행’되는 구조다. 이 오염이 RAG나 메모리에 기록되면 세션이 끝나도 사라지지 않고 이후 실행에서 반복 재현될 수 있다는 점도 골칫거리다. 다만 방어자에게 희망적인 사실은, 공격이 성공하려면 추론 조작·도구 호출·권한 초과라는 세 관문을 모두 통과해야 한다는 것이다. 방어자는 이 중 하나만 끊으면 된다.

모델은 제안하고, 정책은 결정한다

‘confused deputy(혼동된 대리인)’ 문제는 1988년부터 알려진 고전적 개념이지만, 자연어 지시를 받아 높은 권한으로 실행하는 에이전트만큼 이 문제에 취약한 구조도 드물다. 자연어 인터페이스는 신원을 내재하지 않으므로, 행동 허용 여부를 판단하는 로직은 LLM 바깥의 정책 계층에 있어야 한다는 것이 핵심 결론이다(BeyondTrust). AWS가 최근 발표한 AI Security Framework는 이를 ‘유스케이스·레이어·단계’라는 세 축으로 구조화해, 프로토타입부터 운영 단계까지 누적적으로 통제를 강화하라고 권고한다(AWS Security Blog). NIST AI RMF 역시 사람이 시스템의 한계를 이해하고 언제든 개입·중단할 수 있는 human-in-the-loop 구조를 핵심 통제로 제시하지만, 자율성 수준이 전혀 다른 시스템을 동일한 잣대로 다루는 구조적 한계도 함께 지적된다(Living Security).

실무 체크리스트

지금 조직에 에이전트가 있다면 다섯 가지 질문에 즉시 답할 수 있어야 한다. 이 에이전트를 누가 소유하는가, 어떤 신원으로 행동하는가, 무엇을 바꿀 수 있는가, 접근 권한은 얼마나 오래 유효한가, 그리고 모든 행동을 사후에 재구성할 수 있는가. 하나라도 ‘모른다’면 자금 이동·프로덕션 변경·데이터 삭제처럼 되돌릴 수 없는 권한을 그 에이전트에게 맡길 준비가 안 된 것이다. 결국 관건은 AI 모델의 지능이 아니라, 신원·도구·권한·감독이 처음부터 함께 설계되었는가에 있다.

🔗 참고 자료 (작성 중 열람한 자료)