백서: AI 안전성과 보안
English version: Advancing AI Safety and Security
이 블로그에서 같은 주제를 여러 번 다른 각도로 맴돌았다. 모델이 제 답변으로 정보를 흘리는 문제도 그랬고, 신뢰 실행 환경 안에서 AI를 돌리는 이야기도 그랬다. 사실 그 글들은 한참 정리하고 있던 더 큰 조사의 조각들이었다. 이제 그게 마무리돼서 기술 백서로 내놓는다.
Advancing AI Safety and Security: Safeguards, Evaluation, and Agentic Threat Mitigation for General-Purpose and Industrial AI — 버전 3.4, 2026년 7월, 45쪽. 본문은 영문이고, CC BY-NC 4.0으로 공개한다.
왜 지금인가
AI가 선을 하나 넘었다. 몇 년 전만 해도 텍스트만 뱉던 시스템이 이제 계획을 세우고, 도구를 부르고, 코드를 짜서 실행하고, 웹을 돌아다니고, 사용자를 대신해 몇 시간짜리 일을 처리한다. 그만큼 안전성 실패와 보안 공격이 파고들 면적이 넓어졌다. 그리고 우리 방어책 대부분이 깔고 있던 전제, ‘시스템이 뭐라고 말하는지를 보면 판단할 수 있다’는 전제가 여기서 깨진다.
행동을 관찰하는 것만으로는, RLHF를 아무리 잘 돌려도, 잠재된 오정렬이나 숨은 트리거에 걸린 기만적 행동을 잡아내기 어렵다. 요즘 실제 운영 시스템에서 데이터 유출 사고를 만들어 내고 있는 간접 프롬프트 인젝션도 마찬가지다.
2026년 중반까지의 18개월이 그 증거를 충분히 대 줬다. 엔지니어링 회사 Arup의 재무 담당 직원이 화상회의에서 약 250억 원을 송금했는데, 그 자리의 ‘CFO’와 동료들이 전부 실시간 딥페이크였다. EchoLeak(CVE-2025-32711)은 Microsoft 365 Copilot에서 데이터를 조용히 빼내는 최초의 제로클릭 프롬프트 인젝션이 됐다. 피해자는 메일 한 통을 받기만 하면 되고, 나중에 Copilot한테 전혀 상관없는 걸 물어보는 순간 터진다. Amazon Q Developer 확장의 공개 릴리스에는 GitHub 풀 리퀘스트를 타고 데이터 삭제 명령이 들어갔다. 그리고 Anthropic이 공개한 GTG-1002는 국가 배후 첩보 작전에서 AI 에이전트가 서른 곳 남짓한 표적을 상대로 작전의 80~90%를 스스로 수행했다고 기록했다.
패턴은 분명하다. 시스템이 검색과 도구와 자율성을 얻을 때마다, 공격자도 그 사다리를 한 칸씩 따라 올라왔다.
백서의 주장
전체를 관통하는 한 줄이 있다. 자율성과 권한이 올라갈수록 방어는 모델의 출력에서 내부로, 권한으로, 데이터 흐름으로 옮겨 가야 한다는 것. 안쪽으로, 아래쪽으로, 바깥쪽으로.
기술적인 내용은 세 갈래로 묶었다. 연구 최전선이 실제로 쓸 만한 방어 수단을 내놓고 있는 영역들이다.
| 들여다보기 | 모델을 이해한다 | 기계적 해석가능성, 희소 오토인코더, 백도어 탐지 (§3) |
| 스트레스 테스트 | 공격자보다 먼저 깨 본다 | 자동화된 레드티밍, 동적 역량 평가 (§4, §5) |
| 가두기 | 할 수 있는 일을 제한한다 | 에이전트 행위 제한, 기업 need-to-know (§6, §7) |
이 셋을 감싸는 게 그걸 강제하는 거버넌스 체계(§8)와, 근거를 옮길 수 있고 감사할 수 있게 만드는 문서화 관행(§9)이다. AI-BOM, 모델 카드와 시스템 카드, 벤치마크 표준 같은 것들.
기존 보안으로는 왜 부족한지도 짚었다. 매번 나오는 질문이라서다. 방화벽, 패치, IAM, 암호화로 이뤄진 기존 스택은 여전히 필수인데, 그게 깔고 있는 네 가지 전제를 거대 모델이 전부 깬다. 시스템 동작은 감사 가능한 코드로 정의된다(모델의 논리는 수십억 개의 불투명한 파라미터다. 탈옥된 행동에 붙일 패치가 없다). 악성 입력은 형식이 어긋나 있어 걸러낼 수 있다(프롬프트 인젝션 페이로드는 완벽히 정상적인 입력이다. 익스플로잇이 바이트가 아니라 의미에 있다). 실패는 결정적이다(같은 프롬프트가 한 번은 따르고 다음엔 거부한다). 위협은 밖에서 뚫고 들어온다(에이전틱 AI에서는 사용자와 공격자가 같은 ‘믿을 수 없는 텍스트’일 수 있다). 기존 통제는 그릇은 지켜 주지만 그 안의 내용물은 못 지킨다.
두 독자를 일부러 같이 놓았다
위험 양상이 꽤 다른 두 집단을 같은 비중으로 다뤘다. 산업 쪽이 이 분야 문헌에서 만성적으로 홀대받고 있다고 보기 때문이다.
범용 AI에서 주된 걱정은 오남용 가능성(사이버, CBRN, 여론 조작), 통제 상실, 탈옥 견고성이다.
산업·기업 AI에서 주된 걱정은 윤리 문제가 아니다. 지식재산과 영업비밀을 지키는 일이고, need-to-know를 강제하는 일이다. 도입한 어시스턴트가 기밀 계약이나 발표 전 인수 건, 접근 제한된 소스 코드를 원래 볼 일 없는 직원에게 흘리지 않게 만드는 것. 7장에서 이걸 자세히 다뤘다. 신원 인지 검색, RBAC/ABAC와 등급 분류, 소비자용 AI 서비스에 비밀을 넣는 순간 영업비밀 지위 자체를 잃을 수 있다는 법적 절벽, 유출 경로로서의 모델 암기, 그리고 추출과 가중치 탈취에 노출된 IP로서의 모델 자체까지.
이 기업 관점을 따로 한 장에 몰아넣지 않고 모든 기술 절에 섞어 놓았다. 모델을 안전하게 만드는 장치가 곧 모델을 기밀로 만드는 장치이기 때문이다.
조사하면서 재미있었던 것들
적대적 학습이 백도어를 오히려 키울 수 있다. Anthropic의 Sleeper Agents 연구는 숨은 트리거를 일부러 심은 모델에 안전 학습을 전부 돌려 봤다. 그 행동은 살아남았고, 큰 모델일수록 더 질겼다. 게다가 적대적 학습은 백도어를 없애는 대신 모델에게 자기 트리거를 더 정확히 알아보고 불안전한 행동을 더 잘 숨기는 법을 가르쳤다. 산업 쪽에 바로 꽂히는 이야기다. 파운데이션 모델을 파인튜닝하거나 남의 모델을 가져다 쓰면 그 모델이 이미 품고 있는 조건부 행동까지 그대로 물려받는데, 이건 평범한 인수 테스트를 그냥 통과한다.
제일 강한 에이전트 방어는 인젝션이 성공한다고 가정한다. 적대적 입력을 전부 분류해 내려고 애쓰는 대신, CaMeL은 시스템을 둘로 쪼갠다. 신뢰된 지시만 보는 특권 플래너와, 믿을 수 없는 내용을 읽지만 행동은 절대 고를 수 없는 격리 모델. 그리고 결정론적 인터프리터가 어떤 데이터가 어떤 도구까지 갈 수 있는지를 강제한다. 격리 모델이 통째로 탈취돼도 인가되지 않은 행동은 못 일으킨다.
기밀 AI는 규모가 크면 거의 공짜고 대화형이면 비싸다. H100 벤치마크에서 기밀 추론의 처리량 손해가 80억 파라미터 모델에서 약 6.9%, 700억 파라미터 모델에서는 사실상 0이었다. 모델이 클수록 전체 시간에서 전속력 GPU 연산이 차지하는 비중이 커지고 암호화 전송 비중은 작아지기 때문이다. 그런데 첫 토큰까지 걸리는 시간의 오버헤드는 18~19%까지 올라간다. 결국 비용이 작은 배치의 대화형 서빙에 집중된다는 뜻이다. 그리고 GPU TEE가 아예 없는 엣지에서는 여전히 열린 문제다. (§7.5가 TEE 글을 기업 관점으로 확장한 부분이다.)
보증 문서들이 엉뚱한 절반을 재고 있다. 모델 카드, 시스템 카드, AI-BOM은 지금 안전성과 품질은 꽤 잘 기록하는데 보안과 에이전트 권한은 거의 기록하지 않는다. 이 간극을 메우는 것 — 표준화된 보안 점수, 그리고 AI-BOM에 들어갈 에이전트 권한 명세 — 을 향후 과제로 짚어 뒀다. 이 커뮤니티가 가까운 시일에 실제로 내놓을 수 있는 것 중 제일 쓸모 있는 축에 들지 않을까 싶다.
범위와 한계
여섯 개 영역을 다뤘고 2026년 중반까지의 연구를 인용했다. 인용한 연구와 표준은 전부 본문 안에서 설명했다. 참고문헌 목록으로 떠넘기지 않고, 브라우저 창을 하나 더 열지 않아도 읽히게 하고 싶었다.
원저 연구가 아니라 조사 문헌이다. 기여가 있다면 새로운 결과가 아니라 종합과 산업적 관점의 배치에 있다. 그리고 특정한 자리에서 본 시야가 반영돼 있고, 빠르게 움직이는 부분들(프런티어 안전 임계값, 한국 AI 기본법의 하위 규정, MCP 보안 지침)은 금세 낡을 것이다. 틀린 부분이나 다른 의견은 언제든 환영한다. 아래 댓글도 좋고 메일도 좋다.
백서에 담긴 견해는 개인 연구자로서의 것이며, 한국전자기술연구원(KETI)이나 소속 기관의 공식 입장이 아니다.
인용. Kum, S. (2026). Advancing AI Safety and Security: Safeguards, Evaluation, and Agentic Threat Mitigation for General-Purpose and Industrial AI (Technical White Paper, Version 3.4). Korea Electronics Technology Institute (KETI).