백서: AI 안전성과 보안
English version: Advancing AI Safety and Security
AI 안전성과 보안은 이 블로그에서 여러 차례 다른 각도에서 다뤄 온 주제입니다. 모델이 자기 답변을 통해 정보를 흘리는 문제도 그랬고, 신뢰 실행 환경 안에서 AI를 돌리는 이야기도 그랬구요. 사실 그 글들은 오랫동안 정리해 온 더 큰 조사의 일부였는데요, 이제 그 조사를 마무리해 기술 백서로 공개합니다.
Advancing AI Safety and Security: Safeguards, Evaluation, and Agentic Threat Mitigation for General-Purpose and Industrial AI (버전 3.4, 2026년 7월, 45쪽). 본문은 영문이며 CC BY-NC 4.0 라이선스로 공개합니다.
지금 주목하는 이유
AI는 이제 중요한 문턱을 하나 넘은 것 같아요. 몇 년 전만 해도 텍스트만 생성하던 시스템이 이제는 계획을 세우고, 도구를 호출하고, 코드를 짜서 실행하고, 웹을 탐색하고, 사용자를 대신해 몇 시간짜리 일을 처리합니다. 그만큼 안전성 실패와 보안 공격이 파고들 틈도 넓어졌구요. 그리고 기존 방어책 대부분이 전제로 삼아 온 ‘시스템이 내놓는 말을 보면 판단할 수 있다’는 가정도 여기서 무너진다고 생각합니다.
RLHF를 아무리 잘 적용해도, 행동을 관찰하는 것만으로는 잠재된 오정렬이나 숨은 트리거로 작동하는 기만적 행동을 잡아내기 어렵습니다. 최근 실제 운영 시스템에서 데이터 유출 사고를 일으키고 있는 간접 프롬프트 인젝션도 마찬가지예요.
2026년 중반까지 18개월 동안 그 증거는 충분히 쌓였습니다. 엔지니어링 회사 Arup의 재무 담당 직원이 화상회의에서 약 250억 원을 송금했는데, 그 자리의 ‘CFO’와 동료들이 모두 실시간 딥페이크였습니다. EchoLeak(CVE-2025-32711)은 Microsoft 365 Copilot에서 데이터를 몰래 빼내는 최초의 제로클릭 프롬프트 인젝션 사례로 기록됐구요. 피해자는 메일 한 통을 받기만 하면 되고, 이후 Copilot에 전혀 상관없는 질문을 하는 순간 공격이 실행됩니다. Amazon Q Developer 확장의 공개 릴리스에는 GitHub 풀 리퀘스트를 통해 데이터 삭제 명령이 섞여 들어갔습니다. 또 Anthropic이 공개한 GTG-1002 사례에서는, 국가가 배후에 있는 첩보 작전에서 AI 에이전트가 서른 곳 남짓한 표적을 대상으로 작전의 80~90%를 스스로 수행했습니다.
흐름은 비교적 분명해 보이는데요, 시스템이 검색, 도구, 자율성을 하나씩 얻을 때마다 공격자도 그 사다리를 한 칸씩 따라 올라온 셈입니다.
백서의 핵심 주장
그럼 방어의 초점은 어디로 옮겨 가야 할까요? 백서 전체를 관통하는 주장을 한 줄로 요약하면 이렇습니다. 자율성과 권한이 커질수록 방어의 초점은 모델의 출력에서 모델 내부, 권한, 데이터 흐름으로 옮겨 갈 필요가 있다는 것입니다. 즉 안쪽으로, 아래쪽으로, 바깥쪽으로.
기술적인 내용은 크게 세 가지로 묶어 보았습니다. 연구 최전선에서 실제로 쓸 만한 방어 수단이 나오고 있는 영역들이에요.
| 들여다보기 | 모델 이해 | 기계적 해석가능성, 희소 오토인코더, 백도어 탐지 (§3) |
| 스트레스 테스트 | 공격자보다 먼저 약점 발견 | 자동화된 레드티밍, 동적 역량 평가 (§4, §5) |
| 가두기 | 할 수 있는 일 제한 | 에이전트 행위 제한, 기업 need-to-know (§6, §7) |
이 세 가지를 감싸는 것이 이를 강제하는 거버넌스 체계(§8), 그리고 근거를 다른 곳에서도 활용하고 감사할 수 있게 해 주는 문서화 관행(§9)입니다. AI-BOM, 모델 카드와 시스템 카드, 벤치마크 표준 등이 여기에 해당합니다.
기존 보안만으로 부족한 이유도 짚어 보았습니다. 매번 나오는 질문이거든요. 방화벽, 패치, IAM, 암호화로 이뤄진 기존 보안 체계는 여전히 필수지만, 이 체계가 전제로 하는 네 가지 가정을 거대 모델은 모두 깨뜨릴 수 있습니다. 첫째, 시스템 동작은 감사 가능한 코드로 정의된다는 가정입니다(모델의 논리는 수십억 개의 불투명한 파라미터에 담겨 있어, 탈옥된 행동에 적용할 패치가 없습니다). 둘째, 악성 입력은 형식이 어긋나 있어 걸러낼 수 있다는 가정입니다(프롬프트 인젝션 페이로드는 완벽하게 정상적인 입력이고, 익스플로잇이 바이트가 아니라 의미에 담겨 있습니다). 셋째, 실패는 결정적이라는 가정입니다(같은 프롬프트를 한 번은 따르고 다음에는 거부합니다). 넷째, 위협은 바깥에서 뚫고 들어온다는 가정입니다(에이전틱 AI에서는 사용자와 공격자가 똑같이 ‘믿을 수 없는 텍스트’일 수 있습니다). 기존 통제는 그릇은 지켜 주지만 그 안의 내용물까지 지켜 주지는 못한다고 봅니다.
두 독자층을 함께 다룬 이유
위험 양상이 꽤 다른 두 집단을 같은 비중으로 다뤘습니다. 이 분야 문헌에서 산업 쪽이 늘 상대적으로 소홀히 다뤄진다고 생각하기 때문입니다.
범용 AI에서 주요 우려는 오남용 가능성(사이버, CBRN, 여론 조작), 통제 상실, 탈옥 견고성입니다.
산업 및 기업 AI에서 주요 우려는 윤리 문제라기보다 지식재산과 영업비밀을 지키고 need-to-know 원칙을 강제하는 일에 가깝다고 봅니다. 도입한 어시스턴트가 기밀 계약, 발표 전 인수 건, 접근이 제한된 소스 코드를 볼 권한이 없는 직원에게 흘리지 않도록 하는 것이죠. 7장에서 이 부분을 자세히 다뤘습니다. 사용자 신원을 고려한 검색, RBAC/ABAC와 보안 등급 분류, 소비자용 AI 서비스에 기밀을 입력하는 순간 영업비밀 지위 자체를 잃을 수 있다는 법적 위험, 유출 경로가 되는 모델 암기, 그리고 모델 추출과 가중치 탈취에 노출된 IP로서의 모델까지 포함합니다.
이 기업 관점은 한 장에 따로 몰아넣지 않고 모든 기술 절에 함께 녹여 놓았습니다. 모델을 안전하게 만드는 장치가 곧 모델의 기밀성을 지키는 장치이기도 하거든요.
조사하며 흥미로웠던 점
적대적 학습이 백도어를 오히려 강화할 가능성: Anthropic의 Sleeper Agents 연구는 숨은 트리거를 일부러 심은 모델에 안전 학습을 모두 적용해 봤습니다. 그 행동은 살아남았고, 큰 모델일수록 더 끈질겼습니다. 게다가 적대적 학습은 백도어를 없애기는커녕, 모델이 자기 트리거를 더 정확히 알아보고 불안전한 행동을 더 잘 숨기도록 가르쳤구요. 산업 현장에 바로 와닿는 이야기라고 생각합니다. 파운데이션 모델을 파인튜닝하거나 외부 모델을 가져다 쓰면 그 모델에 이미 들어 있는 조건부 행동까지 그대로 물려받는데, 이런 행동은 일반적인 인수 테스트를 그대로 통과할 수 있거든요.
인젝션 성공을 전제로 한 에이전트 방어: 현재 가장 강력한 축에 드는 에이전트 방어는 인젝션이 성공한다고 가정하고 출발합니다. 적대적 입력을 모두 분류해 내려고 애쓰는 대신, CaMeL은 시스템을 둘로 나눕니다. 신뢰된 지시만 보는 특권 플래너, 그리고 믿을 수 없는 내용을 읽지만 행동은 절대 선택할 수 없는 격리 모델이에요. 여기에 결정론적 인터프리터가 어떤 데이터가 어떤 도구까지 전달될 수 있는지를 강제합니다. 격리 모델이 완전히 탈취되더라도 인가되지 않은 행동은 일으킬 수 없는 구조입니다.
규모가 크면 거의 공짜, 대화형이면 비싼 기밀 AI: H100 벤치마크에서 기밀 추론의 처리량 손실은 80억 파라미터 모델에서 약 6.9%, 700억 파라미터 모델에서는 사실상 0이었습니다. 모델이 클수록 전체 시간에서 전속력 GPU 연산이 차지하는 비중이 커지고 암호화 전송의 비중은 작아지기 때문입니다. 그런데 첫 토큰까지 걸리는 시간의 오버헤드는 18~19%까지 올라갑니다. 즉 비용 부담은 주로 작은 배치의 대화형 서빙에 몰린다고 볼 수 있겠죠. 그리고 GPU TEE가 아예 없는 엣지 환경은 여전히 해결되지 않은 문제로 남아 있습니다. (§7.5는 TEE 글을 기업 관점으로 확장한 부분입니다.)
보증 문서가 놓치고 있는 절반: 모델 카드, 시스템 카드, AI-BOM은 현재 안전성과 품질은 꽤 잘 기록하지만 보안과 에이전트 권한은 거의 기록하지 않습니다. 이 간극을 메우는 일, 즉 표준화된 보안 점수와 AI-BOM에 들어갈 에이전트 권한 명세를 향후 과제로 짚어 두었습니다. 이 커뮤니티가 가까운 시일 안에 실제로 내놓을 수 있는 것 가운데 가장 쓸모 있는 축에 들지 않을까 싶어요.
범위와 한계
백서는 여섯 개 영역을 다루며 2026년 중반까지의 연구를 인용했습니다. 인용한 연구와 표준은 참고문헌 목록에 맡기지 않고 모두 본문 안에서 설명했는데요, 브라우저 창을 하나 더 열지 않아도 읽을 수 있게 하고 싶었습니다.
이 백서는 독창적인 연구가 아니라 서베이 성격의 문헌입니다. 기여가 있다면 새로운 결과보다는 기존 연구의 종합과 산업적 관점에서의 재구성에 있다고 생각합니다. 또한 특정한 위치에서 바라본 시각이 반영돼 있고, 빠르게 변하는 부분들(프런티어 안전 임계값, 한국 AI 기본법의 하위 규정, MCP 보안 지침)은 금세 낡을 가능성이 크구요. 틀린 부분이나 다른 의견은 언제든 환영합니다. 아래 댓글도 좋고 메일도 좋아요.
백서에 담긴 견해는 연구자 개인의 것이며, 한국전자기술연구원(KETI)이나 소속 기관의 공식 입장이 아니다.
인용. Kum, S. (2026). Advancing AI Safety and Security: Safeguards, Evaluation, and Agentic Threat Mitigation for General-Purpose and Industrial AI (Technical White Paper, Version 3.4). Korea Electronics Technology Institute (KETI).