허용된 통로로 접근하는 산업 정보 — 생성형·에이전틱 AI의 보안 문제

English version: Leaking Through an Authorized Door

산업 파운데이션 모델은 제조업을 비롯한 주요 분야에서 공정 관리를 혁신적으로 바꿔 놓을 수 있다. 설비의 상태를 읽고, 설정값을 제안하고, 이상을 미리 짚어 주는 일을 사람보다 빠르고 일관되게 해낼 잠재력이 있다. 산업 파운데이션 모델은 산업 데이터에 대한 이해와 함께, 다양한 사내 절차, 프로토콜, 사내 지식베이스 등에 접근할 수 있으며, ERP 등의 연계를 통하여 제조 산업 전반 (공정 뿐 아니라, 재고 관리, 유통망, 출고 처리, 가격 책정 등)에 대한 의사결정을 지원할 수 있다. 그런데 이 약속의 뒷면에는 지금까지와는 다른 종류의 문제가 따라붙는다. 이런 모델들 — 생성형 AI, 그리고 에이전틱 AI — 은 산업 정보의 보호에는 과연 어떤 영향을 미치게 될까?

허용된 절차로 들어오는 악의적 공격

보안을 이야기할 때 우리는 보통 접근의 차단을 떠올리게 된다. 다양한 사이트에서 접근되는 비정상적인 접근을 막기 위해 포트를 차단하고, 특정 IP 대역을 차단하고, 방화벽을 올리고, 암호화를 진행한다. 이런 방어는 여전히 필요하다. 하지만 에이전틱 AI의 문제는 결이 다르다. 이러한 생성형 AI 혹은 에이전틱 AI에서의 악의적인 공격은 이러한 비정상적인 루트가 아니라 허용된 접근 루트로 들어온다. 예를 들어 LLM query를 날릴 수 있는 허용된 포트로 들어온 공격자가 ‘사내 부품 재고를 알려 줘’, ‘레이저 절삭 공정을 위한 파라미터를 알려줘’ 라는 요청을 날린다면, 이 에이전틱 AI는 스스럼없이 사내 ERP 시스템에 접근하여 요청된 정보를 제공하게 될 것이다. 그러라고 만들어진 Agentic AI이니까. 만일 특정한 사내 기밀에 대하여 Agentic AI가 답변을 할 수 없도록 학습을 시켜 놓는다 해도, 교묘한 프롬프트 조작을 통해서 생성형 AI가 금지된 답변을 할 수 있게 하는 공격 사례는 어렵지 않게 찾을 수 있다.

정상적인 권한을 쥔 에이전트가 정당한 문으로 들어와 “이 공정의 설정을 어떻게 해야 할까?”라고 묻는다고 해 보자. 막을 명분이 없는 질문이다. 그런데 그 답을 만들어 내는 과정에서 공정과 관련된 정보들이 자연스럽게 흘러나올 수 있다. 침입이 아니라 대화로 새는 것이다. 경계는 멀쩡한데 정보는 빠져나간다.

특히 이런 에이전틱 AI가 산업 정보가 쌓여 있는 데이터베이스나 ERP에 연계되어 있다면 문제는 한층 까다로워진다. ERP 자체의 보안을 아무리 단단히 해 둬도, 데이터가 일단 생성형 AI의 추론에 들어갔다 나오면 그 답변 속에 녹아들어 유출될 수 있기 때문이다. 데이터가 저장된 금고는 잠겨 있지만, 그 금고를 읽고 말로 풀어 주는 통역사가 옆문으로 내용을 흘리는 셈이다. 접근 통제의 관점에서는 잡히지 않는 경로다.

생각해 볼 수 있는 공격

산업 AI의 관점에서 AI 운용의 위험성은 몇 가지로 정리될 수 있다. 우선 기본적으로는 ‘잘못된 선택’을 할 가능성이다. AI가 잘못된 의사결정을 내려서 부품의 발주를 과하거나 적게 내는 경우가 이런 문제에 포함될 수 있다. 조금만 방향을 달리해서 생각한다면, 이는 공격으로 활용될 수 있는 창구가 된다. AI는 일반적인 결과를 도출해 내고 있는데, 프롬프트를 통해서 AI가 잘못된 선택을 하도록 유도한다면? 이건 특정 공정에 대한 사보타지에 가까운 형태가 되겠지만, 어쨌거나 공정에는 큰 영향을 미칠 수 있는 부분이 될 거다. 공격의 예는 여러 곳에서 찾을 수 있다. 예를 들어 조작된 규정을 파일로 만들어서 AI에 제공해서 AI의 판단을 조작하는 방법도 가능하다.

공격의 방향을 사보타지에서 정보 유출로 살짝만 돌려 본다면, 앞서의 예처럼 다양한 프롬프트를 통해서 사내의 기밀을 유출해 나가는 방법이 있을 수 있다. 이건 사내 기밀의 유출도 가능하지만, 소위 증류 공격 기법을 사용해서 입-출력쌍 재구성을 통한 모델 탈취의 형태도 가능하다. 공정에 관련된 모든 정보가 열린 채널을 통해 유출될 수 있게 되는 거다.

정리하자면, 이 구조에서 떠올릴 수 있는 공격은 대략 세 갈래다. 앞의 둘은 AI를 오작동시키는 쪽이고, 마지막 하나는 AI에서 데이터를 빼내는 쪽이다.

공격	노리는 것	비슷한 결의 문제
프롬프트 인젝션	생성형 AI에 금지된 답변을 끌어내도록 유도	일반 AI의 윤리·탈옥(jailbreak) 문제와 유사
공정 사보타지	비정상적인 공정 작업을 수행하도록 요청	안전·제어의 무결성을 직접 겨냥
데이터셋 추출	질의/응답 쌍을 설계해 학습 데이터를 역으로 빼냄	모델에 녹아든 자산의 유출

첫 번째는 범용 AI에서 이미 만나보고 경험한 윤리의 문제와 닮아 있다. 일반 생성형 AI에서 “하면 안 되는 답”을 끌어내려는 프롬프트 인젝션과 같은 계열이고, 윤리 문제를 다루던 접근을 거의 그대로 가져올 수 있다. 두 번째는 산업 현장 특유의 위험이다. 답변을 흘리게 하는 데서 그치지 않고 공정을 잘못 움직이게 만드는, 사보타지에 가까운 공격이다. 세 번째는 가장 조용하다. 정상적인 질의응답을 반복하며 그 쌍을 모아, 모델 안에 스며든 데이터셋을 조금씩 복원해 내는 방식이다. 어느 하나도 “방화벽을 뚫는” 그림이 아니라는 점이 공통점이다.

다른 패러다임이 필요하다

그래서 이 문제들은 기존 보안 기술과는 다른 패러다임을 요구한다. 경계를 더 높이 쌓는 것만으로는 허용된 문으로 들어와 말로 새는 정보를 막을 수 없다. 사이버 시큐리티에 AI의 관점을 함께 들여와야 한다는 뜻이다. 최근의 연구들은 AI 관점에서 어떻게 유출을 파악하고 막을 것인가에 대한 토픽들을 다루기 시작하고 있다. 모델을 활용한 데이터 입-출력 쌍 확보 (증류 공격)을 차단하기 위한 비가역 학습기법, 내 생성형 AI의 결과물이 엉뚱한 데에 쓰였는지를 확인하는 워터마킹 기법, 그리고 각 단계별로 매 번 인증단계를 독립적으로 구분하여 소위 횡적 이동을 차단하는 Zero-trust 관련 기법 등을 포함하고 있다.

학습 단계의 워터마킹. 모델을 학습시킬 때 워터마크를 심어, 그 응답에 워터마크가 묻어 나오도록 구성한다. 이렇게 하면 어떤 모델에서 도출된 데이터가 다른 모델의 학습에 다시 쓰였는지를 사후에 검증할 수 있다. 유출 자체를 막는다기 보다, 유출된 자산의 흔적을 추적할 수 있게 만드는 장치다.

비가역 학습. 학습 과정에서 원 데이터의 정보를 의도적으로 억제해, 결과만 보고 입력을 거꾸로 유추하지 못하게 만든다. 모델이 답은 잘하되 그 답으로부터 원본을 복원하기는 어렵게 두는 것 — 위의 세 번째 공격(데이터셋 추출)을 정면으로 겨냥하는 방향이다.

지능과 제어의 분리, 그리고 Zero-Trust. 판단하는 지능과 실제로 설비를 움직이는 제어를 떼어 놓고, 그 사이에 Zero-Trust 아키텍처를 둔다. 모델이 틀린 판단을 내놓더라도 그 오류가 곧장 제어로 번지지 않도록 사전에 차단하는 구조다. 두 번째 공격(사보타지)에 대한 안전판에 해당한다.

기댈 만한 표준과 가이드라인

이 고민이 우리만의 것은 아니다. 규제기관과 표준화 기구들도 최근 같은 지점을 짚기 시작했다. 산업 AI의 정보 보호를 설계할 때 참고할 만한 기준들을 몇 갈래로 묶어 본다.

개인정보·데이터 보호. 개인정보보호위원회의 「생성형 인공지능(AI) 개발·활용을 위한 개인정보 처리 안내서」(2025.8)는 생성형 AI의 생애주기(목적 설정 → 전략 수립 → 학습·개발 → 적용·관리)별로 개인정보 이슈와 안전조치를 정리했는데, 특히 AI 에이전트·지식증류(distillation)·머신 언러닝 같은 최신 쟁점을 포함한다 — 이 글에서 말한 에이전트의 ERP 연계 유출, 증류 공격과 정확히 겹치는 지점이다. 같은 기관의 「AI 프라이버시 리스크 관리모델」(2024.12)은 한 걸음 더 들어가, 입·출력 필터링·차분 프라이버시·미세조정 같은 기술적 안전조치와 학습데이터 출처·이력 관리·AI 레드팀 같은 관리적 안전조치를 리스크 유형별로 짝지어 제시한다. 본문에서 다룬 워터마킹·비가역 학습·제로트러스트와 같은 결의 통제들이다.

보안 위협 관점. 국가정보원의 「챗GPT 등 생성형 AI 활용 보안 가이드라인」(2023.6)은 데이터 유출, 프롬프트를 통한 모델 악용, 플러그인·API 취약점 등을 위협으로 명시하고 사용·구축 단계의 보안대책을 제시한다. “허용된 통로로 새는” 대화형 유출과 프롬프트 조작을 정면으로 다룬 국내 초기 문서다.

신뢰성·거버넌스 표준. 개별 기법을 넘어 “체계적 대응”으로 가려면 관리체계 표준이 받쳐 줘야 한다. TTA의 AI 신뢰성 검·인증(CAT)은 ISO/IEC 42001(AI 경영시스템)·23894(AI 위험관리)·24028(신뢰성) 같은 국제표준을 기준으로 위험관리·완화조치를 검증한다. 로봇처럼 물리 제어가 얽힌 영역에서는 TTA 지능형 로봇 표준화(PG413)와 한국로봇산업진흥원의 로봇 안전인증 계열이 기능·물리 안전을 다루는데, 이는 본문의 “지능과 제어의 분리” — AI의 판단을 실제 구동으로부터 떼어 놓는다는 원칙 — 과 맞닿아 있다.

공격 분류 프레임워크. 마지막으로, 본문의 세 공격은 국제 분류와도 그대로 대응된다. OWASP Top 10 for LLM Applications (2025)는 프롬프트 인젝션, 민감정보 노출(Sensitive Information Disclosure), 시스템 프롬프트 유출, 모델 탈취를 상위 항목으로 두는데, 이 글의 프롬프트 인젝션·정보 유출·데이터셋 추출과 그대로 겹친다. 공격을 공통 언어로 정리하고 싶다면 출발점으로 삼을 만하다.

정리

산업 파운데이션 모델과 에이전틱 AI가 가져올 변화는 분명하지만, 그 변화는 정보 보호에 새로운 종류의 구멍을 함께 낸다. 침입이 아니라 허용된 대화로 새고, ERP를 잠가 둬도 답변에 녹아 흘러나온다. 프롬프트 인젝션, 공정 사보타지, 데이터셋 추출 — 어느 것도 전통적인 경계 방어로는 잡히지 않는다.

결국 필요한 것은 워터마킹, 비가역 학습, 지능·제어 분리 같은 개별 기법을 넘어, 이 새로운 패러다임에 대한 체계적인 대응이다. 사이버 시큐리티가 AI를 외부 위협으로만 보던 시야에서 벗어나, AI가 정보를 다루고 흘리는 방식 자체를 보안의 대상으로 끌어안아야 한다.

참고 문헌

1. 개인정보보호위원회, 「생성형 인공지능(AI) 개발·활용을 위한 개인정보 처리 안내서」, 2025. 8.
2. 개인정보보호위원회, 「AI 프라이버시 리스크 관리모델」, 2024. 12.
3. 국가정보원·국가보안기술연구소, 「챗GPT 등 생성형 AI 활용 보안 가이드라인」, 2023. 6.
4. 한국정보통신기술협회(TTA), 「인공지능 신뢰성 검·인증(CAT) 가이드」 — ISO/IEC 42001·23894·24028 기반.
5. 한국정보통신기술협회(TTA), 지능형 로봇 표준화 위원회(PG413).
6. 한국로봇산업진흥원(KIRIA), 실외이동로봇 운행안전인증.
7. OWASP, Top 10 for LLM Applications (2025).