산업 AI의 지속가능성은 결국 'AI 가시성'에서 온다

수많은 데이터를 깔때기로 AI 모델에 밀어 넣는 모습과 'AI Visibility' 텍스트

English version: Industrial AI and its visibility

앞선 글에서 산업 파운데이션 모델은 무엇이어야 하는가 이야기를 꺼낸 김에, 이번에는 조금 더 현실적인 질문을 함께 들여다보고 싶다. 그리고 미리 살짝 말해두면, 이 글이 결국 닿는 곳은 AI 가시성(visibility) 이다. 산업 AI가 한 번 만들고 끝나는 물건이 아니라 계속 살아 있는 시스템이 되려면, 아무래도 이 가시성이 열쇠가 아닐까 싶다.

AI가 빠르게 발전하고 있다는 건 누구나 느끼고 있을 것이다. 나도 몇몇 AI 서비스를 즐겨 쓰는데 — 특히 Claude의 팬이다 — 작년 여름, 가을까지만 해도 “내 일에 조금 도움은 되지만 아직 좀 어설프네” 싶던 도구들이, 작년 말과 올해 초를 지나며 부쩍 좋아졌다. 이제는 내가 직접 손볼 일을 점점 줄여 준다. 최근 논문 한 건은 설계만 내가 맡고 구현과 결과 정리는 거의 Claude Code에 맡겼는데, 그 완성도에 솔직히 좀 놀랐다.

상용 AI로 충분하지 않을까

그러다 보면 자연스럽게 이런 질문이 든다. 산업 AI 모델이 따로 필요할까? 그냥 상용 AI 서비스를 쓰면 안 될까? 실제로 “Claude나 ChatGPT 쓰면 되지 않냐”고 묻는 분도 많다. 성능도 이미 충분히 높으니 그럴 만하다.

작년만 해도 RAG를 위해 NL2SQL(자연어 → 쿼리) 정확도를 끌어올리는 연구가 내 계획에 있었는데, 지금은 슬그머니 빠졌다. 상용 AI에 엑셀 파일과 DB 스키마만 건네주면 — 별다른 설명이 없어도 — 그 안의 맥락을 척척 파악해 꽤 수준 높은 쿼리를 바로 만들어 낸다. 게다가 그 쿼리를 직접 실행해 보고, 에러 메시지를 읽고, 스스로 고쳐 다시 시도하는 것까지 알아서 해낸다.

그래도 남는 고민: 정보 보호

그래도 상용 AI 앞에서 다들 한 번쯤 조심스러워하는 지점이 있다. 역시 정보 유출이다. 나도 이번에 사업계획서 몇 건을 준비하며 Claude와 ChatGPT의 도움을 받았는데, 해외 서비스들이 국내 RFP와 사업계획서 양식까지 너무 잘 이해하고 있어서 내심 놀랐다. 뒤집어 보면, 질문을 던지는 과정에서 이미 적지 않은 정보를 그쪽에 흘려보내고 있다는 뜻이기도 하다. 요즘 같은 시대에 정보는 곧 자산인데, 그 자산이 상용 AI로 흘러 들어간다는 건 결국 누군가가 내 자산을 손쉽게 가져다 더 좋은 결과를 낼 수도 있다는 의미가 된다.

그래서 산업 AI의 첫 번째 제약은 아무래도 정보 보호가 될 것 같다. 분리망이나 내부망에서 운용해 정보가 바깥으로 새어 나가는 길 자체를 막는 구조 말이다. 이건 기존의 정보보호와는 결이 조금 다르다. 예전에는 물리 계층이나 서비스 단에서, 서비스에 대한 일부 정보만으로 암호화나 공격 방어를 고민했다면, 이제는 그 대상이 데이터·모델·변조처럼 점점 구체적이 되고, 그만큼 더 구체적인 보안·안전 정책이 필요해진다.

성능, 그리고 비용

닫힌 공간에서 정보를 지킬 수 있게 되었다고 해 보자. 그다음 고민은 성능이다. 흔히 떠올리는 “전통적인” 방법으로는 fine-tuning, tool calling, RAG 같은 지식 연계가 있다. 시작된 지 10년, 아니 5년도 안 된 기술을 “전통적”이라 부르는 게 좀 멋쩍긴 하지만.

여기서 비용 이야기가 빠질 수 없다. 데이터를 모으고 레이블을 붙이고 추가 학습을 돌리는 일 — 제대로 하려면 생각보다 돈이 꽤 든다.

지속가능성

잘 만들어 두었다고 끝이 아니라는 점도 짚고 싶다. 그다음은 지속가능성이다. 수명이 짧은 제조 공정, 끊임없이 바뀌는 입력 데이터, 계속 갱신되는 규정과 법령과 규제. 한 번 잘 만든 모델이 그대로 오래 가 주면 좋겠지만, 현실은 그렇게 너그럽지 않다.

정리하면, 세 가지

여기까지만 보면 “산업 AI 모델, 그냥 안 하는 게 낫겠다” 싶어질 수도 있다. ㅎㅎ 그래도 고민의 축을 정리해 보면 의외로 단순하게 셋으로 모인다.

정보 보호 — AI를 쓰면서 내 정보를 어떻게 지킬 것인가.
정확도와 비용 — 정확도를 어떻게 올리고, 그 비용을 어떻게 줄일 것인가.
지속가능성 — 그리고 가장 중요한, 이 모든 걸 어떻게 계속 굴러가게 할 것인가.

AI는 정말 돈이 많이 든다. 파운데이션 모델을 검토해 고르고, 데이터를 구축·검수하고, 레이블을 붙이고, 추가 학습을 하고, 보안까지 입히고 — 이렇게 공들여 만들어 놨는데 대상 제품이나 서비스가 바뀌면 또 처음부터 다시. 이 반복이 비용의 핵심이고, 그래서 세 번째 지속가능성이 사실상 앞의 둘을 모두 끌어안는 가장 큰 고민이 된다.

그래서, 파운데이션 모델의 역할

지속가능성을 생각하면, 내가 가장 중요하게 보는 건 컨텍스트 이해와 도메인 정보를 분리하는 일이다. 이 둘은 가능하면 나누어 두는 편이 좋고, 컨텍스트 이해는 파운데이션 모델이, 도메인 정보와의 연계는 여러 도구를 활용한 에이전트 구성이 맡아 주면 된다.

데이터를 넣고 “이 데이터 상태 어때?”라고 물었을 때, 학습된 모델에서 답이 곧장 튀어나오는 그림이 아니다. 질문의 의도(컨텍스트)를 먼저 파악하고, 거기에 맞는 도구를 호출해, 학습되어 있지 않은 도메인 지식을 도구를 통해 가져오는 그림에 가깝다.

이때 파운데이션 모델의 역할은 컨텍스트 이해와, 그 컨텍스트에 맞는 적절한 도구 호출 방법을 제시하는 데까지로 한정된다. 파운데이션 모델이 시계열 데이터를 직접 해석할 필요도, 새로운 분류 기법을 알아야 할 필요도 없다. 이렇게 역할을 나눠 두면 재학습이나 fine-tuning에 대한 부담이 줄고, 결국 비용도 함께 내려간다. 도메인 지식 쪽은 잘 정리해 두고, 데이터가 바뀔 때(수정·추가·삭제)마다 closed-loop로 꾸준히 갱신해 주면 된다.

여기까지가 ‘설계’다. 그런데 이 설계는 가만히 두면 시간이 지날수록 조금씩 어긋나기 마련이다. 바로 그 어긋남을 따라잡아 주는 장치가 다음 이야기다.

파운데이션 모델(컨텍스트 이해)과 지식베이스(도메인 지식)를 AI 가시성이 모니터링하고 두 축으로 feedback 하는 구조

컨텍스트 이해(파운데이션 모델)와 도메인 지식(지식베이스)을 나누고, AI 가시성이 사용자–AI 상호작용을 모니터링해 두 축 — fine-tuning과 스키마·지식 갱신 — 으로 feedback 한다.

가장 중요한 한 조각: AI 가시성(visibility)

컨텍스트 이해(파운데이션 모델)와 도메인 지식(지식베이스·도구)을 아무리 잘 나눠 두어도, 공정이 바뀌고 데이터가 바뀌고 규정이 바뀌면 양쪽 모두 조금씩 어긋나기 시작한다. 곤란한 건, 어디가 왜 어긋났는지 알지 못하면 손을 대기가 어렵다는 점이다. AI 가시성은 바로 그 ‘어디·왜’를 보이게 해 준다.

조금 구체적으로 보자. 사용자가 어떤 도메인 지식을 요청했는데 답을 받지 못했다면, 원인은 대개 둘 중 하나다. AI가 컨텍스트 자체를 이해하지 못했거나, 컨텍스트는 이해했는데 지식베이스에 맞는 쿼리를 만들어 내지 못했거나. 이 둘은 성격이 전혀 다른 실패라, 처방도 다르다. 앞쪽은 파운데이션 모델의 컨텍스트 이해를 높이는 문제(예: fine-tuning)에 가깝고, 뒤쪽은 지식베이스의 구성·스키마 문제에 가깝다.

그래서 가시성은 단순한 로깅과는 조금 다르다. 사용자와 AI의 상호작용을 꾸준히 지켜보면서, ① 사용자에게 닿지 못한 지식이 무엇인지 짚고, ② 그 원인이 컨텍스트 이해 쪽인지 지식베이스 쪽인지 가려내고, ③ 그 진단을 두 축 각각으로 되돌려 주는 feedback loop에 가깝다. 컨텍스트 이해가 부족하면 파운데이션 모델 쪽으로(fine-tuning 등), 지식이 비어 있으면 지식베이스 쪽으로(스키마·지식 추가).

이런 feedback이 있어야 비로소 산업 AI가 ‘한 번 만들고 끝’이 아니라, 바뀌는 현장을 따라 스스로 갱신되는 살아 있는 시스템이 된다. 가시성이 없으면 앞에서 공들인 분리도, closed-loop도, 결국 지속가능성도 말잔치에 그치기 쉽다. 반대로 가시성이 제대로 돌면, 정확도 개선이나 비용 절감조차 ‘한 번의 대규모 재학습’이 아니라 ‘진단에 따른 국소적인 갱신’으로 풀린다. 그래서 나는 앞의 세 제약 중에서도 가시성이 사실상 지렛대 역할을 한다고 — 조심스럽지만 — 생각한다.

결론

정리하면, 산업 AI 모델은 “상용 모델보다 더 큰 만능 모델”을 만드는 일이 아니라는 생각이 든다. 오히려 그 반대에 가깝다. 정보가 보호되는 닫힌 환경 안에서, 컨텍스트를 이해하는 파운데이션 모델과 도메인 지식을 담은 지식베이스·도구를 분명히 나누고, 그 사이를 에이전트가 이어 주는 구성 — 거기까지는 설계의 영역이다.

다만 그 설계를 지속가능하게 만들어 주는 건 결국 AI 가시성이 아닐까 싶다. 무엇이, 왜 사용자에게 닿지 못했는지를 보이게 하고, 그 진단을 컨텍스트 이해와 도메인 지식 양쪽으로 되돌려 주는 feedback loop. 이게 갖춰질 때에야 산업 AI도 바뀌는 현장을 따라 오래 살아남을 수 있다.

지난 글에서 파운데이션 모델은 “모든 걸 아는 모델”이 아니라 “그 위에 지식을 쌓는 반석”이어야 한다고 했는데, 한 걸음 더 가 보면 그 반석 위의 구조물이 무너지지 않도록 계속 지켜보고 손봐 주는 일 — 그게 가시성이고, 산업 AI를 상용 AI와 다르게 만들어 주는 진짜 가치가 아닐까 한다.