제품
쏙 런처›쏙에딧 (ssokEdit)›ssokIQ›ssokCLI›ssokMusic Free›쏙 키워드 추출기›쏙플레이어›쏙키트›SsokRecorder› 전체 제품 보기›
둘러보기
마켓›얼리버드›AI 소식›가이드›
커뮤니티
질문과 답변›제안 · 피드백›공지사항›
계정 · 설정
검색› 로그인›회원가입› 밝게 / 어둡게›
한국어English日本語
업계 동향

오픈AI "모델의 생각 훔치는 '증류' 막았다"…GPT-6.2 추론 추출 성공률 54%→0.2%, 주마다 계정 수만 개 제재·딥시크·문샷 겨냥했지만 "남의 데이터로 큰 회사가" 역풍도

오픈AI가 20일(현지시간) 경쟁사가 자사 모델의 숨겨진 추론을 빼내 학습에 쓰는 '적대적 증류' 방어 체계를 공개했다. 적대적 훈련·입출력 분류기·API 제한·계정 네트워크 조사를 겹쳐, GPT-6.2 아스트라의 추론 추출 공격 성공률을 54.0%에서 0.2%로 낮췄다고 밝혔다. 딥시크·문샷AI를 거론하며 관련 법안 지지도 표명했지만, 웹 데이터로 학습한 회사의 이중잣대라는 비판도 나온다.

SSOK.AI 그록기자· ·조회 7

오픈AI가 자사 모델의 '생각'을 빼내 경쟁 모델을 키우는 이른바 적대적 증류(adversarial distillation)에 대한 방어 체계를 처음으로 상세히 공개했다. 오픈AI는 20일(현지시간) 공식 블로그 글 「Combatting adversarial distillation」에서 최신 모델 GPT-6.2 아스트라(Astra)를 대상으로 한 내부 공격 실험 결과, 이전 요청의 숨겨진 추론을 빼내는 공격의 평균 성공률이 54.0%에서 0.2%로 떨어졌다고 밝혔다. 모델 출력을 남의 모델 학습에 무단으로 쓰는 일을 단순한 약관 위반이 아니라 안전과 국가안보 문제로 규정하고, 미 의회에 관련 입법 지지까지 공식화했다는 점에서 파장이 작지 않다.

핵심 정리

  • 오픈AI가 적대적 훈련, 입·출력 분류기, API 제한, 계정 네트워크 단위 조사로 이뤄진 '다층 증류 방어' 체계를 공개했다.
  • 자체 적응형 레드팀 평가에서 추론 추출 공격 성공률은 이전 요청 기준 54.0%→0.2%, 현재 요청 기준 22.9%→0.9%로 낮아졌다.
  • 증류 캠페인에 대한 주간 제재 규모는 계정 수천~수만 개에 이르며, 올여름 들어 크게 늘었다고 밝혔다.
  • 오픈AI는 딥시크·문샷AI를 거론하며 칩 보안법 등 관련 법안 지지를 표명했지만, "남의 데이터로 학습한 회사가 할 말이냐"는 비판도 거세다.

무슨 일이 있었나

오픈AI는 이번 글에서 증류를 "한 모델이 다른 모델이 만든 데이터로 배우는 흔한 머신러닝 기법"이라고 설명하면서도, 허가 없이 이뤄지는 적대적 증류는 지식재산 문제를 넘어 심각한 안전 위험이라고 강조했다. 원본 모델의 고급 능력은 옮겨가지만 그 능력을 통제하던 안전장치는 따라오지 않기 때문이다. 예컨대 취약점을 찾아주는 방어용 능력이 증류된 모델에서는 공격에 쓰일 수 있다는 것이다.

이 발표는 17일(현지시간) 공개된 GPT-6.2 시스템 카드의 연장선이다. 시스템 카드는 GPT-6.2 아스트라와 솔(Sol)에 대해 "무단 증류에 대한 보호를 강화했다"며 암호화된 추론 보호, 스트리밍 응답이 비공개 추론을 노출할 가능성이 있으면 출력을 붙잡아 두는 검사 등을 추가했다고 적었다.

어떻게 막나: 요청 단위와 캠페인 단위의 이중 방어

오픈AI가 특히 공들여 지키는 대상은 모델이 답을 내기 전 내부에서 거치는 중간 단계, 즉 사고의 사슬(chain-of-thought)이다. 최종 답변에 없는 정보가 담겨 있어 다른 모델의 학습 데이터로 특히 값지다는 설명이다.

방어는 두 층위로 나뉜다. 먼저 개별 요청 단계에서는 ▲레드팀·조사·외부 제보로 확보한 성공 공격 사례로 모델이 추출 시도를 알아채고 거부하도록 하는 적대적 훈련 ▲추출 시도를 잡는 입력 분류기와 답변·도구 호출 인자 속 유출을 막는 출력 분류기 ▲API 차원의 재사용 제한이 함께 작동한다.

API 변화는 개발자에게 직접 영향을 준다. GPT-6.2부터는 추론이 그것을 만든 대화 이력에 묶인다. 앞선 메시지를 고쳐 쓰면 그 뒤의 추론은 버려지고, 안전장치가 약한 구형 모델 계열은 GPT-6.2의 보호된 추론을 읽을 수 없다. 오픈AI 개발자 문서는 대화 도중 이력을 편집하거나 모델을 하위 버전으로 바꾸거나 최종 사용자·조직이 바뀌면 Responses API가 추론 항목을 삭제하며, 이 경우 답변 품질이 떨어지거나 토큰을 더 쓸 수 있다고 안내한다.

둘째 층위는 계정과 캠페인 단위의 조사다. 오픈AI는 요청·계정 신호의 패턴으로 조직적 추출을 찾아내 계정 네트워크 전체를 제재하고, 침해 지표를 다른 모델 개발사와 공유한다고 밝혔다.

숫자로 본 이번 발표

  • 54.0% → 0.2%: 이전 요청에서 만들어진 보호 추론을 빼내는 공격의 평균 성공률(GPT-6 아스트라 기존 안전장치 대비 GPT-6.2 아스트라 신규 안전장치).
  • 22.9% → 0.9%: 현재 요청의 추론을 빼내는 공격의 평균 성공률.
  • 6개: 블랙박스 적응형 평가에 동원된 공격자 모델 수. 결과는 이를 종합한 값이다.
  • 수천~수만 개: 증류 캠페인에 대한 주간 제재 계정 규모.

다만 이는 오픈AI 내부 평가이고, 모델 버전과 안전장치가 함께 바뀐 비교라는 점은 감안해야 한다. 오픈AI는 개선된 안전장치 일부를 GPT-6 아스트라에도 적용하고 있다고 덧붙였다.

오픈AI는 사이버 능력 이전 실험 결과도 내놨다. 같은 사전학습 '학생' 모델을 코딩·방어용 보안 과제 궤적으로 미세조정했더니, 정확한 추론 원문으로 배운 학생이 요약본으로 배운 학생보다 대체로 성능이 높았다. 강화학습을 거친 뒤에는 가장 큰 추론 예산에서는 원문 학습 쪽이, 낮은 예산에서는 요약 학습 쪽이 앞섰다. 앤트로픽도 10월 12일(현지시간) 비슷한 실험에서 SWE-bench Verified 점수가 전체 추론 학습 시 80.4%, 요약 학습 시 71.8%였다고 공개한 바 있다.

배경: 1년 내내 이어진 '증류 전쟁'

증류 논란은 올해 AI 업계의 핵심 쟁점이었다. 앤트로픽은 2월 23일(현지시간) 딥시크·문샷·미니맥스가 약 2만4,000개의 사기 계정으로 클로드와 1,600만 건 넘는 대화를 생성했다고 공개했다. 오픈AI는 이번 글에서 2월 딥시크의 미국 모델 증류 시도를 의회에 브리핑했고, 9월에는 보호 추론 추출 캠페인을 차단하면서 핵심 활동을 키미(Kimi) 개발사 문샷AI 관련 인물들로 지목했다고 다시 밝혔다. 9월 30일(현지시간) 공개 당시 오픈AI는 7월 24~25일 4,000여 명의 사용자가 1만6,000건의 추출 요청을 보냈고, 관련 활동이 1만5,000여 명 규모로 퍼져 있었다고 설명했다.

10월 말에는 디인포메이션이 딥시크와 문샷이 최신 모델 훈련에 GPT-6 아스트라를 대거 활용했다고 보도했다(더넥스트웹 인용, 두 회사의 공식 입장은 확인되지 않았다). 로이터는 17일(현지시간) 중국에서 증류가 산업 전반에 조직적으로 확산했고 중국 정부도 제조업용 AI에 증류 기술을 장려하고 있다고 보도했다고 연합뉴스가 전했다. 앤트로픽은 10월 새 방어책으로 증류자가 수집한 데이터량을 약 90~99% 줄였다고 밝혔다.

엇갈리는 시선

비판도 만만치 않다. 영국 IT 매체 더레지스터는 9월 오픈AI의 문샷 지목 당시 "모든 사람에게서 훔친 IP를 중국 모델이 훔쳤다고 불평한다"는 제목으로 꼬집었다. 벤처투자자 차마스 팔리하피티야는 7월 X 게시글에서 대형 연구소들이 공정이용 논리로 저작물을 학습해 놓고 같은 논리가 자신에게 돌아오자 반발한다며, 증류에 불만을 제기할 자격이 없다는 취지로 비판했다. 이번 발표를 다룬 해커뉴스 토론에서도 안전이라는 명분이 경쟁 우위를 지키기 위한 포장이라는 반응이 다수였다.

증거의 문제도 있다. 클라우드보안연합(CSA)은 10월 연구 노트에서 특정 기업 지목은 현재로선 제공업체의 주장일 뿐 독립 검증이 되지 않았고, 약관 위반이 곧 위법은 아니라고 지적했다. 반면 오픈AI는 수출통제가 학습용 하드웨어 접근을 막는다면 증류 방어는 이미 학습된 모델에서 능력을 빼가는 길을 막는 것이라며, 칩 보안법(Chip Security Act)·AI 오버워치법·MATCH법 지지를 의회에 밝혔다.

한국 기업·개발자에게 주는 의미

국내 개발사에도 남의 일이 아니다. 해외 상용 모델의 출력으로 자체 모델을 고도화해 온 팀이라면 약관 위반 리스크가 훨씬 커졌다. 임종인 숭실대 AI위원회 위원장은 8월 뉴스1 인터뷰에서 독자 AI 파운데이션 모델을 포함한 국내 개발에서 해외 상용 AI 출력물을 무단 학습하면 약관·저작권 문제가 생길 수 있다며, 미국 기업과 협상해 합법적 활용 통로를 만들어야 한다고 제언했다.

API 이용자에게는 기술적 대응이 필요하다. GPT-6.2로 옮기는 서비스는 대화 이력의 앞부분을 수정하거나 중간에 모델을 바꾸는 구조라면 추론이 버려져 품질 저하와 비용 증가를 겪을 수 있다. 오픈AI는 설정을 바꿀 때도 프롬프트 앞부분을 그대로 유지하라고 권고한다.

전망

오픈AI는 최근 차단한 캠페인에 대해 곧 추가로 공개하겠다고 예고했다. 앤트로픽이 스스로 "고양이와 쥐의 게임"이라고 표현했듯 방어와 우회의 경쟁은 계속될 전망이다. 숨겨진 추론을 지키려는 움직임이 투명성 논쟁과 맞물리고, 증류가 미·중 기술 경쟁의 정책 의제로 올라선 만큼, 모델 출력을 어디까지 학습에 쓸 수 있느냐는 질문은 앞으로 법과 외교의 영역에서도 다뤄질 가능성이 크다.

— SSOK.AI 그록기자

참고 자료

  • OpenAI: https://openai.com/index/combatting-adversarial-distillation
  • OpenAI Deployment Safety Hub (GPT-6.2 System Card): https://deploymentsafety.openai.com/gpt-6-2-astra-sol/safeguards
  • OpenAI Developers (Using GPT-6.2): https://developers.openai.com/api/docs/guides/latest-model/gpt-6.2-astra
  • OpenAI (Disrupting a coordinated model-distillation campaign): https://openai.com/index/disrupting-a-coordinated-model-distillation-campaign/
  • Unite.AI: https://www.unite.ai/openai-strengthens-gpt-6-2-astra-against-reasoning-extraction/
  • The Decoder: https://the-decoder.com/openai-makes-it-much-harder-for-attackers-to-extract-how-its-latest-ai-models-think/
  • The Hindu BusinessLine (ANI): https://www.thehindubusinessline.com/info-tech/openai-strengthens-gpt-62-astra-safeguards-against-unauthorised-ai-reasoning-extraction/article71727200.ece
  • Anthropic (Strengthening our defenses against distillation attacks): https://www.anthropic.com/news/distillation-defenses
  • Anthropic (Detecting and preventing distillation attacks): https://www.anthropic.com/news/detecting-and-preventing-distillation-attacks
  • The Next Web: https://thenextweb.com/news/deepseek-moonshot-gpt-6-astra-distillation
  • The Register: https://www.theregister.com/security/2026/09/30/irony-alert-openai-whines-that-chinese-model-stole-its-special-ip-that-it-stole-from-everybody-else/5300285
  • The Times of India: https://timesofindia.indiatimes.com/technology/tech-news/after-anthropic-and-openai-accuse-chinese-ai-companies-of-distillation-billionaire-chamath-palihapitiya-says-cannot-complain-when-you-yourself-have-/articleshow/132473850.cms
  • Cloud Security Alliance: https://labs.cloudsecurityalliance.org/research/csa-research-note-reasoning-extraction-distillation-20261003/
  • HN Digest (Hacker News 토론 요약): https://welley.social/g/hndigest/@best/posts/pt_01m7xgqkazeyx9v6e0s1b3etdr
  • 연합뉴스: https://www.yna.co.kr/view/AKR20261117114900009
  • 뉴스1: https://www.news1.kr/it-science/internet-platform/6258377

출처: OpenAI 외 종합

AI 소식 더 보기

전체 보기 ›
규제·정책 5시간 전 트럼프 "해외에 데이터센터 지으면 엄청난 세금"…참모도 몰랐던 즉석 발언, 세율·근거는 '0', AWS 울산·MS 부산 등 한국 AI 인프라도 촉각 도널드 트럼프 미국 대통령이 20일(현지시간) 백악관 기자회견에서 미국 기업이 해외에 데이터센터를 지으면 "엄청난 세금"을 물리겠다고 밝혔다. 중국에 뒤처지지 않으려면 데이터센터를 미국에 지어야 한다는 논리지만, 세율·법적 근거·시행 시점은 없었고 스스로 "참모들에게도 아직 말하지 않았다"고 했다. 연방 과세권이 의회에 있어 실현 여부는 불투명하지만, 구글 핀란드·걸프 '스타게이트 UAE'와 함께 AWS·SK 울산 AI 데이터센터, MS 부산 3호기 등 한국 프로젝트도 불확실성에 노출됐다. 업계 동향 18시간 전 시그널, 시리·제미나이에 '화면 읽기 금지'…iOS 27 스크린숏 기본 차단, 휘태커 "OS AI 에이전트는 실존적 위협", 애플·구글에 'AI 접근 거부' 수단 요구 암호화 메신저 시그널이 20일(현지시간) iOS 27에서 '시리 AI 차단'을 기본으로 켜 앱 안 스크린숏을 막고, 안드로이드에서는 AI 비서가 화면을 읽으려 하면 '화면 보안'을 자동으로 켜는 업데이트를 내놨다. 메러디스 휘태커 회장은 OS에 깊이 통합된 AI 에이전트를 "실존적 위협"이라 부르며 대책이 불완전하다고 인정했고, 애플·구글·MS에 앱별 AI 접근 거부 수단과 작동 방식 문서 공개를 요구했다. 메타 '뮤즈'가 시그널 대화를 읽었다는 로이터 보도 직후 나온 조치다. 업계 동향 1일 전 AI 랠리에 제동…나스닥 주간 10% 폭락 2020년 이후 최악, 엔비디아 'SEC 회계 조사' 보도에 14% 급락, 앤트로픽은 상장 이틀 만에 공모가 턱밑 20일(현지시간) 나스닥이 5.3% 떨어지며 주간 10% 하락으로 2020년 이후 최악의 한 주를 보냈고 S&P500과 다우도 조정 구간에 들어갔다. 로이터가 SEC 집행 부서의 엔비디아 회계 조사를 단독 보도하자 엔비디아는 14% 급락해 7주 연속 하락했고, 싱가포르 매출 공시 변경과 순환 금융이 다시 도마에 올랐다. 앤트로픽은 88.91달러로 공모가(83달러)에 다가섰고, 월가 해석은 'AI 재평가'와 '거품 붕괴는 아니다'로 갈렸다. 국내 증시는 23일 개장에서 그 여파를 시험받는다. 업계 동향 1일 전 "클로드와 함께 리만 가설 증명했다"…앤트로픽 수학자 발표, 17만 모듈 린 증명 독립 검증 잇따라 통과했지만 읽을 논문은 없다, 같은 날 스탠퍼드선 'AI 없는 인간 증명'도 등장 앤트로픽 수학자 레벤트 알푀게가 상장 다음 날인 20일(현지시간) 클로드와 함께 리만 가설과 일반화 리만 가설을 증명했다며 린 형식 증명만 공개했다. MIT 앤드루 서덜랜드의 독립 검증에서 17만5187개 모듈 컴파일, 표준 공리 3개만 사용, 독립 커널 2종 수용을 통과했지만 최종 컴퍼레이터 실행은 진행 중이다. 타오는 "소화에 시간이 걸릴 것", 그랜빌은 발표 시점을 비판했고, 같은 날 미국수학회장 바킬은 마술로의 940쪽짜리 '순수 인간' 증명 초안을 공개했다.