앤트로픽, '자사판' AI 안전법 의회에 물밑 제안…'10억 달러·50명' 넘어야 모델 차단, 중단은 법원 명령으로

미국 프런티어 AI 기업 앤트로픽이 자사 모델을 규율할 연방 AI 안전법 초안을 직접 만들어 의회에 물밑으로 돌리고 있는 것으로 드러났다. 폴리티코는 16일(현지시간) 사정을 아는 관계자 3명을 인용해, 앤트로픽 측이 의원들을 만나 프런티어 AI 안전·보안 법안 초안을 설명해 왔다고 단독 보도했다. 초안대로라면 정부가 첨단 AI 모델의 출시나 사용을 막을 수 있는 경우는 '10억 달러 넘는 피해'나 '50명 넘는 사망·중상'이 예견되고 임박한 상황으로 좁혀진다. 실제로 모델을 멈추려면 연방 법원의 명령도 받아야 한다. 'AI의 파국적 위험'을 누구보다 크게 경고해 온 회사가 내놓은 안에 정부 개입 문턱을 높이는 조항이 들어간 셈이어서, 워싱턴 AI 정책 진영에서는 환영보다 비판이 먼저 터져 나왔다.

핵심 정리

• 폴리티코가 입수한 앤트로픽의 비공개 법안 초안은 생물무기, 개발사 통제 이탈, 사이버 공격으로 인해 10억 달러 이상 피해나 50명 이상 사상이 '임박'한 경우에만 정부가 모델을 막을 수 있게 했다.
• 모델 중단은 상무부가 워싱턴DC 연방지방법원에 요청해야만 가능하다. 다른 연방 부처·기관·공무원이 모델의 개발·배포·내부 사용을 멈추는 것은 명시적으로 금지된다.
• 상무부에 등록한 독립 평가기관이 연구소와 모델을 정기적으로 평가한다. 연구소가 평가 비용을 낼 수 있되 평가 결과와 연동돼선 안 되며, 임박한 위험을 발견하면 평가 완료 후 72시간 안에 상무부에 보고해야 한다.
• 위험 공시, 독립 평가, 중대 사고 보고에 관한 일부 주(州) 법을 연방법으로 대체(선점)하는 조항도 들어 있어, 캘리포니아 SB 53 같은 주 법의 효력을 둘러싼 논란이 예상된다.

무엇이 드러났나

폴리티코의 오언 달캠프 기자에 따르면 이 초안은 아직 정식 발의된 법안이 아니다. 앤트로픽 대변인은 폴리티코에 "이 법안은 우리가 6월부터 연방과 주 의원들에게 제안해 온 '첨단 AI 프레임워크(Advanced AI Framework)'의 내용을 담은 것"이라며 "의회가 처리해야 할 합리적인 정책"이라고 밝혔다. 로이터에 따르면 대변인은 이 법안이 정부에 "가장 강력한 모델의 위험한 배포를 막거나 억제할 수단"을 주는 동시에, 개발사에 프런티어 모델 시험, 결과의 투명한 공개, 독립 평가를 의무화한다고 설명했다. 상무부는 로이터의 논평 요청에 즉각 답하지 않았다.

초안의 구조: 문턱은 높이고, 절차는 법원으로

정부 개입 요건은 세 겹으로 짜였다. 우선 위험이 '예견 가능하고 임박'해야 한다. 다음으로 피해 규모가 10억 달러를 넘거나 50명 넘는 사람이 숨지거나 크게 다칠 수 있어야 한다. 마지막으로 그 원인이 생물무기 제조·유포, 모델의 개발사 통제 이탈, 사이버 공격 가운데 하나여야 한다. 폴리티코는 이 문구가 지난해 서명된 캘리포니아 SB 53 등 주 AI 법의 표현을 그대로 따랐다고 전했다. 인터레스팅 엔지니어링은 이 세 가지 시나리오에 해당하지 않는 피해는 이 개입 체계 밖에 놓인다고 짚었다.

집행 절차도 눈에 띈다. 로이터와 인터레스팅 엔지니어링에 따르면 상무부는 위험을 판단하더라도 직접 모델을 멈출 수 없고, 워싱턴DC 연방지방법원 판사에게 중단 명령을 청구해야 한다. 초안은 상무부 외의 어떤 연방 부처나 기관, 공무원도 모델의 개발·배포·내부 사용을 중단시킬 수 없다고 못 박았다. 인터레스팅 엔지니어링은 지난여름 미국 수출 통제로 앤트로픽의 첨단 모델 2종이 발이 묶였다는 보도 이후 업계에 퍼진 '행정부의 돌발 조치' 우려와 이 조항이 맞닿아 있다고 분석했다.

개발사 의무로는 안전 프레임워크 수립, 신규 모델 투명성 보고서 공개, 내부고발자 보호, 상무부에 대한 중대 사고 보고가 담겼다. 평가 체계는 독립 평가기관이 맡는다. 이들은 상무부에 등록하고 연구소와 모델을 주기적으로 평가하며, 연구소에서 돈을 받을 수는 있지만 그 대가가 평가 결과에 좌우돼서는 안 된다.

숫자로 본 초안

• 10억 달러: 정부 개입이 가능한 최소 피해 규모
• 50명: 사망·중상 위험 기준
• 3가지: 개입 사유(생물무기·통제 이탈·사이버 공격)
• 72시간: 독립 평가기관이 '임박한 위험'을 상무부에 보고해야 하는 시한
• 1곳: 상무부가 모델 중단 명령을 청구할 수 있는 법원(워싱턴DC 연방지방법원)

배경: 붐비는 워싱턴 입법 경쟁

앤트로픽이 6월 공개한 프레임워크는 훈련 연산량 10²⁵ FLOP 이상 모델에 규제를 적용하자고 제안했다. 대상은 AI 매출이 5억 달러를 넘거나 AI 연구개발에 10억 달러 넘게 쓰는 기업이다. 회사는 당시 "의회가 이 프레임워크만큼 강한 연방법을 만들지 않는 한 주 법을 선점해서는 안 된다"며 선점은 "외과수술처럼" 좁아야 한다고 밝혔다. 정부에는 현행법이나 의회 계류 법안을 넘어서는 차단 권한을 주되, 권한 남용을 막는 장치를 함께 둬야 한다는 입장이었다.

의회에는 이미 여러 법안이 경쟁하고 있다. 하원에서는 로리 트라한(민주)·제이 오버놀티(공화) 의원이 지난 7월 'FRONTIER 법'을 발의했다. 개발사 규모별로 모델 카드, 위험관리 체계, 독립 감사, 사고 보고를 의무화하는 법안이다. 상원에서는 존 튠 공화당 원내대표와 테드 크루즈 상무위원장, 에이미 클로버샤 의원이 파국적 위험 대응 법안을 조율해 왔다. 펀치볼뉴스는 7월 앤트로픽이 이 상원안에서 상무부에 상시 금지명령 권한을 주는 데 반대했다고 보도한 바 있다. 세마포에 따르면 오픈AI의 크리스 리헤인 글로벌 업무 총괄은 통과 가능한 연방 안전법이라면 어떤 것이든 지지하겠다고 밝혔다. 반면 마리아 캔트웰 상원의원은 더 강한 연방 심사를 요구하고 있고, 그레그 카사르 하원의원과 버니 샌더스 상원의원은 첨단 AI 개발 중단과 초지능 금지까지 주장한다.

엇갈리는 반응

AI 정책 진영의 반응은 냉랭한 편이다. 법·AI 연구소(LawAI)의 찰리 불록 선임정책국장은 X에 앤트로픽이 "꽤 합리적인 안전 법안"을 내놓은 점은 다른 연구소보다 낫다고 평가했다. 다만 규칙 제정 권한과 긴급 중단 권한에서는 FRONTIER 법보다 상당히 약하다고 지적했다. 감사인을 상시 고용하도록 하고 정보 접근 규정을 개선한 점은 FRONTIER 법보다 나아졌다고 봤다. 그는 행정부가 특정 AI 기업을 겨냥해 권한을 남용할 수 있다는 우려가 있다면 이런 권한을 줄이는 데도 일리는 있다고 덧붙였다.

AI 안전 단체 엔코드 AI의 네이선 캘빈 법률고문은 훨씬 강하게 비판했다. 그는 이 법안이 통과되면 "현행법보다 파국적 위험에 덜 보호받게 될 것"이라고 주장했다. 선점 조항이 SB 53 같은 주 법뿐 아니라 주 법원의 일반적인 금지명령 권한까지 없앨 수 있고, 연방 정부의 개입 문턱은 "터무니없이 높다"는 이유다. AVERI의 냇 퍼서 미국 정책 책임자는 "FRONTIER 법에서 크게 후퇴했다"며 평가기관이 피평가 연구소로부터 돈을 받거나 선택되지 않도록 해야 한다고 했다. 일부 개발자는 '규제 포획'이라고 꼬집었다. 뉴스 집계 서비스 디그가 분석한 관련 답글 75건 가운데 93.3%가 부정적이었다.

한국 기업·개발자에게 주는 의미

한국은 올해 1월 22일 인공지능기본법을 시행했고, 과태료 등 규제는 최소 1년 이상 유예한 상태다. 미국이 연방 단일 기준으로 가느냐, 주별 규제를 유지하느냐는 미국에서 서비스하거나 미국 모델을 쓰는 국내 기업의 준법 비용과 직결된다. 앤트로픽 안이 채택되면 클로드 같은 미국 최상위 모델이 갑자기 중단될 가능성은 법원 절차를 거쳐야 하는 만큼 낮아진다. 국내 기업 입장에서는 공급 안정성을 예측하기가 조금 쉬워지는 셈이다. 반대로 위험 공시와 사고 보고 기준이 느슨해지면, 국내 도입 기업이 모델 위험 정보를 얻기는 더 어려워질 수 있다. '등록된 독립 평가기관'이라는 새 시장이 열린다는 점도 국내 AI 안전·보안 기업이 눈여겨볼 대목이다.

전망

초안은 아직 정식 발의 전이다. 세마포에 따르면 하원은 중간선거를 앞두고 지난 9월 중순부터 11월까지 워싱턴을 비운 만큼, 본격 논의는 그 이후로 넘어갈 가능성이 크다. 그럼에도 '안전'을 앞세워 온 연구소가 내놓은 법안의 개입 문턱이 경쟁 법안보다 높다는 점은 앞으로 협상에서 계속 논쟁거리가 될 전망이다. 연방 선점의 범위, 평가기관의 독립성, 정부 차단 권한의 크기가 미국 프런티어 AI 규제의 최종 모습을 가를 3대 쟁점이 됐다.

— SSOK.AI 그록기자

참고 자료

• 폴리티코: Anthropic quietly pitches its own AI safety bill to lawmakers
• 로이터(더스타 게재): Anthropic quietly pitches its own AI safety bill to lawmakers, Politico reports
• 블룸버그(블룸버그 로): Anthropic Pitches AI Safety Bill to Lawmakers
• 인터레스팅 엔지니어링: Anthropic's leaked bill would make it harder for Washington to shut down frontier models
• 앤트로픽: Policy on the AI Exponential — Advanced AI Framework
• 로리 트라한 하원의원실: Trahan, Obernolte Introduce Bipartisan FRONTIER Act
• 펀치볼뉴스: Thune's AI plan clashes with Anthropic
• 세마포: Bipartisan AI safety talks accelerate in Senate
• 디그: Anthropic reportedly pitches frontier AI bill to members of Congress
• 대한민국 정책브리핑: 1월 22일 부터 'AI기본법' 시행