딥마인드 AI 에이전트, 시그널 암호 코드 '수학으로 증명'…린 증명 650만 줄·4주 만에, "검증 범위는 따져봐야"
구글 딥마인드가 형식 검증 프레임워크 '알파프루프 코드'로 시그널 프로토콜 구현체 libsignal의 기계어가 순방향 비밀성·인증 등 핵심 보안 속성을 지킨다는 것을 증명했다. 제미나이 4 카본 에이전트가 린 증명 약 650만 줄을 만들어 연구자 5명이 4주 만에 끝냈지만, 시그널 앱 전체가 아닌 명령줄 실행 파일 대상이고 양자·그룹 채팅 등은 범위 밖이다.
구글 딥마인드가 AI 에이전트로 전 세계 수십억 명의 대화를 지키는 '시그널(Signal) 프로토콜'의 실제 코드를 수학적으로 검증했다. 설계도가 아니라 휴대폰에서 실제로 돌아가는 형태의 기계어를 대상으로, 핵심 보안 속성이 성립한다는 증명을 약 650만 줄 만들어 냈다. 사람 전문가 팀이 몇 년씩 매달려야 했던 작업을 연구자 다섯 명이 4주 만에 끝냈다. 딥마인드는 이를 '오랜 난제'의 돌파라고 불렀다. 반면 논문을 꼼꼼히 읽은 보안 전문가들은 "검증됐다"는 말이 실제로 무엇을 뜻하는지, 그 범위부터 따져 봐야 한다고 지적한다.
핵심 정리
- 구글 딥마인드가 10일(현지시간) 형식 검증용 AI 에이전트 프레임워크 '알파프루프 코드(AlphaProof Code)'를 공개했다.
- 시그널 프로토콜의 공식 구현체 libsignal을 컴파일한 기계어(AArch64)를 대상으로 순방향 비밀성, 인증, 침해 후 보안 등 핵심 속성을 증명했다.
- 제미나이 4 카본 기반 에이전트가 약 650만 줄의 린(Lean) 증명을 생성했고, 연구자 5명이 4주 만에 작업을 마쳤다.
- 과거에 고쳐진 버그 2개를 다시 넣자 시스템은 해당 버전이 안전하지 않다는 것을 증명해 냈다.
- 다만 검증 대상은 구글이 만든 명령줄 실행 파일이며 시그널 앱 전체가 아니다. 양자 공격자에 대한 계산적 보장, 그룹 채팅, 다중 기기 환경 등은 범위에서 빠졌다.
무슨 일이
딥마인드는 10일 블로그와 기술 논문을 통해 알파프루프 코드를 소개했다. 형식 검증(formal verification)은 소프트웨어가 정해진 성질을 반드시 지킨다는 것을 수학적으로 증명하는 기법이다. 보안 분야에서는 '최고 수준의 보증'으로 꼽히지만, 비용이 워낙 커서 극히 일부 시스템에만 쓰여 왔다. 논문에 따르면 대표적 성공 사례인 seL4 마이크로커널 검증에는 20인년(人年), 검증된 C 컴파일러 CompCert에는 6인년이 들었다.
딥마인드는 이번 성과를 두고 "널리 쓰이는 암호 프로토콜을 이 깊이까지 AI로 형식 검증한 첫 사례"이자 "AI를 쓰든 안 쓰든, 이런 프로토콜의 구현체를 형식 검증한 첫 사례"라고 주장했다. 시그널 프로토콜은 시그널 앱뿐 아니라 왓츠앱, 구글 메시지 등에도 변형된 형태로 들어가 있다.
세부 내용
작업 방식은 연구팀이 일을 나누는 방식과 닮았다. 먼저 사람 전문가와 AI가 함께 '무엇을 증명할지'를 정한다. 시그널의 보안 목표를 린 언어의 정리(theorem)와 정의로 옮기는 단계다. 시큐리티위크에 따르면 이 사양(specification) 작업에는 제미나이 4 카본과 앤트로픽의 클로드 오퍼스 5.5 기반 에이전트가 함께 쓰였고, 모든 사양은 사람이 검토하고 승인했다. 사양이 확정되면 카본 기반 증명 에이전트 팀이 자율적으로 증명을 써 내려간다. 논문에 따르면 한 팀은 보통 40~80개 에이전트로 구성돼 한 대의 머신에서 24~72시간씩 돌았다.
핵심은 신뢰 구조다. AI가 만든 수백만 줄의 증명 자체는 믿을 필요가 없다. 린의 커널이 모든 증명을 기계적으로 검사해, 논리적 오류가 하나라도 있으면 통과시키지 않기 때문이다. 게이트키퍼 역할의 에이전트는 증명이 사람이 승인한 사양과 정확히 같은 내용을 증명하는지도 별도로 확인한다. 딥마인드는 에이전트가 사람의 재검토가 필요한 부분을 골라 표시했고, 그 비중이 전체의 1% 정도였다고 밝혔다.
또 하나의 차별점은 대상이 '설계'가 아니라 '실제 코드'라는 점이다. 기존 시그널 검증 연구는 추상 모델이나 검증하기 쉽게 다시 짠 코드를 다뤘다. 이번에는 수정하지 않은 libsignal(v0.105.4)을 표준 러스트 컴파일러로 빌드한 실행 파일을 명령어 단위로 따라가며 증명했다. 그래서 러스트 컴파일러 자체도 신뢰 대상에서 빠진다.
검증 능력은 '일부러 넣은 버그'로 시험했다. 연구팀은 과거 학계가 찾아내 이미 고쳐진 libsignal 버그 2개를 되살려 다시 컴파일했고, 두 경우 모두 보안 정리가 성립하지 않는다는 것을 기계로 검사한 증명으로 보였다. 이번 분석에서 새로운 취약점은 나오지 않았다고 와이어드는 전했다.
주요 수치
- 증명 코드: 약 650만 줄(린). 기계어 관련 530만 줄, 계산적 증명 약 86만 줄, 기호적 증명 약 35만 줄
- 검증한 코드: 약 560KB, AArch64 명령어 약 14만 개
- 사람이 직접 읽고 믿어야 하는 부분: 저장소 코드 약 1만8000줄과 AArch64 의미론 약 8000줄
- 투입 인력·기간: 연구자 5명, 4주
- 기호 모델에서 증명한 보안 정리: 10개
배경
이번 발표는 구글이 같은 날 최상위 모델 '제미나이 4 카본'을 유료 개발자와 기업에 전면 개방한 것과 맞물려 있다. 카본은 지난달 말 공개 당시 보안 역량을 이유로 심사를 거친 사이버 방어 조직에만 먼저 풀렸다. 구글은 공식 블로그에서 알파프루프 코드 사례를 카본의 '과학·수학 추론' 역량을 보여 주는 대표 사례로 내세웠다. 가격은 11월 30일까지 입력 100만 토큰당 2달러, 출력 10달러이고 12월 1일부터 각각 4달러, 20달러로 오른다.
AI가 취약점을 찾는 속도가 빨라질수록 공격도 빨라진다는 걱정이 커지고 있다. 시그널의 에런 크렛 최고기술책임자(CTO)는 성명에서 "AI 기반 보안 위협이 커지는 만큼, 시그널 프로토콜 구현을 엄밀하게 검증한 것은 우리 코드의 프라이버시 보장에 더 큰 확신을 준다"고 말했다. 악시오스는 이번 성과가 방어자들이 '버그를 찾아 고치는' 방식에서 '버그가 없음을 수학으로 증명하는' 방식으로 옮겨 가는 길을 열 수 있다고 평가했다.
엇갈린 시각
딥마인드 쪽은 기대가 크다. 연구를 이끈 스와랏 차우두리 연구원은 악시오스에 "마침내 해킹할 수 없는 소프트웨어의 세계에 다가갈 수 있다"고 말했다. 다만 와이어드 인터뷰에서는 "이를 세상의 모든 소프트웨어로 넓히기까지는 갈 길이 멀다"고 선을 그었다. 그는 AI가 목표도 정하고 증명도 쓰는, 스스로 낸 시험을 스스로 푸는 식의 방식은 원하지 않는다며 사람과 AI의 '중간 지대'를 강조했다.
비판은 범위에 쏠린다. 논문이 스스로 밝힌 한계도 적지 않다. 검증 대상은 구글이 만든 소형 명령줄 프로그램 'libsignal-cli'로, 논문은 결과가 "시그널 자체 애플리케이션"에 대한 것이 아니라고 적었다. 1대1 대화만 다루고 그룹 메시지와 다중 기기 상태는 빠졌으며, 키 생성 단계도 검증하지 않았다. 암호 원시 연산 등 37개 루틴은 증명 대신 '계약(가정)'으로 대체했다. 계산 모델의 보장은 양자 공격자에게는 적용되지 않고, 시그널이 새로 도입한 양자 내성 래칫(SPQR)의 '회복' 성질도 증명하지 못했다. 거의 모든 메시지가 새 키 단계를 여는 극단적 경우에는 보안 상한이 약 2만5000개 메시지 규모에서 의미를 잃는다는 계산도 논문에 들어 있다. 일부 분석가들은 블로그와 언론 보도의 표현이 실제 정리보다 넓다고 꼬집었다. 비용도 미지수다. 와이어드에 따르면 구글은 분석 비용을 공개하지 않았고, 상용 서비스 계획에 대해서도 언급을 피했다.
한국 기업·개발자에게 주는 의미
첫째, '증명이 싸지는' 시대에는 무엇을 증명할지 정하는 능력이 경쟁력이 된다. 논문은 "증명이 싸지면 어려운 질문은 무엇을 증명할 것인가"라며, 작업 대부분이 증명이 아니라 사양 작성에 들어갔다고 밝혔다. 금융, 결제, 인증, 차량·의료기기 펌웨어처럼 보안이 곧 신뢰인 분야의 국내 기업이라면 보안 요구사항을 기계가 검사할 수 있는 형태로 쓰는 역량을 미리 길러 둘 만하다.
둘째, 산출물이 공개됐다는 점이다. 딥마인드는 사양과 증명 전체를 깃허브에 내놓았다. 국내 연구기관과 보안 업체가 직접 빌드해 재현해 보고, 린과 형식 검증 인력을 키우는 교재로 쓸 수 있다.
셋째, 메신저와 암호 라이브러리를 운영하는 기업에는 새로운 기준이 생길 수 있다. "검증됐다"는 홍보 문구가 늘어날수록 구매자와 규제 당국은 '어떤 조건에서 무엇을 증명했는가'를 묻게 될 것이다. 범위를 정확히 밝히는 습관이 신뢰의 조건이 된다.
전망
딥마인드는 이 기술을 AI 코딩 에이전트와 개발 과정에 녹여, 개발자가 코드를 만들고 고칠 때마다 보안 성질을 수학적으로 확인하는 방향을 검토하고 있다. 구글의 취약점 연구팀 프로젝트 제로, 자동 패치 도구 코드멘더와 결합하는 방안도 살피고 있다고 차우두리는 악시오스에 말했다. 딥마인드는 블로그에서 의료기기 펌웨어와 전력망 소프트웨어를 다음 적용 대상으로 꼽았고, 논문에서는 보안 상한을 더 좁히는 일 역시 AI에 맡기기 좋은 과제라고 적었다. 관건은 비용과 확장성이다. 연구자 5명이 4주 만에 해낸 일이 수천 개 오픈소스 라이브러리로 넓어질 수 있을지, 그리고 '검증됨'이라는 말이 과장 없이 쓰일 수 있을지가 앞으로 이 기술의 신뢰를 가를 것이다.
— SSOK.AI 그록기자
참고 자료
- Google DeepMind 블로그, "Introducing AlphaProof Code": https://deepmind.google/blog/introducing-alphaproof-code/
- Google DeepMind 기술 논문, "AlphaProof Code: Verifying Signal's Security at the Machine-Code Level": https://google-deepmind.github.io/code-verification/
- Google DeepMind GitHub, code-verification 저장소: https://github.com/google-deepmind/code-verification
- Google 블로그, "Gemini 4 Carbon is now available": https://blog.google/innovation-and-ai/models-and-research/gemini-models/gemini-4-carbon-now-available/
- WIRED, "A New AI Tool From Google DeepMind Proved the Signal Protocol Is Secure": https://www.wired.com/story/a-new-ai-tool-from-google-deepmind-formally-verified-the-signal-protocol/
- Axios, "Google touts AI breakthrough, path to 'unhackable' software": https://www.axios.com/2026/11/10/google-code-verification-signal
- SecurityWeek, "Google Widens Gemini 4 Carbon Access After AI Agents Verify Signal Code": https://www.securityweek.com/google-widens-gemini-4-carbon-access-after-ai-agents-verify-signal-code/
- Google AI Studio, Gemini API 가격 안내: https://aistudio.google.com/docs/pricing



