오픈AI "AI가 '지수 시간 가설' 깼다"…컴퓨터과학 27년 정설 뒤집기 주장, 가케야·양-밀스까지 3대 난제 동시 발표에 가설 제안자들 "참여가 인증은 아니다"

컴퓨터과학 교과서에 사실상 '정설'처럼 실려 온 가정 하나가 AI 손에 무너졌다는 주장이 나왔다. 오픈AI는 26일(현지시간) 자사 내부 모델이 계산 복잡도 이론의 핵심 가정인 '지수 시간 가설(ETH, Exponential Time Hypothesis)'이 틀렸음을 증명했다고 발표했다. 같은 날 수학에서는 '국소 평활화 추측'을 모든 차원에서, 물리학에서는 양자색역학(QCD)이 수학적으로 엄밀하게 존재한다는 증명을 내놨다고 밝혔다. 다만 ETH 검증을 맡은 학자들조차 "우리가 참여한다고 인증한 것은 아니다"라고 선을 그었고, 물리 결과는 자료가 아직 공개되지 않았다. 세 건 모두 지금은 '주장' 단계다.

핵심 정리

• 오픈AI는 내부 모델이 10월 16일 ETH 반증을 찾았고, 이튿날 증명 검증 언어 '린(Lean)'으로 형식화했다고 밝혔다. 논문과 린 증명은 깃허브에 공개됐다.
• ETH 검증과 해설은 ETH를 처음 제안한 러셀 임팔리아초·라마모한 파투리(UC샌디에이고), 그리고 라이언 윌리엄스(MIT)가 이끈다. 세 사람은 "참여가 인증은 아니다"라고 밝혔다.
• 수학에서는 1991년 소기가 제안한 국소 평활화 추측을 모든 차원에서 증명해 가케야 추측과 스타인 제한 추측까지 풀었다고 주장했다.
• 물리에서는 순수 양-밀스 이론을 포함해 4차원 QCD의 존재를 증명했다고 밝혔다. 노벨상 수상자 데이비드 그로스가 이끄는 그룹이 자료 공개를 미루고 직접 정리하기로 했다.
• 오픈AI는 학문적 공로를 주장하지 않겠다고 했다. 그러나 '먼저 볼 사람을 고르는' 방식이 정보 비대칭을 낳는다는 비판도 함께 나왔다.

무슨 일이 있었나

오픈AI 블로그에 따르면 회사는 이번에 세 결과를 세 가지 방식으로 공개했다. 외부 전문가에게 '목자(shepherd)' 역할을 맡겨 결과를 이해하고 설명할 그룹을 꾸리게 했고, 이들의 조언을 따랐다는 설명이다. 수학 결과는 AI 출력물을 그대로 공개하고 연구자들이 알아서 해설에 나서도록 했다. 컴퓨터과학 결과는 외부 그룹을 꾸리면서 자료도 즉시 공개했다. 물리 결과는 외부 그룹이 공개 시점을 정하도록 맡겼다.

오픈AI는 협업의 4대 원칙으로 투명성(비밀유지계약 없음), 학문적 공로 불요구, 해설·검증을 맡은 그룹에 대한 인정, 독립성(무보수·자발적 참여)을 내걸었다. 사이먼스재단에 낸 500만 달러로는 AI가 낸 결과를 다루는 워크숍과 학술대회를 지원한다.

ETH가 틀렸다는 게 무슨 뜻인가

ETH는 1999년 임팔리아초·파투리가 프랜시스 제인과 함께 제안한 가설이다. 대표적 NP-완전 문제인 3-SAT(논리식을 참으로 만드는 변수 조합 찾기)를 풀려면 최악의 경우 변수 수 n에 대해 지수 시간이 반드시 든다는 내용이다. P 대 NP 문제와도 깊이 얽혀 있다. 오픈AI는 이 가설이 그래프 이론, 계산생물학, 데이터베이스, 계산기하학 등에서 '이 문제는 빨리 풀 수 없다'는 조건부 결론을 끌어내는 데 수백 편의 논문에 쓰였다고 설명했다.

깃허브에 올라온 논문 '지수 시간 가설은 거짓이다'는 고정된 너비의 논리식(k-CNF)을 만족시키는 조합의 개수를 정확히 세는 결정론적 알고리즘을 제시한다. 다항식 크기의 메모리만 쓰면서 지수보다 느리게 늘어나는 '준지수' 시간에 돌아간다는 것이다. 논문은 이 결과로 ETH뿐 아니라 강한 지수 시간 가설(SETH), 갭-ETH, NSETH까지 함께 무너진다고 적었다.

그렇다고 'P=NP'가 증명된 건 아니다. 논문 스스로 "일반적인 NP 문제가 준지수 시간 알고리즘을 갖는다는 뜻은 아니다"라고 밝혔다. 다른 문제를 SAT로 바꾸는 과정에서 이 정도 이득은 쉽게 사라지기 때문이다. 오픈AI도 실제로 더 빠른 알고리즘을 찾고 이론을 실용으로 옮기려면 "상당한 추가 연구가 필요하다"고 했다.

수학과 물리 결과

수학 결과는 파동이 한곳에 모일 때 극단적인 집중은 오래가지 못한다는 '국소 평활화 추측'에 관한 것이다. 이 추측은 2019년 구스·왕·장이 2차원에서 증명했고, 2025년 왕·잘은 그 따름 결과인 가케야 추측을 3차원에서 풀었다. 더버지에 따르면 홍 왕 뉴욕대 교수는 3차원 가케야 추측을 해결한 공로로 몇 달 전 필즈상을 받았다. 오픈AI는 새로운 보조 편미분방정식을 쓴 증명을 10월 18일 얻었고 이튿날 린으로 형식화했다고 밝혔다. 다만 깃허브 설명에는 스타인 제한 추정이 '예상 범위의 내부 전체'에서 성립한다고 적혀 있어, 블로그의 '모든 차원에서 해결' 표현보다 조심스러운 대목도 있다.

물리 결과는 4차원에서 게이지장과 페르미온을 포함한 상호작용 양자장론, 즉 QCD와 표준모형의 '통일된 완성'이 수학적으로 존재한다는 증명이다. 그 안에 클레이 수학연구소 밀레니엄 문제 가운데 하나인 양-밀스 문제의 '존재' 부분도 들어 있다. 오픈AI는 9월 9일 양-밀스, 9월 18일 QCD 증명을 얻었고 10월 16일 양-밀스 존재의 린 형식화를 마쳤다고 했다. 검토는 데이비드 그로스가 마이클 더글러스, 아서 재프, 이고르 클레바노프, 니키타 네크라소프와 함께 이끈다.

주요 숫자

• 1999년: ETH가 제안된 해. 수백 편의 논문이 이 가설에 기댔다.
• 10월 16~17일: ETH 반증 도출과 린 형식화.
• 1991년: 소기가 국소 평활화 추측을 내놓은 해.
• 722편: 오픈AI가 10월 6일 한꺼번에 공개한 수학 원고 수.
• 500만 달러: 사이먼스재단에 낸 지원금.

엇갈리는 반응

로체스터대 수학자 알렉스 이오세비치는 알자지라에 "역사적 발전"이라며 "내 박사 지도교수 크리스 소기가 세운 추측이라 처음엔 충격이었다"고 말했다. 그는 이론수학이 "극적으로 바뀔 것"이라며 "약간의 슬픔도 느낀다"고 덧붙였다.

반면 ETH 검증팀은 공개서한에서 "이 정도 중요성의 결과는 신중하고 독립적인 검증이 필요하다"며 "주장이 맞다면 이론 컴퓨터과학의 중요한 부분이 바뀔 것"이라고 했다. 윌리엄스는 비밀유지계약도 보수도 없다고 밝혔다. 검증팀의 요청에 따라 오픈AI는 원자료를 모두 공개하고 학술대회 비용을 대기로 했다. 서한은 AI 결과에 먼저 접근하는 문제, 검증·해설 작업에 대한 공로 인정, 학생과 연구자 지원을 공론에 부쳤다.

물리 쪽 비판은 더 날카롭다. 컬럼비아대 수학자 피터 보이트는 블로그에서 오픈AI가 밀레니엄 문제의 핵심인 '질량 간극'을 언급하지 않았고 '존재'가 정확히 무엇을 뜻하는지도 밝히지 않았다며 "의도적으로 기만적"이라고 비판했다. 자료를 비공개로 두기로 한 결정도 "현명하지 못하다"고 했다. 더버지에 따르면 오픈AI가 꾸린 수학 자문단 AGMAI조차 발표 하루 전, 특정인에게 먼저 결과를 넘기는 방식을 AI 기업들이 "채택하지 말 것"을 권고했다. 불평등한 접근, 빌려온 명성, 편향된 선정이 이유였다.

배경: 한 달 새 두 번째 '대량 투하'

오픈AI는 10월 6일 미공개 모델이 쓴 수학 원고 722편을 깃허브에 한꺼번에 올렸다. 네이처는 이 일로 수학계가 "들끓었다"고 전했다. 이번 발표는 그때 받은 비판을 반영해 공개 절차를 바꾼 것이라는 게 회사 설명이다. 앞서 앤트로픽도 지난달 크리스퍼를 닮은 새 효소를 AI로 찾았다고 발표했다가 과장 논란을 겪었다. 'AI가 과학을 발견한다'는 경쟁이 붙으면서 검증 체계가 발표 속도를 따라가지 못하는 모양새다.

한국 독자에게 주는 의미

국내 알고리즘·복잡도 연구자와 대학원생에게는 당장 손에 잡히는 문제다. ETH나 SETH를 전제로 한 '하한' 결과는 그 근거가 흔들리기 때문이다. 다만 실무 개발자가 내일 쓰는 SAT 솔버나 최적화 도구가 갑자기 빨라지는 것은 아니다. 이번 알고리즘의 이득은 이론적으로 매우 작다.

더 큰 시사점은 검증 방식이다. 세 결과 중 두 건은 자연어 논문과 함께 린 형식 증명이 공개됐다. AI가 낸 결과를 사람이 다 읽기 어려워질수록 기계 검증이 사실상의 '영수증' 구실을 하게 된다. 국내 학계와 연구기관도 AI 기여를 어떻게 표기하고 공로를 어떻게 나눌지 규범을 서둘러 정해야 할 시점이다.

전망

관건은 앞으로 몇 달이다. 린 증명이 공개된 ETH와 국소 평활화 결과는 누구나 검증에 나설 수 있다. 커뮤니티가 형식화 단계에서 전제나 정의가 바뀌지 않았는지 확인하는 작업이 이어질 전망이다. 물리 결과는 그로스 그룹이 해설을 내놓기 전까지 외부에서 판단할 수단이 거의 없다. 이번 일이 AI가 과학의 최전선을 넘은 첫 사례로 남을지, 아니면 검증되지 않은 대형 발표의 또 다른 예가 될지는 세 그룹의 검증 결과에 달렸다.

— SSOK.AI 그록기자

참고 자료

• OpenAI, "Working with academic communities to build scientific understanding": https://openai.com/index/building-scientific-understanding-with-academic-communities
• OpenAI GitHub, "The Exponential Time Hypothesis is False" (preprint): https://github.com/openai/math/blob/main/preprints/The-Exponential-Time-Hypothesis-is-False-October-25-2026/paper.pdf
• The Verge, "OpenAI announces three big science discoveries and a new way to work with academics": https://www.theverge.com/ai-artificial-intelligence/1019143/openai-eth-kaseya-science-math-physics
• The Next Web, "OpenAI says its AI model has disproved the Exponential Time Hypothesis": https://thenextweb.com/news/openai-exponential-time-hypothesis-false-kakeya-yang-mills
• Al Jazeera, "AI makes discoveries in mathematics, computer science, physics, OpenAI says": https://www.aljazeera.com/economy/2026/10/27/ai-makes-discoveries-in-mathematics-computer-science-physics-openai-says
• Engadget, "OpenAI announces new discoveries in mathematics, computer science and physics": https://www.engadget.com/2297941/openai-new-discoveries-mathematics-computer-science-physics/
• Not Even Wrong (Peter Woit), "Secret Unified Physics Slop": https://www.math.columbia.edu/~woit/wordpress/?p=15948
• Nature, "OpenAI posts 700 maths preprints online: mathematicians are up in arms": https://www.nature.com/articles/d41586-026-03196-8