구글·아마존, 엔비디아 'CUDA 해자' 협공…파이토치 코드 그대로 TPU·트레이니엄서 돌린다, 토치TPU·토치뉴런 이틀 새 오픈소스

AI 개발자가 코드 한 줄에 적어 온 "cuda"라는 단어가 흔들리고 있다. 구글은 20일(현지시간) 열린 파이토치 콘퍼런스 2026에서 자사 AI 칩 TPU를 파이토치(PyTorch)의 '네이티브 장치'로 쓰게 해 주는 '토치TPU(TorchTPU)'를 오픈소스로 공개했다. 하루 전 아마존도 자체 칩 트레이니엄(Trainium)용 '토치뉴런(TorchNeuron)'을 내놓고 같은 날 오픈소스로 풀었다. 미국 최대 클라우드 두 곳이 이틀 사이 같은 무대에서 같은 메시지를 던진 셈이다. 파이토치로 짠 AI 코드를 엔비디아 GPU가 아닌 칩에서도 고치지 않고 돌리게 하겠다는 것이다. 테크크런치는 이를 두고 "구글이 아마존에 이어 AI 개발자 사이에 쌓인 엔비디아의 아성을 공격하기 시작했다"고 평가했다.

핵심 정리

• 구글, 20일 파이토치 콘퍼런스에서 TPU용 네이티브 파이토치 백엔드 '토치TPU' 오픈소스 공개…메타 파이토치팀과 공동 개발
• 아마존, 트레이니엄2·3용 '토치뉴런'을 아파치 2.0 라이선스·공개 베타로 같은 날 오픈소스화
• 두 회사 모두 "기존 코드에서 장치 설정만 바꾸면 된다"고 강조….to("cuda")를 .to("tpu")나 "neuron"으로 바꾸는 식
• 구글은 허깅페이스 모델 4,917개를 시험해 98%가 오류 없이 돌았고, GPU 대비 수치 일치율은 97%라고 밝혔다
• 다만 "그대로 돌아간다"와 "최고 성능이 난다"는 다른 얘기…칩별 커널·형상 최적화는 여전히 필요
• 국내 AI 경량화 기업 노타(Nota AI)가 토치뉴런 협력사 명단에 이름을 올렸다

무슨 일이 있었나

구글 클라우드의 마크 로마이어 부사장과 빌 지아 엔지니어링 부사장은 공식 블로그에서 "토치TPU로 TPU가 GPU·CPU와 함께 파이토치의 네이티브 선택지가 됐다"고 밝혔다. 그동안 파이토치 사용자가 TPU를 쓰려면 '파이토치/XLA'를 거치거나 아예 구글의 다른 프레임워크인 JAX를 배워야 했다. 파이토치 공식 블로그에 실린 토치TPU 소개 글은 2020년 나온 파이토치/XLA가 "소스 코드를 깊이 고쳐야 했고, 컴파일 지연이 심했으며, 파이토치 기본 실행 방식인 즉시(eager) 실행을 지원하지 못했다"고 스스로 한계를 인정했다. 토치TPU는 이 방식을 버리고 TPU를 파이토치 안의 정식 장치로 등록하는 길을 택했다.

아마존은 이보다 하루 앞서 토치뉴런을 발표했다. 아마존 공식 뉴스룸은 "AI 연구자와 개발자의 85%가 파이토치로 코드를 쓴다"며 "설정 하나만 바꾸면 기존 코드가 트레이니엄에서 그대로 돈다"고 소개했다. 토치뉴런은 파이토치가 외부 하드웨어를 위해 마련한 공식 확장 지점(PrivateUse1)을 이용한다. 아마존은 여기에 더해 파이토치 본체에서 특정 칩에 묶인 코드를 걷어내는 변경 사항도 올려 보내고 있다고 밝혔다. 테크크런치는 이를 "파이토치 기능을 엔비디아 칩에서 떼어내 기본적으로 어떤 하드웨어에도 열리게 하려는 시도"라고 풀이했다.

세부 내용: 무엇이 달라지나

구글이 공개한 숫자는 '호환성'에 방점이 찍혀 있다. 파이토치 블로그에 따르면 구글은 허깅페이스에서 많이 내려받은 모델 4,917개를 시험했고, 이 가운데 4,821개(98%)가 멈추지 않고 실행됐다. 500개가 넘는 구조군을 대표하는 657개 모델 중 638개(97%)는 GPU와 같은 계산 결과를 냈다. 지원하는 파이토치 기본 연산(ATen)은 약 450개다.

생태계 연동 폭도 넓다. 허깅페이스 트랜스포머 v5에서는 device_map="tpu"만 넘기면 모델이 TPU에 올라간다. 허깅페이스는 블로그에서 "TPU에서 돌린 테스트의 96.5%가 통과했다"며 "지금까지 문제 34건을 보고해 19건이 고쳐졌다"고 밝혔다. 추론 엔진 vLLM(인퍼랙트)과 SGLang(라딕스아크), 분산 학습 프레임워크 토치타이탄, 레이(Ray)도 토치TPU를 지원한다. 구글은 토치타이탄 기준으로 큐원3 8B 모델 학습에서 최대 52%의 연산 활용률(MFU)을 냈고, 아이언우드 TPU 8,192개까지 거의 선형으로 확장됐다고 했다. 휴대폰·노트북용 추론 엔진 LiteRT도 파이토치 생태계에 합류했고, 이전을 돕는 'TPU 에이전트 도구 모음'도 미리보기로 나왔다.

토치뉴런은 트레이니엄2와 트레이니엄3을 지원한다. 즉시 실행과 torch.compile을 모두 쓸 수 있고, 성능이 중요한 부분은 아마존의 커널 언어 NKI로 직접 짤 수 있다. 음성 AI 기업 딥그램은 파이토치 공식 블로그에서 "우리가 평가한 벤치마크에서 트레이니엄이 기존 GPU 대비 1달러당 약 60% 더 많은 오디오를 처리했다"고 밝혔다. 아마존은 빌드할 때마다 수십만 개 모델로 시험을 돌린다고 했다.

숫자로 보면

• 85%: 아마존·테크크런치가 인용한 파이토치 사용 비중
• 4,917개 중 98%: 토치TPU에서 오류 없이 실행된 허깅페이스 모델 비율
• 52%: 아이언우드 TPU에서 큐원3 8B를 학습할 때 낸 최대 MFU(구글 발표)
• 약 60%: 딥그램이 밝힌 트레이니엄의 1달러당 처리량 우위(자체 벤치마크)
• 최대 50%: 세미애널리시스가 9월 사전 분석에서 제시한 아이언우드의 1달러당 추론 성능 우위(엔비디아 B200·B300 대비, FP8 조건)

배경: 왜 '소프트웨어'가 전장인가

엔비디아가 AI 칩 시장을 지배해 온 힘은 칩 성능만이 아니다. 개발자가 쓰는 소프트웨어 대부분이 엔비디아의 CUDA를 전제로 만들어졌다는 점이 더 큰 무기였다. 테크크런치는 "파이토치가 2016년 메타(당시 페이스북)에서 나왔을 때 이미 엔비디아 GPU가 AI 연구의 표준이었고, 그래서 많은 기능이 그 칩에 맞춰 만들어졌다"고 짚었다. 로이터는 지난해 12월 구글이 메타의 도움을 받아 이 프로젝트를 추진하고 있으며, 목표는 개발자들이 CUDA에 덜 의존하게 만드는 것이라고 단독 보도한 바 있다. 이번 공개는 그 계획이 실제 제품으로 나온 것이다.

빅테크 사정도 맞물려 있다. 구글 블로그에 실린 메타 파이토치 엔지니어링 디렉터 야나 반 그루넨의 말이 이를 잘 보여 준다. "우리는 하나의 하드웨어 구조에 묶여 있을 수 없다." 칩값과 전력이 AI 기업의 최대 비용이 된 상황에서, 칩을 고를 수 있느냐가 곧 협상력이다.

엇갈리는 시각

신중론도 분명하다. 테크크런치는 "다른 칩과 클라우드로 쉽게 옮길 수 있게 됐다고 개발자들이 엔비디아 하드웨어를 한꺼번에 버리지는 않을 것"이라고 선을 그었다. 파이토치 블로그의 토치TPU 소개 글 역시 "장치 이름만 바꿔서는 TPU 최고 성능을 낼 수 없다. 모델의 형상과 분산 방식, 연산이 GPU 구조에 맞춰져 있을 수 있기 때문"이라고 적었다. 구글 개발자 블로그는 많은 모델이 어텐션 헤드 차원을 64로 고정하지만 TPU는 128이나 256에서 효율이 가장 높다고 예를 들었다. 하나의 TPU를 사용자 프로세스 하나만 쓸 수 있어 강화학습에서 학습과 추론을 한 칩에 같이 올리는 방식은 아직 기본 지원이 안 된다는 한계도 적혀 있다.

비용 비교도 조건이 따른다. 반도체 분석 업체 세미애널리시스는 공개 전인 9월 분석에서 FP8 추론 기준으로 아이언우드가 B200·B300보다 1달러당 최대 50% 낫다고 봤다. 하지만 FP4에서는 엔비디아가 여전히 앞서고, 프리필·디코드를 나눠 처리하는 방식에서도 지금은 엔비디아 GB200·GB300 NVL72가 더 경쟁력 있다고 덧붙였다. "네이티브 파이토치가 TPU 전용 최적화의 필요를 없애 주지는 않는다"는 것이 이 업체의 결론이다. 이번 보도와 발표에서 엔비디아 공식 반응은 확인되지 않았다.

한국 기업·개발자에게 주는 의미

국내 개발자에게 가장 직접적인 변화는 선택지다. 엔비디아 GPU를 구하기 어렵거나 비싸서 클라우드 비용에 시달리던 스타트업은, 같은 파이토치 코드를 구글 클라우드 TPU나 AWS 트레이니엄에서 먼저 돌려 보고 값을 비교할 수 있게 됐다. 다만 '일단 돌아가는 것'과 '돈값을 하는 것' 사이에는 칩별 조정 작업이 남아 있다. 그래서 이전 비용과 인력을 따져 보는 일이 먼저다.

국내 기업이 이 판에 직접 들어가 있다는 점도 눈에 띈다. 아마존은 토치뉴런을 함께 만든 협력사로 애니스케일, 모듈러 등과 함께 국내 AI 모델 경량화 기업 노타를 꼽았다. 국산 AI 반도체를 만드는 업체들에게도 시사점이 있다. 하드웨어보다 '개발자가 쓰던 코드를 그대로 받아 주는 소프트웨어'가 승부처라는 점을 구글과 아마존이 다시 확인해 줬기 때문이다. 파이토치가 특정 칩 의존을 덜어 낼수록 후발 칩 업체가 들어설 공간도 함께 넓어질 수 있다.

전망

구글은 토치TPU를 일부 대형 클라우드 고객이 이미 실제 학습·추론에 쓰고 있다고 밝혔다. 그래도 공식적으로는 아직 개발 중인 프로젝트이고, 토치뉴런도 공개 베타 단계다. 앞으로 관전 포인트는 두 가지다. vLLM·SGLang 같은 주요 추론 엔진이 새 모델을 내놓는 첫날부터 TPU와 트레이니엄을 지원하게 될지, 그리고 클라우드 고객이 실제로 일부 작업을 GPU 밖으로 옮기는 사례가 늘어날지다. CUDA라는 해자가 단번에 메워지지는 않겠지만, 그 위에 놓인 다리는 이번 주 분명히 두 개 늘었다.

— SSOK.AI 그록기자

참고 자료

• 구글 클라우드 블로그: https://cloud.google.com/blog/topics/ai-infrastructure/torchtpu-is-now-open-source-run-native-pytorch-on-tpus
• 파이토치 블로그(토치TPU): https://pytorch.org/blog/introducing-torchtpu/
• 구글 개발자 블로그: https://developers.googleblog.com/torchtpu-running-pytorch-natively-on-tpus-at-google-scale/
• 허깅페이스 블로그: https://huggingface.co/blog/hf-torchtpu
• 파이토치 블로그(토치뉴런): https://pytorch.org/blog/introducing-torchneuron-native-pytorch-backend-for-aws-trainium/
• 어바웃 아마존: https://www.aboutamazon.com/news/innovation-at-amazon/torchneuron-pytorch-aws-trainium-chips-ai
• 테크크런치: https://techcrunch.com/2026/10/20/google-has-joined-amazon-in-attacking-nvidias-stronghold-with-ai-app-developers/
• 세미애널리시스 인퍼런스X: https://inferencex.semianalysis.com/blog/tpu-inferencex-full-steam
• 로이터(2025년 12월): https://www.reuters.com/business/google-works-erode-nvidias-software-advantage-with-metas-help-2025-12-17/