엔비디아, 오픈 음성 모델 'Nemotron 3.5 Transcribe' 공개… 40개 언어 받아쓰기·화자 구분·번역을 한 모델로
엔비디아가 10월 28일 오픈 웨이트 음성 모델 Nemotron 3.5 Transcribe를 공개했습니다. 받아쓰기, 화자 구분, 음성 번역, 오디오 질의응답을 체크포인트 하나로 처리하는 '음성 언어모델(SALM)'로, 최대 1시간 길이 녹음을 40개 언어로 받아쓸 수 있습니다. 어떤 형식으로 받아쓸지(숫자 표기, 말 더듬 정리, 전문 용어 표기 등)를 재학습 없이 자연어 지시로 고를 수 있다는 점이 특징입니다. 모델과 함께 음성 데이터 파이프라인 Granary v2와 미세조정 도구도 공개했습니다.
핵심 포인트
- 하나의 모델로 여러 작업: 40개 언어 받아쓰기, 31개 언어와 영어 간 번역, 13개 언어 화자 구분(최대 8명), 단어 단위 타임스탬프, 언어 식별, 오디오 질의응답(영어)을 지원합니다.
- 구조: Nemotron 3.5 Lightning 30B-A3B 하이브리드 Mamba-Transformer MoE에 음성 인코더와 화자 인코더를 붙였고, 총 34B 중 약 4.3B 파라미터만 활성화됩니다. 컨텍스트는 65,536토큰입니다.
- 성능: 엔비디아에 따르면 영어 Open ASR 리더보드 평균 WER 4.71%, 다국어 리더보드 4.62%로 오픈 웨이트 모델 중 1위입니다. 예상 고유명사 목록을 주면 ContextASR-Bench에서 고유명사 오류가 6분의 1로 줄었다고 밝혔습니다.
- 빠른 추론: 자체 MTP 추측 디코딩과 DFlash2 드래프트 모델을 지원하며, RTX PRO 6000 Blackwell GPU 1장에서 NVFP4 체크포인트로 초당 최대 2,238초 분량의 오디오를 처리했다고 합니다.
- 배포와 라이선스: BF16·FP8·NVFP4·GGUF 체크포인트를 OpenMDW-1.1 라이선스로 공개했고 상업적 이용도 가능합니다. Hugging Face, ModelScope, NGC, build.nvidia.com에서 받을 수 있고 vLLM, SGLang-Omni, Transformers를 지원합니다. BF16 기준 H100 80GB 1장에서 돌아갑니다.
- Granary v2: 48개 언어, 46만 3,062시간 분량의 음성 데이터 매니페스트와 데이터 정제 파이프라인을 함께 공개했습니다. 원본 녹음은 각자의 라이선스를 따릅니다.
왜 중요한가
회의록, 콜센터 통화, 의료 받아쓰기처럼 '누가 무슨 말을 했는지'까지 필요한 작업은 지금까지 음성 인식, 화자 분리, 번역 모델을 따로 이어 붙여야 했습니다. Nemotron 3.5 Transcribe는 이를 하나의 오픈 모델로 합치고, 자체 서버나 오프라인 환경에서도 돌릴 수 있게 해 음성 데이터를 외부로 보내기 어려운 기업에 현실적인 선택지가 됩니다. 함께 공개된 Granary v2와 미세조정 레시피로 특정 분야 용어나 억양에 맞게 고쳐 쓸 수 있다는 점도 눈여겨볼 만합니다. 다만 한국어가 작업별로 어디까지 지원되는지는 모델 카드의 언어 지원표에서 확인하는 것이 좋습니다.
출처