디퓨스페이스, 확산형 오픈 모델 'Clover-35B-A3B-Preview' 공개… 35B MoE로 Qwen급 성능에 초당 680토큰
홍콩대 NLP 그룹의 확산형 언어모델 'Dream 7B' 팀 멤버들이 세운 디퓨스페이스(DiffuSpace)가 10월 30일, 확산형(diffusion) MoE 언어모델 'Clover-35B-A3B-Preview'를 Apache 라이선스 오픈소스로 공개했습니다. 토큰을 한 글자씩 순서대로 만드는 기존 자기회귀 방식 대신 블록 단위로 병렬 생성하는 구조로, 비슷한 크기의 Qwen3.6-35B-A3B보다 점수는 높고 생성 속도는 훨씬 빠르다는 게 회사 설명입니다.
핵심 포인트
- 35B MoE, 활성 3B: 전체 350억 파라미터 중 토큰당 30억만 쓰는 MoE 확산 언어모델이며, 생각(thinking) 모드를 지원합니다.
- 에이전트·코딩 성능: SWE-bench Verified 73.6, Terminal-Bench 2.1 51.7, τ³ Overall 65.3으로 비교한 6개 에이전트 벤치마크 모두에서 최고점을 기록했다고 밝혔습니다. 확산 모델 LLaDA2.2 flash, Mercury 2.5와 Qwen3.6-35B-A3B보다 높은 수치입니다.
- 일반 능력: GPQA Diamond 83.8, ZebraLogic 95.8, AA-LCR 72.0으로 같은 체급 자기회귀 모델과 비슷하거나 앞섭니다.
- 빠른 속도: 단일 NVIDIA GB300에서 에이전트 작업 기준 초당 680토큰, H200에서는 초당 515토큰(비교 대상 365토큰)을 냈습니다.
- 로컬 실행: INT4 양자화로 16GB VRAM의 RTX 5070 Ti에서 돌아가며, MATH-500에서 초당 101.8토큰을 기록했습니다.
- 새 아키텍처: 블록 확산에 맞게 Gated DeltaNet(GDN)을 다시 설계해, 이전 문맥은 순환 상태로 압축하고 현재 블록 안의 토큰끼리는 양방향 어텐션으로 주고받게 했습니다.
- 바로 써볼 수 있음: 가중치와 코드가 Hugging Face, ModelScope, GitHub에 올라왔고 SGLang과 llama.cpp 추론을 지원합니다. 이 모델 기반의 의사결정 모델은 나중에 따로 공개할 예정입니다.
왜 중요한가
확산형 언어모델은 그동안 "빠르지만 작고 덜 똑똑하다"는 인식이 있었는데, Clover는 35B급으로 키워도 같은 크기 자기회귀 모델과 겨룰 수 있다는 근거를 오픈소스로 내놨습니다. 에이전트는 생각하고 실행하고 피드백을 받는 과정을 계속 반복하기 때문에 생성 속도가 곧 작업 속도가 됩니다. 소비자용 GPU에서도 돌아가는 빠른 오픈 모델이 나오면서 로컬 코딩 에이전트와 실시간 UI 생성 쪽의 선택지가 넓어졌습니다. 다만 벤치마크는 회사가 직접 발표한 수치이니 실제 사용 평가를 함께 지켜볼 필요가 있습니다.
출처