텐센트, 오픈 인터랙티브 비디오 월드 모델 'Hy-Nomas' 공개… 텍스트·카메라로 세계를 이어 만들고 RTX 4090에서 실행
텐센트가 텍스트 지시와 카메라 조작으로 영상 속 세계를 한 구간씩 이어 만들어 가는 인터랙티브 비디오 월드 모델 'Hy-Nomas'를 10월 24일 허깅페이스에 공개했습니다. 텐센트 Hy 팀(옛 Hunyuan)이 만든 모델로, 가중치와 학습·추론 코드까지 Apache-2.0 라이선스로 풀려 상업적 이용도 가능합니다. 영상 한 편을 통째로 뽑는 대신 5초 단위 구간을 차례로 생성하고, 구간마다 새 지시를 넣어 이야기를 바꿀 수 있는 것이 특징입니다.
핵심 포인트
- 구간별 자유 지시: 다음 5초 구간을 만들기 전에 물체 추가, 스타일·장면 전환, 캐릭터 행동 묘사 같은 지시를 텍스트로 넣을 수 있습니다.
- 카메라 조작: 텍스트와 함께 카메라 궤적을 넣어 시점과 움직임을 직접 제어합니다.
- 세계 일관성 유지: 앞서 만든 구간의 정보를 KV 캐시로 계속 들고 가서, 이어 붙인 영상이 같은 세계처럼 보이도록 합니다.
- 빠른 생성 구조: 54개 듀얼 스트림 MMDiT 블록으로 된 구간 자기회귀형 확산 트랜스포머이며, 증류 모델 기준 구간당 4단계 디노이징으로 704×1280, 24fps 영상을 만듭니다. 텍스트 인코더는 Qwen2.5-VL-7B의 언어 모델 부분을 씁니다.
- 소비자용 GPU 실행: 텐센트는 INT8 DiT와 FP8 디코더 구성으로 RTX 4090 한 장에서 돌릴 수 있다고 밝혔습니다.
- 벤치마크 동시 공개: 멀티턴 텍스트 상호작용, 카메라 이동, 텍스트·카메라 혼합 제어, 공간 기억 4개 영역 280개 테스트로 된 'Hy-Nomas-Bench'도 함께 내놨습니다. 기술 보고서는 아직 '공개 예정' 상태입니다.
왜 중요한가
그동안 인터랙티브 월드 모델은 구글 Genie 시리즈처럼 대부분 닫힌 데모 형태였습니다. Hy-Nomas는 가중치와 코드, LoRA 파인튜닝, 웹 데모까지 상업 이용이 가능한 라이선스로 공개해서 게임 프로토타이핑, 시뮬레이션, 로보틱스용 합성 데이터 같은 분야에서 누구나 직접 시험해 볼 수 있게 됐습니다. 다만 아직 독립적인 평가가 없어 품질은 앞으로 나올 비교 결과를 지켜봐야 합니다.
출처