크래프톤, 직접 만든 오픈 모델 'Raon-1 mini' 프리뷰 공개… 28.8B MoE·26만 토큰, 한국어·에이전트 특화
크래프톤 AI가 처음부터 직접 설계·학습한 언어모델 'Raon-1 mini'의 프리뷰 버전을 허깅페이스에 공개했습니다. 전체 288억(28.8B) 파라미터 중 토큰당 약 43억(4.3B)만 쓰는 MoE(전문가 혼합) 구조로, 한국어 대화와 에이전트 작업에 강점을 내세웠고 Apache 2.0 라이선스로 상업적 활용도 열려 있습니다.
핵심 포인트
- 크기와 구조: 총 28.8B 파라미터, 활성 4.3B의 MoE 모델입니다. 128개 전문가 중 6개와 공유 전문가 1개가 토큰마다 작동합니다.
- 긴 문맥: 기본으로 최대 262,144토큰(약 26만 토큰)의 문맥을 지원합니다.
- 자체 어텐션 설계: 25개 층 중 18개는 고정 크기 상태를 쓰는 선형 어텐션 'Raon Delta Attention', 7개는 Gated MLA로 구성해 KV 캐시 부담을 크게 줄였습니다.
- 한국어·에이전트 특화: 모델 카드는 한국어 대화와 에이전트 작업에서의 강한 성능을 강조합니다.
- 오픈 라이선스: Apache 2.0으로 공개됐고, NVFP4 양자화 버전 등 파생 체크포인트도 함께 올라왔습니다.
- 프리뷰 단계: 정식 버전 전 공개본이라 사양과 성능 수치는 바뀔 수 있습니다.
왜 중요한가
국내 게임 기업이 외부 모델을 가져다 쓰지 않고 아키텍처부터 직접 만든 오픈 모델을 내놓았다는 점이 눈에 띕니다. 활성 파라미터가 4B대라 비교적 가벼운 자원으로도 돌릴 수 있고, 한국어에 강한 오픈 웨이트 모델 선택지가 하나 더 늘었다는 점에서 국내 개발자와 기업에게 의미가 큽니다.
출처