블록, 텍스트 없이 '말소리'로만 배운 음성 AI 'Dessa' 연구 프리뷰 공개… 맥북에서 로컬 실행
오늘 저녁 소식은 잭 도시가 이끄는 블록(Block)이 공개한 음성 AI 'Dessa'입니다. 블록은 10월 23일(미국 시간) Dessa를 연구 프리뷰로 공개했는데요, 텍스트나 사전학습 모델 없이 오직 사람들의 대화 음성만으로 처음부터 학습한 '풀듀플렉스' 음성 대화 모델이라는 점이 눈에 띕니다. 말을 하면서 동시에 듣기 때문에 끼어들기, 맞장구, 웃음 같은 자연스러운 대화 흐름을 그대로 다룰 수 있다고 합니다.
핵심 포인트
- 음성만으로 학습: 텍스트 데이터나 기존 언어모델 없이, 사람의 대화 녹음만으로 처음부터 학습했습니다. 블록은 대형 언어모델보다 "수백 배 적은 단어"로 언어를 익혔다고 설명합니다.
- 풀듀플렉스 음성→음성: 음성을 텍스트로 바꾸는 단계 없이 오디오를 바로 받아 오디오로 답합니다. 듣는 동시에 말하고, "응", "아하" 같은 맞장구나 끼어들 타이밍도 스스로 판단합니다.
- 감정까지 듣고 표현: 웃음, 한숨, 비꼬는 말투, 떨리는 목소리 같은 감정 신호를 그대로 알아듣고 표현할 수 있다고 합니다.
- 로컬 실행: 실시간보다 빠르게 추론하며, M4 Max 이상 맥북 프로에서 로컬로 돌아간다고 밝혔습니다. 학습은 엔비디아 GB200 NVL72 시스템 한 대로 진행했습니다.
- 아직은 연구 프리뷰: 지금은 소수의 AI 안전 연구자에게만 먼저 공개되고, 일반 사용자는 대기자 명단에 등록할 수 있습니다. 모델 크기, 벤치마크, 가중치, API, 출시일은 아직 공개되지 않았습니다.
왜 중요한가
지금의 음성 AI 대부분은 말을 텍스트로 바꾼 뒤 처리하기 때문에 말투나 감정 같은 정보가 사라지고 대답 타이밍도 어색해지기 쉽습니다. Dessa는 소리만으로 대화를 배운 모델이 실제로 자연스러운 실시간 대화를 할 수 있다는 걸 보여준 사례라 음성 AI의 새로운 방향으로 주목받고 있습니다. 다만 공개된 녹음은 모두 블록이 고른 시연이고 외부 검증은 아직 없습니다. 사람과 구분하기 어려운 목소리가 보이스피싱 같은 사기에 악용될 수 있다는 우려도 함께 나오고 있어, 안전 연구자 검증 이후의 공개 방식을 지켜볼 필요가 있습니다.
출처