Chatterbox TTS와 SuperClonica: 즉시 복제인가, 학습된 목소리 파일인가
Chatterbox는 Resemble AI가 MIT 라이선스로 공개한 오픈 음성 합성 모델 제품군입니다. 모든 모델이 짧은 참고 음성으로 목소리를 제로샷 복제합니다. 제품군에는 파라미터 5억 개에 23개 언어를 지원하는 Multilingual V3, 3억 5천만 개의 영어 전용 Turbo, CPU용 1억 1천만 개의 영어 전용 Nano, 그리고 단일 언어용으로 추가 학습한 모델들이 있습니다.
SuperClonica는 반대 방향입니다. 목소리를 한 번 Supertonic 3 파일로 학습해 두면 그다음부터 일반 CPU에서 빠르게 돌아갑니다. Chatterbox는 저희 비교 표에 없으므로 저희 자체 속도나 품질 점수는 싣지 않습니다.
Chatterbox 모델 구성
Multilingual V3는 범용 모델로 아랍어, 덴마크어, 독일어, 그리스어, 영어, 스페인어, 핀란드어, 프랑스어, 히브리어, 힌디어, 이탈리아어, 일본어, 한국어, 말레이어, 네덜란드어, 노르웨이어, 폴란드어, 포르투갈어, 러시아어, 스웨덴어, 스와힐리어, 터키어, 중국어를 지원합니다. 중국어, 중남미·스페인 스페인어, 브라질·포르투갈 포르투갈어, 힌디어용 추가 학습 모델도 따로 있습니다.
Turbo는 지연이 낮은 영어 음성 에이전트용이며 [laugh], [cough] 같은 태그를 이해합니다. Nano는 같은 구조에 파라미터 1억 1천만 개이고, Resemble AI에 따르면 CPU 8코어에서 실시간보다 3배 빠릅니다. 패키지는 pip install chatterbox-tts로 설치하며 Python 3.11에서 검증되었습니다.
짧은 음성으로 복제할 것인가, 학습된 목소리인가
Chatterbox는 요청마다 참고 녹음을 넣고, 모델이 그 녹음으로 목소리를 다시 만듭니다. 새 목소리를 얻는 가장 빠른 방법이지만 결과는 넣는 녹음에 따라 달라집니다.
SuperClonica는 목소리를 한 번만 학습합니다. 정확한 대본이 있는 5~10초 길이의 깨끗한 녹음과 내 컴퓨터의 NVIDIA GPU가 필요하고, 학습도 JSON 다운로드도 무료입니다. GPU가 없으면 작가에게 의뢰할 수 있고, 예산은 결과를 승인할 때까지 묶여 있습니다. 카탈로그에서 데모가 있는 기성 목소리를 골라도 됩니다. 그 뒤로는 모든 요청이 같은 파일에서 시작합니다.
CPU에서의 Chatterbox 속도
저희는 Chatterbox를 측정하지 않았습니다. Resemble AI가 밝힌 Nano 수치는 CPU 8코어에서 실시간보다 3배 빠르다는 것이고, 더 큰 모델의 예제는 CUDA에서 돌아갑니다.
SuperClonica는 8코어 데스크톱 CPU에서 실시간보다 6.4~9.7배 빠르다고 추정합니다. 두 수치는 서로 다른 테스트와 텍스트에서 나왔으니 출발점으로만 보고 내 컴퓨터에서 직접 측정해 보세요.
라이선스와 워터마크
Chatterbox의 코드와 가중치는 가장 자유로운 라이선스 중 하나인 MIT입니다. Chatterbox가 생성하는 모든 파일에는 Resemble AI의 PerTh 워터마크가 들어갑니다. 귀에 들리지 않고 MP3 압축과 편집에도 남도록 만든 표시로, 나중에 합성 음성임을 알아볼 수 있게 합니다.
Supertonic 3는 금지 용도 목록이 있는 무료 라이선스 OpenRAIL-M입니다. SuperClonica에서 산 목소리는 내 프로젝트용이며 재판매할 수 없습니다.
Chatterbox가 더 나은 경우
고정된 목소리 파일, Supertonic 3의 31개 언어로 CPU에서 빠른 음성, 작가가 만들어 주는 목소리가 필요하면 SuperClonica가 맞습니다. 다음 경우에는 Chatterbox가 낫습니다.
- 학습 없이 짧은 음성으로 바로 복제하고 싶을 때.
- Supertonic 3가 지원하지 않는 중국어, 히브리어, 말레이어, 스와힐리어.
- 웃음, 기침 같은 비언어 태그를 쓰는 표현력 있는 영어.
- 모델 가중치에 MIT 라이선스가 필요한 프로젝트.