F5-TTS와 SuperClonica: 제로샷 복제인가, CPU에서 빠른 음성인가
F5-TTS는 플로 매칭과 Diffusion Transformer를 기반으로 한 오픈 음성 합성 모델입니다. 2024년 10월 처음 공개되었고, 2025년 3월 개선된 v1 기본 모델이 나왔습니다. 제로샷으로 목소리를 복제해서, 짧은 참고 음성과 그 텍스트를 주면 그 목소리로 말합니다. SuperClonica는 방식이 다릅니다. 목소리를 한 번 Supertonic 3 파일로 학습해 두면, 그다음부터는 일반 CPU에서 빠르게 돌아갑니다.
CPU용이나 상업용 F5-TTS 대안을 찾고 있다면, 무엇이 달라지는지 정리했습니다.
F5-TTS의 동작 방식
F5-TTS는 ConvNeXt V2를 결합한 Diffusion Transformer로, Emilia 데이터셋의 공개 다국어 데이터 약 10만 시간으로 학습했습니다. 공식 기본 모델은 중국어·영어 모델입니다. 참고 녹음과 대본을 넣어 쓰는데, 대본을 비워 두면 음성 인식 모델이 채워 주는 대신 GPU 메모리를 더 씁니다.
커뮤니티가 다른 언어용으로 추가 학습한 모델도 있고, 저장소에서 링크를 제공합니다. 저희 표에서는 공식 기본 모델의 2개 언어로 셉니다.
CPU와 GPU에서의 F5-TTS 속도
GPU에서 F5-TTS는 빠릅니다. 저장소에 따르면 NVIDIA L20 한 장, 16스텝 기준으로 TensorRT-LLM이면 RTF 0.0402, PyTorch면 0.1467입니다.
CPU에서는 저희 표에서 가장 느린 모델입니다. ZipVoice 논문은 Xeon Platinum 8457C 1스레드, 32스텝에서 RTF 37.284를 측정했습니다. 최신 16스레드 데스크톱 CPU로 실효 2.5~7.5배 빨라진다고 가정하면 실시간보다 5~15배 느린 셈이고, 10초 문장에 50~150초가 걸립니다. SuperClonica는 약 1.0~1.6초입니다.
품질과 음색 안정성
저희 평가에서 F5-TTS는 품질 5점 만점에 3점, 음색 안정성 3점이고, SuperClonica는 4.5점과 5점입니다. 제로샷 복제는 요청할 때마다 참고 음성으로 목소리를 다시 만들기 때문에, 결과가 넣는 음성에 따라 달라집니다. 학습된 목소리 파일은 매번 같은 음색에서 시작합니다.
라이선스: 상업적 이용 전에 확인하세요
F5-TTS 코드는 MIT 라이선스입니다. 하지만 사전 학습 모델은 학습 데이터 Emilia 때문에 CC-BY-NC 라이선스이며, 기본 조건으로는 공식 가중치를 상업적으로 쓸 수 없습니다.
Supertonic 3는 OpenRAIL-M으로, 비상업 조항 대신 금지 용도 목록을 둔 무료 라이선스입니다. SuperClonica에서 산 목소리는 내 프로젝트용이며 재판매할 수 없습니다.
F5-TTS를 고를 때
Supertonic 3의 31개 언어로 만드는 제품, GPU 없는 PC, 속도 차이가 몇 시간으로 쌓이는 긴 글이라면 SuperClonica가 맞습니다. 다음과 같은 경우에는 F5-TTS가 낫습니다.
- 제로샷 복제를 활용한 연구와 비상업적 실험.
- GPU에서 중국어·영어 음성, 또는 내 언어용 커뮤니티 모델.
- 학습 과정 없이 지금 바로 짧은 음성으로 복제가 필요할 때.