모델 비교

Fish Audio·Fish Speech와 SuperClonica 비교

Fish Audio는 오픈 음성 합성 모델 가운데서도 표현력이 뛰어난 모델을 만들고 있고, 저희 비교에서도 S2 Pro가 가장 높은 품질 점수를 받았습니다. 하지만 GPU용으로 만든 큰 모델이기도 합니다. SuperClonica는 정반대입니다. 일반 CPU에서도 빠르고 오프라인으로 돌아가는 작은 Supertonic 3 목소리 파일입니다.

GPU가 없거나 앱 안에 음성을 넣고 싶어서 Fish Audio나 Fish Speech의 대안을 찾고 있다면 계속 읽어 보세요. 표현력이 최우선이거나 중국어가 필요하다면 Fish Audio가 더 맞을 가능성이 높습니다.

Fish Audio, Fish Speech, S2 Pro는 무엇이 다른가

Fish Audio는 오픈 모델을 GitHub의 fish-speech 저장소에 공개하며, 초기 모델도 그 이름으로 나왔습니다. 예를 들어 Fish Speech 1.5는 13개 언어를 지원하고 CC-BY-NC-SA-4.0 라이선스입니다. 최신 모델의 이름은 Fish Audio S2와 S2 Pro입니다.

비교표에 있는 S2 Pro는 이중 자기회귀(Dual-AR) 구조입니다. 40억 파라미터 모델이 주 코드북을 예측하고, 4억 파라미터 모델이 나머지 9개를 채웁니다. 모델 카드에 따르면 80개 이상의 언어를 지원하며, [whisper in small voice]나 [pitch up] 같은 자유 형식 태그를 텍스트에 넣을 수 있습니다. 저장소에는 더 새롭고 큰 Fish Audio Drama 3도 올라와 있지만, 저희 표에는 아직 반영하지 않았습니다.

Fish Audio S2 Pro와 SuperClonica의 CPU 속도

8코어 데스크톱 CPU 기준 저희 추정으로는 S2 Pro가 음성 1초당 4~10초의 연산을 합니다. 10초짜리 대사라면 40~100초가 걸립니다. SuperClonica는 약 1.0~1.6초입니다.

이는 저희 표에서 가장 거친 수치입니다. 공개된 CPU 벤치마크가 없어서, GGUF 클라이언트 s2.cpp와 모델 구조를 바탕으로 실효 메모리 대역폭 30~50GB/s를 가정해 계산했습니다. GPU라면 얘기가 다릅니다. Fish Audio는 NVIDIA H200 한 장에서 RTF 0.195, 첫 음성까지 약 100ms를 발표했습니다.

Fish Audio가 더 나은 점

표현력 있는 음성에서는 Fish Audio S2 Pro의 강점이 분명합니다.

  • 품질: 저희 표에서 5점 만점에 5점. SuperClonica는 4.5점입니다.
  • 언어: 중국어를 포함해 80개 이상. Supertonic 3는 31개이고 중국어는 아직 없습니다.
  • 학습 없는 목소리 복제: fish-speech 저장소에 따르면 10~30초 참고 음성으로 음색을 재현할 수 있습니다.
  • 감정 제어: 속삭임, 웃음, 강조, 음높이를 텍스트 안의 태그로 지정합니다.

라이선스와 상업적 이용

S2 Pro 가중치는 Fish Audio Research License로 공개되어 있습니다. 연구와 비상업적 이용은 무료지만, 상업적 이용에는 Fish Audio의 별도 라이선스가 필요합니다. 저장소의 코드와 나머지 가중치는 Fish Audio Community License를 따릅니다.

Supertonic 3는 OpenRAIL-M으로 공개되어 있습니다. 비상업 조항 대신 금지 용도 목록을 둔 무료 라이선스이며, 동의 없이 다른 사람을 사칭하는 것도 금지 용도에 들어갑니다. SuperClonica에서 산 목소리는 내 프로젝트용이며 재판매할 수 없습니다.

Fish Audio와 SuperClonica, 어떻게 고를까

CPU 속도와 음색 안정성은 SuperClonica가 앞섭니다. 둘 다 5점 만점에 5점이고, S2 Pro는 1점과 4점입니다. 노트북으로 몇 시간짜리 내레이션을 만들거나 플레이어 PC에서 음성을 생성한다면, 품질의 마지막 반 별보다 이쪽이 더 중요합니다.

  • Fish Audio S2 Pro: 성능 좋은 GPU가 있고, 중국어나 더 드문 언어, 짧은 음성으로 하는 즉석 복제, 감정 태그가 필요할 때.
  • SuperClonica: CPU에서, 오프라인으로, 예측 가능한 속도로 돌리거나 배포하는 앱 안에 넣을 때.