Kokoro TTS와 SuperClonica: 로컬 음성 합성을 위한 작은 모델 두 가지

Kokoro-82M는 어떤 모델인가

Kokoro는 StyleTTS 2와 ISTFTNet 디코더를 기반으로, 퍼블릭 도메인 음성과 자유 라이선스 음성, 합성 음성 수백 시간으로 학습했습니다. 가중치는 Apache 2.0이고, 제작자는 상업용 제품에 쓰는 것을 분명히 환영합니다.

설치는 pip install kokoro로 하고, 영어 사전에 없는 단어와 일부 다른 언어를 처리하는 espeak-ng가 따로 필요합니다. 출력은 24 kHz입니다. 별도 라이브러리인 kokoro-js를 쓰면 Transformers.js로 브라우저 안에서 모델을 통째로 돌릴 수 있습니다.

Kokoro와 Supertonic 3의 지원 언어: Kokoro에는 한국어가 없다

v1.0의 목소리 54개는 미국 영어 20개, 영국 영어 8개, 중국어(표준어) 8개, 일본어 5개, 힌디어 4개, 스페인어 3개, 브라질 포르투갈어 3개, 이탈리아어 2개, 프랑스어 1개입니다. 목소리 목록 스스로도 음소 변환이 약하고 학습 데이터가 적어 영어 외 언어 지원은 부족할 수 있다고 밝힙니다.

Supertonic 3는 31개 언어를 지원하며, Kokoro에 전혀 없는 한국어, 러시아어, 독일어, 폴란드어, 우크라이나어, 터키어도 포함됩니다. Kokoro의 언어 중 중국어를 뺀 나머지는 모두 지원합니다. 중국어가 필요하다면 Kokoro에는 목소리가 있고 Supertonic 3에는 아직 없습니다.

기본 목소리인가, 나만의 목소리인가

Kokoro에는 정해진 기본 목소리가 들어 있습니다. 모델 카드에 따르면 인코더는 공개되지 않았고, 공식 패키지로는 내 녹음을 새 목소리로 만들 수 없습니다.

SuperClonica는 맞춤 목소리가 중심입니다. 카탈로그에는 독립 작가들이 만든 Supertonic 3 목소리가 있고, 모두 데모와 달러 가격이 붙어 있으며 일부는 무료입니다. 마음에 드는 게 없으면 참고 녹음으로 목소리를 의뢰할 수 있고, 예산은 결과를 승인할 때까지 잔액에 묶여 있습니다. 내 NVIDIA GPU에서 5~10초 길이의 깨끗한 녹음으로 직접 무료로 학습할 수도 있습니다. 어느 쪽이든 오프라인에서 돌아가는 JSON 파일 하나를 받습니다.

일반 CPU에서의 속도

Kokoro는 측정하지 않아서 속도 수치는 싣지 않습니다. 파라미터 8200만 개로 Supertonic 3보다 조금 작으니, 내 하드웨어와 내 텍스트로 직접 시험해 보세요.

SuperClonica는 8코어 데스크톱 CPU에서 실시간보다 6.4~9.7배 빠르다고 추정합니다. 10초 문장이면 약 1.0~1.6초입니다. 엔진은 CPU에서 Supertonic 3 기본 클라이언트보다 평균 61% 빠르고, 긴 글을 짧게 나눠 읽어 단어 반복이나 끊김이 적으며, 같은 목소리 파일을 변환 없이 읽습니다.

Kokoro가 더 나은 경우

한국어처럼 Kokoro에 없는 언어, 기본 목소리 밖의 목소리, 내 녹음으로 만든 목소리가 필요하면 SuperClonica가 맞습니다. 다음과 같은 경우에는 Kokoro가 낫습니다.

• 영어 낭독용으로 작고 무료인 모델이 필요하고, 기본 목소리로 충분할 때.
• Supertonic 3가 아직 지원하지 않는 중국어가 필요할 때.
• 가장 자유로운 조건을 원할 때. Apache 2.0에는 OpenRAIL-M과 달리 금지 용도 목록이 없습니다.
• 브라우저에서 음성을 만드는 앱이고, kokoro-js가 이미 기술 스택에 맞을 때.