Sesame AI 음성과 CSM-1B: 데모, 오픈 모델, 대안
Maya와 Miles로 알려진 목소리를 쓴 Sesame의 대화형 음성 데모는 많은 사람을 놀라게 했고, Sesame은 오픈 음성 모델 CSM-1B도 공개했습니다. 둘은 같은 것이 아니며, 내 프로젝트에 목소리를 쓰려면 이 차이가 중요합니다.
이 가이드는 CSM-1B 모델 카드를 바탕으로 오픈 모델이 무엇인지, 실행에 무엇이 필요한지, 사용 규칙은 어떤지, 그리고 SuperClonica 같은 바로 쓰는 엔진이 더 간단한 경우를 설명합니다.
데모와 오픈 모델
모델 카드에 따르면 Sesame의 인터랙티브 음성 데모는 CSM을 미세 조정한 버전으로 동작합니다. 공개된 CSM-1B는 기본 Conversational Speech Model이므로 그대로는 데모와 똑같이 들리거나 동작하지 않습니다. CSM은 텍스트와 오디오 맥락을 함께 받아 음성을 만들며, 이렇게 대화 턴 사이에 화자를 일정하게 유지합니다.
CSM-1B란
CSM은 Llama 기반 백본과 Mimi 오디오 코드를 출력하는 작은 오디오 디코더로 이뤄져 있습니다. 2025년 3월 13일 Apache-2.0 라이선스로 공개됐고, Hugging Face Transformers 4.52.1부터 기본 지원됩니다. 주 언어는 영어이며, 카드에 따르면 다른 언어는 제한적이고 품질이 낮을 가능성이 큽니다. 내려받으려면 Hugging Face 연락처 정보 공유에 동의해야 합니다.
실행 방법과 규칙
카드의 예제 코드는 CUDA 그래픽카드가 있으면 이를 쓰고, 없으면 CPU로 동작합니다. 카드는 명시적 동의 없이 실존 인물을 흉내 내는 것, 기만적인 콘텐츠를 만드는 것, 불법적이거나 해로운 목적의 사용을 금지합니다.
일반 컴퓨터에서 바로 쓰는 대안
연구용 모델이 아니라 지금 바로 음성이 필요하다면 python -m pip install superclonica-cpu로 무료 SuperClonica 엔진을 설치하고 superclonica --text "Hey, good to hear from you." --voice F1 --lang ko --output hello.wav를 실행하세요. 일반 CPU에서 오프라인으로 동작하고 31개 언어를 말하며, M1~M5와 F1~F5의 기본 음성 10종이 포함됩니다. 엔진은 Apache 2.0, Supertonic 3 모델은 OpenRAIL-M이며 제한 범위 안에서 상업적 사용이 가능합니다.
목소리와 내 목소리
카탈로그 목소리를 각 페이지에서 무료로 들어 보세요. 30~100자를 붙여 넣으면 되고 계정은 필요 없습니다. 내 목소리를 쓰려면 5~10초의 깨끗한 문장을 녹음해 스튜디오에서 학습시키세요. 내 NVIDIA 그래픽카드로 학습하면 무료입니다. 참고로 카탈로그의 무료 음성 Maya는 SuperClonica 자체 목소리로 Sesame과 관련이 없습니다.