Sesame AIの音声とCSM-1B：デモ、オープンモデル、代替
MayaとMilesとして知られる声を使ったSesameの会話型音声デモは多くの人を驚かせ、Sesameはオープンな音声モデルCSM-1Bも公開しました。この2つは同じものではなく、自分のプロジェクトで声を使いたいなら重要な違いです。
このガイドでは、CSM-1Bのモデルカードに基づいて、オープンモデルの中身、動かすのに必要なもの、利用ルール、そしてSuperClonicaのようなすぐ使えるエンジンのほうが手軽な場面を紹介します。
デモとオープンモデル
モデルカードによると、Sesameの対話型音声デモはCSMをファインチューニングした版で動いています。公開されたCSM-1BはベースのConversational Speech Modelなので、そのままではデモとまったく同じ声やふるまいにはなりません。CSMはテキストと音声のコンテキストから音声を生成し、それによって会話のターンをまたいで話者を一定に保ちます。
CSM-1Bとは
CSMはLlamaベースの基盤と、Mimiの音声コードを出力する小さな音声デコーダーで構成されています。2025年3月13日にApache-2.0ライセンスで公開され、Hugging Face Transformersではバージョン4.52.1からネイティブに対応しています。主な言語は英語で、カードによると他の言語は限定的で、おそらく品質が低くなります。ダウンロードにはHugging Faceの連絡先情報の共有に同意する必要があります。
動かし方とルール
カードのサンプルコードは、CUDA対応のグラフィックカードがあればそれを使い、なければCPUで動きます。カードは、明確な同意なく実在の人物をまねること、人をだますコンテンツの作成、違法または有害な目的での利用を禁じています。
普通のパソコンですぐ使える代替
研究用モデルではなく今すぐ音声が必要なら、python -m pip install superclonica-cpuで無料のSuperClonicaエンジンを入れ、superclonica --text "Hey, good to hear from you." --voice F1 --lang ja --output hello.wav を実行します。普通のCPUでオフライン動作し、31言語を話し、M1〜M5とF1〜F5の10種類の標準音声が付属します。エンジンはApache 2.0、Supertonic 3モデルはOpenRAIL-Mで、制限の範囲内で商用利用ができます。
声と自分の声
カタログの声は各ページで無料で試せます。30〜100文字を貼り付けるだけで、アカウントは不要です。自分の声を使うなら、5〜10秒のきれいなフレーズを録音してスタジオで学習させます。自分のNVIDIAグラフィックカードなら学習は無料です。なお、カタログの無料音声MayaはSuperClonica独自の声で、Sesameとは関係ありません。