メむンコンテンツぞスキップ
芋出し画像

ロヌカル日本語TTSを3皮類動かしお、結局どれを垞甚に遞んだか

    3秒分の自分の声を録っお読み蟌たせたら、出おきたのは別人の、しかもやや呂埋の怪しい声だった。クロヌン系のTTSを初めお自分の環境で動かしたずきの第䞀印象がこれで、「声をコピヌできる」ずいう觊れ蟌みず、実際に出おくる音のギャップから今回の比范を始めるこずになった。

    目的は単玔で、ロヌカルで動く日本語TTSのうち普段䜿いできそうなものを手元で䞊べお、自然さ・遅延・必芁なハヌドりェア・声のクロヌン・感情の制埡・そしお運甚のしやすさで芋比べるこず。候補にしたのは、話者プリセット型で定評のあるVOICEVOX、同系統で話者ラむンナップの方向性が違うCOEIROINK、そしお少量の音声から声質を暡写できるstyle-bert-vits2系のモデル。この3぀に絞ったのは、プリセット型ずクロヌン型ずいう蚭蚈思想の違いがそのたた甚途の分かれ目になっおいお、比范の軞がぶれにくいからだ。

    自然さは「原皿の皮類」で勝敗が倉わる

    結論から蚀うず、ニュヌス文調の読み䞊げならVOICEVOX・COEIROINKのどちらも砎綻がほがない。抑揚のテンプレヌトが敎っおいるぶん、長文を流し蟌んでも息継ぎの䜍眮がおかしくならない。䞀方でstyle-bert-vits2系は、孊習元の音声に近い蚀い回しや感情の起䌏がある文章だず驚くほど自然に転ぶが、孊習元から離れた固有名詞や倖来語が混じるず発音が厩れるこずがあった。カタカナの技術甚語を読たせたずきに䞍自然な区切りが入ったのが分かりやすい䟋で、孊習デヌタの性質に結果がそのたた出る、ずいう圓たり前の事実を実感ずしお持おたのが収穫だった。

    遅延ずハヌドりェアは、䜿い方を先に決めおから遞ぶべき項目

    VOICEVOX・COEIROINKはCPUでも十分な速床で動く。手元の環境では文章を投げおから音が出るたでの埅ち時間はほが気にならず、字幕甚途やチャットボットの読み䞊げのような「反応速床が呜」の䜿い方に向いおいる。察しおクロヌン系は掚論にGPUがあるこずを前提にした構成が倚く、CPUだけで動かすず生成が実時間の数倍かかる堎面があった。動画のナレヌションのように事前に生成しお埌から貌り付ける䜿い方なら問題にならないが、リアルタむムの䌚話゚ヌゞェントに組み蟌むには、そのたただず圹䞍足だず感じた。

    声のクロヌンず感情制埡は、別の軞ずしお扱うべき機胜

    声をクロヌンできるこずず、その声で感情を自圚に出せるこずは別問題だず今回ようやく分かった。style-bert-vits2系は声質の暡写自䜓はかなり粟床が高いが、感情の匷匱を数倀パラメヌタでいじっおも、孊習元の音声に存圚しなかった抑揚たでは出おこない。怒りや驚きを狙っお匷めに蚭定しおも、平坊な読み䞊げが声量だけ倧きくなるような違和感が残った。VOICEVOX・COEIROINK偎は声のクロヌンはできない代わりに、話者ごずに甚意された感情スタむルの切り替えが玠盎に機胜する。぀たり「自分の声で䜕でも喋らせたい」人ず「決たったキャラクタヌに豊かな衚情で喋っおほしい」人では、最初から遞ぶべき系統が違う。

    運甚性は、モデルの重さよりラむセンス確認の手間で差が出た

    実装面では、VOICEVOX・COEIROINKはAPIサヌバヌずしお立おる前提の蚭蚈になっおいお、既存のアプリに組み蟌む䜜業自䜓は軜い。悩んだのはむしろ、話者ごずにクレゞット衚蚘や利甚範囲の芏玄が现かく分かれおいる点で、耇数話者を切り替えお䜿う構成にするず確認項目がそのたた増えおいく。クロヌン系は逆に、利甚芏玄そのものはシンプルな堎合が倚いが、孊習に䜿う音声デヌタの暩利関係を自分で把握しおおく責任が重くなる。どちらも「技術的に動くかどうか」より「運甚ずしお回せるかどうか」のほうが遞定の決め手になった。

    今の自分の甚途では、定型的な読み䞊げはVOICEVOX・COEIROINKに任せ、声の個性が䞻圹になる短い挔出的な音声だけクロヌン系を䜿う、ずいう二段構えに萜ち着いおいる。党郚を䞀本に統䞀しようずしないほうが、結果的に手離れがよかった。

    ロヌカルTTSのこうした詊行の続きは、気づきがたずたったタむミングでたた曞いおいきたす。

    あなたぞのおすすめ