メインコンテンツへスキップ
見出し画像

専用のEnd-to-End Full-Duplexモデルを使わず、自然な音声対話は実現できるのか?

    DuplexJev × VOICEVOX Coreのストリーミング合成 × オリジナルボイスモデルによるモジュール型音声対話システムの研究

    2026年11月8日|技術研究・アーキテクチャ提案


    はじめに


    実際の速度テストの様子

    体験版

    人間同士の会話には、AIとの会話にはまだ十分に再現できていない特徴がある。

    相手が話している途中で「うん」「そうなんだ」と相槌を打ち、答えを考えるときには「ええと」「そうだね」とフィラーを使う。相手が話し始めれば、自分の話を止めて耳を傾ける。

    従来の音声対話AIでは、音声認識、LLMによる文章生成、TTSによる音声合成が順番に処理されることが多く、返答までに不自然な無音時間が発生する。

    近年では、入力音声と出力音声を同時に扱うEnd-to-EndのFull-Duplex音声対話モデルが登場している。一方、利用できる声や必要な計算資源はモデル・実装によって異なり、目的のキャラクター音声を組み込めるとは限らない。

    そこで本研究では、会話のタイミングを判断するモデルと、文章生成・音声合成を独立させ、並列実行する方式を検討する。

    さらに、単なる音声合成サービスの利用にとどまらず、オリジナルの音声モデルを制作する技術も研究対象とする。

    最終的な目標は、以下の4つである。

    1. ユーザーが話している間にも相槌を返せること。

    2. フィラーを自然に使い、回答生成中の無音時間を減らせること。

    3. AIの発話中でも、ユーザーの割り込みに対応できること。

    4. キャラクター固有のオリジナルボイスを維持しながら、低遅延で応答できること。

    画像

    1. 複数の処理系を組み合わせてFull-Duplex音声対話を構成する

    Full-Duplexとは、本来、双方向の情報を同時に送受信できる通信方式を意味する。音声対話システムでも、専用の単一モデルを使うことが定義上の条件ではない。ASR・LLM・TTSなどを組み合わせ、発話中にも入力を処理して会話行動へ反映する構成を取れる。Full-Duplex-Benchも、カスケード型とEnd-to-End型を区別して整理している。本稿では、前者に当たるモジュール型の構成を検討する。参考:Full-Duplex-Bench

    音声対話において重要なのは、入力と出力が同時に動くことに加えて、相手の発話に対して適切な行動を選択することである。

    例えば、ユーザーが「今日、ちょっと嫌なことがあって……」と話している途中でAIが本回答を始めると、ユーザーの話を遮ってしまう。

    一方、何も返さなければ、AIが話を聞いているのか分からない。

    そこで本研究では、会話の振る舞いを4種類に分類する。

    | 会話行動 | 役割 |
    |---|---|
    | Backchannel(相槌) | 相手が話している間に短く反応する |
    | Filler(フィラー) | 返答準備中の間を自然につなぐ |
    | Turn-taking(発話交替) | 発話の終了・継続を判断し、話す順番を調整する |
    | Barge-in(割り込み) | AIの発話中に、ユーザーの割り込みと相槌を区別して応答する |

    これらの判断を独立したAIに担当させることで、通常のLLMを使っていても、より自然な会話ができるのではないかと考える。

    2. DuplexJevによる会話タイミングの判断

    本研究では、DuplexJevを会話判断モデルとして採用する。

    DuplexJevは、音声と質問・選択肢、必要に応じた会話状態を入力し、会話状態などを判断するSpeech-to-Decisionモデルである。判断モードでは、各選択肢に対応する単一トークンの確率を読み出すため、回答文を自己回帰的に生成する必要がない。参考:DuplexJev論文

    例えば、ユーザーが発話を終えたか、AIが話すのをやめるべきか、どのフィラーが適切かといった判断を行える。

    音声を一度すべて文字起こししてから判断する方式とは異なり、声の抑揚、間、話し方といった音響情報を利用できることが特徴である。

    本研究の候補であるDuplexJev-4B-Para v1.4は約4.2Bパラメータで、日本語を含む学習データが使用されている。ただし、日本語データが含まれることだけで、日本語会話における相槌の出力タイミングやフィラー選択の精度が保証されるわけではない。これらは独自に評価する。参考:モデルカード

    本研究では、DuplexJevから得た判断結果を会話スケジューラへ渡し、実際に音声を出力するかどうかを決定する。

    ここでは、DuplexJevを会話判断に使い、本回答の文章生成と音声合成を別の処理系に担当させる。これは本研究で選ぶ役割分担であり、DuplexJev全体の能力の制限ではない。DuplexJev-4B-Paraは通常の対話テキストも生成できるが、このチェックポイント単体では音声を出力しない。参考:モデルカードの利用方法と制約

    また、公開例にある「backchannel」の判定は、入力されたユーザーの発声が相槌かどうかを分類するものを含む。これを、AIが相槌を返す最適な時刻を直接予測する機能と同一視してはいけない。本研究では、モデルの判定結果に、会話文脈・直前の相槌からの経過時間・AIの再生状態などを組み合わせ、AI側の相槌出力をスケジューラで制御する。参考:DuplexJevの会話状態・割り込みの例

    3. 提案システムの構成

    システムは主に以下の処理系統から構成される。

    音声入力・認識

    マイク音声を常時取得し、エコーキャンセルなどの前処理を行う。VADは音声活動の有無を検出し、ストリーミングASRは発話内容を逐次認識する。VADが無音を検出したことと、ユーザーが発話権を譲ったことは同一ではない。

    会話判断

    前処理後の音声をバッファに保持し、短いポーズやAI発話中のユーザー発声を契機に、対象区間をDuplexJevへ送る。AIの再生状態や直前の発話も判断の文脈として与える。音声区間に対する要求・応答を繰り返す設計とし、モデルへ接続するだけで連続監視が完成するとは想定しない。参考:DuplexJevの実行方式

    応答文章生成

    ストリーミングASRによって得た部分的なテキストを使い、LLMが応答の準備を開始する。

    音声合成

    確定したテキストをVOICEVOX Coreまたはオリジナルボイス対応TTSエンジンへ渡す。

    会話スケジューラ

    相槌、フィラー、本回答の再生時刻・優先順位を管理し、生成処理へ開始・破棄の指示を送る。割り込みを受け付けた場合は、再生停止、未再生キューの破棄、古い応答の無効化を行う。

    処理フロー

    マイク音声 → AEC・前処理
      ├─ VAD・音声バッファ → DuplexJev → 判断結果
      └─ ストリーミングASR → LLM → 確定テキスト → TTSアダプタ → 音声
    
    TTSアダプタの接続先:VOICEVOX Core または独自TTSエンジン
    
    判断結果・合成音声・相槌/フィラーのキャッシュ
                          │
                          ▼
                  会話スケジューラ
                          │
                          ▼
                  共通PCM再生キュー
                          │
                          ▼
                       音声出力

    会話スケジューラは、上流の生成処理にも開始・破棄を指示する。

    実際に再生する音声をエコーキャンセル(AEC)用の参照信号として入力処理へ戻す。AI自身の声の回り込みを、ユーザーの発話や割り込みと誤認しないための設計である。

    この構造で、入力を聞きながら次の回答を準備し、必要に応じて短い反応を先に返すことを目指す。生成処理は並列化するが、AI側の複数の発話が重ならないよう再生を制御する。

    4. 相槌・フィラー・本回答を並列化する

    人間の会話では、相手が話している間にも次の返答を考えている。

    AIでも同様に、発話終了を待たずに一部の推論を開始できれば、返答までの時間を短縮できる可能性がある。

    例えば、次のような会話を想定する。

    ユーザー: 「昨日、友達とちょっと喧嘩しちゃって……」

    AI: 「うん」

    ユーザー: 「どうしたら仲直りできるかな?」

    AI: 「そうだね……まず、何がきっかけだったか整理してみようか」

    このとき、「うん」は相槌として出力する。

    「そうだね」はフィラーに近い短い反応であり、LLMが本回答の準備を進めている間に再生できる。

    ただし、本回答がすでに生成されている場合は、無理にフィラーを挿入する必要はない。

    また、ユーザーの発話が未確定の段階で生成された文章は、その後の発話によって意味が変わる可能性がある。

    そこで先行推論で生成した文章は、発話終了時に更新された認識結果との整合性を確認し、必要であれば破棄・再生成する。古い認識結果に基づくLLM出力や合成音声が後から届いても再生されないよう、応答ごとの識別子で管理する。

    本研究では、体感的な応答速度だけでなく、実際に本回答が始まるまでの時間も測定する。

    5. VOICEVOX Coreのストリーミング合成による低遅延化

    VOICEVOX Core 0.17.1(2026年10月23日、日本時間)では、音声波形を少しずつ生成できるストリーミングトーク機能が追加された。本稿の「VOICEVOXのストリーミング合成」は、このCoreの機能を指す。参考:0.17.1リリースノート

    これを利用すると、音声全体の生成完了を待たずに再生を開始できる。

    ただし、LLMの文字列ストリーミングをそのままVOICEVOXの波形ストリーミングへ接続できるわけではない。

    VOICEVOX側では、ある程度まとまったテキストからAudioQueryを作成する必要がある。

    そこで、次の二段階で音声を出力する。

    第1段階:LLMの文章を区間ごとに確定

    LLMが生成した文章を、意味の成立するフレーズや文単位で区切る。

    第2段階:確定した文章をVOICEVOXで逐次合成

    区間ごとにAudioQueryを作成して音声合成を開始し、生成されたPCMデータを順番に再生する。Pythonの`streaming_synthesis`が最初に返す要素はWAVヘッダーであり、その後のPCMチャンクと分けて扱う。0.17.1ではC APIとJava APIに同名のラッパーはなく、`create_audio_feature`と`render`を用いて区間を合成する。参考:0.17.1のAPI説明

    後続の文章生成は、その間も並列で進める。再生側に小さなバッファを設け、音切れを防ぎつつ、バッファが大きすぎて割り込み停止を遅らせないよう調整する。

    なお、短い相槌やフィラーは事前に音声ファイルを生成してキャッシュする方式も採用する。

    これにより、相槌のたびにTTSを呼び出す必要がなくなり、応答タイミングを安定させやすくなる。


    画像

    6. オリジナルボイスモデルの制作研究

    ここからは、本研究に新たに追加するテーマである。

    既存のVOICEVOX音声に依存せず、独自のキャラクター音声を制作し、それをモジュール型のFull-Duplex音声対話システムで利用できるようにする。

    この取り組みには、単に好みの声を作るという目的だけではなく、会話の自然さを改善するという意義がある。

    人間の声には、声質、話速、イントネーション、息遣い、感情表現など、さまざまな特徴がある。

    相槌やフィラーも、キャラクターごとに自然な発声が異なる。

    例えば、活発なキャラクターなら短く明るい「うん!」が自然かもしれない。

    一方、落ち着いたキャラクターなら、小さく「うん……」と返すほうが自然に感じられる。

    本研究では、こうした声の特徴をデータから学習し、対話制御と組み合わせることを目指す。

    6.1 まず、VOICEVOXと独自音声モデルの関係を整理する

    VOICEVOX Coreでは、VVM形式の音声モデルを読み込んで音声合成を行う。

    VOICEVOX Core 0.17.1のストリーミング機能では、新形式のVVM(`vvm_format_version=2`)が必要となる。参考:リリースノートのモデル要件

    ただし、公開されているVOICEVOX Coreの推論機能と、自由に新しい声を学習してVVMモデルを作成する機能は別である。

    本研究ではVOICEVOX Coreを公開済みVVMの推論に使用し、独自VVMを学習・制作する環境は前提にしない。

    したがって、オリジナルボイスの制作については、VOICEVOX Coreだけで完結することを前提にしない。

    以下の複数の手法を比較する。

    6.2 候補となる音声合成技術

    | 技術 | 特徴 | 本研究での用途 |
    |---|---|---|
    | Style-Bert-VITS2 | 日本語対応。独自音声学習とスタイル制御が可能 | オリジナルキャラクター音声の制作 |
    | AivisSpeech Engine | 独自モデルを追加でき、VOICEVOX Engineに概ね近いHTTP APIを提供 | 自作モデルをアプリへ統合 |
    | GPT-SoVITS | 少量の音声から声質を適応させる技術に対応 | 少量データでの予備実験 |
    | VOICEVOX Core | VVM対応の音声合成と波形ストリーミング | 低遅延TTSの基準システム |

    初期実験ではStyle-Bert-VITS2を第一候補とする。

    Style-Bert-VITS2には日本語向けのJP-Extra構成があり、音声データセットの作成や学習に利用できるWebUIも用意されている。学習にはリポジトリの学習環境を準備する。`pip install style-bert-vits2`だけで導入するライブラリは推論用である。参考:公式README

    また、学習したモデルをONNXへ変換し、AIVM Generatorなどを使ってAIVMX形式にすれば、AivisSpeech Engineで利用できる。

    AivisSpeech EngineはVOICEVOX EngineのHTTP APIと概ね互換性があるため、既存の音声対話システムに統合しやすい可能性がある。

    ただし、AIVMX形式とVOICEVOX CoreのVVM形式は互換ではない。

    AIVMXモデルを、そのままVOICEVOX Coreの`streaming_synthesis`で利用することはできない。

    そのため、オリジナルボイスを採用する場合は、AivisSpeech Engineなどから音声を生成し、アプリケーション側で区間単位の逐次再生を実装する。

    この違いは、本研究の重要な検証ポイントとなる。

    6.3 オリジナル音声データの収録

    モデルの品質を左右する重要な工程が、音声データセットの制作である。

    必要となるのは、学習対象となる人物が発声した音声と、その内容を正確に記録したテキストである。

    録音では、次の条件をできるだけそろえる。

    • 静かな場所で収録する。

    • 同じマイクや収録環境を使用する。

    • 録音時の音量が極端に変化しないようにする。

    • BGM、効果音、他人の声が混入しないようにする。

    • 録音データを非圧縮WAV形式で保存する。

    • 音声に対応する正確なテキストを用意する。

    録音形式は、例えば48kHz・24bit・モノラルを収録時の候補とし、学習モデルの仕様に合わせて適切な形式へ変換する。

    重要なのは、無条件に高いサンプリングレートを使うことではなく、音質を安定させることである。

    収録データの種類

    本研究では、通常の読み上げだけでなく、会話に特化した収録データを用意する。

    | データ種別 | 収録内容 |
    |---|---|
    | 通常会話 | 日常的な文章 |
    | 感情表現 | 喜び、悲しみ、怒り、驚き |
    | 相槌 | うん、うんうん、へえ、そうなんだ |
    | フィラー | えっと、あのね、そうだね |
    | 長文 | 30秒程度の説明文など |
    | 短文 | はい、いいえ、ありがとう |
    | 発話速度 | ゆっくり、通常、やや速い |
    | 特殊表現 | 疑問、感嘆、ささやきなど |

    特に、相槌とフィラーは本研究で重要な要素となる。

    同じ「うん」でも、喜んでいるとき、真剣に聞いているとき、悲しんでいる相手に寄り添うときでは声の出し方が異なる。

    こうした違いを学習できるかどうかを検証する。

    収録時間の実験条件

    収録時間については、モデルによって必要量が異なる。

    そこで本研究では、以下を比較条件として設定する。

    • 少量データ実験: 10〜30分

    • 中規模データ実験: 1〜2時間

    • 拡張データ実験: 3〜5時間以上

    これは研究上の比較条件であり、各モデルで十分な品質を保証する必要時間ではない。

    音声の総時間だけでなく、録音品質、発音の多様性、感情表現のバランスなども評価する。

    6.4 音声データセットの加工

    収録した音声をそのままモデルに渡すのではなく、学習に適した形式へ整理する。

    研究上の処理工程は以下のとおりである。

    工程1:音声のクリーニング

    ノイズ、不要な無音、録音ミスなどを確認する。

    工程2:音声の分割

    長い収録データを短い発話区間へ分割する。

    Style-Bert-VITS2の標準的な学習では、公式案内の2〜14秒程度を目安に区切る。30秒程度の収録素材は分割して使い、単独では非常に短い相槌は、学習用の長さ条件と区別して再生用キャッシュとしても保持する。参考:学習データの要件

    工程3:文字起こし

    ASRなどを利用して発話テキストを生成する。

    ただし、誤変換をそのまま学習に使用すると発音品質が低下する可能性があるため、必ず内容を確認する。

    工程4:読み方・発音の修正

    固有名詞、数字、英単語、特殊な読み方などを整理する。

    工程5:スタイル分類

    必要に応じて、音声をNeutral、Happy、Sadなどのグループへ分ける。

    工程6:学習用・検証用・最終テスト用データの分離

    データは学習用、設定やチェックポイントを選ぶ検証用、最終評価だけに使うテスト用へ分ける。同一の収録から切り出した隣接区間が分割先をまたがないよう、元の収録やセッションを単位に振り分ける。

    6.5 Style-Bert-VITS2による音声モデル学習

    最初の実験では、Style-Bert-VITS2の学習機能を用いる。

    具体的には、次の流れで実施する。

    1. Style-Bert-VITS2をインストールする。

    2. データセット作成機能を起動する。

    3. 録音データを取り込み、音声分割と文字起こしを行う。

    4. 誤ったラベルや不適切な音声を修正する。

    5. 学習用の設定ファイルとデータセットを準備する。

    6. 既存の事前学習済みモデルからファインチューニングする。

    7. 複数の学習チェックポイントを保存する。

    8. 検証用の文章でチェックポイントを選び、未使用のテスト用文章で最終評価する。

    すべての音声を最初から学習するのではなく、事前学習モデルを利用したファインチューニングを基本とする。

    これにより、比較的少量の音声データでも、特定の声質を持つモデルを制作できる可能性がある。

    ただし、学習を長く続ければ必ず良い音声になるわけではない。

    過学習によって未知の文章の読み上げ品質が低下することもある。

    そのため、学習ステップ数ごとのチェックポイントを保存し、音質や発音の安定性を比較する。

    6.6 オリジナルボイスの感情表現を学習する

    本研究では、声質を再現するだけでは不十分と考える。

    会話中の状況に応じて、声の感情表現を変更できることも重要である。

    例えば、キャラクターの音声スタイルとして以下を想定する。

    | スタイル | 想定する音声 |
    |---|---|
    | Neutral | 通常の会話 |
    | Happy | 楽しそうな話し方 |
    | Sad | 落ち着いた悲しげな話し方 |
    | Excited | 興奮した短い反応 |
    | Thinking | 考え込むような話し方 |
    | Gentle | 相手を気遣う柔らかい話し方 |

    Style-Bert-VITS2ではスタイルベクトルを使った音声制御が可能で、スタイル作成は学習本体と独立して行える。HappyやSadといった名前を付けるだけで、その感情が新たに学習されるわけではない。収録音声から得たベクトルと、学習済みモデルが再現できる表現の範囲を確認する。参考:スタイルの生成

    そのため、録音データのスタイル分類やスタイルベクトル作成の方法を比較し、意図した音声表現を再現できるか検証する。

    注意すべき点は、モデルのスタイル制御だけですべての自然な感情が再現できるわけではないことだ。

    相槌については、専用に収録した短い音声をキャッシュする方式も併用する。

    例えば、「うん」という発話について、Neutral、Happy、Sadなどの複数の音声を用意しておく。

    会話スケジューラが、DuplexJevの判定や会話文脈を参考に音声ファイルを選択する。ユーザーの声から推定した感情と、AIが返すべき音声スタイルは区別し、相槌の遅延と文脈への適合性を評価する。

    6.7 AivisSpeech Engineへのモデル変換

    Style-Bert-VITS2で学習した独自モデルは、同プロジェクトの推論機能から直接利用できる。AivisSpeech Engineに組み込む場合には、対応するAIVMX形式へ変換する。参考:Style-Bert-VITS2の推論・ONNX変換

    AivisSpeech Engineは、Style-Bert-VITS2およびJP-ExtraのAIVMXモデルに対応する。AIVMXは、ONNXモデルに設定・スタイルベクトル・話者情報などのAIVMメタデータを格納した形式である。別形式の`.aivm`ファイルを中間生成することが必須という意味ではない。参考:AIVMX仕様

    研究では、次の工程を検討する。

    学習済みStyle-Bert-VITS2モデル
                 │
                 ▼
           ONNX形式へ変換
                 │
                 ▼
           AIVMメタデータを格納
           (設定・スタイルベクトル・話者情報など)
                 │
                 ▼
             AIVMXファイル
                 │
                 ▼
          AivisSpeech Engine
                 │
                 ▼
           HTTP APIで区間を合成
                 │
                 ▼
              WAVを取得
                 │
                 ▼
           デコード・PCM形式統一
                 │
                 ▼
          会話スケジューラ・再生

    AivisSpeech EngineはVOICEVOX EngineのHTTP APIと概ね互換性がある。

    ただし、スタイルIDやAudioQueryの仕様には差異があるため、単純なURLの差し替えだけで完全に動作するとは限らない。

    確認したAivisSpeech Engineの`/synthesis`実装は、要求された区間の波形を合成してからWAVを返す。VOICEVOX Coreのように同一区間の波形を生成途中から受け取る処理とは異なる。また、`/cancellable_synthesis`は未対応で、501を返す。参考:音声合成APIの実装

    Aivis Cloud APIは別のサービス・実装であり、そちらのストリーミング機能をローカルのAivisSpeech Engineの機能として扱わない。参考:EngineとCloud APIの説明

    したがって、AivisSpeech Engineを使う構成では、文章を短い区間に分け、各区間のWAVを文章の順序を保って再生する。これはアプリケーション側の逐次再生であり、モデル自体の波形ストリーミングとは区別して遅延を比較する。割り込み時は再生を止めて未再生音声を破棄し、合成処理を中断できない場合は完了後の結果を捨てる。

    6.8 オリジナルボイスの低遅延化

    音声モデルの学習に成功したとしても、リアルタイム会話で利用するには推論速度の改善が必要となる。

    研究では次の方法を比較する。

    ① ONNX Runtimeの利用

    PyTorchモデルから推論向け形式へ変換し、推論時の処理効率を改善できるか検証する。

    ② 音声合成の区間分割

    一度に長文を生成するのではなく、確定した短文から逐次合成する。

    ③ 相槌・フィラーのキャッシュ

    短い反応音声は事前に合成し、必要になった瞬間に再生する。

    ④ 音声モデルの常時ロード

    モデルを毎回ロードするのではなく、推論プロセスを常駐させる。

    ⑤ モデルの軽量化

    対応する実装がある場合、量子化、計算グラフ最適化などによる高速化を検証する。

    ただし、モデルの軽量化によって音質が劣化する可能性もあるため、速度と品質の両方を評価する。

    6.9 オリジナル音声を会話制御へ統合する

    最終的には、TTSの種類に依存しない共通の音声合成アダプタを設計する。

    LLMと会話スケジューラは、共通のインターフェースからTTSを利用する。スケジューラには、エンジンごとの波形ストリーミング対応・合成処理の中断可否・利用できるスタイルを通知する。

    音声合成アダプタは以下の情報を受け取る。

    • 読み上げテキスト

    • キャラクターID

    • 音声スタイル

    • 発話速度

    • 優先度

    • キャンセル用の識別子

    アダプタは、VOICEVOX CoreのPCMチャンクやAivisSpeech EngineのWAVを受け取り、必要なデコード・サンプルレート・チャンネル数・サンプル形式の変換を行って、共通のPCM再生キューへ渡す。

    これにより、会話制御の主要部分を共通化しつつ、TTSエンジンと音声モデルを交換できる。対応機能や遅延の差はアダプタとスケジューラで吸収する。

    さらに、キャラクターの音声ごとに相槌・フィラーのキャッシュを持つことができる。

    相槌の具体的な動作例

    1. ユーザーが話し始める。

    2. DuplexJevが入力音声の会話状態を判定する。

    3. 会話スケジューラが判定結果・会話文脈・直前の相槌時刻・キャラクター設定から、相槌を出すか決める。

    4. 対応する相槌音声をキャッシュから選択する。

    5. ユーザーの発話を妨げない音量・タイミングで再生する。

    6. その間も音声認識とLLMの応答準備を継続する。

    この方式であれば、TTSが完全な音声ストリーミングに対応していなくても、相槌などの短い反応を高速に出力できる。

    6.10 音声モデルの品質評価

    オリジナルボイスモデルの評価では、単に「似ているか」だけでなく、対話に適しているかを確認する。

    | 指標 | 評価方法 |
    |---|---|
    | 声質の類似性 | 元の録音と生成音声の聞き比べ |
    | 自然性 | 人間による主観評価 |
    | 日本語の発音 | 固有名詞・数字・長文の読み上げ |
    | 感情表現 | 感情別の聞き比べ |
    | 初回音声生成遅延 | TTS要求から最初の再生可能なPCMが得られるまで。ヘッダーのみの到着は除く |
    | Real-Time Factor | 合成処理時間 ÷ 生成音声の長さ。初回遅延とは別に評価する |
    | 安定性 | 音飛び、発音崩れ、無音の発生率 |
    | 接続品質 | 短い文章を連続再生した際の自然さ |

    また、相槌とフィラーについては、単純な音声品質に加えて、会話の状況との適合性を評価する。

    7. 実験に使用する計算環境

    実験環境としては、GPU搭載PCを中心に、処理の役割分担を検討する。

    例えば以下のような構成が考えられる。

    | 処理 | 実験構成 |
    |---|---|
    | 音声収録・前処理 | CPU / ローカルPC |
    | DuplexJev | GPU推論 |
    | ストリーミングASR | CPUまたはGPU |
    | LLM | GPUまたは別サーバー |
    | VOICEVOX | CPUまたはGPU |
    | オリジナルTTS | 対応エンジンのCPUまたはGPU推論。AivisSpeech EngineはONNX Runtimeを利用 |
    | 再生・割り込み制御 | ローカルアプリ |

    すべての処理を単一GPUで実行する方法に加え、DuplexJevやLLMを別のGPUへ分離する構成も検証する。

    DuplexJev-4B-Paraのモデルカードでは、BF16推論時のGPUメモリの目安が約10GBとされている。これは入力長・バッチ数・推論ランタイムなどによらない固定の必要量ではない。16GB VRAM環境で他のモデルを同時に動かせるかは、各処理の実測値で判断する。参考:モデルカード

    また、音声モデルを小さくしても、CPUとGPU間の転送、モデルロード、音声バッファの制御などが遅延要因となることがある。

    したがって、GPU使用率だけでなく、音声入力から再生開始までの処理時間を工程ごとに測定する。

    画像

    8. 実証実験

    本研究では、会話制御方式と音声合成方式を組み合わせて比較する。

    会話方式の比較

    | 実験 | 構成 |
    |---|---|
    | A | 通常のASR → LLM → TTS |
    | B | 固定フィラーを追加 |
    | C | DuplexJevの判定を使ったスケジューラによる相槌・フィラー制御 |
    | D | DuplexJev+先行LLM推論+逐次TTS |
    | E | 実験Dにオリジナルボイスモデルを統合 |

    音声合成方式の比較

    VOICEVOX Core+VVMのストリーミング合成を基準とし、Style-Bert-VITS2の直接推論、同系モデルをAIVMXに変換したAivisSpeech Engine経由の推論、GPT-SoVITSによる推論を比較する。Style-Bert-VITS2とAivisSpeech Engineは、モデル系統と実行エンジンという異なる層にあるため、別のモデル方式として単純に並べない。

    各モデルについて、最初の音声が再生可能になるまでの時間、連続発話時の品質、感情表現、CPU・GPU負荷を測定する。

    評価指標

    初回反応遅延

    評価用に注釈したユーザーのターン終了時刻から、その後にAIの最初の音声が再生されるまでの時間。フィラーも含める。ユーザー発話中の相槌は、この指標とは別に評価する。

    本回答開始遅延

    同じユーザーのターン終了時刻から、フィラーを除いた本回答の再生が始まるまでの時間。システムが終了を検出した時刻を起点にすると検出遅延が抜けるため、評価上の起点をそろえる。

    相槌の適切さ

    相槌の内容とタイミングが会話に合っているか。

    割り込み対応時間

    ユーザーの割り込み発話が始まってから、AIの音声再生が実際に止まるまでの時間。内部の「検出から停止まで」も別に測り、検出遅延と再生停止遅延を分ける。ユーザーの相槌を誤って割り込み扱いした割合も評価する。

    キャラクターらしさ

    生成された声や反応がキャラクター設定と一致しているか。

    会話の自然さ

    実際の対話を人間が聞き、主観的に評価する。

    特に、フィラーで初回反応遅延を短くできたとしても、本回答開始遅延が増加していないかを確認する。ユーザーが発話を続けるつもりのポーズ中に本回答を始める誤りも数える。遅延は平均に加えて中央値・95パーセンタイルを示し、モデル、端末、キャッシュ、文章分割などのうち、比較対象以外の条件をそろえる。各要素の効果を切り分ける場合は、一度に変える条件を一つにする。

    これらは今後の実証実験の評価設計であり、本稿時点で各モデルを統合した性能が実証されたものではない。

    9. 技術的課題と権利関係

    実用化に向けては、音質・速度以外の問題も考慮する必要がある。

    音声モデルの利用権

    声の提供者から、収録・学習・生成音声の使用・モデルの配布について必要な許諾を取得する。

    自分自身の声を利用する場合でも、第三者の録音素材、キャラクターの権利、モデルのライセンスなどが関係する場合がある。

    モデル・ソフトウェアのライセンス

    DuplexJevの公開コードはApache-2.0だが、DuplexJev-4B-Paraの完成済みモデルはCC BY-NC 4.0であり、公開モデルのライセンスでは商用利用できない。開発元は別途商用ライセンスの提供を案内している。参考:コードとモデルのライセンス

    Style-Bert-VITS2についても、ソフトウェア、事前学習済みモデル、追加学習データの利用条件をそれぞれ確認する必要がある。

    VOICEVOXの音声ライブラリを使用する場合は、個々のキャラクター・音声ライブラリの規約と必要なクレジットを守る。参考:VOICEVOX音声モデル・音声ライブラリの利用規約

    モデルの安全な配布

    オリジナルボイスモデルは、声の提供者の同意がないまま第三者へ公開しない。

    必要に応じて、モデルの使用範囲を制限し、生成音声であることを表示できる仕組みも検討する。

    10. 今後の研究計画

    第1段階:モジュール型Full-Duplexの基本実装

    DuplexJevとVOICEVOX Coreを接続し、相槌・フィラー・割り込み制御を実装する。

    まずは既存の音声モデルを使用して、会話のタイミングを検証する。

    第2段階:オリジナルボイスモデル制作

    許諾済みの音声データを収録し、Style-Bert-VITS2によるファインチューニングを行う。

    収録時間とモデル品質の関係を調べ、低遅延対話に適したモデルを選定する。

    第3段階:低遅延推論への統合

    AivisSpeech Engineを使う構成では、学習済みモデルをONNXへ変換し、必要なメタデータを格納したAIVMXファイルを作成して音声対話システムへ接続する。

    既存のVOICEVOX Core方式と比較し、速度と音質を評価する。

    第4段階:キャラクター固有の対話表現

    相槌、フィラー、感情スタイルをキャラクターごとに調整する。

    さらに、音声再生とLive2Dなどのアニメーションを連携させ、うなずき、表情変化、視線移動などを実現する。

    第5段階:長時間運用

    長時間の連続対話において、音声モデルの安定性、メモリ使用量、推論遅延、割り込み精度を検証する。

    最終的には、配信や接客、教育などで利用できる実用的なリアルタイム音声対話システムを目指す。商用化する場合は、DuplexJevの別途商用ライセンスを確保するか、商用利用できる会話判断モデルへ置き換える。

    結論

    Full-Duplex音声対話は、専用のEnd-to-Endモデルだけでなく、複数の処理系を組み合わせる方式でも構成できる。本研究で検証するのは、その構成が日本語会話でどの程度の自然さと低遅延性を実現できるかである。

    本研究では、会話判断、文章生成、音声合成を分離して並列実行する方法を検討した。

    DuplexJevの判断を材料に会話スケジューラが「いつ反応するか」を決め、別のLLMが本回答として「何を話すか」を生成する。

    VOICEVOXや独自TTSモデルが「どのような声で話すか」を担当する。

    そして会話スケジューラが、それぞれの処理を統合する。

    さらに、オリジナルボイスモデルの学習技術を組み合わせることで、既存の音声ライブラリに依存しない、キャラクター固有の会話表現を実現できる可能性がある。

    ただし、AIVMX形式のStyle-Bert-VITS2系モデルをVOICEVOX Coreへ直接読み込むことはできない。それぞれに対応する推論エンジンを共通の音声合成アダプタの背後に置き、出力音声の形式をそろえて逐次再生する。

    本研究の中心的な仮説は、音声AIの自然さはモデルの大きさだけで決まるのではなく、会話のタイミング、並列処理、声の表現を組み合わせることで改善できるというものである。

    この仮説を、実際の日本語音声対話を用いて検証していく。


    参考資料

    1. DuplexJev — GitHub

    2. DuplexJev-4B-Para — Hugging Face

    3. VOICEVOX Core 0.17.1

    4. VOICEVOX VVM

    5. Style-Bert-VITS2

    6. AivisSpeech Engine

    7. Aivis Project

    8. AIVM / AIVMXフォーマットとメタデータ操作ライブラリ

    9. GPT-SoVITS

    10. Full-Duplex-Bench

    11. DuplexJev論文

    12. AIVM Generator

    13. AivisSpeech Engine 音声合成APIの実装

    本記事は2026年11月8日時点で公開されている仕様・研究成果を参考にした技術的な提案であり、提案システム全体の実測結果ではありません。

     
     
    サウンドエンジニア / 鈴鹿9:50(@suzuca950)マネージャー /動画作ったり、音響やったり、イベンターしたり、Unity触ったりして生きてます。

    あなたへのおすすめ