
【論文瞬読】MoVE:笑い声・泣き声まで翻訳できる音声-音声翻訳をLoRAエキスパート混合で実現
はじめに
この記事の背景となる基礎知識は、こちらでまとめています。
こんにちは!株式会社AI Nestです。
「笑いながら冗談を言う」「泣きながら謝る」——人間のコミュニケーションには、言葉の意味だけでは伝わらない情報がたくさん詰まっています。ところが、現在の音声-音声翻訳(Speech-to-Speech Translation, S2ST)システムは、文字通りの意味は正確に訳せるものの、笑い声や泣き声といった非言語的発声(Non-Verbal vocalizations, NVs)を「ばっさり消し去ってしまう」という致命的な弱点があります。これでは、英語のジョークが中国語ではただのフラットな文に翻訳されてしまい、ユーモアが伝わりません。
今回ご紹介するのは、台湾大学とNVIDIA台湾から発表された論文「MoVE」です。本研究は、笑い声や泣き声を含む感情表現を翻訳先の音声でも再現できる新しいS2STシステムを提案。さらにわずか30分の高品質データだけで強力な性能を発揮できるという、データ効率の高さも示しました。
タイトル:MoVE: Translating Laughter and Tears via Mixture of Vocalization Experts in Speech-to-Speech Translation
URL:https://arxiv.org/abs/2604.17435
所属:National Taiwan University, NVIDIA Taiwan
著者:Szu-Chi Chen, I-Ning Tsai, Yi-Cheng Lin, Sung-Feng Huang, Hung-yi Lee
既存手法の何が課題だったのか
S2STは、ASR(音声認識)+ MT(機械翻訳)+ TTS(音声合成)の3タスクを統合する複雑な技術です。SeamlessM4TやSeamlessExpressiveのような最先端システムでも、論文中の評価ではNV保持率がたった14%——つまり笑い声を含む音声を翻訳すると、86%は普通の話し声に変換されてしまうのです。
著者らはこの問題を、2つのボトルネックに整理しています。
・データ不足:笑いや泣き声を含む高品質な並列音声コーパスが極端に少ない。既存のNV含有音声データは環境ノイズに汚染されていることが多く、感情表現の学習に向かない。
・アーキテクチャの困難さ:カスタムS2STモデルを直接表現データで訓練するのは困難。一方、AudioLLMのような大規模事前学習モデルは強力だが、表現豊かなS2STへの適用方法が確立されていない。
MoVEの全体像:2つの対策
著者らは、データ問題とモデル問題の両方に対処する設計を提案しました。
・データ側:スケーラブルな表現データ合成パイプラインを構築。GigaSpeechとGigaSTから並列en-zhテキストを取得し、5つの感情マニフォールド(Happy/Sad/Angry/Laughing/Crying)に対応する英中S2STペアを大量生成。
・モデル側:事前学習済みAudioLLM(Kimi-Audio)をベースに、Mixture-of-LoRA-Experts(MoVE)アーキテクチャでLoRAエキスパートを混合。

Stage 2で動的ルータを最適化
図1はMoVEの2段階訓練を示しています。Stage 1で5つのLoRAエキスパートを各感情に特化させ、Stage 2でルータを動的に最適化して複数エキスパートを柔らかく混合する構成です。
データ合成パイプラインの3つの工夫
スケーラブルで高品質な表現S2STコーパスを作るため、著者らは3段階のパイプラインを構築しました。
・Expressive Prompt Curation:標準的な感情(Happy/Sad/Angry)はCREMA-D、MSP-IMPROV、IEMOCAPから多様なサンプルを集約。NV(Laughter/Crying)は希少なため、笑い検出器(confidence > 0.99)でCREMA-D等から抽出し、泣き声はJVNVデータセットから手動検証。
・Emotion-Adaptive Synthesis via Attribute Decoupling:合成エンジンとしてIndexTTS2を使用。話者ID(神経プロンプト)と感情表現(NVプロンプト)を分離することで、限られたNVプロンプトでも多様な話者特性に投影できる仕組み。
・Automated Quality Assurance:(1)librosaで無音トリミング、(2)WhisperでASR-WER検証(≤0.5の緩い閾値、NVは一貫した転写を生まないため)、(3)ペアレベルでEN/ZH両方がWER閾値を通る組のみ採用。
このパイプラインで合計1,000時間のコーパスを生成し、コミュニティに公開予定です。
MoVEアーキテクチャ:Mixture-of-LoRA-Experts
MoVEは事前学習済みのKimi-Audio(AudioLLM)をベースとして固定し、LoRAアダプタだけを学習対象とします。これにより、ASR・TTS・クロスリンガル意味理解といった既存能力を温存しつつ、表現性だけを上乗せできます。
具体的には、5つの並列LoRAアダプタを全Transformerレイヤーに注入。各アダプタはHappy/Sad/Angry/Laughing/Cryingという1つの感情マニフォールドに特化します。アテンションとフィードフォワードゲート射影行列(W_q, W_k, W_v, W_o, W_gate)の5つのプロジェクションそれぞれにアダプタが入ります。
肝となるのがDynamic Soft-Weighting Routerです。X-LoRAに着想を得たアプローチで、各音声トークンに対して全エキスパートの重みを連続値で割り当て、混合します。「神経質な笑い」のような複合的な感情状態を表現するため、ハードなtop-k選択を避けて連続的な混合を採用しているのが特徴です。
ルーティングは入力隠れ状態 x に対して g_i(x) = Softmax(W_g · x) で計算され、最終出力は h(x) = W_0 x + Σ g_i(x) · (B_i A_i x) となります(W_0は固定ベース重み、B_i A_iが各LoRAエキスパート)。
2段階訓練:エキスパート専門化 → ルータ最適化
訓練は意図的に2段階に分かれています。
・Stage 1: Independent Expert Specialization:ベースLLMとアラインされたWhisperエンコーダを固定し、各LoRAエキスパートを担当感情のサブセットだけで訓練。各マニフォールド内に細かく専門化させ、感情間の干渉を避けます。
・Stage 2: Dynamic Router Optimization:専門化されたエキスパートを統合し、フルデータセットでルータだけを訓練。明示的な感情ラベルではなく、最終的な言語モデリング損失だけを使うことで、ルータが文脈手がかりから自律的に最適混合を学習します。
LoRA rank=256, α=256, AdamW(β₂=0.95), lr=1e-5。Stage 1は2エポック、Stage 2は1エポックで収束します。
実験結果:NVを76%保持、Naturalnessも最高評価
MoVEは、SeamlessM4T-Large-v2、SeamlessExpressive、gpt-4o-audio-preview、Kimi-Audio-7B-Instructといった主要ベースラインと比較されました。
定量結果を見ると、その差は歴然です。
・ASR-BLEU(en→zh):MoVE 32.5(次点 SeamlessM4T 25.8)—— 意味精度でもSOTA
・Aro-Val SIM:0.53(次点 SeamlessExpressive 0.45)—— 感情情報の保持
・Naturalness MOS:3.85(次点 gpt-4o 2.87)—— 自然さ
・Emotion SMOS:3.79(次点 SeamlessExpressive 2.57)—— 感情類似度
・NV Match:76%(次点 SeamlessExpressive 14%)—— 圧倒的な差
A/Bテストでは、MoVE vs Single-LoRA で60%が MoVE を選好し、Single-LoRAは17.33%、Tieは22.67%。アーキテクチャの優位性が主観評価でも明確に示されました。
データ効率:30分で性能は飽和する

1000時間まで拡大しても改善しない
図2は、訓練データ量を0時間から1000時間まで変化させたときのASR-BLEU(左軸)とAro-Val SIM(右軸)を示しています。注目すべきは、0.5時間(30分)で性能が飽和し、1000時間まで拡大してもほとんど改善しないこと。30分で全データの95%の感情忠実度を達成しています。
これがなぜ起きるのか。著者らはアブレーションで、ベースのKimi-Audio重みをランダム初期化して同じLoRA訓練を行うと、モデルは全データスケールで収束失敗(イラッとする雑音を生成)することを示しました。つまり、データ効率はLoRAの適応容量から来ているのではなく、AudioLLMの事前学習で既に獲得されている音響・意味知識から来ているというわけです。
LoRAは「新しい知識を作る」のではなく、「眠っている知識を呼び起こす」役割。これは大規模事前学習時代のファインチューニングの本質を、改めて示してくれる興味深い発見です。
ルータの解釈:感情の混合構造を可視化

図3はルータの行動を示す混同行列です。事前定義された感情カテゴリ(True Label)と、ルータが優勢に選択したエキスパート(Predicted Label)の対応関係を可視化しています。
注目すべきは、対角線上の高い値(63.68%の全体精度)に加えて、「Sad」と「Cry」、「Happy」と「Laugh」の間に意図的な重なりが現れている点です。著者らはこれを「エラー」ではなく「自然な人間表現の混成的性質を反映」と解釈しています。実際、悲しさは泣き声に、喜びは笑い声に滑らかに繋がるもの。ルータは離散的なルールを学んだのではなく、感情間の連続的な遷移構造を獲得したことが分かります。
明示的な感情ラベルなしで、最終損失だけからこの構造が立ち上がるのは、Soft-Weighting MoEの強みを示す美しい結果です。
まとめ
MoVEは、S2STにおける長年の課題だった「笑い声・泣き声が消える問題」に、3つの工夫——スケーラブルなデータ合成、Mixture-of-LoRA-Experts、AudioLLMの活用——で正面から取り組んだ研究です。NV保持率を14%から76%に押し上げただけでなく、わずか30分の訓練データで動くという実用性も大きな魅力です。
特に印象的だったポイントは2つあります:
・Soft-Weighting MoEの解釈性:感情の連続的な混合構造をルータが自律的に獲得した、という実証は、X-LoRA系アーキテクチャの今後の発展に示唆を与える結果です。
・事前学習モデルの「眠っている知識」:30分でサチる現象は、ベースLLMが既に音響表現の事前知識を持っていることを意味します。これは音声・言語の生成研究全般に当てはまる発見でしょう。
応用面では、リアルタイム翻訳・国際会議・配信・教育コンテンツの多言語化など、感情を伴うコミュニケーションを多言語に展開したい場面で大きな価値を発揮しそうです。データセットも公開予定なので、コミュニティの研究加速にも繋がるでしょう。
プロジェクトページにデモが公開されています(https://47zzz.github.io/MoVE/)。実際にMoVEが翻訳した音声の「笑い声」「泣き声」がどれほど自然か、ぜひ耳で確かめてみてください。
読んだ論文をあとで見返しやすく整理したい人や、チームで共有したい人には、論文管理サービス「スカコン」もおすすめです。研究論文を書く人向けの整理・蓄積にもかなり相性がいいです。