[VOICEBOX]合成音声のささやきオノマトペ発話におけるアニマシー知覚の検討[COEIROINK]
はじめに
現代の音声合成技術(TTS)は極めて流暢であり、人間のアナウンサーと聞き分けがつかないレベルに達している。しかし、どれほど音質が向上しても、聞き手の脳裏には非生物感がつきまとう。
本研究の目的は、読み上げソフトによる「ささやき声」を対象とし、どのような演出によって生命性を感じるのか(アニマシー知覚の生起条件)を検証することである。「ささやき」を選定したのは、デフォルトで最もアニマシーを惹起したためである。
会話文ではなく、意味のない「オノマトペ」を被験刺激としたのは、文章の意味がないことや、機械特融のコピペ間を強調するために用いた。
アニマシー知覚
ハイダーらは、三角や四角などの幾何図形の単純な動きに対して、社会性や意図などを解釈するアニマシー知覚についての実験を行った。このような認知バイアスは観察者自身の投影などが原因である可能性がある。
アニマシーについての解説は日本ロボット学会のページが分かりやすい。
また、音声におけるアニマシー知覚の研究も報告されており、私は読んでいないが、おそらく肉体的な制約などが記されていると思う。
実験
生命感を構成する要素を突き止めるため、本実験では以下の独立変数を個別に付与した比較サンプルを用意した。
① ノーマル(Plain / 基準値)
音声合成エンジンから出力されたままの完全無加工状態。ただし、ツール元来の性能や処理があるため、これが劣っているというわけではない。
② 高周波ピークの抑制
3.4kHz〜6.0kHz周辺の過度な音圧エネルギーを、パラメトリックEQ(Peak/Shelfフィルター)を用いて減衰させるフォルマント調整を行った。簡単には、スマホのスピーカーやイヤホンで聴いたときに、耳の奥に「ツン」と刺さるデジタル特有の金属的なトゲを削り落とす処理である。
③ 音韻・形態素のゆらぎ(テキスト変化)
反復発話における形態素の音響的変形(音素の長音化や促音化)による時間構造の非対称化した。具体的には、 毎回「さわさわ」と連呼するのをやめ、「さわーさわ」「さーわさわ」と長さを適当に崩した。
④ 呼吸サイクルの付与
生体発声の前提条件である肺吸気・呼気フェーズを挿入する。白色雑音をフィルタリングした気流音(ノイズ)と、擬似発声呼気の2条件を作成した。これは、ささやき発話に先行する息継ぎ(吸う音)の挿入である。
⑤ 空間移動性の操作
定位された音源を左右に揺らす条件である。正面で小さく左右に揺れる場合と、右耳元から左耳元まで大きく揺れる二種類を作成した。
⑥ 全要素結合
上記のすべてに合わせて、開発過程で試した「口腔水分感(サチュレーション歪み)」など、単体で聴いても違いが判らないものなども組み合わせた条件である。
実験結果
以下は「VOICEVOX:四国めたん(ささやき)」を用いた合成結果である。
アブレーション実験
他のオノマトペ語彙
考察
高周波を抑制することでキーンとなるような感覚は弱くなり、曇ったような音になる。聞き心地の良さは向上したが、アニマシーについては感じられなかった。一方で、聞き心地の良さは認知的に良い影響であるため、この加工自体は人間が聴く上で有用であると考える。
テキスト変化については、機械的な繰り返しよりもアニマシーを感じた。大きく形を変えるほか、試行ごとに促音や長音の持続時間の変化が変わることで、有機的な感覚を与えられる可能性がある。これは人間なら生じる繰り返し発話のブレなどが一因として考えられる。
呼気についても、肉体的制約を反映したことによってアニマシーに貢献する要素であると考えられる。一方、呼気ノイズは「鼻呼吸」の音と認識するため、今回のささやきのオノマトペとは相性が悪く、発話と呼吸の一連の動作としての認識が弱かった。実際、ささやき発声をするときの吸入は運動後のような、口を半開きにした状態で歯が接触しない口呼吸が自然である。加えて、吸気から発話までの時間なども一連の動作としての認知に影響を与える。
なお、吸気語とは擬似発声呼(吸)気のための語彙という意味で利用しており、今回の場合は「ふ」という吸気語を加工することで口から吸う音として再現した。これは、ブレス(息の当たる感覚)がない場合に、音声のみで口呼吸が吸っている音なのか、吐いている音なのかの区別が難しいという仮説から使用した。吸気語は他にも「はぁ」などがあり、これは合成音声のスタイルによって適した吸気語が異なる。
左右揺れについては、大小関わらず肉体的存在感の近くを促す要素であることが示唆される。非視覚的なアニマシー知覚において、音源となる物体が固定されているよりも動いているほうが有効であると考えられる。特に、ダイナミックに動く場合だけではなく、正面付近で小さく左右に揺れる場合でもこの効果が得られた。
全要素結合では、今まで上げられたもの単体よりも更なるアニマシーを感じるものになり、それぞれの要素を組み合わせることでアニマシー知覚の刺激を向上する可能性が考えられる。
オノマトペ語彙によって印象が大きく変わることも確認したが、オノマトペの持つそれぞれの意味を無意識に解釈している可能性があるため、音声加工による普遍的な効果であるとは必ずしも言えない。ただし、オノマトペ語彙によって最適な加工を施すことで、アニマシー知覚に好影響を及ぼす可能性は十分に考えられる。
検証の限界
アニマシー知覚は主観が大きく、個人の間隔での調整では一般化は難しい。主観的にどのような加工を施したが明確であるため、過剰にアニマシーを見出している可能性がある。
また、高周波ピークの抑制などはイヤホンの設定によって異なる。本来は音質とアニマシー知覚は分離して考えるべきである。実際、経験的に低品質な音声でも人間の声は認識可能であるためである。
まとめ
本稿では、非視覚でのアニマシー知覚についての検討を行った。具体的には、オノマトペと合成音声のささやきを用いて、加工を施すことで生体感を感じられるかを実験した。実験の結果、テキストの揺らぎや空間移動性がアニマシー知覚に貢献する可能性があることが分かった。もちろん、これらは一つの要因であり、実際には多くの要因やさらに分解した要因がアニマシー知覚に関わっていると考えられる。
今後の課題としては、長時間のオノマトペ発話におけるアニマシー知覚についての調査が考えられる。今回は6秒という短い時間で区切っているが、実際は何度も繰り返したて発話するためである。例えば、「さわさわさわさわさわ」のように連続して発話する場合、自然には声が自然と上がっていくことが考えられる。また、「ごし、ごし」のような場合、二つ目の「ごし」で音が下がることも考えられる。また、連続することによる加速などもあり、今回も一応考慮してはいるが、連続再生時の効果については未検証である。
他にも、オノマトペ特有の発話方法を合成音声で調整する必要がある。合成音声は文章を読むときのイントネーションが自然になるように調整されていると考えられ、オノマトペ特有のイントネーションとは異なる。具体的には、「さわさわ」を分解した「さわ」は、「わ」の音が「さ」よりも上がった声で発話するのが不自然である(これに限らず、多くのオノマトペは語尾が下がるのが自然であると考えられる。)。しかし、読み上げスタイルによっては「わ」で上がるものもあり、スタイルの選定が結果に関わってくる。
また、そもそも発話として認知される必要もある。これは、アニマシー知覚以前に声として認識されるフェーズや、さらには聞き取るべきかというフェーズが存在すると考える。とはいえ、心地よさとアニマシー知覚は切り離して考えるべきというのもある。
付録(他のスタイルでの実験)
VOICEBOX:九州そら(ささやき)
このスタイルは息継ぎなどが最初から入っておりアニマシーを感じやすい一方で、機械音が混ざることもある。
VOICEBOX:中国うさぎ(へろへろ)
本来はささやきを意図したモデルではないが、発話開始時における基本周波数リセット(Utterance-Initial F0 Reset)を人為的に抑制し、対数ドメインで先頭アクセント句のF0を約10〜15%引き下げると同時に初期音圧を減衰(Volume Scale: 0.85)させることで、軟声門開始(Soft Voice Onset)および低覚醒度プロソディ(Low-Arousal Prosody)を形成する処理を施している。はきはきと話そうとする力を無くしているが、すべてのモデルでこれを適用すればささやきになるというわけではない。
VOICEBOX:青山龍星(ささやき)
低い男性の声は、女性モデルとは異なるベクトルでの加工が必要である可能性がある。これはアニマシー知覚のためというよりは、音質などによる発話知覚以前の問題である。
COEIROINK:KANA(ささやき)
VOICEBOX以外の場合で処理の確認を行った。
実験には生成AIを用いたコードを用いています。また、VOICEBOXやCOEIROINKの規約上、機械学習などの手法は一切用いておりません。万が一、規約に違反している場合はご連絡ください。