メインコンテンツへスキップ
見出し画像

初マイコエ作った備忘録(With OBS)

    犯行動機

    1. 普段受けてる授業で機械学習をやっていて、『コーパス』とか色々聞き馴染みのある用語が出てきており、技術的に試したかった

    2. どっかの社長が『自分がいなくなったときのためにボイスバンク作る』って言ってたと又聞きしてて、若いうちに自分もやりたかった

    3. 一次創作やってたけれど外部に公開したことなかったので、
      『放任的に管理できるキャラIP作りてぇな~』と思った

    マイコエ作る人の動機でよくあるらしい
    『マイコエや作者同士の絡みが好きで、自分も混ざりたいと思って』
    みたいなのはあんまりない。キャラ主軸コンテンツあんま作らないし。

    方針決め

    別にアバターなしで配布してもいいんだけど、キャラIPがほしいと思ったのでとりあえず作ってみた。
    多分自分ではあんまり使わないと思うけど、まぁいいでしょう。

    1. 先にキャラの大枠作ってから

    2. おおよその演技方針を整えたうえで録音し

    3. 出来た声の印象に合わせてキャラの口調や性格側を調整する

    って手順で決めた。
    どちらかといえば、キャラが私に合わせるスタイル。

    前にマイコエ作ろうとした時は、先にキャラ設定をガチガチに決めたせいで
    『キャラに合った演技できねぇ』ってなったので。

    あと新規キャラ作るんじゃなくて、すでに作ってたキャラのスピンオフとして組んだ。楽だし、『一次創作とのつながりはあるけど、必須じゃない』って関係性にできる。

    録音

    OBSを使った。
    そういうNote記事を見たから。

    ちなみに、このNoteの通りにmp4で録音しなくても、OBSにはwavファイルとして出力してくれるモードがある。

    画像
    一例

    フィルターは保険のノイズ除去と、録音開始/停止のタイピング音をなくすためのノイズゲートだけ。
    TASCAM本体のノイキャンがかなり優秀だったので、そこまで処理してない。

    ノイズゲートは録音中のタイピング音を打ち消さないので注意。

    コーパス

    ITAコーパスって『いたこーぱす』って読むんですね。初耳。

    初日はITAのemo100/100、rec173/324までやった。MANAは未着手。

    最初と最後にはある程度の空白を設けるよう意識した。

    できるだけ一気に録ったほうがいいと聞いていたので通しでやったけど、rec120くらいですでに声が枯れかけてた。
    長いトークに慣れてないのもあって、途中で体調崩して中断。
    普通に毎日少しずつやっていってもいいんじゃないかな…

    ファイル処理

    もうある程度はやったし、Beta版として一旦配布の方針でいいかも?と考えた。
    あとから品質は調整すればいいもんね。合成音声だけど、キャラ運用としては意外と重視されてないっぽかったし。

    名前変更はPowerToysを使いました。

    学習のエラー

    いくつかエラーが出たのでのせる。

    Error 22

    音声zipファイルをアップロードしてる途中で学習させちゃった。

    ファイル名が不適切

    PowerToysで名前変えた弊害で、『_0100』っていう数字になっちゃってた。

    音声がステレオ

    ステレオだとだめらしい。というかOBS出力はステレオらしい。
    モノラルに変換しなきゃいけないんだとか。
    ffmpegで一括変換した。

    GPUが不適切

    学習中にGPU使用制限がブチブチくるので課金して、G4 GPUに途中から切り替えたところ、学習が異様に早く終了する現象に遭遇。

    画像
    げみーに氏による推察

    公式のノートブックで用意されてるPytorch(Python)のバージョンが古くて、G4 GPU非対応だったらしい。

    A100 GPUに切り替えたところ、問題なく動作した。
    一応、最初からやり直せばG4も使えた。

    こっちのほうが詳しい。おすすめ。

    学習を再開すると止まる

    ここに書きました。おま環かもしれないけど。

    Google Drive容量

    30エポックくらいまで到達したあたりから、Google Driveの容量が満タンになった。

    自動でゴミ箱に入れてくれるみたいなので、消した。
    パソコンで作業するときだけ学習させることに。

    100エポックいかずに正常終了した

    96エポックで止まったと思ったら、Google Driveの更新が反映されていなかったらしい。100エポックのファイル見つけました。

    COEIROINKに入らない、json周りでなんか言われる

    スタイル追加するときの話。
    最後のセミコロンをつけてはいけないらしい。
    普通つけても無視されるものだと思ってたから意外。

    画像

    紹介動画

    私は超逆張り野郎なので、普通に紹介動画作るのもつまんないよな~って思った。

    ⚠以下個人の見解⚠

    • はじめまして←情報ない

    • 〇〇な声質です←聞けばわかる

    • 学習内容←使用に影響ない

    • 規約・利用方法←脅しに聞こえると印象悪いかも 配布時に書けばわかる

    • 基本設定←同上 皆の好きにさせたい

    • 立ち絵←モデルと一緒に同封すればいい

    • スタイル差分←Boothにサンプルのせとけば良い

    • Readmeについて←動画で言ったとて多分理解されてない

    • 展開がほぼ皆同じ←どうなの

    というわけで、動画で見せるのは
    『どういう音源/キャラか』ではなく
    『どう使えるか』のほうがいいな、と思った。

    まぁ、いつか作るよ。多分…

    規約

    Markdownで書いた。VSCode使用。テキストファイルでやる理由も特に無いし。md規約の前例がないのはちょっと謎だけど。

    特筆しとくべきことは、『未成年がセンシティブなことに関わる作品には使用禁止』ってとこ。

    日本の創作、特にマイコエが最も使用されるニコニコ動画ではそういうのが人気だし、男性音源はよくない役になりがちなので、先手を打った。
    あと、私が一次創作で普段から気をつけている項目だからってのもある。

    前述した通り読まない人は何しようが読まないので、Readmeにパスワードになるクイズを設けた。

    大々的に活動するわけでもないのに大げさな気もするけど、ディープフェイクとか悪どい利用を舐めちゃいけない。一番苦い汁すすってる界隈なのはわかってもらえてると思うし。

    画像

    読まないとそもそも解凍できないので使えない。

    AIにファイルごと渡して解答をもらおうとも、トラップを仕込んだので答えそのものはわかりません。

    画像

    これでもなお読まないなら、多分規約を守る気が最初からない人です。そしたらもう規約でどうこうできるレベルじゃないので…

    内部ファイル

    policy.mdとLICENCE.txtはここに使われるらしい。
    多分公式ライブラリには特記されてるだけで、マイコエだったら書かないほうが良いんだろうな。

    画像

    試したけどやめたこと

    MyCoeRecorder

    有志無料ツール。最初に読むのはMANAコーパスだったっぽい?600行くらいあったから全文つなげたってことなのかな。

    OBSでフィルター処理した声をVB Cableでつなげないかな~と思ったけど、ガビガビになったのでやめた。

    iPhoneをマイクにする

    持ってたTASCAMの音質が良くない、と思い込んでいたので。

    VO MicはなぜかいろんなAIに激推しされたけど、セキュリティ的に危なそうで導入すらしてない。

    DroidCam OBSは安全性はあるし実際つながったけど、有線なのに音声がブチブチ切れる。

    そもそもWindowsと相性よくないんかなと思ったので大人しくマイク使った。
    Macならうまくいきやすいらしいですよ。

    車で録音

    まつかりすく氏は車で録音してたって聞いたので。

    うちは実家なので、騒音とかそこそこあるし音質に影響あるなーと思ってたしちょうど良さそうだと思った。

    エアコンつけたくてもつけられないし、狭い密室で音がくぐもる、テザリングじゃないとネットも繋がらないので、やめた。

    総評

    軽い気持ちでやるもんでもないなコレ…




     
     

    Salv

     
     
    雑多人

    あなたへのおすすめ