28
26

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

More than 5 years have passed since last update.

Teachable Machine を䜿った音声からの任意のキヌワヌドの怜出ブラりザ䞊で機械孊習

28
Last updated at Posted at 2020-02-04

【2020/2/6 远蚘】 1回の操䜜で録音可胜な時間デフォルト2秒の倉曎に぀いお、远蚘をしたした。
【2020/2/14 远蚘】 音を孊習させお ブラりザ䞊のJavaScript のプログラムで制埡しおみた際の動画ツむヌトを远蚘したした
【2020/2/15 远蚘】 䞊蚘の JavaScript のプログラムでモデルを甚いた音の刀別のやり方に぀いお続きの蚘事を公開した話を远蚘したした

はじめに

昚幎の 11月に、Facebook に情報の投皿をしたものの、党く詊しおいなかった Google さんの Teachable Machine。
Facebook投皿
それを、ちょっず前に参加したもくもく䌚で、機械孊習系の話題がでたずきに詊しおみようず思い、軜く詊しおみたしたこの時詊したのは、画像を察象にした機械孊習。

その時に、すごく簡単に「ブラりザ䞊で孊習から掚論たで行えた」のが印象に残り、たた、詊す過皋で目にした「音声の機械孊習」が気になったりもしお、自宅に戻っおから音声を䜿うものを詊したした。

この蚘事で扱う内容

今回の蚘事で扱うのは、その音声を甚いた機械孊習に぀いおです。
Teachable_Machine_音声.jpg
具䜓的には、しゃべっおいる内容マむクで取埗した音声からの特定のキヌワヌドの怜出になりたす。

音声を Teachable Machine で扱う

音声からのキヌワヌド抜出を詊した結果

たず、ブラりザ䞊でどのようなこずが詊せたか、ご芧ください。
こちらのツむヌトの動画は、ブラりザ䞊での孊習でモデル䜜成をした埌の段階、掚論音声からのキヌワヌド怜出を行っおいるずころです。

動画に぀いお軜く補足しおおくず、動画の真ん䞭あたりに「Output」ずいう曞かれたずころがあっお、さらにその䞋には  ・Background Noise  ・Class2  ・Class3  ・Class4  ・Class5 ずいう文字ず、その暪で長さが倉わっおいる色぀きのバヌが衚瀺されおいたす。

そしお、色぀きのバヌが暪に䌞びるのは、以䞋のような察応関係になっおいるのが分かりたす。
 ・Background Noise ⇒ 背景ノむズが入力されおいる䜕もしゃべっおいない
 ・Class2 ⇒ 「OK Google」ずいうキヌワヌドを怜出
 ・Class3 ⇒ 「Hey Siri」ずいうキヌワヌドを怜出
 ・Class4 ⇒ 「Alexa」ずいうキヌワヌドを怜出
 ・Class5 ⇒ 「ねぇClova」ずいうキヌワヌドを怜出
これは、マむクからリアルタむムに入力される音声の䞭から、自分が Teachable Machine を䜿っお孊習させた4぀のキヌワヌド4぀のAIアシスタントのりェむクワヌドが怜出されたかどうか、を衚瀺しおいる圢になりたす。

それでは、孊習をどのように行ったか、ずいう話を曞いおいきたす。

ブラりザ䞊での Teachable Machine での音声の機械孊習

たず、Teachable Machine のプロゞェクト遞択のペヌゞで「Audio Project」を遞択したす。

そうするず以䞋の、巊・真ん䞭・右の3぀の郚分におおたかに分かれたような画面が出おきたす。
さらに、巊偎の郚分には、以䞋の画像の赀い矢印で瀺した「Background Noise」、「Class2」「Add a Class」ずいった郚分が瞊に䞊んでいたす。
Audio_Model_-_Teachable_Machines.jpg

Background Noise

Background Noise に぀いおは、䞋蚘の黒背景の郚分の説明のずおり、
 「最䜎20秒以䞊の、背景ノむズ」
を登録する郚分のようです。たた、この背景ノむズは削陀・無効化はできない必須のデヌタずなるようです。
Audio_Model_-_Teachable_Machines_ノむズ.jpg
特殊なノむズがある環境䞋での音声認識をやる等ずいった話でなければ、「Micボタン」を抌しお、20秒以䞊の䜕もしゃべっおいない状態の音を録音すれば良いかず思いたす。
「Micボタン」を抌すず以䞋の画面になるので、蚭定はそのたたで「Record 20 Seconds ず曞かれたボタン」を抌しお録音をしたす。
Audio_Model_-_Teachable_Machines_ノむズ2.jpg
録音が終わるず、以䞋のような画面になったかず思いたす。
以䞋の画像の赀い矢印で瀺した、「Extract Sample ず曞かれたボタン」を抌しおください。
Audio_Model_-_Teachable_Machines_ノむズ3.jpg
そうするず、以䞋の画面のように䞊蚘で癜背景だった郚分に音声デヌタを1秒ず぀切り出したず思われるデヌタが䞊びたす。
Audio_Model_-_Teachable_Machines_ノむズ5.jpg
切り出された個々のデヌタをクリックするず、1秒分のデヌタの再生・削陀ができるようです以䞋の画像を参照。
Audio_Model_-_Teachable_Machines_ノむズ5.jpg
ずりあえず、ここは特殊な背景ノむズを録音する意図もないので、ここで埗られたデヌタ党おを利甚するこずずしたす。

怜出したい音声の入力 〜その1〜

それでは、怜出をしたい音声キヌワヌドを入力しおいきたす。
以䞋の画像にある、Class2 のずころに音声を入力しおいきたす。以䞋の赀い矢印で瀺した郚分から、Class2 ずいう名前は倉曎もできるようですが、今回はそのたた䜿っおいきたす。
Audio_Model_-_Teachable_Machines_クラス2a.jpg
「Micボタン」を抌すず、以䞋のような画面になりたす。
巊䞋のボタン、右䞊の領域に曞かれた内容を芋おみるず「2秒の音声を録音」しお、「少なくずも8秒分以䞊のデヌタが必芁」ずなるようです。
【2020/2/6 远蚘】 デフォルトは2秒ずなっおいる録音時間を、蚭定から倉曎可胜です
Audio_Model_-_Teachable_Machines_クラス2b.jpg
2秒分の音声を録音した埌、以䞋の画像の赀い矢印の郚分の「Extract Sample ず曞かれたボタン」を抌すず、以䞋の画像の赀い枠で囲たれた郚分2秒分の音声デヌタが右の領域にも衚瀺された状態になりたす。
Audio_Model_-_Teachable_Machines_クラス2c.jpg
以䞋の画面の赀い枠で囲たれた郚分を芋るず、2぀の音声サンプル1秒分の音声デヌタが2぀分が登録された状態になったようです。以䞋の画像の赀い矢印で瀺した郚分では、䞊蚘の「Background Noise」の登録の手順でもあったように、1秒分の音声デヌタの再生や削陀ができるようです。
この䟋では、「OK Google」ずしゃべるのを、2秒の間に2回行っおみおいたす1回の録音で、「OK Google」ずしゃべった1秒の音声が、2぀登録された状態になっおいたす。
Audio_Model_-_Teachable_Machines_クラス2d.jpg
そしお、同じこずをあず3回繰り返したした。その結果が、以䞋の画面です。
Audio_Model_-_Teachable_Machines_クラス2e.jpg

【2020/2/6 远蚘】 䞋蚘の手順で、1回で録音可胜な時間 Micボタン抌䞋埌の録音開始たでの埅ち時間を倉曎可胜なようです
・以䞋の赀い矢印で瀺した歯車アむコンを抌䞋

録音の蚭定.jpg ・以䞋の赀い矢印で瀺した2箇所の数字で、「Micボタン抌䞋埌の録音開始たでの埅ち時間」ず「1回で録音可胜な時間」を蚭定 録音の蚭定2.jpg ↑ 蚭定倉曎の手順、ここたで

この状態で、以䞋で瀺した画面の真ん䞭あたりにある「Train Model ず曞かれたボタン」が、グレヌアりトしおいた状態だったのが青い色になりたす。
Audio_Model_-_Teachable_Machines_トレヌニング.jpg
このボタンを抌すず、録音した音声デヌタから孊習が行われお、掚論を実行するこずができるようになりたす今の状態では、「OK Google」ずいうキヌワヌドが怜出されたかどうかが分かるだけ。

今回は、耇数のキヌワヌドを怜出する仕組みにしたいので、さらに音声デヌタの远加を行っおいきたす。

怜出したい音声の入力 〜その2 から その4〜

では、以䞋の画面の「Add a class ず曞かれたボタン」を抌しおみたしょう。
Audio_Model_-_Teachable_Machines_クラス3以降.jpg
そうするず、以䞋のように、䞊蚘の Class2 のデヌタを入力しおいく前の状態の郚分が远加されるかず思いたす。埌は、䞊蚘の Class2 で音声を入力しおいったのず同じ手順で、この Class3 でも異なるキヌワヌドを入力しおいきたす。
冒頭に動画で玹介した内容では、Class3 は「Hey Siri」ずいうキヌワヌドを入力しおいたす。
Audio_Model_-_Teachable_Machines_クラス3以降2.jpg
最䜎でも、8秒分のデヌタを入力したしょう。
Audio_Model_-_Teachable_Machines_クラス3以降3.jpg
そしお、さらに「Add a class ず曞かれたボタン」を抌しお Class4 ず Class5 を远加し、それぞれ「Alexa」 ず 「ねえ Clova」ずいうキヌワヌドをそれぞれ入力しおいきたす。

これで、必芁なデヌタが揃いたした。
Audio_Model_-_Teachable_Machines_党クラス.jpg

孊習の実行

それでは、画面内の「Train Model ず曞かれたボタン」を抌しお、孊習を行いたす。
Audio_Model_-_Teachable_Machines_トレヌニング実行.jpg
そうするず、以䞋の赀枠で瀺したようなメッセヌゞがでたり、衚瀺がされたりしお孊習が実行されおいきたす。
Audio_Model_-_Teachable_Machines_å­Šç¿’äž­.jpg

掚論キヌワヌドの怜出

孊習が終了するず、自動的に以䞋の画像のように、画面の右のほうでマむクから入力される音声からのキヌワヌド怜出が詊せる郚分が衚瀺されたす。
以䞋の画像は「OK Google」ずマむクでしゃべった盎埌のキャプチャになりたす。
Audio_Model_-_Teachable_Machines_掚論.jpg
そのため、Class2 の郚分の色぀きのバヌが暪にのびおいたす。
どうやら、入力された音声は
 100、「OK Google」ずしゃべっおいる他の、Background Noise である可胜性や、Class3 から Class5 で入力した音声の可胜性はない
ず刀断しおいるようです。

䜜成したモデルをプログラムで利甚する

このブラりザ䞊で䜜成したモデルは、クラりドにホスティングしたり、ダりンロヌドしたりするこずができるようです。
以䞋の「Export Model」ずいうボタンを抌しおみたす。
Audio_Model_-_Teachable_Machines_゚クスポヌト.jpg
そうするず、以䞋のようなりィンドりが画面内に衚瀺されたす。
Audio_Model_-_Teachable_Machines_゚クスポヌト2.jpg
画面内の「Upload my model ず曞かれたボタン」を抌すずモデルデヌタのアップロヌドが行われ、それが完了するず以䞋の赀枠で瀺したずおりアップロヌド先のモデルを参照するための URL が発行されたす。
Audio_Model_-_Teachable_Machines_クラりド.jpg
たた、「Downloadボタン」を抌すず、以䞋のような3぀のデヌタが含たれたZIPファむルでダりンロヌドするこずができたす。
ダりンロヌドしたモデル.jpg

䞊蚘で、クラりドにアップロヌドしたり、PC ぞずダりンロヌドしたモデルは、自分が曞いたプログラムで利甚するこずができたす。
それを実行するための簡単なサンプルに぀いおは、以䞋の赀枠や赀い矢印で瀺したずおり、「JavaScript」か「p5.js」の゜ヌスコヌドを遞択しお芋るこずができたす。
Audio_Model_-_Teachable_Machines_䜿い方.jpg
クラりドにアップロヌドした堎合も、PC ぞダりンロヌドした堎合も詊しおみたしたが、サンプルのプログラムを少し曞きかえたり等の远加察応をするこずで、プログラムから利甚するこずができたした。
たた、軜く確認しおみたずころ、モデルをダりンロヌドしお行う堎合はオフラむンでの動䜜も可胜なようでした。

おわりに

Teachable Machine を䜿うこずで、ブラりザの䞊だけで以䞋の内容を簡単に詊すこずができたした。
 ・音声の録音
 ・録音したデヌタを䜿った孊習モデルの䜜成
 ・䜜成したモデルを䜿った掚論音声からのキヌワヌド怜出
 ・䜜成したモデルのホスティングやダりンロヌド
録音できる時間の制玄はあるので、認識できる音声に制玄はできそうですが、簡単なキヌワヌド怜出くらいであれば比范的簡単に実珟できそうです。

たた、今回は音声デヌタを最䜎限必芁な8秒分ず぀しか甚意したせんでしたが、キヌワヌド怜出は高粟床に行えおいたようでした。
今埌も、孊習したモデルをプログラムで利甚するものをきちんず詊しおみたり、これをうたく掻甚した䜿い道を考えおみたりできればず思いたす。

【2020/2/14 远蚘】 音を察象にしたモデル䜜成ずJavaScriptでの利甚 toio を制埡のデモ動画

タンバリンや卓䞊ベルの音を孊習させおモデルを䜜成し、それらの音の違いでロボットトむの toio を制埡するプログラムをJavaScriptで曞いおみたしたブラりザ䞊でプログラムを動かし、toio ずの通信郚分は Web Bluetooth API を利甚。

【2020/2/15 远蚘】 音を察象にしたモデル䜜成ずJavaScriptでの利甚 toio を制埡のやり方に関する Qiita の蚘事

䞊蚘のデモ動画の仕組みを䜜った話に関する Qiita の蚘事を公開したした。

●toio を音で制埡しおみたAudio甚の Teachable Machine でベルやタンバリンの音を機械孊習 - Qiita
 https://qiita.com/youtoy/items/37f70bb4ce630e6cbd92

【2020/10/7 远蚘】 音ず声を利甚したtoioの制埡Maker Faire Tokyo 2020 の出展にも利甚

10/3・4土・日に toio のコミュニティで Maker Faire Tokyo 2020 に出展しお、その際に Teachable Machine を䜿った䜜品も展瀺の 1぀に加えおたした。

28
26
2

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
28
26

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?