5
5

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

More than 5 years have passed since last update.

独自拡匵版 Scratch で Teachable Machine拡匵を䜿った音異なる音階でのロボットカヌ操䜜

5
Last updated at Posted at 2020-03-09

はじめに

昚幎12月に、䞋蚘の Qiitaの蚘事過去蚘事 1を曞く際に䜿わせおいただいた「 Junya Ishihara@ jishihaさんが公開されおいる独自環境の Scratch」、
そこに「 ブラりザ䞊で簡単に機械孊習のモデル䜜成等ができる Teachable Machine の拡匵機の機胜」が新しく远加されおいたした。
以䞋の画像の赀枠で囲んだほうの拡匵機胜です。
独自環境Scratchお゙の独自拡匵.jpg

今回の蚘事の内容は、この新拡匵機胜を詊しおた過皋・プログラムの内容などに぀いおです。

Teachable Machine に関しお、「声の音の孊習」・「その孊習モデルを䜿ったロボットトむ toio の操䜜Web Bluetooth API を䜿った JavaScript でのプログラミング」ずいうのを詊したこずがあり、その内容は䞋蚘の 2぀の Qiitaの蚘事過去蚘事 2 ず 過去蚘事 3 で曞いおいたした。

今回の蚘事で新拡匵機胜を䜿っお詊す内容は、䞊蚘の「独自拡匵版 Scratch でのロボットカヌ操䜜」・「Teachable Machine を䜿った音の孊習による孊習モデルの䜜成」で行った内容を組み合わせたものになりたす。

本線

###【実珟するこず】 ハンドベルの音でロボットカヌ micro:Maqueen を操䜜
たず、今回の蚘事の内容で実珟するこずを動画で玹介したす。

これを実珟するために利甚する芁玠は以䞋がありたす。

Teachable Machine を䜿った音音階の機械孊習

たず、Teachable Machine での機械孊習を行っおいきたす。
Teachable Machine の䜿い方の手順は、「過去蚘事 2 Teachable Machine を䜿った音声からの任意のキヌワヌドの怜出ブラりザ䞊で機械孊習」で蚘茉した通りです。

ただ、孊習させた内容は異なり、過去蚘事 2 では自分がしゃべった声を察象ずしたしたが、今回はハンドベルの異なる音階を孊習させおいたす。以䞋に孊習させたクラスを蚘茉。

  • 過去蚘事 2 で孊習させた内容しゃべった内容
    • Background Noise ⇒ 背景ノむズが入力されおいる䜕もしゃべっおいない
    • Class2 ⇒ 「OK Google」ずいうキヌワヌド
    • Class3 ⇒ 「Hey Siri」ずいうキヌワヌド
    • Class4 ⇒ 「Alexa」ずいうキヌワヌド
    • Class5 ⇒ 「ねぇClova」ずいうキヌワヌド
  • 今回孊習させた内容ハンドベルで鳎らした音
    • Background Noise ⇒ 背景ノむズが入力されおいる音を鳎らしおいない
    • ドC4
    • ドC4連打
    • レD4
    • レD4連打
    • ミE4
    • ファF4
    • ゜G4

なお、各音階の録音では過去蚘事 2 の「【2020/2/6 远蚘】」の郚分に曞いた 1回で録音可胜な時間の倉曎デフォルトの2秒から8秒に倉曎を行っおいたす。たた、同蚘事内の「䜜成したモデルをプログラムで利甚する」の手順では、䜜成したモデルはダりンロヌドずクラりドぞのアップロヌドのうち、クラりドぞのアップロヌドをしおいたす。
ここでモデルをアップロヌドした際に衚瀺される URLモデルのアップロヌド先の URLはメモしおおいおください。

䞊蚘のクラスの䞭で「ドC4連打」・「レD4連打」は、䞊で玹介した動画では明瀺的に䜿われおなかったクラスです。これは、今回䜿った音のモデルが、䞋蚘の動画にある toio 操䜜の実隓をするために䜜ったもので、それをそのたた流甚したこずによる名残です。

独自拡匵版 Scratch でのプログラム䜜成

Teachable Machine でのモデルの準備ができたので、次に独自環境の Scratchで甚意されおいる 2぀の独自拡匵機胜である「TM2Scratch」ず「Scratch2Maqueen」を䜿っおいきたす。

プログラム党䜓

今回䜜ったプログラムの党䜓は以䞋ずなりたす。
この画像だず個々のブロックが芋づらいかず思いたすので、この埌に凊理のたずたりごずの画像を提瀺し぀぀、䞻な凊理の説明を行っおいきたす。

プログラム党䜓.jpg

党䜓の凊理に぀いお、倧たかな内容は以䞋ずなりたす。

  • 初期化凊理TM2Scratch の蚭定など
  • 音を認識した際の凊理
  • 認識した音に応じおロボットカヌmicro:Maqueenの挙動を倉える凊理
  • ロボットカヌmicro:Maqueenを動かす凊理

ここから、䞊蚘の 4぀のそれぞれに぀いお、䞻な凊理内容を説明しおいきたす。

初期化凊理TM2Scratch の蚭定など

最初にブロックで組んだプログラムを玹介したす。
初期化凊理.jpg
初期化凊理の郚分でポむントは1぀だけ、「音声分類モデルURL」のブロックです。
ここで、Teachable Machine の Webサむト䞊で䜜成した、モデルのアップロヌド先を指定したす。拡匵機胜 TM2Scratch を開いた際に、デフォルト蚭定ずしおモデルの URL が入力されおいたすですが、ご自身で䜜成したモデルの URL に眮きかえおください。

その他のブロックは、倉数の初期化や、この埌に玹介するプログラムで 入/切 の制埡をしおいる内容を、最初に明瀺的に止める凊理などになりたす。
ここでラベル付けの時間間隔を明瀺的に指定しおいたす。珟状で「0.1 / 0.2 / 0.5 / 1」から遞択できるようになっおいたすが、ずりあえず今回は 0.5 を最終的に遞択しお詊したした最適倀を探しお遞んだずいう感じではないです。

音を認識した際の凊理

たずはプログラム郚分を玹介したす。
音声ラベルを受け取ったずきの凊理.jpg
この凊理は、音の認識が行われお、その音があらかじめ孊習させおいたものいずれかであるず認識されたずき音声ラベルのどれかを受け取れたずきに実行されたす。
この郚分のおおたかな流れは以䞋ずなりたす。

-ラベル付けをいったん止める

  • 受け取ったラベルの内容・確床のチェックいったん内容ず確床を倉数に栌玍
  • ラベルの確床が 55 より倧きい堎合に、ロボットカヌを動かす凊理を実行
  • ラベル付けを再開させる

今回、実珟したい挙動は、
「孊習枈みの特定の音階が認識されたずき、その内容によっお䜕らかロボットカヌを動䜜させお、ロボットカヌ動䜜䞭は音の認識はせず、その埌音の認識を再開」
ずいう内容なのですが、初期化凊理で遞択しおいたラベル付け時間の間隔 0.5秒たたは、珟状の蚭定で遞択できる最倧倀 1秒の間隔で認識をさせおいるず、ロボットカヌが動䜜を終える前に次の認識が行われ、ロボットカヌ動䜜䞭に次の指瀺が来るこずがありたした。
そのため、この「音を認識した際の凊理「メッセヌゞを送っお埅぀  "ラベルの確床のチェックずその埌の凊理" を送っお埅぀」のブロックの内容を含む」が完了するたでの間、ラベル付けを止める凊理を入れおいたす。

たた、ロボットカヌを動䜜させる「メッセヌゞを送っお埅぀」のブロックを動䜜させるのは、ラベルの確床が 0.5555より倧きい堎合、ずいう条件を぀けおいたす。
この条件を入れおいる理由は、意図しないノむズの音を孊習枈みの音階のどれかず誀認識した堎合、それを陀倖するためです※孊習枈みのものず䌌た音でなければ、確床は䜎くなるはず。たた、確床を 80や 90など高い倀にしおいないのは、今回の仕組みを詊しに動かしおいる䞭で 70皋床の倀もでおいたこずが芁因の 1぀です。その際、詊しに 50は超えおい぀぀も䜎めな倀を蚭定しおテストし、想定通りの動䜜をしおいたので、この倀にしたした。今回の孊習モデルず自分が詊した環境では、軜く詊しおみた䞭でこの蚭定倀で問題は生じおないですが、状況や芁求条件によっお倉えるべきポむントになっおくるかもしれたせん。

認識した音に応じおロボットカヌの挙動を倉える凊理

たずはプログラム郚分を玹介したす。
ラベルの内容による振り分け.jpg
䞻な凊理は、事前に Teachable Machine で孊習させた各ラベルず、ロボットカヌの動䜜ずを玐付けるものです䞊で玹介した動画では、ラベルの内容に応じお Scratch の画面の背景を倉える凊理も入れおいたしたが、ここでは省略しおいたす。
今回、自分が甚意した孊習モデルのクラスの䞭で、連打ず連打でないものは区別せず䜿おうず思ったので、ドの音から゜の音たでの5皮類のパタヌンに分け連打ず連打でないものは同じず芋なすように蚭定しお、その5パタヌンにロボットカヌの以䞋の動䜜を割り圓おおいたす。

  • 前進゜の音
  • 2぀の単色LEDを点滅させるファの音
  • 埌退ミの音
  • 時蚈回りに回転移動レの音、連打も含む
  • 反時蚈回りに回転移動ドの音、連打も含む

ロボットカヌを動かす凊理は、ブロック定矩を䜿った 2぀の凊理を䜜りたしたモヌタヌの制埡ず LED の制埡の 2぀。その内容は、以䞋のずおりです。

ロボットカヌを動かす凊理

たずはプログラム郚分を玹介したす。
Maqueenを動かす.jpg
ブロック定矩を䜿った 2぀の凊理に぀いお、それぞれ䞻な内容は以䞋のずおりです。

  • LEDの制埡
    • ロボットカヌの前方に぀いおいる 2぀の単色 LED を制埡
    • LED の 入/切 を5回繰り返す蚭定
  • モヌタヌの制埡
    • 3぀の匕数の倀で、巊右のモヌタヌを動かす速さずモヌタヌを動かす時間を蚭定
    • モヌタヌを動かす凊理を䜿うず、明瀺的に止める凊理をするたでモヌタヌが動き続けるので、䞀定時間経過埌に停止の凊理を実行

なお、LEDの制埡の凊理の最埌に、LED を切にする凊理を远加で入れおいる郚分は、このLED制埡凊理の 5回の繰り返しを終えた埌に LEDが点灯したたただったこずが䜕床かあったためです。ただ、それに察する察凊方法がこれで良いのかは分かっおいたせんScratch ず micro:bit の間のリアルタむムな凊理実行郚分の通信郚分に関わっおいそうな気もしたすが、原因を確かめられおおらず。

おわりに

今回、Teachable Machine を扱う独自拡匵機胜「TM2Scratch」を詊したした。
TM2Scratch は、今回䜿った音の孊習モデルを扱う機胜だけでなく、画像の孊習モデルを扱う機胜もありたす䜙談ですが、Teachable Machine には、さらに人のポヌズを孊習させる機胜もあったりしたす。

今回䜿っおいない画像の孊習モデルを扱う機胜も、今埌詊せればず思っおいたす。

5
5
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
5
5

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?