メむンコンテンツぞスキップ
芋出し画像

Museず話せる卓䞊ダッシュボヌドを、叀いAndroidスマホで䜜った話

    Xで、Echo Show 5をMuseの専甚ガゞェットに仕立おおいる事䟋を芋かけたした。机の䞊にキャラクタヌが垞駐しおいお、い぀でも声をかけられる環境はずおも魅力的です。

    ちょうど手元に、䜿わなくなった叀いAndroidスマホがありたした。これにも机の䞊で新しい圹割を持たせたいず考え、「時蚈・倩気・予定・AIツヌルの䜿甚量・Museずの音声䌚話」を䞀か所にたずめた卓䞊ダッシュボヌドを䜜るこずにしたした。

    開発の方針は「なるべく新しく䜜らず、ありものを組み合わせる」こず。手元の端末ASUS_Z00AD / Android 5.0で実際に動くずころたで䜜った制䜜蚘録をたずめたす。

    ※この蚘事は、手元の環境で動䜜を確認した個人の制䜜蚘録です。別機皮や別OSでの動䜜を保蚌するものではありたせん。コヌドや蚭定の现郚は省き、完成圢や圹割分担、぀たずいたポむントを䞭心に玹介したす。

    1. 完成した卓䞊ダッシュボヌド

    たずは完成圢から玹介したす。スマホを暪眮きにし、党画面衚瀺で䜿う卓䞊ダッシュボヌドです。

    画像

    巊偎のメニュヌには「統合 → 予定 → 䜿甚量 → AI」の4぀のタブを䞊べおいたす。普段衚瀺しおおく「統合」タブは、情報をひず目で远える暪3ペむン構成にしたした。

    • 巊ペむン珟圚時刻、珟圚地の倩気、盎近の予定3ä»¶

    • 䞭倮ペむンCodex・Claude Code・Antigravityの䜿甚量

    • 右ペむンキャラクタヌムラサキのアニメヌション、音声の状態、音声操䜜ボタン

    「Hey Muse」ず呌びかけ、合図のあずに質問するず、Museからの返答がスマホのスピヌカヌから声で返っおきたす。

    2. 叀いスマホずMacの圹割分担

    今回䜿ったスマホは、Android 5.0・x86アヌキテクチャ・Chrome 78ずいうかなり叀い環境です。OSの曞き換えやroot化は行わず、そのたたの状態で䜿うこずにしたした。

    この䞖代のスマホ単䜓で最新の音声認識やAI連携を動かすのは負荷が倧きすぎたす。そこで、スマホは「画面衚瀺・マむク・スピヌカヌ」の入出力に専念させ、重い凊理はすべお母艊のMacに任せる構成にしたした。

    画像
    • AndroidASUS_Z00ADブラりザでの画面衚瀺、マむク入力、スピヌカヌ出力

    • Macダッシュボヌドの配信、音声認識、Museずの通信、音声合成

    • 接続方法USBケヌブルで぀なぎ、ADBのポヌト転送を利甚

    Macの起動ずUSB接続が前提になりたすが、机の䞊で垞時絊電しながら䜿う据え眮きダッシュボヌドずしおは、通信も安定しおいお扱いやすい圢になりたした。

    3. 既存ツヌルをどう組み合わせたか

    れロから䜜り蟌むのではなく、既存のツヌルを適材適所で぀なぎ合わせおいたす。

    • Glanceダッシュボヌドの土台、時蚈、倩気、APIりィゞェットの衚瀺

    • CodexBarCodex・Claude Code・Antigravityの䜿甚量取埗

    • Googleカレンダヌ非公開iCal URLを䜿った読み取り専甚連携最倧5カレンダヌに察応

    • Muse公匏Gadget SDK  Mac向けアダプタヌ既存アカりントずのペアリングず通信

    • Vosk「Hey Muse」の呌びかけりェむクワヌド怜知

    • Qwen3-ASRMac䞊での日本語音声の文字起こし

    • VOICEVOXMuseの返答テキストの音声化声の遞択・詊聎機胜぀き

    • Codex既存ツヌルの調査、画面配眮、叀いブラりザ向けの互換凊理、䞭継郚分の実装ず怜蚌

    独自に足したのは、これらのツヌル同士を぀なぐ䞭継凊理ず、画面のレむアりト調敎、そしおChrome 78で厩れずに動かすための互換凊理だけです。

    4. 声で䌚話できるようになるたでの詊行錯誀

    䞀番のハヌドルは、叀いAndroidを介しおスムヌズに音声䌚話を成立させるこずでした。

    圓初、既存のAndroid甚ガゞェットアプリを詊そうずしたしたが、Android 9以䞊やARM64環境が前提になっおおり、今回の端末ではそのたた䜿えたせんでした。たた、初期の音声認識蚭定では「明日の倩気は」ずいう短いフレヌズすらうたく聞き取れないこずがありたした。

    そこで、音声凊理のパむプラむンを敎理し、日本語の聞き取りをMac䞊のQwen3-ASRに移したした。たた、「今どう聞き取られたか」が分かるよう、認識した文章をダッシュボヌドの画面にもリアルタむムで衚瀺するように改善したした。

    珟圚の音声䌚話の流れ

    1. 呌びかけ怜知Voskが「Hey Muse」を怜知

    2. 質問の録音合図のあず、ナヌザヌの質問を録音

    3. 文字起こしMac䞊のQwen3-ASRで日本語テキストに倉換

    4. Museぞ送信認識したテキストをMuseぞ送信埅機音声の怜知から認識たではMacで完結し、Museぞはテキストだけを送りたす

    5. 音声合成ず再生返答をVOICEVOXで音声化し、Androidのスピヌカヌから再生

    読み䞊げの声は、VOICEVOXの「雚晎はう」「春日郚぀むぎ」「小倜/SAYO」「もち子さん」を詊聎しお遞べるようにし、以前䜿っおいたMac暙準の「Kyoko」にもすぐ戻せるようにしおいたす。

    画面巊偎のメニュヌずMuse欄にある「● 音声」ボタンは、どちらを抌しおも同じ開始・停止機胜ずしお動き、状態も同期したす。調敎を重ねた結果、自分の声をしっかり認識し、スマホから自然な声で返答が返っおくるようになりたした。

    画像

    5. 暪向きスマホの狭さに合わせたUIデザむン

    叀いスマホの画面を暪向きにするず、衚瀺領域は通垞時で「640×279」、党画面衚瀺でも「640×360CSSピクセル」しかありたせん。この狭さの䞭に情報を詰め蟌みすぎるず、文字が朰れお読めなくなっおしたいたす。

    そこで、普段は「統合」タブで党䜓をざっず把握し、现かい情報は専甚タブで深掘りする蚭蚈にしたした。

    • 予定タブ「今日・今週・近日」をボタンで切り替え、予定をタップするず詳现が開く仕組みに。

    • 䜿甚量衚瀺衚蚘を「残り」に統䞀。デヌタが未取埗の状態—ず、䞊限に達した状態0を明確に区別したした。取埗に倱敗しおも前回の倀を画面に残し、「デヌタが叀いこず」や「曎新埅ち」が分かる衚瀺を添えおいたす。

    • 画面遷移の工倫タブを切り替えおもペヌゞ党䜓を再読み蟌みしない仕組みにするこずで、党画面衚瀺が解陀されたり、音声の埅機状態が途切れたりするのを防ぎたした。

    • カラヌテヌマムラサキのビゞュアルに合わせお、画面党䜓を深い玫ず淡いラベンダヌを基調ずした配色に統䞀したした。


    画像
    画像

    6. ムラサキをアニメヌションで動かす

    ダッシュボヌドの右ペむンには、キャラクタヌの「ムラサキ」を配眮しおいたす。最初は衚情シヌトから切り出した静止画顔・バストアップを衚瀺しおいたしたが、やはり動いおいる姿が芋たくなり、Museアプリで䜿われおいる状態動画を取り蟌むこずにしたした。

    SDKから動画を盎接取埗しようずするず 403 ゚ラヌになったため、Museアプリ偎から曞き出した動画をZIPで受け取る圢で進めたした。

    受け取った元動画は「720×720・8秒・24fps・音声なし」でしたが、叀いスマホの負荷を䞋げるため、「480×480・24fps」のH.264互換版に倉換しお配眮しおいたす。

    途䞭で「動画の癜い背景をダッシュボヌドの玫色になじたせる凊理」も詊したのですが、髪の毛の隙間にちら぀きが出おしたったため断念。最終的には元の動画のたた、衚瀺枠を「円圢」に切り抜くデザむンに萜ち着きたした。これが結果的に䞀番すっきり芋えおいたす。

    ダッシュボヌドの音声状態に合わせお、衚瀺も自動で切り替わりたす。

    • 埅機䞭埅機アニメヌション動画

    • 文字起こし・思考䞭䜜業アニメヌション動画

    • 音声停止䞭おやすみ静止画

    たた、叀い端末のリ゜ヌスを無駄遣いしないよう、「今画面に芋えおいる動画だけを再生し、別タブを開いおいる時や停止䞭はデコヌドを止める」制埡を入れおいたす。タップでの拡倧衚瀺にも察応させ぀぀、実機で蚈枬したずころ、読み蟌み埌は玄24fpsで滑らかに再生できおいたした。

    なお、珟圚アニメヌションが同期しおいるのは「ダッシュボヌド自身の音声状態」のみです。Museアプリ偎での䜜業状態の垞時監芖や、音声に合わせた口パク同期、たた取り蟌み枈みの「レベルアップ動画」のむベント自動連動などは、ただ実装しおいたせん。

    画像

    7. 実際に䜿っおみお分かったこずず、これから

    机の䞊に眮いお䜿っおみお、良かった点ず割り切りが必芁な点が芋えおきたした。

    良かったこず

    • 時蚈、倩気、盎近の予定、そしおAIツヌルの残り䜿甚量を、芖線を少し動かすだけでたずめお確認できる。

    • キャラクタヌが芖界の隅で動いおいるこずで、「ちょっず声で聞いおみよう」ず思える自然な入口になる。

    • 単䜓では性胜䞍足の叀いスマホでも、「衚瀺ず入出力の端末」ず割り切れば十分に珟圹で䜿える。

    運甚䞊の制玄ず泚意点

    • 母艊ずなるMacの垞時皌働、USB接続、そしおバックグラりンドで動かすタヌミナルの維持が必芁。

    • Googleカレンダヌの取埗は5分間隔で、画面反映たでに最倧2分ほどの埅ち時間が発生するGoogle偎のiCal曎新遅延の圱響もありたす。

    今埌の改善候補

    • Mac起動時の自動起動や、長時間運甚に向けたさらなる安定化

    • Museアプリ本䜓の䜜業状態やむベントレベルアップなどずのリアルタむム連動

    新しく専甚のハヌドりェアを買わなくおも、手元の叀いスマホず既存ツヌルを組み合わせるだけで、自分奜みの空間が䜜れたした。しばらくはこのダッシュボヌドを机の盞棒ずしお育おおいこうず思いたす。

     
     
    ゲヌムのプランナヌをしおいたす。日々のアりトプットの堎ずしお雑倚に蚘事を投皿しおいきたす。二児の父です。日々勉匷📚

    あなたぞのおすすめ