メインコンテンツへスキップ
見出し画像

いつものローカル LLM と音声で会話する - huggingface/speech-to-speech

    概要

    次の 2 パターンで会話した記録。

    • llama-server のモデルと直接会話

    • AI エージェント(Flue)で会話

    音声は旧世代感ある。動かしている環境は、Ubuntu と Nvidia GPU 。

    llama-server で会話する

    llama-server 起動

    "gemma-4-E4B-it-qat"

    CUDA_VISIBLE_DEVICES=0 \
    llama-server -hf unsloth/gemma-4-E4B-it-qat-GGUF:UD-Q4_K_XL \
      -c 16384 \
      -fa on -ctk q8_0 -ctv q8_0 -np 1 --fit off \
      -ngl 99 \
      --jinja --chat-template-kwargs '{"enable_thinking": false}' \
      --alias "assistant-model"

    speech-to-speech 起動

    git clone する。

    git clone https://github.com/huggingface/speech-to-speech.git
    
    cd speech-to-speech

    pyproject.toml の編集。次の "constraint-dependencies = …" の行を追加する。これは、2026年9月21日11時55分現在では必要なパッチ。

    [tool.uv]
    package = true
    prerelease = "allow"
    constraint-dependencies = ["transformers<5.17"]

    依存を解決する。

    uv sync

    speech-to-speech を起動する。

    次の 4 つはハードウェア依存なので、設定値を後述。

    • --local_audio_input_device

    • --local_audio_output_device

    • PULSE_SOURCE

    • PULSE_SINK

    PULSE_SOURCE=alsa_input.usb-USB_Microphone_Maono_Fairy_2018_06_26-00.iec958-stereo \
    PULSE_SINK=alsa_output.pci-0000_70_00.1.hdmi-stereo \
    CUDA_VISIBLE_DEVICES=1 uv run speech-to-speech local \
      --stt whisper \
      --stt_model_name openai/whisper-large-v3 \
      --stt_device cuda \
      --stt_torch_dtype float16 \
      --language ja \
      --llm_backend chat-completions \
      --model_name local-jp \
      --responses_api_base_url http://127.0.0.1:8080/v1 \
      --responses_api_api_key "" \
      --responses_api_stream \
      --tts qwen3 \
      --qwen3_tts_backend torch \
      --qwen3_tts_model_name Qwen/Qwen3-TTS-12Hz-0.6B-CustomVoice \
      --qwen3_tts_device cuda \
      --qwen3_tts_language ja \
      --init_chat_prompt "あなたは日本語で話す音声アシスタントです。返答は簡潔に、1〜2文で。" \
      --enable_live_transcription \
      --local_audio_input_device 19 \
      --local_audio_output_device 19

    "--local_audio_input_device"、"--local_audio_output_device" に設定する値は次のコマンドを実行。

    uv run python -m sounddevice

    "pulse" の行の先頭の数値を使う。下記では、 "19" が設定値。

    (一部抜粋)
    
      18 pipewire, ALSA (64 in, 64 out)
      19 pulse, ALSA (32 in, 32 out)
    * 20 default, ALSA (64 in, 64 out)

    "PULSE_SOURCE"、"PULSE_SINK" は、OS 既定のマイクとスピーカーでない場合、特定の物理マイク/スピーカーを固定するために必要。

    まずはマイク。

    pactl list short sources

    "alsa_input." で始まる行の中から、使いたいマイクの行を選び、2列目の文字列を "PULSE_SOURCE" に設定する。今回は、Maono Fairy を使った。

    (一部抜粋)
    
    56      alsa_input.usb-Generic_USB_Audio-00.iec958-stereo       PipeWire        s24le 2ch 48000Hz      SUSPENDED
    59      alsa_input.usb-USB_Microphone_Maono_Fairy_2018_06_26-00.iec958-stereo   PipeWire      s16le 2ch 48000Hz        SUSPENDED

    次にスピーカー。

    pactl list short sinks

    "alsa_output." で始まる行の中から、使いたいスピーカーの行を選び、2列目の文字列を "PULSE_SINK" に使う。

    55      alsa_output.usb-Generic_USB_Audio-00.iec958-stereo      PipeWire        s32le 2ch 48000Hz      SUSPENDED
    57      alsa_output.pci-0000_70_00.1.hdmi-stereo        PipeWire        s32le 2ch 48000Hz     SUSPENDED
    58      alsa_output.usb-USB_Microphone_Maono_Fairy_2018_06_26-00.iec958-stereo  PipeWire      s16le 2ch 48000Hz        SUSPENDED

    あとは話しかけるだけ。

    こんにちは

    👦🏻 ユーザー発話

    AI エージェント(Flue)で会話する

    llama-server 起動

    "gemma-4-12B-it-qat"
    前述の 4B モデルでも良いが、スキルを使うのであれば 12B が良いかも。

    CUDA_VISIBLE_DEVICES=0 \
    llama-server -hf unsloth/gemma-4-12B-it-qat-GGUF:UD-Q4_K_XL \
      -c 16384 \
      -fa on -ctk q8_0 -ctv q8_0 -np 1 --fit off \
      -ngl 99 \
      --jinja --chat-template-kwargs '{"enable_thinking": false}' \
      --alias "assistant-model"

    Flue 起動

    git clone -b flue-adapter https://github.com/high-u/speech-to-speech.git
    
    cd speech-to-speech

    Flue のフォルダに移動し、環境構築。

    cd agents/flue
    
    npm install
    
    cp .env.example .env

    .env の中身はこんな感じ。

    LLAMA_SERVER_BASE_URL="http://127.0.0.1:8080/v1"
    LLAMA_SERVER_CONTEXT_WINDOW="16384"
    LLAMA_SERVER_MAX_TOKENS="16384"
    SYSTEM_PROMPT="あなたは音声で回答するアシスタントです。音声でユーザーに伝わるため、端的に一文か二文で回答してください。"
    HIRAGANA_CONVERSION="1"

    起動する。

    npm run dev

    speech-to-speech 起動

    speech-to-speech フォルダに戻り、依存解決。

    uv sync

    起動する。

    CUDA_VISIBLE_DEVICES=0 \
    PULSE_SOURCE=alsa_input.usb-USB_Microphone_Maono_Fairy_2018_06_26-00.iec958-stereo \
    PULSE_SINK=alsa_output.pci-0000_70_00.1.hdmi-stereo \
    uv run speech-to-speech local \
      --language ja \
      --stt whisper \
      --stt_model_name openai/whisper-large-v3 \
      --stt_device cuda \
      --stt_torch_dtype float16 \
      --llm_backend flue \
      --flue_base_url http://127.0.0.1:5173 \
      --flue_agent_name hf-s2s \
      --flue_session_gap_hours 4 \
      --tts qwen3 \
      --qwen3_tts_model_name Qwen/Qwen3-TTS-12Hz-0.6B-CustomVoice \
      --qwen3_tts_device cuda \
      --qwen3_tts_backend torch \
      --qwen3_tts_speaker Ono_anna \
      --local_audio_input_device 19 \
      --local_audio_output_device 19 \
      --local_audio_block_mic_during_playback true

    あとは話しかけるだけ。

    こんにちは

    👦🏻 ユーザー発話

    折角なのでスキルを使う

    気象庁の API を使った雑なスキルをインストール。

    cd agents/flue
    
    gh skill install high-u/adhoc-skills jma-forecast \
      --dir .agents/skills --agent universal

    Flue を再起動し、天気を聞いてみる。

    東京の天気を教えて

    👦🏻 ユーザー発話

    所感

    会話していると、音声出力するツールが欲しくなる。天気予報などを聞いた時、「天気を調べるから、ちょっと待ってね。」的な、前置きを置いてから天気予報取得を行って欲しい、とか。

    huggingface さん、とても勉強になる良いリポジトリをありがとう。

    やっぱり、ウェイクワードはあった方が使いやすいのかも。結局は、使い方次第なのだろうけど。

    次回は、カスタムツールか、MCP サーバーで音声出力(返答不要と質問)を組み込む。TTS は、https://github.com/Aratako/Irodori-TTS を利用させてもらおうかな。

    最後に

    次のドキュメントに、もう少し詳しいことを書いている。

    llama-server の起動で "CUDA_VISIBLE_DEVICES=0" を付けているが、グラボが 1 枚の環境では不要。あっても害は無い(はず)。

    以上



    あなたへのおすすめ