
いつものローカル LLM と音声で会話する - huggingface/speech-to-speech
概要
次の 2 パターンで会話した記録。
llama-server のモデルと直接会話
AI エージェント(Flue)で会話
音声は旧世代感ある。動かしている環境は、Ubuntu と Nvidia GPU 。
llama-server で会話する
llama-server 起動
"gemma-4-E4B-it-qat"
CUDA_VISIBLE_DEVICES=0 \
llama-server -hf unsloth/gemma-4-E4B-it-qat-GGUF:UD-Q4_K_XL \
-c 16384 \
-fa on -ctk q8_0 -ctv q8_0 -np 1 --fit off \
-ngl 99 \
--jinja --chat-template-kwargs '{"enable_thinking": false}' \
--alias "assistant-model"speech-to-speech 起動
git clone する。
git clone https://github.com/huggingface/speech-to-speech.git
cd speech-to-speechpyproject.toml の編集。次の "constraint-dependencies = …" の行を追加する。これは、2026年9月21日11時55分現在では必要なパッチ。
[tool.uv]
package = true
prerelease = "allow"
constraint-dependencies = ["transformers<5.17"]依存を解決する。
uv syncspeech-to-speech を起動する。
次の 4 つはハードウェア依存なので、設定値を後述。
--local_audio_input_device
--local_audio_output_device
PULSE_SOURCE
PULSE_SINK
PULSE_SOURCE=alsa_input.usb-USB_Microphone_Maono_Fairy_2018_06_26-00.iec958-stereo \
PULSE_SINK=alsa_output.pci-0000_70_00.1.hdmi-stereo \
CUDA_VISIBLE_DEVICES=1 uv run speech-to-speech local \
--stt whisper \
--stt_model_name openai/whisper-large-v3 \
--stt_device cuda \
--stt_torch_dtype float16 \
--language ja \
--llm_backend chat-completions \
--model_name local-jp \
--responses_api_base_url http://127.0.0.1:8080/v1 \
--responses_api_api_key "" \
--responses_api_stream \
--tts qwen3 \
--qwen3_tts_backend torch \
--qwen3_tts_model_name Qwen/Qwen3-TTS-12Hz-0.6B-CustomVoice \
--qwen3_tts_device cuda \
--qwen3_tts_language ja \
--init_chat_prompt "あなたは日本語で話す音声アシスタントです。返答は簡潔に、1〜2文で。" \
--enable_live_transcription \
--local_audio_input_device 19 \
--local_audio_output_device 19"--local_audio_input_device"、"--local_audio_output_device" に設定する値は次のコマンドを実行。
uv run python -m sounddevice"pulse" の行の先頭の数値を使う。下記では、 "19" が設定値。
(一部抜粋)
18 pipewire, ALSA (64 in, 64 out)
19 pulse, ALSA (32 in, 32 out)
* 20 default, ALSA (64 in, 64 out)"PULSE_SOURCE"、"PULSE_SINK" は、OS 既定のマイクとスピーカーでない場合、特定の物理マイク/スピーカーを固定するために必要。
まずはマイク。
pactl list short sources"alsa_input." で始まる行の中から、使いたいマイクの行を選び、2列目の文字列を "PULSE_SOURCE" に設定する。今回は、Maono Fairy を使った。
(一部抜粋)
56 alsa_input.usb-Generic_USB_Audio-00.iec958-stereo PipeWire s24le 2ch 48000Hz SUSPENDED
59 alsa_input.usb-USB_Microphone_Maono_Fairy_2018_06_26-00.iec958-stereo PipeWire s16le 2ch 48000Hz SUSPENDED次にスピーカー。
pactl list short sinks"alsa_output." で始まる行の中から、使いたいスピーカーの行を選び、2列目の文字列を "PULSE_SINK" に使う。
55 alsa_output.usb-Generic_USB_Audio-00.iec958-stereo PipeWire s32le 2ch 48000Hz SUSPENDED
57 alsa_output.pci-0000_70_00.1.hdmi-stereo PipeWire s32le 2ch 48000Hz SUSPENDED
58 alsa_output.usb-USB_Microphone_Maono_Fairy_2018_06_26-00.iec958-stereo PipeWire s16le 2ch 48000Hz SUSPENDEDあとは話しかけるだけ。
こんにちは
AI エージェント(Flue)で会話する
llama-server 起動
"gemma-4-12B-it-qat"
前述の 4B モデルでも良いが、スキルを使うのであれば 12B が良いかも。
CUDA_VISIBLE_DEVICES=0 \
llama-server -hf unsloth/gemma-4-12B-it-qat-GGUF:UD-Q4_K_XL \
-c 16384 \
-fa on -ctk q8_0 -ctv q8_0 -np 1 --fit off \
-ngl 99 \
--jinja --chat-template-kwargs '{"enable_thinking": false}' \
--alias "assistant-model"Flue 起動
git clone -b flue-adapter https://github.com/high-u/speech-to-speech.git
cd speech-to-speechFlue のフォルダに移動し、環境構築。
cd agents/flue
npm install
cp .env.example .env.env の中身はこんな感じ。
LLAMA_SERVER_BASE_URL="http://127.0.0.1:8080/v1"
LLAMA_SERVER_CONTEXT_WINDOW="16384"
LLAMA_SERVER_MAX_TOKENS="16384"
SYSTEM_PROMPT="あなたは音声で回答するアシスタントです。音声でユーザーに伝わるため、端的に一文か二文で回答してください。"
HIRAGANA_CONVERSION="1"起動する。
npm run devspeech-to-speech 起動
speech-to-speech フォルダに戻り、依存解決。
uv sync起動する。
CUDA_VISIBLE_DEVICES=0 \
PULSE_SOURCE=alsa_input.usb-USB_Microphone_Maono_Fairy_2018_06_26-00.iec958-stereo \
PULSE_SINK=alsa_output.pci-0000_70_00.1.hdmi-stereo \
uv run speech-to-speech local \
--language ja \
--stt whisper \
--stt_model_name openai/whisper-large-v3 \
--stt_device cuda \
--stt_torch_dtype float16 \
--llm_backend flue \
--flue_base_url http://127.0.0.1:5173 \
--flue_agent_name hf-s2s \
--flue_session_gap_hours 4 \
--tts qwen3 \
--qwen3_tts_model_name Qwen/Qwen3-TTS-12Hz-0.6B-CustomVoice \
--qwen3_tts_device cuda \
--qwen3_tts_backend torch \
--qwen3_tts_speaker Ono_anna \
--local_audio_input_device 19 \
--local_audio_output_device 19 \
--local_audio_block_mic_during_playback trueあとは話しかけるだけ。
こんにちは
折角なのでスキルを使う
気象庁の API を使った雑なスキルをインストール。
cd agents/flue
gh skill install high-u/adhoc-skills jma-forecast \
--dir .agents/skills --agent universalFlue を再起動し、天気を聞いてみる。
東京の天気を教えて
所感
会話していると、音声出力するツールが欲しくなる。天気予報などを聞いた時、「天気を調べるから、ちょっと待ってね。」的な、前置きを置いてから天気予報取得を行って欲しい、とか。
huggingface さん、とても勉強になる良いリポジトリをありがとう。
やっぱり、ウェイクワードはあった方が使いやすいのかも。結局は、使い方次第なのだろうけど。
次回は、カスタムツールか、MCP サーバーで音声出力(返答不要と質問)を組み込む。TTS は、https://github.com/Aratako/Irodori-TTS を利用させてもらおうかな。
最後に
次のドキュメントに、もう少し詳しいことを書いている。
https://github.com/high-u/speech-to-speech/blob/flue-adapter/docs/local-hardware-setup.md
https://github.com/high-u/speech-to-speech/blob/flue-adapter/docs/flue-llm-backend.md
llama-server の起動で "CUDA_VISIBLE_DEVICES=0" を付けているが、グラボが 1 枚の環境では不要。あっても害は無い(はず)。
以上