メインコンテンツへスキップ

#llamaserver

関連タグ

42件

人気の記事一覧

llama.cpp v0.7.0 に MoE キャッシュが追加された - Strata 旋風の中では地味かもしれないがうれしい機能

Gemma-4-12B で Jev る - llama.cpp の GBNF を知った

Qwen3.8-Flash-Next-GGUF:UD-IQ4_XS を Ubuntu の llama.cpp で動かしてみた(生成は 22 t/s スタート) 〜 せめて MTP は欲しいが対応はまだ無い

Qwen3.8-27B(4ビット量子化)で 120 t/s(tg_3s) / llama-server と RTX5070Ti + RTX5070 で再度追い込んだ

`llama-server -hf` でダウンロードされたモデルの削除 - これが llama-server 導入の障壁になっていないか?

【RTX5060ti×2】Ollama+Open WebUIのパフォーマンス紹介【2026年9月】

Qwen3.8-27B の llama-server 最適解を探っていたら GPU×2 の環境でエラーが発生した話(LLAMA_GRAPH_REUSE_DISABLE=1 で解決?) − やっぱり xhigh は長いけど生成されたゲームの質は良い

【Linux】OllamaでGemma4 MTPとsplit tensorのGPU並列処理を強引に有効にする話【RTX5060ti×二枚】

Qwen3.8-Flash-Next + llama.cpp + グラボ二枚で動かすメモ - 生成速度も早くは無いがプロンプト処理が遅い

MTP よ、ごめんね、意味ねーとか言っちゃって。 Unsloth が Qwen3.8-Flash-Next の MTP 対応を出したので試したら、前回の MTP とは変わって好印象。

いつものローカル LLM と音声で会話する - huggingface/speech-to-speech

gemma-4-26B-A4B-it を CPU 実行 ➟ 【生成速度: 70 t/s】

Qwen3.6-27B よ、すごいすごいと言っていたが、キミのすごさをまだ全然分かっていなかった(GB 2 枚目ポチりそう)

Qwen3.8-27B をとりあえず動かす- Q4: 70t/s, Q2: 100t/s

Qwen3.6-27B-GGUF の生成速度と VRAM 使用量について、いくつかパラメーターを変えて計測してみた

CPU の並列実行はお遊びだった、GPU の並列実行は、まだ見ぬ世界へのいざないだった

やっぱり足りなかったVRAM16GB、Radeon AI Pro R9700に買い替え

“Qwen3.6-35B-A3B” - 何が起こった? 0.1で違いすぎやしませんか? Flappy Bird 作成 と パターン別生成速度計測

LM Studio、Ollama に次ぐ勢力になり得るか? llama.cpp の便利さを書き記す

llama.cpp の --mlock で起動しないなら -lm mmap+mlock へ――書き換え4つと、黙って無視される環境変数(llama-server の VmLck で実測)

NVIDIA-Nemotron-3-Super-120B-A12B を試す、会話していて気持ちが良い、コーディングは、、

1ビット量子化の Qwen3.6 は使い物になるか? Bonsai が特別にすごいのか? 簡単に検証してみた

hf-mount が面白そうだったので試した

Qwen3.5-35B-A3B がキター! ローカルで動く、自己認識する VLM、タイミングが良すぎて震える

hermes-agent と telegram と llama.cpp と qwen3.5-35b-a3b と podman と

llama-server の UI が MCP サーバーに対応したので試した

え?!! MoE の設定しなくても良しなにやってくれるの??いつそうなった? llama.cpp やるな

ThinkPad X220でQwen3.5系を動かす

mistralai/Mistral-Small-4-119B-2603 (GGUF) を動かしてみたらキャラ強すぎでそっと閉じた

nanobot + llama.cpp で、ローカル AI エージェントを動かしてみた記録

Qwen3.5-122B-A10B も試した

Qwen/Qwen3-Coder-Next (80B-A3B)がキター! 256K Context Length でまともにコーディングできるかもしれない期待のモデル

“docker-agent” を試したら、良さげな感じがしているが、llama-server でエラー

VRAM が大きくなくたって、ローカルLLMで、大きなコンテキストを扱いたい

ローカルLLM生成速度計測 - RTX5070Ti 編

ローカルLLM生成速度計測 - llama.cpp で動かなかった者たち編

GLM-4.7-Flash との会話が楽しくて、かわいくて、今日も楽しむ。

LocalLLMとGeminiを比較してみた話

Local LLMの設定まとめ(2026/04/19)

【完全版】ローカルLLM高速化― prompt cache を最大効率で効かせる設計テンプレ(server.sh + env 対応)

ブラウザーローカル LLM で翻訳アプリを作ってみたが生成速度が遅すぎて打ち拉がれ、llamafile や shimmy とかに流れようかと思案中