メインコンテンツへスキップ
見出し画像

`llama-server -hf` でダウンロードされたモデルの削除 - これが llama-server 導入の障壁になっていないか?

    まとめ

    内容理解しつつ、スキルかコマンドにしておいて、愛用の AI エージェントに任せれば良い。

    `hf` コマンド

    Linux や Mac なら次でインストール(公式ドキュメント参照を推奨)。

    curl -LsSf https://hf.co/cli/install.sh | bash

    この記事の内容は次のバージョンを前提とする。

    hf --version

    2026 年 9 月 22 日時点では、バージョン 1.32.0 。

    1.32.0

    `hf` コマンドでの削除

    `llama-server -hf` で、ダウンロードされたモデルを対象とする。

    ダウンロードファイル(キャッシュ)一覧を表示する。

    hf cache ls

    こんな出力になる。

    ID                                                  SIZE LAST_ACCESSED  LAST_MODIFIED REFS
    ------------------------------------------------- ------ -------------- ------------- ----
    model/unsloth/Qwen3.5-4B-GGUF                       2.9G 2 weeks ago    4 weeks ago   main
    model/unsloth/Qwen3.5-9B-GGUF                       6.9G 10 hours ago   10 hours ago  main
    model/unsloth/Qwen3.8-27B-GGUF                     28.3G 21 hours ago   1 week ago    main
    model/unsloth/Qwen3.8-Flash-Next-GGUF             112.2G 21 hours ago   2 weeks ago   main
    model/unsloth/gemma-4-12B-it-qat-GGUF               7.1G 15 hours ago   5 days ago    main
    model/unsloth/gemma-4-26B-A4B-it-qat-GGUF          15.7G 2 days ago     2 days ago    main
    model/unsloth/gemma-4-E4B-it-qat-GGUF               5.2G 22 hours ago   22 hours ago  main

    `hf cache rm <ID>` で削除できる。[y/N] の確認が入るが、`-y` を入れておけば、確認は入らず削除される。`--dry-run` を付けると削除せずに削除した時の確認ができる。下記は確認ありの削除例。

    hf cache rm model/prism-ml/Bonsai-27B-gguf

    確認が入ったら "y" + Enter で削除。

    About to delete 1 repo(s) totalling 4.4G.
      - model/prism-ml/Bonsai-27B-gguf (entire repo)
    Proceed with deletion? [y/N]: y
    Cache deletion done. Saved 4.4G.
    ✓ Deleted 1 repo(s) and 1 revision(s); freed 4.4G.
      repos_deleted: 1
      revisions_deleted: 1
      freed: 4.4G

    ⚠️ "Q4_K_M" と "Q2_K_M" など複数の量子化モデルをダウンロードしていた場合、この削除方法では、個別に削除することが出来ない。

    量子化別に削除する

    キャッシュ一覧で ID を確認する。

    hf cache ls
    ID                                                  SIZE LAST_ACCESSED  LAST_MODIFIED REFS
    ------------------------------------------------- ------ -------------- ------------- ----
    model/unsloth/Qwen3.8-27B-GGUF                     28.3G 21 hours ago   1 week ago    main

    キャッシュの詳細情報を取得する。

    次のコマンドの `--arg id "<ID>"` の `<ID>` 部分を前述のコマンドで確認した ID に置き換えて実行する。

    hf cache ls --revisions --format json | \
    jq --arg id "model/unsloth/Qwen3.8-27B-GGUF" \
      '[.[] | select(.id == $id) | {repo_id, snapshot_path, size}]'

    次のような出力が得られる。
    "repo_id"、"snapshot_path" の値を後ほど使用する。"size" は参考まで。

    [
      {
        "repo_id": "unsloth/Qwen3.8-27B-GGUF",
        "snapshot_path": "/home/high-u/.cache/huggingface/hub/models--unsloth--Qwen3.8-27B-GGUF/snapshots/4ca720788d1e01f1bff70c033e0d0028fd02e502",
        "size": "28.3G"
      }
    ]

    `ls -1 <snapshot_path>` で、量子化別のファイル名を確認する。

    ls -1 /home/high-u/.cache/huggingface/hub/models--unsloth--Qwen3.8-27B-GGUF/snapshots/4ca720788d1e01f1bff70c033e0d0028fd02e502

    こんな感じに出力される。
    mmproj は、画像入力用のものなので適宜扱う。

    mmproj-BF16.gguf
    Qwen3.8-27B-UD-Q2_K_XL.gguf
    Qwen3.8-27B-UD-Q4_K_XL.gguf

    やっと次で削除。

    "HF_CACHE_REPO_ID" に "repo_id" を、"HF_CACHE_FILENAME" に直前に確認したファイル名を入れる。次は一例。

    HF_CACHE_REPO_ID=unsloth/Qwen3.8-27B-GGUF
    HF_CACHE_FILENAME=Qwen3.8-27B-UD-Q2_K_XL.gguf
    hf cache rm "hf://models/$HF_CACHE_REPO_ID/$HF_CACHE_FILENAME"

    確認が入るので、 "y" + Enter で削除。

    About to delete 1 file(s) totalling 9.8G.
      - model/unsloth/Qwen3.8-27B-GGUF@4ca720788d1e01f1bff70c033e0d0028fd02e502/Qwen3.8-27B-UD-Q2_K_XL.gguf
    Proceed with deletion? [y/N]: y
    Cache deletion done. Saved 9.8G.
    ✓ Deleted 1 file(s); freed 9.8G.
      files_deleted: 1
      freed: 9.8G

    面倒すぎだろ 🤬

    他に方法あるのかな。

    他のモデル管理方法

    `hf download --local-dir` + `llama-server -m` で、好きな場所にモデルのファイルを置いておく。
    ただし、 mmproj のダウンロードやロードなど自動でやってくれる `llama-server -hf` の便利機能は使えない。

    以上

    あなたへのおすすめ