メインコンテンツへスキップ
見出し画像

hf-mount が面白そうだったので試した

    hf-mount とは?

    Hugging Face Bucketsとリポジトリをローカルファイルシステムとしてマウントします。ダウンロードもコピーも待ち時間も不要です。

    https://github.com/huggingface/hf-mount

    いやいや、、マウントにはコピーも待ち時間も不要かもしれんが、ロードには時間が必要でしょ!って突っ込みたくなるけど、まー、詳細は説明せずとも、『わかるでしょ?』ってことだと思う。

    Mac で試す

    hf-mount のインストール

    curl -fsSL https://raw.githubusercontent.com/huggingface/hf-mount/main/install.sh | sh

    llama.cpp で使う

    フォアグラウンド実行でマウントする。

    hf-mount-nfs repo unsloth/Qwen3.5-4B-GGUF /tmp/model

    llama-server で使用する。
    llama-server を止めても、hf-mount を止めなければ、次の実行では、キャッシュが利用され、モデルのダウンロードは無し。

    llama-server --model /tmp/model/Qwen3.5-4B-UD-Q4_K_XL.gguf

    LM Studio で使う

    フォアグラウンド実行でマウントする。
    "~/.lmstudio/models" が、モデル保存先のデフォルトだったので、その配下にマウントされるようにした。

    hf-mount-nfs repo unsloth/Qwen3.5-4B-GGUF \
      ~/.lmstudio/models/hf-mount/qwen3.5-4b

    LM Studio では、まずインデックスの処理が走り、モデルが表示されるまでに少し時間がかかった。

    モデルのロードも、ロード時に、モデルをダウンロードするので時間がかかる。

    Ubuntu で試す

    llama.cpp で使う

    基本的な手順は同じだが、次のインストールが必要。

    sudo apt install nfs-common

    あとは、Mac と同様。

    safetensors で使う

    と、試したのだけど、マウントできない。
    処理が止まってしまい、返ってこない。
    なぜだ?

    調査したが分からず、一旦、諦める。

    所感

    うん、おもしろい。
    ただ、小さいモデルを、とりあえず使ってみたい、くらいの用途かなー。
    うまい使い方があると良いな。


    あなたへのおすすめ