メインコンテンツへスキップ
見出し画像
Photo byai_gazou

LocalLLM試行錯誤中2

    MTPが合わない事を確認した😤

    新しいモデルをダウンロードする

    新しいモデルを動かすも残念な結果...

    新しいモデル(MTP)
    LMStudio_0.4.14 x unsloth/Qwen3.1-35B-A3B-MTP-GGUF(Q4_K_S)
     27.93TPS 14.25s RAM 29.4 VRAM 15.5 swap outしてるもよう
    古いモデル
    LMStudio_0.4.14 x qwen/Qwen3.6-35B-A3B-MTP-GGUF(Q4_K_M)
     29.83TPS 12.60s RAM 30.3 VRAM 15.3 swap outしてない
    画像
    新しいモデル(MTP)は、大量のメモリーを利用しスワップするのでNG
    画像
    精度重視の4Q_K_Mはスワップせずに早く処理を完了させた。

    早いが正義!!130TPS

    結局、小さなモデルだけど130TPSを出せる「Qwen3-Coder-30B-A3B-Instruct-abliterated-i1」を普段使いにする事にした。

    画像
    画像
     
     
    AIを中心とした日記帳です。

    あなたへのおすすめ