
お手軽LLMはじめてみた。その57(OxCoder-9Bをお試し)
この記事を見て気になって。
0.00.181.541 W DEPRECATED: argument '-c' specified multiple times, use comma-separated values instead (only last value will be used)
0.00.748.115 I cmn common_param: common_params_print_info: verbosity = 3 (adjust with the `-lv N` CLI arg)
0.00.749.243 W srv llama_server: -----------------
0.00.749.250 W srv llama_server: CORS is set to allow all origins ('*') and no API key is set
0.00.749.251 W srv llama_server: this can be a security risk (cross-origin attacks)
0.00.749.252 W srv llama_server: more info: https://github.com/ggml-org/llama.cpp/pull/25655
0.00.749.252 W srv llama_server: -----------------
Downloading OxCoder-9B-Q5_K_M.gguf ───────────────────────────────── 100%
10.50.968.707 I srv load_model: loading model 'sizzlebop/OxCoder-9B-GGUF'
10.54.440.470 I cmn init: llama threadpool init, n_threads = 4
10.54.689.492 I srv load_model: initializing, n_slots = 1, n_ctx_slot = 98304, kv_unified = 'false'
10.54.712.180 W srv init: chat template supports preserving reasoning, it is enabled by default (may use more tokens, disable via --no-reasoing-preserve)
10.54.712.256 I srv llama_server: model loaded
10.54.712.266 I srv llama_server: listening on http://0.0.0.0:8080
10.54.712.268 W srv llama_server: NOTICE: server default port will be changed to :9931 in a future release
10.54.712.269 W srv llama_server: ref: https://github.com/ggml-org/llama.cpp/pull/26508
10.56.810.012 I slot get_availabl: id 0 | task -1 | selected slot by LRU, t_last = -1
10.56.811.896 I slot launch_slot_: id 0 | task 0 | processing task, is_child = 0挨拶してみた。返答はやい。

海外Yパパラジオの最新話をまとめさせたら読みやすい。9Bで十分じゃん。

PPTを作成させてみる。
~/crush-workspaceにある、phuket-gemini.md、phuket-claude.md、phuket-chatgpt.md、phuket-grok.mdの情報を元に、11/28土曜日のお昼ごはん2回、おやつ4回、晩ごはん2回。11/29日曜日の朝ごはん2回、10時のお茶2回、お昼ごはん2回、おやつ4回、晩ごはん2回。11/30の朝ごはん2回のお店を選んで
旅程表を作ってください。その情報をもとに旅のしおりをPPTで作成してください。同じ店で同じ物を食べるのは1回だけ。できるだけ多くの店を回りたいです。生成するファイルにはOxCoder-LLMと言う文字列をファイル名に含めてください。新たにFetchは不要です
無事にFile生成完了。しかも読みやすい。素晴らしい。

これは使えそうな気がする。
使用LLM説明
OxCoder-9B
OxCoder-9Bは、OrionLLMが開発した、パラメータ数が約90億(9B)のオープンソースのコード生成・推論特化型の大規模言語モデル(LLM)です。
基本仕様と特徴
ベースモデル: AlibabaのQwenチームが開発した Qwen/Qwen3.5-9B
コンテキスト長: ネイティブで最大 262,144 トークンをサポート
マルチモーダル対応: ビジョンエンコーダ(CLIP)を搭載しており、UIのスクリーンショットなどの画像入力にも対応
機能: ネイティブのツールコール(Tool Calling)をサポート。