メインコンテンツへスキップ
見出し画像

お手軽LLMはじめてみた。その57(OxCoder-9Bをお試し)

    この記事を見て気になって。

    0.00.181.541 W DEPRECATED: argument '-c' specified multiple times, use comma-separated values instead (only last value will be used)
    0.00.748.115 I cmn  common_param: common_params_print_info: verbosity = 3 (adjust with the `-lv N` CLI arg)
    0.00.749.243 W srv  llama_server: -----------------
    0.00.749.250 W srv  llama_server: CORS is set to allow all origins ('*') and no API key is set
    0.00.749.251 W srv  llama_server: this can be a security risk (cross-origin attacks)
    0.00.749.252 W srv  llama_server: more info: https://github.com/ggml-org/llama.cpp/pull/25655
    0.00.749.252 W srv  llama_server: -----------------
    Downloading OxCoder-9B-Q5_K_M.gguf ───────────────────────────────── 100%
    10.50.968.707 I srv    load_model: loading model 'sizzlebop/OxCoder-9B-GGUF'
    10.54.440.470 I cmn          init: llama threadpool init, n_threads = 4
    10.54.689.492 I srv    load_model: initializing, n_slots = 1, n_ctx_slot = 98304, kv_unified = 'false'
    10.54.712.180 W srv          init: chat template supports preserving reasoning, it is enabled by default (may use more tokens, disable via --no-reasoing-preserve)
    10.54.712.256 I srv  llama_server: model loaded
    10.54.712.266 I srv  llama_server: listening on http://0.0.0.0:8080
    10.54.712.268 W srv  llama_server: NOTICE: server default port will be changed to :9931 in a future release
    10.54.712.269 W srv  llama_server:         ref: https://github.com/ggml-org/llama.cpp/pull/26508
    10.56.810.012 I slot get_availabl: id  0 | task -1 | selected slot by LRU, t_last = -1
    10.56.811.896 I slot launch_slot_: id  0 | task 0 | processing task, is_child = 0

    挨拶してみた。返答はやい。

    画像

    海外Yパパラジオの最新話をまとめさせたら読みやすい。9Bで十分じゃん。

    画像

    PPTを作成させてみる。

    ~/crush-workspaceにある、phuket-gemini.md、phuket-claude.md、phuket-chatgpt.md、phuket-grok.mdの情報を元に、11/28土曜日のお昼ごはん2回、おやつ4回、晩ごはん2回。11/29日曜日の朝ごはん2回、10時のお茶2回、お昼ごはん2回、おやつ4回、晩ごはん2回。11/30の朝ごはん2回のお店を選んで
    旅程表を作ってください。その情報をもとに旅のしおりをPPTで作成してください。同じ店で同じ物を食べるのは1回だけ。できるだけ多くの店を回りたいです。生成するファイルにはOxCoder-LLMと言う文字列をファイル名に含めてください。新たにFetchは不要です

    無事にFile生成完了。しかも読みやすい。素晴らしい。

    画像

    これは使えそうな気がする。

    使用LLM説明

    OxCoder-9B
    OxCoder-9Bは、OrionLLMが開発した、パラメータ数が約90億(9B)のオープンソースのコード生成・推論特化型の大規模言語モデル(LLM)です。

    基本仕様と特徴

    • ベースモデル: AlibabaのQwenチームが開発した Qwen/Qwen3.5-9B

    • コンテキスト長: ネイティブで最大 262,144 トークンをサポート

    • マルチモーダル対応: ビジョンエンコーダ(CLIP)を搭載しており、UIのスクリーンショットなどの画像入力にも対応

    • 機能: ネイティブのツールコール(Tool Calling)をサポート。

    #ローカルAI
    #AI
    #生成AI
    #テクノロジー
    #LLM
    #エッジAI
    #やってみた
    #LLAMA

    この記事が参加している募集

    あなたへのおすすめ