メインコンテンツへスキップ
見出し画像

Ollamaの/v1(OpenAI互換API)が11月に変わった。temperature省略時の既定値と/v1/responsesの切り詰め

    Ollama の v0.40.14(11月3日)と v0.40.16(11月9日)で、OpenAI 互換エンドポイント(/v1/...)の挙動が変わりました。temperature と top_p を送らないクライアントは、1.0 ではなくモデル自身の既定値で動くようになり、/v1/responses は黙って切り詰めなくなりました。OpenAI SDK から Ollama をつないでいる人は、更新後に出力の傾向が変わっていないかを見ておくと安心です。内容は公式リリースノートの解説で、実際に動かして確かめたものではありません。

    この記事が関係する人 / 関係しない人

    関係する人

    • OpenAI SDK や LangChain などから、http://localhost:11434/v1 経由で Ollama を使っていて、temperature を指定していない人

    • /v1/responses に長い入力を送っている人、/v1/models でモデル一覧を取っているツールを作っている人

    関係しない人

    • Ollama の /api/chat(ネイティブ API)や ollama run だけを使っている人。公式は、新しい挙動は「/api/chat と同じ」になる変更だと書いています

    確認方法は、公式ドキュメントにある呼び出し例のとおり /v1/chat/completions へ temperature を付けずに送り、更新の前後で応答の傾向を比べることです(OpenAI compatibility)。インストール済みのバージョンの確認方法は、公式ドキュメントで見つけられませんでした。リリース日と照らし合わせてください。

    temperature・top_p を省略したときの既定値

    v0.40.14 のリリースノートによると、OpenAI 互換エンドポイントは、モデルに同梱されたサンプラーの既定値を上書きしなくなりました。これまでは、クライアントが temperature や top_p を送らないと 1.0 が入っていました。今後はモデルが持つ値が使われます。

    clients that send no `temperature`/`top_p` get the model's own values instead of 1.0, matching `/api/chat`

    訳: temperature / top_p を送らないクライアントは、1.0 ではなくモデル自身の値になり、/api/chat と同じ挙動になる。(Ollama v0.40.14 リリースノート)

    出力を固定したい場合は、これまでどおりリクエストで値を明示するのが確実です。公式ドキュメントは temperature と top_p を両エンドポイントで対応としています。ただし既定値の数値そのものはドキュメントに書かれていないため、モデルごとの値はここでは扱いません。

    /v1/responses と /v1/models の変更

    • v0.40.14: /v1/responses が、過去のアシスタントの拒否応答を含む入力内容を、平らにせず読める形のまま保持します

    • v0.40.16: /v1/responses が truncation の指定を守り、既定で黙って切り詰めなくなりました

    • v0.40.16: /v1/models は、モデルが1つも入っていないとき null ではなく空のリストを返します

    `/v1/responses` respects `truncation` and no longer silently truncates by default

    訳: /v1/responses は truncation を尊重し、既定では黙って切り詰めなくなった。(Ollama v0.40.16 リリースノート)

    なお、公式ドキュメントの互換性の表では truncation は「対応しない」欄にあり、リリースノートとの関係は読み取れませんでした。長い入力を送る場合は、更新後に挙動を自分の環境で確かめてください。/v1/models が null を前提にしていたコードは、空リストでも動くかを見ます。

    画像

    更新時に見ること

    • OpenAI SDK のクライアントで temperature を省略している箇所があるか。あれば明示する

    • 長い入力を /v1/responses に送っているか。切り詰めの扱いが変わるため、上限を超えたときの動きを確かめる

    • /v1/models の戻り値を null かどうかで判定していないか

    リリースの内容や公式ドキュメントは変わることがあります。最新は公式のリリースページで確認してください。

    関連記事

    出典:

    開発ツールの仕様変更・提供終了の情報を毎朝お届けしています。見逃したくない方は、フォローしてください。

     
     

    HARu

     
     
    バックエンドエンジニア。Claude・GitHub・ローカルLLMなど開発ツールの新機能や仕様変更を、公式ドキュメントをもとに日本語で整理しています。「自分に関係あるか」「何を直せばいいか」がすぐ分かる記事を毎朝更新。記事はClaudeと一緒に作っています。

    あなたへのおすすめ