メインコンテンツへスキップ
見出し画像

稟議に書けるAIモデル選定。ランキングではなく、自社の20問で決める

    その根拠は何ですか。

    役員会で聞かれて、私が答えられなかった質問です。

    そのとき出していた資料には、リーダーボードのスクリーンショットが貼ってありました。1位のモデルに赤枠。それだけです。

    なぜそれが自社にとって最適なんですか、と聞かれて、言葉が出てきませんでした。

    世界で1位だから、は理由になりません

    差し戻されて、席に戻って、考えました。じゃあ何を持っていけば通ったのか。

    答えは単純でした。自社の業務で測った数字です。

    そして、それは30分で作れます。


    この記事の対象

    • 社内で使うAIモデルを選ぶ立場にいて、その根拠を説明しなければならない人

    • リーダーボードの順位を貼っただけの資料で、差し戻された経験がある人

    • ベンダーやSIerの提案を受ける側で、その妥当性を判断したい人

    この記事で手に入るもの

    • 自社の業務から20問の評価セットを作る手順

    • 3モデルを30分で比較して、点数化する方法

    • コストと速度を、品質と同じ表に載せるための計算

    • そのまま稟議書に貼れる、選定根拠のフォーマット

    • 3ヶ月ごとに再評価する運用の作り方

    想定作業時間は、20問の作成に30分から60分、比較の実行に30分です。


    なぜランキングでは通らないのか

    理由は3つあります。

    1. 測っているものが違う

    Arenaのようなリーダーボードが測っているのは、人間が読んで良いと感じるかです。

    あなたの業務が測るべきものは、たとえばこうです。

    • 社内規程の内容を、条番号まで正しく引用できるか

    • 顧客向けメールを、自社のトーンで書けるか

    • 数値の入った表を、桁を落とさずに要約できるか

    • 分からないときに、分からないと言えるか

    リーダーボードは、このどれも測っていません

    2. 業務の平均ではなく、自社の偏りが問題になる

    リーダーボードの総合順位は、世界中のあらゆる質問の平均です。

    ところが業務では、質問の種類が極端に偏ります。カスタマーサポートなら問い合わせ対応、法務なら条文の読解、営業なら提案文。

    平均で強いモデルが、あなたの偏りで強いとは限りません

    そして実際、用途を絞ると順位はよく入れ替わります。

    3. 説明責任の所在が違う

    これが本質です。

    外部の順位を根拠にすると、その順位が変わったときに、あなたの判断の根拠が消えます。半年後に説明できません。

    自社で測った数字を根拠にすると、測った時点の判断として、いつまでも説明できます

    稟議を通したいなら、こちらです。


    ここから先で扱うこと

    前提はここまでです。ここから先は、実際の作業になります。

    有料パートの中身は5つです。

    • 20問の作り方何を集めて、どう配分するかを決め切ります

    • 採点の設計主観を減らして、3人でやっても結果が揃う形にします

    • コストと速度の載せ方品質だけで決めると、あとで運用費に殺されます

    • 稟議書に貼るフォーマットそのままコピーできる形です

    • 再評価の運用モデルは3ヶ月で変わります

    先に断っておくと、この記事は特定のモデルを推奨しません。推奨したところで、3ヶ月で古くなるからです渡すのは手順のほうです。


    関連記事

    そのリーダーボードを運営している会社が、いま何で収益を上げているのか。無料でまとめています。

    社内文書を参照させるAIの評価については、こちらで扱っています。


    免責
    記載は2026年8月時点の情報および筆者の実務経験にもとづきます。特定のモデル、ベンダー、サービスの性能を保証するものではありません。
    点数の目安は業務の性質によって変動します。自社の状況に合わせて調整してください。
    稟議書のフォーマットは一般的な例であり、自社の様式および決裁基準に合わせて修正してご利用ください。

    <!-- ここから有料エリア -->

     
     
    AIエンジニア、専門領域は動画を主としたコンテンツ生成 公式ドキュメントを読み込み、手を動かして検証した保存版ガイドをお届けします。一緒に環境構築の沼を抜けよう。

    あなたへのおすすめ