
稟議に書けるAIモデル選定。ランキングではなく、自社の20問で決める
その根拠は何ですか。
役員会で聞かれて、私が答えられなかった質問です。
そのとき出していた資料には、リーダーボードのスクリーンショットが貼ってありました。1位のモデルに赤枠。それだけです。
なぜそれが自社にとって最適なんですか、と聞かれて、言葉が出てきませんでした。
世界で1位だから、は理由になりません
差し戻されて、席に戻って、考えました。じゃあ何を持っていけば通ったのか。
答えは単純でした。自社の業務で測った数字です。
そして、それは30分で作れます。
この記事の対象
社内で使うAIモデルを選ぶ立場にいて、その根拠を説明しなければならない人
リーダーボードの順位を貼っただけの資料で、差し戻された経験がある人
ベンダーやSIerの提案を受ける側で、その妥当性を判断したい人
この記事で手に入るもの
自社の業務から20問の評価セットを作る手順
3モデルを30分で比較して、点数化する方法
コストと速度を、品質と同じ表に載せるための計算
そのまま稟議書に貼れる、選定根拠のフォーマット
3ヶ月ごとに再評価する運用の作り方
想定作業時間は、20問の作成に30分から60分、比較の実行に30分です。
なぜランキングでは通らないのか
理由は3つあります。
1. 測っているものが違う
Arenaのようなリーダーボードが測っているのは、人間が読んで良いと感じるかです。
あなたの業務が測るべきものは、たとえばこうです。
社内規程の内容を、条番号まで正しく引用できるか
顧客向けメールを、自社のトーンで書けるか
数値の入った表を、桁を落とさずに要約できるか
分からないときに、分からないと言えるか
リーダーボードは、このどれも測っていません
2. 業務の平均ではなく、自社の偏りが問題になる
リーダーボードの総合順位は、世界中のあらゆる質問の平均です。
ところが業務では、質問の種類が極端に偏ります。カスタマーサポートなら問い合わせ対応、法務なら条文の読解、営業なら提案文。
平均で強いモデルが、あなたの偏りで強いとは限りません
そして実際、用途を絞ると順位はよく入れ替わります。
3. 説明責任の所在が違う
これが本質です。
外部の順位を根拠にすると、その順位が変わったときに、あなたの判断の根拠が消えます。半年後に説明できません。
自社で測った数字を根拠にすると、測った時点の判断として、いつまでも説明できます
稟議を通したいなら、こちらです。
ここから先で扱うこと
前提はここまでです。ここから先は、実際の作業になります。
有料パートの中身は5つです。
20問の作り方何を集めて、どう配分するかを決め切ります
採点の設計主観を減らして、3人でやっても結果が揃う形にします
コストと速度の載せ方品質だけで決めると、あとで運用費に殺されます
稟議書に貼るフォーマットそのままコピーできる形です
再評価の運用モデルは3ヶ月で変わります
先に断っておくと、この記事は特定のモデルを推奨しません。推奨したところで、3ヶ月で古くなるからです渡すのは手順のほうです。
関連記事
そのリーダーボードを運営している会社が、いま何で収益を上げているのか。無料でまとめています。
社内文書を参照させるAIの評価については、こちらで扱っています。
免責
記載は2026年8月時点の情報および筆者の実務経験にもとづきます。特定のモデル、ベンダー、サービスの性能を保証するものではありません。
点数の目安は業務の性質によって変動します。自社の状況に合わせて調整してください。
稟議書のフォーマットは一般的な例であり、自社の様式および決裁基準に合わせて修正してご利用ください。
<!-- ここから有料エリア -->