メインコンテンツへスキップ
見出し画像

【Jevなど判断型モデルを噛み砕いて説明】キヨさん、しゃべらないAIと出会う

    はじめに

    画像
     

    キヨさんシリーズの続編6「判断AI編」です。
    この物語はフィクションで、登場人物は架空です。
    ただし、題材にしている判断型AI「Jev」と、その開発元のTypeSafe社は実在し、内容は2026年11月時点の公開ドキュメントと解説記事に基づいています。

    今回キヨさんが出会うのは、文章を書かないAIです。話しかけても、返ってくるのは数字だけ。

    チャットのAIにすっかり慣れたキヨさんが、この「しゃべらないAI」の正体を、昭和のSEの目で紐解いていきます。

    画像
      

    登場人物です。
    主人公のキヨさん、67歳。元メインフレームのSEで、今は公民館でAIエージェントの勉強会の講師をしています。新しい言葉が出てくると、まず疑ってかかる性分です。

    孫のハルトは助手。キヨさんの勘違いを見つけるのが得意です。

    ミナミさんは「用語の地図編」で勉強会の隣の席だったWebエンジニア。社内チャットボットの担当で、新しいもの好きです。今回、Jevの話を持ち込んできます。

    そしてAIが2つ。キヨさんの相棒は、文章を書くのが大好きなおしゃべりLLMです。もう一方のJevは、TypeSafe社の実在のAIで、文章を一切書かず、判断と確率だけを返します。性格が正反対の2つのAIが、今回の主役です。

    プロローグ

    画像
     

    物語は11月、勉強会のあとの喫茶店から始まります。
    ミナミさんがスマートフォンで見せてくれたのは、「文章を書かないAI」の記事でした。名前はJev、ジェブと読みます。

    キヨさんの第一声は「Javaの親戚か」。ハルトがすかさず訂正します。Javaとは関係ありません。

    返すのは判断と確率だけ。LLMの言語理解力はそのままなのに、文章は書かない。キヨさんは「しゃべらんAIなんぞ、AIと言えるのか」と首をかしげます。横から相棒が「3000字で解説できます」と張り切りますが、キヨさんは「お前は黙っとれ」。本人に会ってみることにしました。

    右上の「キヨさんはJevが分かった?」は、この物語の進み具合です。Jevの流儀にならって、0から1の確率で表しています。今は0.02。ほぼ分かっていません。


    1. 話しかけたら数字が出た

    画像
     

    第1章。キヨさんは、まずJevに話しかけてみました。
    ところがJevは会話をしません。渡すのは「データ」と「質問」。そこでキヨさんは、データに「こんにちは。調子はどうかね」、質問に「この相手は友好的か?」と入れてみます。

    返ってきたのは「noul: 0.97」。友好的である確率が97%、という意味です。キヨさんは「会話にならん!」。

    右は、同じサポートの問い合わせを2つのAIに読ませた比較です。相棒、つまり一般的なLLMは「技術的な問題のようです」と文章で返します。これをプログラムで使うには、JSONの形で出させて、読み取って、正しいか確かめる手間が要ります。

    Jevは最初から「technical」という選択肢と、確率と、確信度を返します。そのままIF文で分岐したり、並べ替えたり、担当に振り分けたりできます。

    キヨさんの感想は「戻り値だけ返すサブルーチンか」。愛想はないけれど、プログラムにはそのまま入る。ここでキヨさんは少しだけ興味を持ちます。

    2. Jevの身元を洗う

    画像
     

    第2章。キヨさんは、Jevの身元を公開情報から洗い出しました。
    JevはTypeSafe社の主力モデルで、同社が「System One モデル」と呼ぶ新しい分類の第1号です。

    正体をひと言でいうと、LLMと同じように言葉を理解できるのに、出力を文章ではなく「判断と較正された確率」に作り替えたモデルです。返信文もコードも推論の説明も書きません。

    学習は、事前学習済みの言語モデルを出発点に、RLCDという同社独自の追加学習をしています。入力はテキストやJSONです。画像の入力も、バージョン1.13.0と1.14.0では実験的機能として使えます。呼び出しはAPIで、PythonとJavaScriptのSDKがあります。パラメータ数などの内部構造は公開されていません。

    名前について。「System One」は、カーネマンの『ファスト&スロー』でいう速く直感的な思考、System 1から来ています。

    「Jev」は、経済学者ジェヴォンズと、その名がついた「ジェヴォンズのパラドックス」にちなんだ名前です。キヨさんが思い出したのは、石炭は効率よく使えるほど、かえって消費が増えるという「ジェヴォンズのパラドックス」です。出資元のSequoia Capitalの記事によると、「何かが劇的に安くなると、人はずっとたくさん使う」という意味を込めた、狙っての命名だそうです。

    3. 伝票と検査表を一緒に渡す

    画像
     

    第3章。Jevの使い方です。渡すものは2つ。
    1つ目は「state」、判断してほしいデータそのもので、文字列でもJSONでも構いません。画像も、実験的機能として渡せます。

    2つ目は「questions」、そのデータについて知りたいことを、型を決めて質問の形で並べたものです。

    この2つを1回の依頼で送ると、Jevは各質問を同じデータに対して並列に、しかも互いに独立して評価し、1回の返事で全部の答えを返します。答えには型付きの値と確率、型によっては確信度が付いてきます。それをプログラムが受け取って、分岐や並べ替えや振り分けに使います。

    ポイントは3つ。
    並列なので質問を増やしても応答時間がほとんど変わらないこと。
    1問ずつ独立なので、LLMのプロンプトに質問を詰め込んだときのような文脈の劣化が起きないこと。
    そして答えに型があるので、文章を読み取る処理が要らないことです。

    キヨさんの言い換えは「伝票と検査表を渡すと、検査員が全項目を同時に見て判子を返す」。横で相棒が、質問を詰め込まれると後半が雑になると白状しています。

    4. 質問の型は3つだけ

    画像
     

    第4章。Jevに投げる質問は、TypeSafeが「プリミティブ」と呼ぶ3つの型のどれかで作ります。

    Choiceは、選択肢のリストから1つを選ぶ質問です。たとえば「この問い合わせは、請求・技術・営業のどこが担当か」。選ばれた選択肢と、選択肢ごとの確率、確信度が返ります。キヨさん流に言えば区分コードです。

    Scoreは、基準表に沿って採点する質問です。たとえば「お客さんの不満度を、0は冷静、1は不満だが礼儀正しい、2は激怒、の3段階で」。点数は確率で重みを付けた平均なので、0.67のような小数になります。確率と確信度も返ります。考課表の段階評価に近いものです。

    Noulは、ある記述が本当かどうかの確率を0から1で返す質問です。「このメッセージは緊急を伝えているか」に0.99、という具合です。
    キヨさんは「NULLが返ってくるのか」と早合点しますが、ハルトに訂正されます。昔のフラグに似ていますが、0か1ではなく確率なのが違うところです。
    この3つは、1回の依頼に何個でも混ぜて入れられます。

    5. 返事の中身を読んでみる

    画像
     

    第5章。公式ドキュメントのQuick startに載っている、実際の返事を読んでみます。
    読ませたのは「APIが20分前から全リクエストで500エラーを返していて、注文が処理できない」というサポートの問い合わせです。

    担当部署(Choice)、不満度(Score)、緊急かどうか(Noul)の3つを、1回で質問しています。

    departmentは「technical」、確信度1.0。まったく迷いがないので、そのまま技術部へ自動で回せます。

    frustrationは0.67。「冷静」が33%、「不満だが礼儀正しい」が67%という分布で、確信度は0.5です。これは「どちらとも取れる」というJevからの合図で、プログラム側で扱いを変える材料になります。

    is_urgentは0.99。ほぼ確実に緊急です。
    出力トークンはわずか73。長い文章を書かない分、軽いのです。

    キヨさんが一番感心したのは、迷ったときに迷ったと数字で言うところでした。相棒は「私は迷っても、それらしく書いてしまいます」と小さくなっています。

    6. 3人の新人の育てられ方

    画像
     

    第6章。JevとLLMの違いの根っこは、学習の目標にあります。出発点はどれも同じ、事前学習済みの言語モデル。大量の文章を読んだ新人です。そこから、どう鍛えるかで性格が変わります。

    RLHF、人間のフィードバックによる強化学習は、人が好む応答を出すように鍛える方法です。これでチャットボットが生まれました。キヨさん流に言えば、お客に好かれる営業マンです。

    RLVR、検証できる報酬による強化学習は、数学のように正解が確かめられる問題でごほうびを与える方法です。推論モデルが生まれました。賢いけれど遅くて高い、試験に強い秀才です。

    TypeSafeが加えた3つ目がRLCD、較正された判断のための強化学習です。文章は書かせず、判断と、当たる確率を正しく見積もることを目標に鍛えます。キヨさんは「確率を外さない予報官」と名付けました。

    ちなみに、TypeSafeの共同創業者でCEOのDiogo Almeida氏は元OpenAIの研究者で、ChatGPTの前身にあたるInstructGPTの論文の著者の一人です。InstructGPTはRLHFで学習したモデルで、TypeSafeは同氏を「RLHFとInstructGPTの共同発明者」と紹介しています。なお、RLHFという手法そのものは、それ以前の研究から発展してきたものです。
    RLHFを知り尽くした人が、自動化の部品には別の鍛え方が要ると考えて作ったのがJev、という背景です。

    7. 降水確率70%の結束

    画像
     

    第7章。RLCDの中心にあるのが「較正」です。
    よく較正されたモデルでは、確率0.2と答えた出来事は実際に約20%、0.8なら約80%の割合で起きます。左の図はその理想の対応を示した概念図で、実際の測定値ではありません。

    キヨさんの例えは天気予報です。降水確率70%と言った日を100日集めたら、70日くらいは雨が降っていないと困る。数字が現実と合っているから、その数字を信じて傘を持つかどうかを決められます。ソフトウェアも同じで、確率が較正されていれば、その数字をそのまま判断の材料に使えます。
    ただし注意点があります。較正は、たくさんの予測をまとめて見たときに成り立つ性質です。1件ごとの答えが正しいことを保証するものではありません。

    右は、TypeSafeが指摘するRLHFの弱点です。好かれることを優先して相手に合わせてしまう「迎合」。
    もっともらしさが評価されるので、間違いを言い切ってしまう「自信満々の思い違い」。

    決まった言い方に確率が偏って、ほかの可能性が削られる「モード・ドロッピング」。チャットには向いていても、人の目が届かない自動化には向かない、というのが同社の主張です。相棒は、3つとも身に覚えがあるそうです。

    8. 迷ったら迷ったと言え

    画像
     

    第8章。Jevを実際に使うときの一番の武器が、確信度、confidenceです。

    ChoiceとScoreの答えには、選択肢ごとの確率が付いてきます。その散らばり具合を0から1の1つの数字にまとめたのが確信度です。確率が1つの選択肢に集中していれば1.0、全部に均等なら0です。

    Choiceの計算は単純で、「最大の確率から、均等に分けたときの値1/nを引き、それを1−1/nで割る」。たとえば3択で最大の確率が0.8なら、0.8から3分の1を引いて、3分の2で割って、0.70です。

    Scoreは段階に順番があるので、隣の段階に散っているのか、両端に割れているのかも加味します。

    Noulには確信度はなく、確率そのものが不確かさを表します。0.5の近くは「分からない」。目安はyesなら0.7以上、noなら0.3以下です。

    これを使うと、確信度が高ければ自動で実行、中くらいなら確認やレビューを挟む、低ければ実行せず人間や推論モデルに回す、という3段の動きをプログラムに書けます。

    しきい値は1つではなく、取り返しがつくかどうかで変えます。残高の表示なら低めでよく、送金の承認なら0.9を超えないとだめ、という具合です。
    年金の振込を40年見てきたキヨさんは、0.9でも人に見せると言います。TypeSafe自身も「不確かさを正直に言えないシステムは信頼できない」と書いています。

    9. 稟議書の採点表と同じだ

    画像
     

    第9章。Jevを使いこなすうえで一番大事な考え方が、「小さな質問に分けて、組み立てはコードで」です。

    LLMには、「このスタートアップの提案を評価して」と丸ごと聞きがちです。すると、いくつもの観点が1問に詰め込まれ、どれをどれだけ重く見るかはモデル任せになります。方針を変えたければ、プロンプトを書き直すしかありません。

    Jevでは、「市場の大きさ」「技術的に作れるか」「他社との違い」を、それぞれ別のScoreの質問として聞きます。
    その結果を、自分で決めた式でプログラムが合算します。方針が変わったら、係数を1つ書き換えるだけです。どの観点が結果に効いたのかも追えますし、テストもしやすくなります。

    1問の大きさの目安は、「詳しい人が、文脈があれば数秒で下せる判断」です。長い推論や比べ合わせが要るなら、分けて聞いて、組み立てはプログラムでやります。

    キヨさんの言い換えは「稟議の採点表」。項目ごとに点を付けて、重みは決裁する人が決める。ミナミさんは、社内チャットボットの問い合わせの振り分けに使えそうだと身を乗り出します。

    10. 窓口で仕分ける係として

    画像
     

    第10章。TypeSafeの事例集、Cookbooksには、Jevを実際の問題に当てはめたレシピがたくさん載っています。

    数字を見ると、GDPRについての13個の質問を1回の依頼にまとめた例では、1問ずつ聞くより12.2倍安く、10.0倍速く、しかも答えは変わらなかったと報告されています。法律文書の検索では、BM25という従来の検索で絞った候補をJevで並べ替えると、1位が正解になる割合が5%から18%に、上位10件に正解が入る割合が38%から62%に上がったそうです。どれも同社の報告です。

    使いどころは、LLMやエージェントの補助、分類と抽出、検索と画像に大きく分かれます。
    特に注目なのはLLMの補助で、使う道具やスキルの選択、入出力のガードレール、引用が元の文書に裏付けられているかの確認、RAGで取ってきた文書のどれを回答役のモデルに渡すかの選別、などに使われています。

    つまりJevはLLMの置き換えではなく、LLMの前後に置く「判断の層」です。典型的な形は、まず安い処理で抽出し、Jevで各項目を検査し、確信度が低いときだけ高い推論モデルや人に回す流れです。キヨさんの言い換えは「役所の窓口」。窓口係が仕分けて、難しい案件だけ課長に回します。

    11. カタログの数字を疑う

    画像
     

    第11章。ここまで感心してきたキヨさんですが、昭和のSEの習性で、ここから疑いにかかります。読んだのは、DataCampというデータ教育サイトの解説記事です。

    記事によると、TypeSafe社内の4つの業務での評価では、Jevの正解率は67.8%、1件あたりの費用は0.0004ドル、応答は0.4秒。正解率がほぼ同じ大手のLLMと比べると、費用は数十分の一、時間は数十分の一です。ほかにも、応答は70〜500ミリ秒、入力100万トークンあたり0.042ドルで出力は課金なし、構造化出力のエラーは0%、幻覚を起こさない、と発表されています。

    キヨさんの赤ペンは4つ。
    1つ目、型や形式は間違えなくても、判断そのものは間違えます。正解率は約68%です。「幻覚を起こさない」は「正しい」とは違います。

    2つ目、採点したのはメーカー自身で、記事によれば第三者による大規模な再現はまだありません。

    3つ目、理由を説明しないので、監査や原因調査では弱みになります。

    4つ目は料金です。今の料金が補助されたものではないと証明はできない、とTypeSafe自身が認めています。この安さが続くかどうかは、これから分かることです。

    キヨさんの結論は「うちのデータで測るまで信じん」。ミナミさんは、自分の会社の問い合わせ500件に正解を付けて採点してみることにしました。町工場編で出てきた評価、EDDの考え方です。右上の数字が少し下がったのは、キヨさんが疑いはじめたからです。

    まとめ

    画像
     

    ここまでの違いを、キヨさんが表にまとめました。
    LLMは人が読む文章を書くために作られ、Jevはソフトウェアが使う判断を返すために作られています。そのため、出力の形、不確かさの扱い、後処理が要るかどうか、たくさんの質問の扱い方が、根っこから違います。

    得意なことも正反対です。LLMは文章、対話、コード、長い推論が得意で、一貫性や費用、速さ、中身の見えにくさが苦手。Jevは数秒で下せる判断を大量にさばくのが得意で、文章を書くこと、何段もの推論、理由の説明はできません。

    TypeSafeは、機械が直接使う前提のAIを目指していて、創業者は「we’re building prod, not God」、つまり何でもできる神ではなく、本番で使える部品を作るのだ、と書いています。同社の宣言文の題も「Build Prod, Not God」です。

    キヨさんの結論は「比べるより、組ませる相手だな」。次のエピローグで、2つのAIが組むことになります。

    エピローグ

    画像
     

    エピローグ。ミナミさんは、社内チャットボットを作り直すことにしました。
    社員からの問い合わせを、まずJevが受け取り、担当、緊急度、確信度を判断します。確信度が高ければ、相棒、つまりLLMが返信文を書きます。確信度が低ければ、人が見て答えます。黙って判断する係と、しゃべる係の分業です。

    キヨさんは、カーネマンの言葉を借りてこうまとめます。パッと決めるJevはSystem 1、じっくり考えて書く相棒はSystem 2。人間の頭と同じ組み合わせだ、と。2つは競合ではなく、組ませる相手です。

    相棒は張り切ってJevに挨拶しますが、返ってきたのは「noul: 0.98」。「この相手は友好的か?」という質問への答えです。どうやら仲良くやっていけそうです。
    右上の数字は0.93。1.0にしないのは、キヨさんなりの較正です。

    画像
     

    最後に、キヨさんの言葉です。「しゃべらんでも、仕事はできる。迷ったら迷ったと言うやつが、一番信用できる。ただし、数字を信じるのは測ってからだ」。
    ラストカットは、キヨさんの方眼紙の隅。「noul: 0.93」と小さく書いてあり、その横に相棒の字で「残り0.07は、私が3000字で解説します」。

    おしまい。

    付録

    付録①:Jevまわりの言葉

    画像
     

    付録②:学習と使い方の言葉

    画像
     

    スライド

    キヨさんAIシリーズ関連記事


     
     
    「コロッケそば」のコロッケはツユに負けない"具&コロモ"硬めに限る。 「ロボホン」大好き! 年齢;67歳 趣味:プログラミング hack through the jungle.

    あなたへのおすすめ