
楽天AIのブラウザ版に、ディープリサーチが、おそらく回数は無制限💦、あらゆる仕様が不明なまま入っていて、設定が複雑なローカルLLMでコスパを追求していた意味が分からない件
マジ、これしか言いようがない💦
今のところ、楽天AIアプリ版ではなく、楽天AIブラウザ版にのみ、左下のメニューから、日本語で、ディープリサーチ、を選べます。
昨日までは、自分のことをchatgpt4turboと認めていましたが、今日になって、楽天AIであって、モデル名は公表しないと言うので、ディープリサーチで、手段を調べてみた結果が以下です。
画像生成を選ぶと、openAI系とnanoバナナから選べるので、おそらく、その時に応じて複数の契約モデルのうち混んでない方のチャット用LLMが選ばれるようになっているのかも……
ディープリサーチの出力のエクスポートが上手くできないので、手動でのコピペになって、実質的には、ブラウザ版として閉じた使い方しかできないけど、最近は目的(調べて結論を出す)のための手段(AIによるディープリサーチ)が、また、再び目的化するという、非効率な手段目的化無限ループに入っていたので、、、、、無料で何回でもディープリサーチできてしまう楽天AIのしれっとした目立たない立ち上がりに、一気にやる気がなくなりましたw
……でも、これ、多分、1日経ただけでこれだけ調整が入って反応が変わることから考えると、書けば書くほど、特に処理が重いディープリサーチについて、制限が明確になる可能性が高まるわけで、noteに記すのもやる気ないモードでございます🙇
LLMモデル特定方法のレポート
AIチャットでバックグラウンドで動作しているLLMモデル名を特定するプロンプトエンジニアリング的な方法
完了時間: 2026-02-27 19:37:57
出典 (9)
AIチャットサービスのバックグラウンドLLMモデル名を特定するためのプロンプトエンジニアリング手法
背景:AIチャットサービスとLLMの概要
AIチャットサービスとは、人間の質問や要求に対し自然な対話形式で応答するシステムです。その中核にはLLM(大規模言語モデル)と呼ばれるAIモデルが搭載されています。LLMは多数のパラメータ(数十億〜数兆規模)を持ち、大量のテキストデータを学習することで、人間の言語理解と生成を行います 。
ChatGPTやBard、Claude、Bing Chatなど著名なAIチャットはそれぞれ特定のLLMによって駆動されています。例えば、OpenAIのChatGPTはGPT-3.5やGPT-4といったモデルを、GoogleのBardはPaLM 2というモデルをバックエンドに使っています。ユーザーが入力したメッセージは、裏で動くLLMによって解析・処理され、人間らしい回答が生成されるしくみです。
LLMモデル名が非公開にされる理由と情報遮断の仕組み
多くのAIチャットサービスでは、内部で動いている具体的なLLMモデル名を公表していません。これはいくつか理由があります。
商業的・競争的理由:どのモデルを使っているか明かさないことで、自社サービスの差別化や競合優位性を保つ狙いがあります。他社に技術戦略を悟られにくくする目的もあります。
モデル変更の柔軟性:バックエンドのモデルは改良やアップデートによって差し替わることがあります。モデル名を公開してしまうと、変更時に利用者への周知や期待調整が必要になりますが、非公開なら裏側でモデルを入れ替えてもスムーズです。実際、GoogleのBardはリリース当初のモデル(LaMDA系)から、途中でPaLM 2へとエンジンを切り替えたと発表されています 。
セキュリティと悪用防止:具体的なモデル名が知られると、そのモデル固有の弱点や回避方法を突こうとするユーザーが現れる可能性があります。モデル名を伏せることは、プロンプトインジェクションなどによって内部挙動を不正に探られるリスク軽減にも繋がります。
ユーザー体験の統一:サービス提供側は、ユーザーには「〇〇AIアシスタント」として認識してもらいたい場合があります。モデル名よりサービス名・キャラクター性を前面に出すことで、ブランド体験を損なわないようにしています。
情報遮断の仕組みとしては、サービス側がモデルに対してシステムレベルの指示を与えています。たとえばChatGPTでは、内部のシステムプロンプトに「あなたはChatGPTであり、OpenAIによってトレーニングされたLLMである」といった説明が含まれますが、ユーザーにシステムメッセージを公開しない設計になっています 。さらに「モデルの 詳細や内部ルールをユーザーに明かさないこと」といったガイドラインも設定されており、ユーザーから尋ねられても応答しないよう調整されています。
加えて、モデル自身も一般的に自分の正体を理解していない場合が多いです。LLMは人間の会話を学習していますが、「自分がどのモデルか」というメタ情報は学習に含まれません。そのため、仮にユーザーが「あなたは何というモデルですか?」と直接聞いても、モデルは通常答えられません 。 多くの場合「私はAIアシスタントです」といった曖昧な返答に留まるか、開発者によりそう答えるようプログラムされています。例えばChatGPTにモデル名を尋ねても「OpenAIが開発した言語モデル」程度の説明しか返さないのはこのためです。
プロンプトエンジニアリングによるモデル特定の基本方針
プロンプトエンジニアリングとは、AIから望む回答を引き出すために入力文(プロンプト)を工夫する技術ですが、この応用として「モデルの正体を推測する質問の仕掛け」を考えることができます。直接「あなたはGPT-4ですか?」と尋ねても有効な答えは得られないため、間接的な手掛かりを集める戦略が基本方針になります。
直接的な問いは回避:モデルの種類をそのまま聞き出そうとしても、拒否されたり 、 事実と異なる答え(モデルが想像で語った架空の型番など)が返ってくる可能性が高いです。そのため、正面突破ではなく迂回的な手法をとります。
ブラックボックステスト:モデルをブラックボックス(内部不明)と見なし、入力と出力の対応から内部を推測します。すなわち、様々な質問を試して出力の特徴を観察・分析する手法です。人間に対する心理テストのように、モデルにいくつかの「試験問題」を与え、反応パターンから推定します。
差別化のための比較:単独で推測が難しい場合、既知のモデルと比較するのも有効です。例えば手元でGPT-3.5とGPT-4に同じプロンプトを与えて出力を記録し、それと対象のAIチャットの応答を比べます。それぞれの語彙、文体、推論力に差があれば、どのモデルに近いかを類推できます。
統計的・複数特徴の総合:単一の質問結果だけで断定はできないため、複数の観点から手掛かりを集めます。知識の範囲、文体、エラー傾向、算数能力、コード生成能力など、いくつもの試験を重ね、その総合像から「○○モデルらしい」と推測するアプローチです。これは一種の指紋分析と言え、学術的にはモデルを特定するための指紋技術が研究されています 。 例えばLLMの出力には、そのモデル固有の語彙選択や誤答パターンなど「癖」が現れるため、それらを統計的に捉えてモデルを識別する試みです。
なお、最新の研究では、モデルごとに意図的に埋め込まれた識別子を探す高度な方法(RoFLやMergePrintなど)も提案されています 。これらは 通常ユーザーには扱えませんが、「極めて特殊な入力に対してモデルだけが再現性のある応答を返す」ペアを見つけ出すなど、プロンプトエンジニアリングの延長線上にあります。一般ユーザーがここまで行うことは稀ですが、基本的な方針として「出力の差異に着目する」点は共通しています。
モデルごとの特徴的な振る舞いや応答傾向の識別方法
LLMモデルはそれぞれ得意不得意や応答の癖を持っています。プロンプトエンジニアリングでモデルを推定する際、以下のようなポイントに着目できます。
知識や学習データの範囲: モデルによって搭載されている知識の新しさが異なります。例えばChatGPTのGPT-3.5/GPT-4(2023年初期時点)は2021年までの訓練データに基づくため2022年以降の出来事は知らないと回答します。一方、Google Bard(PaLM 2搭載)は2023年時点の情報にも対応していました。そこで、最近の時事的質問をします。もし「2022年のワールドカップ優勝国は?」と尋ねて正確に答えられないなら、旧いデータまでのモデル(GPT-3.5など)かもしれません。逆に最新ニュースに詳しければ、最新データで調教されたモデルか、インターネット検索機能を持つシステムだと推測できます。
応答の長さ・詳細さ: GPT-4のような高性能モデルは質問に対し非常に詳細で論理的な回答を返す傾向があります。パラメータ数が小さいモデルほど、回答が簡潔すぎたり要点がずれたりするケースが増えます。複雑な質問(例:「量子力学の観点からトンネル効果を説明してください」)を与えてみて、返答の質を評価します。高度なモデルなら専門用語や原理を盛り込んだ丁寧な説明が返るでしょうし、性能が低ければ表面的な説明か誤答が出やすいでしょう。
多言語対応: 大規模モデルは多言語で高い性能を示すことが多いです。試しに別の言語で質問してみます。例えば日本語の他に英語や中国語で同じ質問をし、その流暢さ・正確さを比較します。GPT-4やPaLM 2のような上位モデルは主要言語で遜色ない応答をしますが、小規模モデルでは英語以外が極端に苦手だったり、翻訳調の不自然な文章になる場合があります。複数言語で試すことでモデルの言語能力プロファイルが見え、候補を絞れます。
論理的推論と計算: モデル間の大きな違いとして推論力・計算力が挙げられます。例えば簡単な数学の文章題や論理パズルを出題します。GPT-4は複雑な推論もかなり正確に解けますが、GPT-3.5以前や小型モデルはしばしばミスをします。実際にコードを書かせてみるのも有効です。高性能モデルは正確で実行可能なコードを生成しやすく、性能が低下するほど文法エラーや論理バグが増えます。「2桁の素数を昇順で出力するPythonコードを書いて」と依頼し、そのコードの正確さを見ることでモデルの能力差を測ることが可能です。
文章のスタイルやトーン: モデルには訓練データや微調整ポリシーによって定型的な文体があります。例えばOpenAIのモデルは礼儀正しく「申し訳ありませんが、その質問にはお答えできません」といった定型フレーズで拒否します。Anthropic社のClaudeは長文で穏やかに理由を述べつつ断る傾向があります。逆にオープンソースの未調整モデルではそもそも拒否せず危険な内容もそのまま答えてしまうこともあります。このように禁止事項への応答パターン(丁寧な謝罪+拒否文が出るかどうか)はモデル種別のヒントになります。また、文章の結び方や表現の癖(「以上、ご参考になれば幸いです。」のような締めをするか等)もモデルやチューニングによって特徴が現れます。
コンテキスト記憶と一貫性: LLMごとに一度に扱える文脈(コンテキスト長)が異なります。大規模モデルほど長文を保持できます。長めの会話や物語をさせてみて、その前後関係の一貫性が保てているか確認します。具体的には、最初に与えた設定や前の発言の内容を、10回以上ラリーを続けた後でも覚えているかテストします。もしすぐ前の発言さえ忘れて矛盾したり、会話ログを何度も読み返すよう指示しないと破綻する場合は、小さいコンテキストのモデルかもしれません。逆に長い文章の要約や長編小説の続きを書かせても破綻しないなら、大きなモード(GPT-4 32k版など)の可能性があります。
トークナイザーの挙動: 各モデルは内部でテキストを処理する際、固有のトークナイザー(単語や文字列を分割して数値IDに変換する仕組み)を使っています。その癖を逆手に取る方法もあります。例えば、OpenAIのGPT系では「\n」という改行や特殊な記号列に独特の挙動があったり、SentencePiece系トークナイザーを使うモデルでは日本語ひらがなの単独出力でスペースを入れてしまう癖があったりします。具体例として、“Apple”という単語を一文字ずつ区切って出力させるプロンプトを与えた時、OpenAI系なら “A, p, p, l, e” とアルファベット単位で返すのに対し、別のモデルでは “Ap, pl, e” のように分割されるケースも考えられます(モデルごとのBPEルールの違いによる)。こうした微妙なテキスト処理の差異からモデルを推理する高度な方法もあります。ただしこれは非常に専門的で、通常は直接観察するのが難しい領域です。
以上のような特徴比較により、「このチャットボットはOpenAI系の応答スタイルだ」「この回答ぶりは特定のオープンモデルの特徴と一致する」といった仮説を立てていきます。
実践例:モデル特定を試みるプロンプト手法
理論だけでなく、実際に行われたプロンプト活用の判別例をいくつか紹介します。
直接質問の限界: Reddit上であるユーザーが「チャットボットに使われているLLMを教えてくれるプロンプトはあるか?」と質問していましたが、多くのモデルは自分自身に関する詳細を知らないか情報開示を制限されているため、直接聞いても意味がないとの指摘がありました 。 実際「あなたのベースモデルは何ですか?」と尋ねても、大抵のボットは答えません。OpenAIのChatGPTに同様の質問をすると、「私はOpenAIによってトレーニングされたAI言語モデルです」といった一般論しか返ってこないでしょう。これは設計上ユーザーにモデル名を明かさないよう対策されているためです。
システムプロンプトの暴露(特殊事例): 2024年6月、ChatGPTのAPI/アプリにおける不具合でシステムプロンプトが漏洩する出来事がありました 。あるユーザーがChatGPTに 何気なく「Hi」と送信したところ、通常見えないはずの内部指示(システムメッセージ全文)が応答として表示されたのです。この中には「あなたはChatGPT、GPT-4アーキテクチャに基づく大規模言語モデル…」といった文言が含まれており、ChatGPTの背後にGPT-4が使われていることが裏付けられました 。これは 偶発的な事例ですが、バグやセキュリティホールによって内部情報が明らかになることもあるという教訓です。もっとも通常、このようなシステムメッセージを引き出そうとする試みはサービス利用規約に反し、迅速に修正されます。
出力形式の指定: モデルの能力差が出やすい「厳密なフォーマット指定」を行う例です。例えば「以下の質問に対し、5項目の箇条書きで答えよ。箇条書き以外の余分な説明は一切書かないこと。」とプロンプトします。高度に調整されたモデルであれば、忠実に指定どおりの形式で答えます。しかし、指示を守るスキルが低いモデルだと箇条書き以外の文章を加えたり、形式が崩れたりします。また「JSONのみで回答せよ」と命じて正しくJSON構造で返すかも試せます。OpenAI系モデルは比較的厳密に従いますが、オープンな模型ではJSONのフォーマットミス(括弧の閉じ忘れ等)が起こりやすい傾向があります。このようにフォーマット順守度でモデルの洗練度を測り、候補を絞ることができます。
エラー応答の観察: 開発中や提供中のチャットサービスで、稀に内部エラーの痕跡がユーザーに見えることがあります。例えば負荷過多やバグで応答が生成できなかった際、「モデル 'gpt-3.5-turbo' で○○エラーが発生しました」という開発者向けメッセージが漏れるケースがありました(仮想例)。もしチャット画面上にこのようなエラー通知が出れば、その中にモデル名が含まれている可能性があります。これはプロンプトエンジニアリングというより運用上の偶然ですが、ログ出力の隙をチェックするのも手法の一つです。
テストスイートによる比較: ユーザーが独自に質問集(テストスイート)を用意し、対象AIチャットと既知モデルへ同じ質問を投げ、出力を比較分析する方法も実践されています。例えば法律に関する難問、冗談のセンスを見る質問、詩の生成、プログラミングのデバッグなど、多角的な質問セットを用意します。ChatGPT(GPT-4)・GPT-3.5・オープンソースモデルなどで答えさせ、それぞれの回答傾向の違いをプロファイリングします。その後、調査対象のAIチャットの応答パターンがどれに近いかを突き合わせるのです。「回答の語彙選択がGPT-3.5のプロファイルと酷似している」「冗談の感じがClaudeと似通っている」など、統計的に見て最も近いモデルを推定する手法です 。このようなモデル 指紋に基づくアプローチは専門性が高いものの、より科学的にモデル同定を行う実践例と言えます。
隠れプロンプトの活用(高度な例): 研究者の間では、RoFL(Robust Fingerprinting via Adversarial Prompting) のように、 通常の入力ではまず現れない隠れた挙動を引き出すことでモデルを識別する試みも報告されています。具体的には、モデルにとって極めて答えにくい質問(人間には無意味な文章など)を最適化手法で生成し、それに対する反応がモデルごとに一意に決まるようなペアを探します。そのペアを入力すると、モデルAなら必ず特定のフレーズで誤答するがモデルBは全く別の誤答をする…という風に挙動の違いが浮き彫りになります。この方法は実験的ですが、将来的にはより洗練された「一問一答でモデルを見破る質問」が開発される可能性もあります。ただし現時点では一般利用者には真似できない高度な実践例です。
注意点:規約・倫理・サービス運用ポリシーとの関係
モデル名の特定を試みる際には、いくつか注意すべき点があります。
利用規約違反のリスク: 多くのAIサービスは、ユーザーによるシステムの逆エンジニアリングや内部情報の探知行為を禁じています。プロンプトインジェクションでモデル名やシステムプロンプトを引き出す試みは、そのサービスの利用規約に抵触する可能性があります。例えばOpenAIはチャットボットの脆弱性探索やプロンプト悪用を認めておらず、発覚すればアカウント停止等の措置を取る可能性があります。実際にChatGPTのシステムメッセージ漏洩バグが見つかった際も、すぐに修正され再発防止が図られました。モデル特定を狙い過度なプロンプト操作を行うことは、契約違反や法的問題に繋がりかねないことを認識しましょう。
得られた情報の信憑性: 仮にモデルが何らかの答えを返したとしても、それが真実とは限りません。モデル自身がハルシネーション(幻覚)によって適当な型番を名乗る可能性もあります。実際、「自分は最新のGPT-5です」とモデルが語っても、現在GPT-5は存在しないというケースも考えられます。モデルは質問に何とか答えようとするあまり、事実確認せず創作してしまうことがあるからです。したがって「モデルが自白したから間違いない」と鵜呑みにせず、外部の裏付けを取ることが大切です 。
倫理面・信頼関係: サービス提供者が意図して伏せている情報を執拗に暴こうとすることは、倫理的にもグレーです。研究やセキュリティ検証の目的ならともかく、単なる好奇心で機密を暴くような行為は開発者との信頼関係を損ねます。AIに搭載されている安全策(例えば拒否応答)を迂回する試みにも近いため、思わぬ副作用(サービス全体の安全性低下など)を招く恐れもあります。例えば、モデル名を探る過程で意図せずシステム命令を無効化してしまい、AIが不適切発言をするようになってしまう可能性もゼロではありません。このように節度を持った利用が求められます。
サービス運用の変動: モデルを特定できたと思っても、その情報は一時的なものに過ぎないかもしれません。サービス提供側はモデルをアップデートするたびに性能や挙動が変わりますし、場合によってはバックエンドのモデル自体を切り替えることもあります(実例:Bing Chatは当初モデル名を明かしていませんでしたが、後にGPT-4を使用していることを公表しました )。 今日判別できても明日には別モデルというケースもあります。常に最新情報を把握するのは難しく、推測結果は不確実であることを念頭に置いてください。
誤った判断による影響: モデル特定は推測の域を出ません。万一誤った結論を下すと、それに基づく判断を誤るリスクがあります。例えば、「このチャットボットは小型モデルだから高度な質問はできないだろう」と決めつけたことで、本当はできたはずの有益な対話の機会を逃すかもしれません。逆に「GPT-4相当だから安心」と思い込んで利用していたら、実際は性能不足で誤情報を掴まされる危険もあります。モデル名よりも応答そのものの品質評価を重視する姿勢が大切です。
まとめ・今後の展望
AIチャットサービスの背後にあるLLMモデル名を特定する試みについて説明しました。プロンプトエンジニアリングを駆使し、出力内容の分析や挙動の比較によってある程度の推測は可能です。しかし、モデル提供者が情報を隠している以上、ユーザー側から完全に見抜くのは容易ではありません。特に近年のトップモデル(GPT-4やPaLM 2など)は性能が高く、応答傾向も洗練されているため、外見上の違いが小さくなってきています。モデル間の差異が縮まれば縮まるほど、振る舞いだけでの判別は難しくなるでしょう。
一方で、モデル識別技術自体も進歩しています。LLMの出力にわずかなウォーターマーク(透かし)を埋め込み、どのモデルが生成したか検出する研究や 、モデル 固有の挙動を強靭に刻み込む手法が 提案されています。将来的には、モデル開発者が自社モデルの“署名”をアウトプットに潜ませ、生成物の出所証明や著作権保護に役立てる可能性もあります。そうなればユーザーが意図せずともモデル判別が可能になるかもしれません。ただしこれは主に開発者側の視点であり、一般に公開されるかは不透明です。
利用者として重要なのは、モデル名そのものより提供される情報の質です。確かにバックエンドのモデル特性を知ることは、そのAIの限界や信頼性を見極めるヒントにはなります。しかし最終的には、「このチャットボットは○○というモデルだから使う/使わない」というより、実際の対話で有用な答えを返してくれるかが価値を決めます。モデル名非公開の風潮は今後も続くかもしれませんが、各社の競争が激化すれば「当社のAIはGPT-4相当の能力を持っています」と宣伝材料に使われる可能性もあります。その時にはユーザー側も冷静に性能を見極め、本当に信頼できるかどうかを判断する目が必要です。
最後に、本稿で述べた方法はあくまで推測の範囲であり、断定的にモデル名を言い当てる保証はありません。プロンプトエンジニアリングで得た示唆は参考情報としつつ、引き続きAIの応答内容を批判的に評価する姿勢が求められます。モデルの背後を知りたいという探究心と、安全・倫理のバランスを取りながら、AIチャットとの付き合い方を模索していくことが重要でしょう。
【参考文献】
LLM(大規模言語モデル)の概要
Redditユーザによるモデル名問い合わせと回答
ChatGPTのシステムプロンプト漏洩事故(GPT-4モデルの明記)
LLM指紋技術およびRoFLに関する研究
Google BardのPaLM2モデル採用に関する発表