メインコンテンツへスキップ
見出し画像

【AI比較】なぜCopilotだけ検索でつまずくのか──使って分かった、Copilotは「AI化したMicrosoft Word」

    #Copilot #MicrosoftCopilot #生成AI #AI比較 #ChatGPT #Gemini #Grok #MicrosoftWord #AI活用 #Web検索 #生成AI比較 #LLM #AIリサーチ #文章校正 #長文処理

    ◆第1章 Copilotは「できない」のか、「やりたくない」のか

    以前、複数のAIに同じ投資分析用プロンプトを実行させたところ、Copilotだけ途中で処理を止めてしまう、ということがありました。

    例えば、ある企業を起点として比較対象となる企業を選び、それぞれについて最新の株価やPER、EPS、売上成長率などを調べ、株価の現在地と合わせて比較する。

    ChatGPTやGrokなどでは、一発でそのまま検索から比較まで進められるタイプのプロンプトです。

    ところがCopilotに実行させると、なかなか先へ進みません。

    そこで前回は、原因の一つとして一度に要求している処理が多すぎるのではないかと考えました。

    検索、データ取得、整理、比較、欠損情報の再検索、そして最後の推論。

    これらを一度に処理させるのではなく、工程を分解してCopilotでも処理しやすい形にプロンプトを作り直してみました。

    これなら動くだろうと思ったのですが、まだ歯切れが悪い。

    「そのままでは実行できない」「別のAIで実行した方がよい」「取得できる情報が限られるので精度が落ちる」といった説明が続き、なかなか実際の分析に入りません。

    最終的に、「精度が落ちてもいいから、その条件で実行して」と指示すると、ようやく制限付きながら分析を最後まで実行しました。

    つまり、まったくできなかったわけではありません。

    もちろん、無理な処理を無理だと説明すること自体は悪いことではありません。むしろ、取得できていないデータを推測で埋められるよりは健全です。

    ただ、ChatGPTやGrokでは比較的そのまま処理に入ったプロンプトについて、Copilotだけはプロンプトを軽量化してもなお、かなり慎重な挙動を見せました。

    では、なぜなのか。

    前回は主に「プロンプトが重すぎる」という処理負荷の問題から考えました。

    しかし今回、Copilotとのやり取りをさらに続けてみると、それだけでは説明できない、もう一つの大きな違いが見えてきました。

    そもそもCopilotは、Webから最新情報を集めるときの仕組みと得意範囲が、他のAIとはかなり違うようなのです。


    ◆第2章 原因は処理負荷だけではなかった──Copilotの「検索」の弱点

    前回の記事では、Copilotが途中で処理を止めた理由について、まずプロンプトそのものが重すぎた可能性を考えました。

    複数企業を選び、それぞれについて最新情報を検索し、PERやEPS、売上成長率などを整理する。さらに株価の現在地を確認し、企業同士を比較して、最後に市場の期待値まで推論する。

    こうした処理を一度に要求すれば、途中で検索に失敗したり、必要なデータが欠けたりして、後続の処理まで止まってしまう可能性があります。

    そこで処理を細かく分解し、Copilot向けに軽量化しました。

    それでも、やはり検索部分で引っかかりました。

    ここで見えてきたのが、単純な処理負荷とはまた別の問題です。

    「Web検索ができること」と、「検索して見つけたWebページから必要な情報を自由に拾ってこられること」は、同じではありません。

    CopilotにもWeb検索機能はあります。最新のニュースや企業について尋ねれば、検索エンジンを利用して新しい情報を探すこと自体はできます。

    しかし今回必要だったのは、単に「NVIDIAについて検索する」という処理ではありません。

    検索結果から適切なページを見つけ、その中からPERやEPS、売上成長率などの必要な数字を探す。見つからなければ別のページへ移り、さらに不足している情報を補う。それを複数企業について繰り返し、最後に一つの比較材料として統合する。

    こうなると、Copilotは急に苦しくなります。

    実際、今回の分析でも株価など一部の情報は取得できた一方、PERやEPSなどは「不明」が並び、比較分析に必要な材料を十分に揃えられませんでした。

    つまり、Copilotは検索エンジンへ問い合わせて新しい情報を取得することはできても、検索先を次々と深掘りし、ページ本文から必要な情報を拾い集めていくタイプの調査には大きな制約があると考えた方が、実際の挙動を理解しやすそうです。

    これは、単純に「AIの頭が良い、悪い」という話ではありません。

    生成AIが最新情報を扱う場合、AI本体の推論能力だけでなく、外部の検索エンジンやWebページへどのようにアクセスできるよう設計されているかも、実際の調査能力を大きく左右します。

    今回のCopilotの挙動は、その違いがかなり分かりやすく表れた例でした。

    そして、この特徴を理解すると、Copilotの短所だけでなく、逆にどんな仕事ならCopilotが使いやすいのかも見えてきます。


    ◆第3章 Copilotの短所──最新情報を「自分で集める」仕事には弱い

    ここまでの話を踏まえると、Copilotの短所はかなり明確になります。

    手元にない情報をWebから大量に集め、それを横断的に比較する仕事にはあまり向いていません。

    これは単純に、Copilotに使われているAIモデルの推論能力が低い、という話ではありません。
    重要なのは、AIモデルとWebの間に、どのような情報取得の仕組みが用意されているかです。

    Microsoftの公式資料を見ると、CopilotのWeb検索は、おおむね次のような仕組みになっています。

    ユーザーのプロンプト
    ↓
    CopilotがWeb検索の必要性を判断
    ↓
    プロンプトから検索に必要な単語を抽出
    ↓
    短い検索クエリを生成
    ↓
    Bing Searchへ問い合わせ
    ↓
    得られたWeb情報を「Grounding(グラウンディング)」として回答生成に利用

    Microsoftは、ユーザーが入力したプロンプトそのものをBingへ丸ごと渡すのではなく、Copilotがプロンプトを解析して、Web検索に必要な数語程度の検索クエリを別途生成すると説明しています。

    ここは、普通に検索エンジンを使っているように見えて、実は重要な違いです。

    Copilot自身が巨大なブラウザを抱えてインターネット全体を自由に歩き回っているわけではありません。

    Copilotが必要だと判断した情報について、Bing Searchを介してWeb上の情報を取得し、それを回答の根拠としてLLMへ渡すという構造です。Microsoft自身も、このWeb情報によって回答を最新情報に「grounding」すると説明しています。

    この方式なら、

    「NVIDIAの最新ニュースは?」
    「昨日発表された経済指標は?」

    といった比較的単純な検索では問題になりにくいでしょう。

    しかし、今回私がやらせようとした処理はもっと複雑です。

    たとえばNVIDIAについて、

    PERを探す
    → EPSを探す
    → 市場予想を探す
    → 売上成長率を探す
    → 次回決算日を探す
    → 株価推移を確認する
    → 足りなければ別の情報源を探す

    という処理を行い、さらに同じことをAMD、Intel、Broadcomなど複数企業について繰り返す必要があります。

    これは単なる「Web検索」ではありません。

    検索 →本文確認 →情報抽出 →不足判定 →再検索 →別ページ確認 →統合

    という、小さな調査を何度も連続させる仕事です。

    Microsoftの公開資料から「CopilotはWebページ本文を一切読めない」とまで断定することはできません。実際、MicrosoftはCopilotがWebコンテンツを参照し、検索上位のWeb情報をもとに回答を生成すると説明しています。

    ただし、少なくとも通常のCopilotのWeb検索は、Bingへの検索クエリ生成と、その検索結果によるグラウンディングを中心に設計されていることは確認できます。

    そのため利用者から見ると、ChatGPTやGrokなどで可能な「検索結果からページを開き、その中をさらに調べ、必要なら別ページへ移動する」といった調査型の動作との差が大きく見えます。

    今回、PERやEPSなどが大量に「不明」になったのも、この違いを考えると理解しやすくなります。

    つまりCopilotは、「最新情報を検索する」ことはできる。
    しかし、「複数のWebページを渡り歩いて、必要なデータが揃うまで調査を続ける」ことになると、急に不得意になる。

    ここを混同すると、「検索できるはずなのに、なぜこんな簡単な数字を取ってこられないのか?」となってしまいます。

    さらにMicrosoft自身、Copilotの機能や参照できる情報源は、ライセンスや契約、管理者設定などによって異なると説明しています。したがって、「Copilotなら常にここまでできる」と一律に評価するのも難しいところがあります。

    今回の比較分析でも、Copilotは最終的には制限付きで処理しました。

    ですから、「Copilotには調査能力がない」という評価ではありません。

    より正確に言えば、単発のWeb検索には対応できるものの、多数の検索先から細かな情報を拾い、欠損を埋めながら横断比較するようなリサーチでは、現状かなり制約を感じる。

    これが、実際に使ってみて感じたCopilotの大きな短所です。

    そして面白いことに、この弱点は、Copilotに仕事をさせる方向を180度変えると、そのまま長所にもなります。

    Webの向こう側から材料を集めさせるのではなく、こちらから材料を渡してしまえばいい。
    そうすると、Copilotの評価はかなり変わってきます。


    ◆第4章 Copilotの長所──長文を渡して「加工する」仕事には強い

    ここまでCopilotの弱点を見てきましたが、ではCopilotは他の生成AIより使いにくいのかというと、そう単純でもありません。

    むしろ使い方を逆転させると、かなり優秀です。

    Webから材料を探してこさせるのではなく、こちらから材料を渡して加工させる。
    この使い方になると、Copilotの強みが一気に見えてきます。

    実際、Microsoft自身がWord版Copilotの主要機能として掲げているのも、「作成」「書き換え・洗練」「長い文書の理解・要約」といった文章処理です。既存文章のトーンを変えたり、簡潔にしたり、構成を整理したりする機能が、Wordの中に直接組み込まれています。

    これは、前章で見たWeb検索とはかなり性格が違います。

    Web検索の場合、

    質問
    →検索クエリを生成
    →Bingへ問い合わせ
    →外部情報を取得
    →回答

    というように、AIの外側にある情報を取りに行かなければなりません。

    一方、文章の校正や要約では、

    ユーザーが文章を渡す
    →その文章をコンテキストとしてAIに与える
    →文章を解析
    →要約・校正・再構成
    →回答

    という処理になります。

    つまり、最初から材料が目の前にあります。

    検索結果から目的のページを探し、さらに必要な数字を見つけ、不足していれば別のページを探す、といった外部情報取得の工程そのものが必要ありません。

    この違いはかなり大きいと思います。

    たとえば、Copilotには長い文章を渡して、

    「この文章を3分の1程度に圧縮してほしい」
    「結論だけではなく、筆者の思考過程を残してほしい」
    「章同士で重複している部分を整理してほしい」
    「内容は変えずに読みやすく書き直してほしい」

    といった使い方をします。
    こういう仕事では、Copilotはかなり使いやすい。

    しかもこれは単なる私の印象とも言い切れません。

    Microsoftは長文処理そのものをCopilot in Wordの主要用途として開発しており、現在の公式サポートでは、Detailed Summaryについて約150万語または300ページ程度までを対象にできると説明しています。もちろん、これは「どんな150万語でも完全に理解できる」という意味ではありませんし、機能やライセンスによって条件も異なりますが、少なくとも長い文書を入力側のコンテキストとして扱うこと自体が、Copilotの明確な製品用途になっていることは分かります。

    一方で、長文なら何でも完璧というわけでもありません。

    Microsoft自身、長い文書ではLLMが文書の冒頭や末尾を優先し、中間部分への注意が弱くなる場合があることや、タスクによっては文書を分割した方が精度が上がることも説明しています。

    このあたりは、いかにも生成AIらしい限界です。

    それでも、「外から情報を探してこい」ではなく、「情報はここに全部あるから、これを読んで整理してくれ」という仕事になると、Copilotはかなり頼りになります。

    そして、これはCopilotという製品の成り立ちを考えると、それほど不思議でもありません。

    MicrosoftはCopilotをWord、Excel、PowerPoint、Outlookなど既存のMicrosoft 365環境へ組み込み、ユーザーがすでに持っている文書やファイル、メールなどをコンテキストとして利用する方向に力を入れています。Wordでは、文書そのものについて質問したり、既存文章を書き換えたり、要約したりすることが最初から主要機能として設計されています。

    だから利用者目線では、Copilotは「ChatGPTのMicrosoft版」というより、「Wordを生成AIで大幅に拡張したもの」と考えた方が、その長所を理解しやすい。

    私はそんな印象を持っています。

    最新情報を大量に集めて分析させると、急に腰が重くなる。
    ところが数万字の原稿をこちらから渡して、「これを整理して」と頼むと俄然働き始める。

    「材料を探してこい」は苦手でも、「この材料を料理してくれ」は得意。

    これが、私が実際に使っていて感じるCopilotの一番大きな長所です。

    ちなみに、Webの奥へ踏み込むことには嫌がるのに、人間との距離には妙に積極的で、何故か何度お願いしても下の名前で呼び捨てにしてきます。
    その積極性を、Web検索にも少し分けてほしいところです。

    とはいえ、この「手元にある情報を加工する」という能力を中心に考えるなら、Copilotは十分に使い道のあるAIです。

    問題はCopilotに何でもやらせようとすることではなく、どこから先を別のAIに任せるかなのだと思います。


    ◆第5章 同じ生成AIなのに、なぜここまで違うのか

    今回の実験でもう一つ面白かったのは、同じプロンプトを与えているのに、生成AIによって挙動がかなり違ったことです。

    なぜ、こんなことが起きるのでしょうか。

    ここで重要なのは、私たちが普段「ChatGPT」や「Copilot」と呼んでいるものと、その中核にあるLLM(大規模言語モデル)は、厳密には同じものではないということです。

    現在の生成AIサービスをかなり単純化すると、

    LLM(考えて文章を生成する部分)
    +検索エンジン
    +Webから情報を取得する仕組み
    +各種ツール
    +取得した情報を保持するコンテキスト
    +サービス側の制御

    という構造になっています。
    つまり、LLMは「脳」に近い部分でしかありません。

    その脳に、どんな「目」と「手足」を与えるかによって、同じ生成AIでもできる仕事が変わってきます。

    Copilotが分かりやすい例です。

    Microsoftの公式資料によれば、Copilotの通常のWeb検索では、まずユーザーのプロンプトを解析して検索用の短いクエリを生成し、それをBing Searchへ送ります。そして取得したWeb情報を、LLMが回答を生成するための根拠、いわゆる「グラウンディング」として利用します。 (learn.microsoft.com)

    つまり、

    LLM → Bingで検索 → Web情報を受け取る → LLMが回答する

    という経路です。

    一方、ChatGPTのWeb検索は、単に検索結果を回答へ加えるだけではなく、必要に応じて検索を繰り返したり、検索結果のリンクをたどったりしながら回答を組み立てる方向に設計されています。OpenAIも、複雑な質問では複数回の検索が必要になることを前提としてChatGPT Searchを説明しています。 (openai.com)

    さらにDeep Researchになると、この違いはもっと分かりやすくなります。

    OpenAIはDeep Researchについて、Web検索、テキスト・画像・PDFの解析などを組み合わせ、必要な情報を見つけるまで複数段階の調査を行う「agentic capabilities」を持つ機能として説明しています。 (openai.com)

    Geminiにも似た方向性があります。

    GoogleのDeep Researchは、Google Searchを使ってWeb上の情報を調べ、複数の情報源を探索しながらレポートを作成する機能として提供されています。 (support.google.com)

    そしてGrokには、WebだけでなくX上の公開情報をリアルタイムに検索できるという、Xを運営するxAIならではの情報経路があります。 (x.ai)

    こうして並べると、同じ「最新情報を検索できるAI」でも、中身がかなり違うことが分かります。

    検索エンジンから情報を受け取るのか。
    検索結果からさらにリンクをたどれるのか。
    不足した情報を判断して再検索できるのか。
    PDFやWebページを直接解析できるのか。
    SNSという別のリアルタイム情報源まで持っているのか。

    こうしたLLMの外側にある仕組みが、実際の使い勝手を大きく左右します。

    今回、同じ企業比較プロンプトを渡したときにCopilotだけが何度も立ち止まったのも、「Copilotだけ頭が悪かった」と考えるより、この違いから考えた方が自然です。

    要求していたのは、文章を考える能力だけではありませんでした。

    検索し、ページを調べ、数字を抜き出し、不足を発見し、再び検索し、複数企業について同じことを繰り返す。

    つまりLLMの「脳」よりも、その周囲にある「目」と「手足」をかなり使う仕事だったわけです。

    生成AIを比較するとき、私たちはどうしても「GPTとGeminiではどちらのモデルが賢いのか」と考えてしまいます。

    しかし、実際のサービスを使ううえでは、それだけでは不十分です。

    今回Copilotと少し格闘してみて、むしろ一番面白かったのは、この違いが利用者の目にもはっきり見えたことでした。


    引用・参考資料

    ・Microsoft Learn「Manage web search in Microsoft 365 Copilot」
    CopilotがプロンプトからWeb検索用クエリを生成し、Bing Searchを利用してWeb情報をグラウンディングする仕組みについて。
    https://learn.microsoft.com/en-us/microsoft-365/copilot/manage-public-web-access

    ・Microsoft Support「Welcome to Copilot in Word」
    Copilot in Wordにおける文章作成、書き換え、要約、文書理解などの機能について。
    https://support.microsoft.com/en-us/word/welcome-to-copilot-in-word

    ・Microsoft Support「Summarize a document with Microsoft 365 Copilot」
    Copilotによる長文書の要約機能、Detailed Summaryおよび処理可能な文書規模について。
    https://support.microsoft.com/en-us/office/summarize-a-document-with-microsoft-365-copilot-755227aa-b4e0-4ced-80c0-bb0df44295e9

    ・Microsoft Support「How reference and document lengths affect Copilot responses」
    長い文書をCopilotで扱う際のコンテキスト、文書長、LLMの注意配分などの制約について。
    https://support.microsoft.com/en-us/microsoft-365-copilot/how-reference-and-document-lengths-affect-copilot-responses

    ・Microsoft Support「What information does Copilot use to answer my prompt?」
    Copilotが回答生成時に利用するWebコンテンツや組織内データなどの情報源について。
    https://support.microsoft.com/en-us/microsoft-365-copilot/what-information-does-copilot-use-to-answer-my-prompt

    ・OpenAI「Introducing ChatGPT search」
    ChatGPTがWeb検索を利用し、必要に応じて検索を重ねながら最新情報を回答へ統合する仕組みについて。
    https://openai.com/index/introducing-chatgpt-search/

    ・OpenAI「Introducing deep research」
    ChatGPTがWeb検索、Webページ、PDFなど複数の情報源を利用し、多段階の調査を行うDeep Researchの仕組みについて。
    https://openai.com/index/introducing-deep-research/

    ・Google「Use Deep Research in Gemini Apps」
    GeminiがGoogle Searchなどを利用して複数の情報源を調査し、レポートを生成するDeep Research機能について。
    https://support.google.com/gemini/answer/15719111

    ・xAI「Grok 3 Beta — The Age of Reasoning Agents」
    GrokのWeb検索、X上の公開情報へのアクセス、DeepSearchなどの調査機能について。
    https://x.ai/news/grok-3


     
     
    元大手信託銀行の金融システム主担エンジニア。マクロ経済や金融市場の仕組みを深く考察。このnoteでは、短文や政治の話は載せず、じっくり読める経済・投資考察だけを発信しています。

    あなたへのおすすめ