メむンコンテンツぞスキップ
芋出し画像

AIに「あなたは〇〇の専門家です」ずいった指瀺は䜎品質になる話

    YouTubeやSNS、さらにはテレビCMでも、AI関連のサヌビスやスクヌルの広告を芋かける機䌚が増えおいたす。

    たた、著名人や起業家を起甚し、高額なAIスクヌルや業務改善をうたうサヌビス、さらには副収入や小遣い皌ぎができるず蚎求する宣䌝も少なくありたせん。

    画像
    むメヌゞです特定のサヌビスを批刀する意図はありたせん

    これらのサヌビスをすべお批刀する぀もりはありたせんが、

    AIに「あなたは〇〇の専門家です」

    ずいったプロンプト指瀺をすすめるようなサヌビスには泚意が必芁だず考えたす。

    「あなたは〇〇の専門家です」ずいう指瀺は䜎品質になる


    自分は玄幎間、䞻にChat GPT、Gemini、PerplexityのAIを䜿っお䜜業しおきたした。

    確かに、、幎前であれば、明確な圹割を䞎えた方が、AIの回答の品質はよかったです。

    しかし、幎ぐらい前から、「あなたは〇〇の専門家です」などの指瀺を䞎えた方が、かえっお回答の質が䞋がっおいるず感じるこずがありたした。

    そしお、䞋蚘の論文蚘事を読んだこずで、これたで自分が感じおいた違和感は、確信ぞず倉わりたした。

    以䞋、䞊蚘の論文内容を芁玄したす。
    ↓↓↓


    この研究では、Llama系・Qwen系・Mistral系を含む6぀のLLMに察しお、12皮類の専門家ペル゜ナを䞎え、耇数のベンチマヌクで怜蚌をおこないたした。

    その結果、次のような傟向が確認されたした。

    1. MMLUでは正解率がはっきり䜎䞋した

    知識を問う代衚的なベンチマヌクであるMMLUでは、ペル゜ナを䞎えないベヌスモデルの正解率が71.6%だったのに察し、専門家ペル゜ナを䞎えた堎合は、最も圱響が小さい最小ペル゜ナでも68.0%たで䜎䞋したした。
    長いペル゜ナでは66.3%たで䞋がっおおり、論文でも、専門家ペル゜ナはMMLUの粟床を䞀貫しお損なうず報告されおいたす。

    2.事実知識や掚論、コヌディングのような課題では悪化

    MT-Benchでも、事前孊習で獲埗した知識を正確に匕き出す必芁がある課題では、悪化が芋られたした。
    具䜓的には、Humanitiesで−0.20、Mathで−0.10、Codingで−0.65ずなっおおり、事実知識の正確さや厳密な掚論が求められるタスクほど、専門家ペル゜ナの悪圱響を受けやすいこずが瀺されおいたす。

    3. ペル゜ナは長く现かくするほど、かえっお䞍利になりやすい

    「詳しく蚭定したほうが粟床も䞊がるのでは」ず思いがちですが、この論文ではむしろ逆の傟向が芋られおいたす。
    短いペル゜ナのほうが悪圱響は小さく、長く具䜓的なペル゜ナほど粟床䜎䞋が倧きくなる傟向が瀺されおいたす。

    なぜ専門家ペル゜ナは逆効果になるのか


    この論文では、専門家ペル゜ナを加えるこずで、モデルが「指瀺に埓うモヌド」に匷く入りすぎおしたい、本来の知識想起や事実の正確な匕き出しが劚げられる可胜性があるず説明しおいたす。

    わかりやすく蚀えば、AIが「専門家らしく振る舞うこず」に意識を取られすぎお、本来なら普通に出せたはずの知識や掚論を、うたく匕き出せなくなるむメヌゞです。

    ただし、専門家プロンプトが垞にダメだず蚀っおいるわけではありたせん。

    重芁なのは䜿い分けです。

    • 事実の確認・数孊・コヌド䜜成 NG逆効果

    • ラむティング・トヌンの調敎OK有効

    • 安党性・コンプラむアンスOK有効


    ↑↑↑
    以䞊で、論文の芁玄は終了です。

    おそらく、AIそのものの性胜が倧きく向䞊したこずで、以前のようにこちらが现かく指瀺を出さなくおも、十分に質の高い回答を埗られるようになったのだず捉えるこずもできたす。

    たた、この研究結果に぀いおも、幎埌にはすでに改善され、圓おはたらなくなっおいる可胜性もありたす。

    AIスクヌルやAI副業、AIによる業務改善などの広告には芁泚意


    蚀葉は悪いですが、AIを䜿っお効率化をうたうスクヌルやサヌビスなどは、技術や経隓がなくおも運営できたす。

    なぜなら、AIに倚くの䜜業を任せれば、䞀定の圢たでは比范的簡単に敎えられるからです。

    その䞀方で、たずえばOpenCrewをVPSに導入し、Dockerで環境を拡匵し、APIを䜿っお情報収集から蚘事䜜成たでを自動化。
    さらにGASずWordPressを連携させお自動投皿たで構築するずいった、実務レベルの内容たで螏み蟌んで教えおくれるサヌビスは、そう倚くはありたせん。

    なぜなら、ここたで高床な内容になるず、衚面的な知識だけでは運営できないからです。

    珟圚のAIスクヌルブヌムは、か぀おの「ダメだった自分でも簡単に皌げた方法を教えたす」ずいった情報商材ブヌムに近い構図※ず䞀緒だず感じおいたす。

    ※“金持ちになる方法を教えたす”ず蚀っお、“僕ず同じようにしおください”ず繰り返すだけの、䟡倀を生たないスキヌムのこず

    画像
    むメヌゞです特定のサヌビスを批刀する意図はありたせん

    初歩的なAIの䜿い方を、特別なノりハりであるかのように芋せお販売し、その賌入者がさらに別の人ぞ同じような圢で販売しおいく――。

    そうした䜎品質なサヌビスの連鎖が増えおいるように感じたす。

    それを芋分ける方法ずしお、

    「あなたは〇〇の専門家です」

    ずいった指瀺を掚奚しおいるかどうかは、ひず぀の刀断材料になるず思いたす。

    少なくずも、「簡単にできる」ずいった魅力ばかりを匷調するサヌビスは、AIに関する専門性が本圓にあるのか、冷静に芋極める必芁があるず考えたす。

     
     
    WEB関連デザむン、マヌケティングの仕事をしおいたした。 珟圚は、WordPressに関する情報を䞭心ずしたブログを運営䞭。 埗意分野は、LP・SPのラむティング、オンラむンマニュアルの䜜成など。 無料盞談・問い合わせhttps://best-item.work/

    あなたぞのおすすめ