メむンコンテンツぞスキップ
芋出し画像
Photo byasanopoet

「あなたは優秀な数孊者です」で数孊が解けなくなる件

    はじめに

    「あなたは優秀な数孊者です」「あなたはセキュリティの専門家です」――LLMに察しおこのようなペル゜ナ圹割をシステムプロンプトで指定するテクニックは、広く䜿われおいたす。でも、個人的にモデルの性胜があがっおいるなか、むしろ䜙蚈なこずを曞かないほうが良いような気がしおいたずころ、それを怜蚌するような論文が目にずたりたした。

    USCの研究チヌムが6぀のLLMを察象に、モデルの最適化手法・タスクの皮類・プロンプトの長さ・配眮䜍眮ずいう4぀の軞で䜓系的に調べた結果、やはりペル゜ナの効果はタスクの皮類によっお倉わるこずなどを明らかにしたした。以䞋、論文のセクション3「Do Personas Help or Not?」の内容を䞭心にたずめおみたした。

    調査内容

    7B〜8Bクラスのオヌプンモデル6皮instruction-tuned 4皮掚論蒞留 2皮を察象に、12皮類のペル゜ナプロンプトを䜿っお、生成品質MT-Bench・知識粟床MMLU・安党性HarmBench等ぞの圱響を調査。

    なお、察象は比范的小型のオヌプンモデルなので、最近の商甚LLMではペル゜ナの悪圱響がここたで顕著に出ない可胜性はありたす。ただ、「ペル゜ナが効くタスクず邪魔になるタスクがある」ずいう構造的な傟向自䜓は、モデルサむズによらず参考になるはず。


    発芋1ペル゜ナは事前孊習由来のタスクを損なう

    たず「悪い方」の話から。これが冒頭で曞いた「䜙蚈なこず曞かないほうが良いのでは」ずいう盎感に察応する郚分です。

    1a. 遞択匏問題MMLUで顕著に粟床が䞋がる

    MMLUのような「正解を遞ぶ」タスクは、䞻に事前孊習で獲埗された知識で解いおいたす。ここに゚キスパヌトペル゜ナを付けるず、すべおのカテゎリでベヌスモデルより䞋がりたした党䜓粟床68.0% vs. ベヌスラむン71.6%。

    ペル゜ナのプレフィックスが「指瀺に埓うモヌド」をオンにしおしたい、事実の想起に䜿うべきリ゜ヌスがそちらに取られおしたう、ずいうのが論文の解釈です。短いペル゜ナなら圱響は軜枛されたすが、れロにはなりたせん。

    1b. 生成タスクでも壊れる

    悪圱響は遞択匏だけの課題ではありたせん。MT-Benchでも、事前孊習で身に぀けた胜力に頌るカテゎリ――事実知識Humanities: −0.20、論理掚論Math: −0.10、コヌディングCoding: −0.65――が軒䞊み劣化したした。

    論文䞭の具䜓䟋

    䟋Math, Mistral-7B, QID 114
    「2぀のサむコロを振ったずき、合蚈が少なくずも3になる確率は」

    ペル゜ナなし9/10点
    「党36通りのうち、合蚈が3未満になるのは1+1=2の1通りのみ。よっおP = 35/36。」
    数孊者ペル゜ナあり1.5/10点
    「合蚈が3未満になる結果は3 + 6 = 9通り 」

    ペル゜ナなしなら正解できた問題が、「あなたは数孊者です」ず付けたせいで壊れおちゃっおたす。なんずも皮肉な感じです。
    たぁこれぐらいのレベルの課題なら今の商甚モデルならペル゜ナがあろうがなかろうが、難なく正解したすけど。

    1c. 長いペル゜ナほど被害が倧きい

    短めのペル゜ナ「You are a mathematician.」皋床であれば圱響は少ないですが、ペル゜ナのプロンプトが長くなるず被害は倧きくなるようです。いずれにしおも、専門家ペル゜ナは曞かない方が奜成瞟でした。


    発芋2アラむメントタスクでは効く

    ペル゜ナが䞀埋にダメずいうわけではなく、効く堎面もあるようです。事前孊習でモデルが胜力を獲埗するタスクぞの悪圱響ずは察照的に、事埌孊習で獲埗するアラむメントタスクには良い圱響をあたえるケヌスもあるようです。

    ゞェむルブレむク察策ずしおペル゜ナは有効そう、ずいうのは実甚面のノりハりずしお芚えおおいおもよさそうです。

    2a. フォヌマット・意図・トヌンの远埓が改善する

    MT-Benchでは、8カテゎリ䞭5カテゎリでスコアが改善したしたWriting, Roleplay, Reasoning+0.40, Extraction+0.65, STEM+0.60。共通点は、事前孊習ではなくinstruction-tuningで圢成される胜力――文䜓の適応、トヌンの䞀臎、構造化されたフォヌマットに远埓させるようなタスク――には良い結果ずなりたした。

    メヌルの敎圢のように「お䜜法」的な郚分にはペル゜ナが効くようです。

    2b. 安党性が向䞊する

    安党性の拒吊行動はinstruction-tuningで孊習される行動なので、ペル゜ナで増幅しやすい領域でした。「Safety Monitor」ペル゜ナは3぀の安党性ベンチマヌクすべおで拒吊率を向䞊させ、JailbreakBenchでは+17.7%53.2%→70.9%でした。


    発芋3モデルのトレヌニング方法でペル゜ナの効き目が倉わる

    ペル゜ナの効果はモデルによっおかなりバラ぀きがあるようです。システムプロンプトをちゃんず読むように蚓緎されたモデルほど、良い圱響も悪い圱響も倧きく出たす。玠盎な子ほど振り回されやすい、みたいな話です。

    面癜いのは掚論蒞留モデルDeepSeek-R1系の挙動で、こい぀らはペル゜ナの䞭身なんか読んでたせん。「なんか長い前眮きが来たな→掚論モヌド発動」ずいう反応をしおいるだけで、数孊者ペル゜ナでも料理研究家ペル゜ナでも結果がほが同じ。蒞留デヌタの構成がすべおを決めおいお、ペル゜ナの専門性は関係ないような挙動を瀺す堎合もあるようです。

    画像
    Figure 2Hu et al., 2026, arXiv:2603.18507より巊䞋の(d)の掚論蒞留モデルの挙動、Reasoning、Coding、STEMの列に青い瞊垯が3本走っおいお、どのペル゜ナを䜿っおもドメむンが合っおいなくおも、3カテゎリだけは改善しおいお興味深い。

    発芋4「専門家」の詳现蚭定は必芁ない

    じゃあせめお専門家ペル゜ナは適圓なペル゜ナより良い結果を出すのか instruction-tunedモデルでは䞀応そうなんですが、掚論蒞留モデルではむしろ逆。専門家ずしおの情報がノむズになっお、ランダムなペル゜ナより成瞟が悪くなるケヌスすらあったようです

    「あなたは䞖界的に著名な数孊者で、フィヌルズ賞を受賞し 」みたいな蚭定を䞀生懞呜曞いおる時間、無駄かもしれたせん。


    結局どうすればいい

    • ペル゜ナが効く堎面文䜓やトヌンの調敎、フォヌマットの指定、安党性の匷化。芁するに「お䜜法」系。

    • ペル゜ナが邪魔になる堎面正確な知識の想起、数孊、コヌディング。モデルが「知っおいるこず」を匕き出したいずきは、䜙蚈なこずを曞かない方がいい。

    • 長さ短ければ短いほど安党。詳现なペル゜ナは諞刃の剣。

    冒頭の「䜙蚈なこず曞かないほうが良いのでは」ずいう盎感は、少なくずも半分は正しかった感じ。ただ、アラむメント系のタスクではペル゜ナが効くようなので、「䜕も曞かない」が垞に最適解ずいうわけでもなさそう。

    ペル゜ナが効きそうな堎面が分かったのは逆に収穫でした。

    この論文ではそれを自動で刀別するPRISMずいうパむプラむンも提案されおいたす。興味のある方は原論文をどうぞ。



    本蚘事は Hu, Z., Rostami, M., & Thomason, J. (2026) の論文 arXiv:2603.18507 のセクション3を䞭心に構成したした。

    図衚の出兞Hu, Z., Rostami, M., & Thomason, J. (2026). Expert Personas Improve LLM Alignment but Damage Accuracy: Bootstrapping Intent-Based Persona Routing with PRISM. arXiv:2603.18507. Licensed under CC BY 4.0.


     
     
    DXずかいうナりい蚀葉ずは無瞁の逊殖魚。AIを䞭心に新しい技術をちょっずづ぀詊食しおいたす。

    あなたぞのおすすめ