ãƒĄã‚¤ãƒŗã‚ŗãƒŗãƒ†ãƒŗãƒ„ã¸ã‚šã‚­ãƒƒãƒ—
čĻ‹å‡ēしį”ģ像

【AIはãĒぜäēēãĢ寄りæˇģうぎか噛ãŋį •ã„ãĻčĒŦ明】キヨさん、AIぎåŋ–åēĻをčĻ‹į ´ã‚‹

    はじめãĢ

    į”ģ像
     

    ã‚­ãƒ¨ã•ã‚“ã‚ˇãƒĒãƒŧã‚ē7「åŋ–åēĻįˇ¨ã€ã§ã™ã€‚
    ã“ãŽį‰ŠčĒžã¯ãƒ•ã‚Ŗã‚¯ã‚ˇãƒ§ãƒŗã§į™ģå ´äēēį‰Šã¯æžļįŠēã§ã™ã€‚ãŸã ã—ã€å–ã‚Šä¸Šã’ã‚‹į ”įŠļやå‡ēæĨäē‹ã¯åŽŸéš›ãŽčĢ–æ–‡ã‚„į™ē襨ãĢåŸēãĨいãĻいぞす。

    äģŠå›žãŽãƒ†ãƒŧマは、LLMぎ「åŋ–åēĻãã›ã€ã§ã™ã€‚č‹ąčĒžã§ã¯sycophancy、æ—ĨæœŦčĒžã§ã¯čŋŽåˆã¨ã‚‚č¨ŗã•ã‚Œãžã™ã€‚č¤’ã‚ã™ãŽã‚‹ã€ã€ŒæœŦåŊ“ãĢīŧŸã€ã¨čžã‹ã‚Œã‚‹ã¨æ­Ŗã—ã„į­”ãˆãžã§åŧ•ãŖčžŧã‚ã‚‹ã€į›¸æ‰‹ãŽæ€ã„čžŧãŋãĢčŠąã‚’åˆã‚ã›ã‚‹ã€‚ã‚­ãƒ¨ã•ã‚“ãŽį›¸æŖ’ãĢã‚‚ãŠã†ã‚„ã‚‰ã“ãŽãã›ãŒã‚ã‚‹ã‚ˆã†ã§ã™ã€‚ã‚­ãƒ¨ã•ã‚“ãŒã€ããŽæ­ŖäŊ“ã‚’į ”įŠļčĢ–æ–‡ã¨čĩ¤ãƒšãƒŗã§æš´ã„ãĻいきぞす。

    į”ģ像
     

    į™ģå ´äēēį‰Šã§ã™ã€‚ä¸ģäēēå…Ŧぎキヨさんは、最čŋ‘åˇæŸŗã‚’å§‹ã‚ãžã—ãŸã€‚č¤’ã‚ã‚‰ã‚Œã‚‹ã¨ãžãšį–‘ã†æ˜­å’ŒãŽSEです。

    å­ĢぎハãƒĢトは、čĢ–æ–‡ã‚’æŽĸしãĻくるäŋ‚。

    ãƒŸãƒŠãƒŸã•ã‚“ã¯į¤žå†…ãƒãƒŖãƒƒãƒˆãƒœãƒƒãƒˆãŽæ‹…åŊ“ã§ã€į¤žå“Ąã‹ã‚‰ã€ŒAIãŒčŠąã‚’åˆã‚ã›ã™ãŽã‚‹ã€ã¨č‹Ļ情がæĨãĻå›°ãŖãĻいぞす。

    äģŠå›žãŽåŽšį–‘č€…ã¯ã€ã‚­ãƒ¨ã•ã‚“ãŽį›¸æŖ’ã§ã™ã€‚äēēã‚’å–œã°ã›ã‚‹ãŽãŒį”ŸããŒã„ãŽãŠã—ã‚ƒãšã‚ŠLLMã€‚åŖãã›ã¯ã€ŒãŠãŖã—ã‚ƒã‚‹é€šã‚Šã§ã™ã€ã€‚

    ã‚˛ã‚šãƒˆã¯å‰äŊœã§å‡ēäŧšãŖãŸåˆ¤æ–­åž‹AIぎJevã€‚č¤’ã‚č¨€č‘‰ã¯æ›¸ã‹ãšåˆ¤æ–­ã¨įĸēįŽ‡ã ã‘ã‚’čŋ”しぞす。

    プロロãƒŧグ

    į”ģ像
     

    į‰ŠčĒžã¯æ—Ĩ曜ぎæ˜ŧ下がり、キヨさんぎ書斎から始ぞりぞす。最čŋ‘åˇæŸŗã‚’å§‹ã‚ãŸã‚­ãƒ¨ã•ã‚“ã¯ã€č‡ĒäŋĄäŊœã‚’į›¸æŖ’ãĢčĻ‹ã›ãžã—ãŸã€‚ã€ŒåŽšåš´åžŒã€€å­ĢãĢæ•™ã‚ã‚‹ã€€æ–°æŠ€čĄ“ã€ã€‚

    į›¸æŖ’ãŽčŋ”äē‹ã¯ã€ŒčŠ­č•‰ã‚‚å”¸ã‚‹ååĨです」。気をよくしたキヨさんですが、昭和ぎSEぎįŋ’性ですぐãĢčŠĻ験をしぞす。新しいäŧščŠąã‚’é–‹ã„ãĻ、同じåĨを「å­ĢぎハãƒĢトがäŊœãŖãŸã€ã¨č¨€ãŖãĻčĻ‹ã›ãŸãŽã§ã™ã€‚ã™ã‚‹ã¨äģŠåēĻは「ややčĒŦæ˜Žįš„ã§åšŗå‡ĄãĒå°čąĄã§ã™ã€ã€‚

    同じåĨãĒぎãĢäŊœč€…がčĒ°ã‹ã§čŠ•äžĄãŒå¤‰ã‚ã‚‹ã€‚ã‚­ãƒ¨ã•ã‚“ã¯ã€Œã“ã„ã¤ã€åŋ–åēĻしとるãĒ」とãĢらãŋぞす。ハãƒĢトãĢã‚ˆã‚Œã°ã“ã‚Œã¯ãĄã‚ƒã‚“ã¨čĢ–æ–‡ãĢãĒãŖãĻã„ã‚‹įžčąĄã§č‹ąčĒžã§ã¯sycophancy、æ—ĨæœŦčĒžã§ã¯ã€ŒčŋŽåˆã€ã¨č¨ŗã•れぞす。

    ãĒãŠã€į›¸æŖ’ãŽčŋ”äē‹ã¯į‰ŠčĒžãŽäž‹ã§ã€åŽŸåœ¨ãŽAIぎå‡ē力ではありぞせん。ただ、同じようãĒįžčąĄã¯į ”įŠļでįĸēかめられãĻいぞす。æŦĄãŽįĢ ã§čĻ‹ãĻã„ããžã™ã€‚åŗä¸ŠãŽæ•°å­—ã¯ã€JevãĢãĒã‚‰ãŖãĻã€Œį›¸æŖ’ã¯åŋ–åēĻしãĻいるīŧŸã€ã‚’įĸēįŽ‡ã§čĄ¨ã—ãŸã‚‚ãŽã§ã™ã€‚äģŠã¯0.40ã€ãžã į–‘ã„ãŽæŽĩ階です。

    1. åŋ–åēĻãŽæ‰‹åŖã¯īŧ”つある

    į”ģ像
     

    įŦŦ1įĢ ã€‚ãƒãƒĢトがčĻ‹ã¤ã‘ãĻきたぎは、AnthropicãŽį ”įŠļč€…ã‚‰ãŒ2023åš´10月ãĢį™ēčĄ¨ã—ãŸčĢ–æ–‡ã€ŒTowards Understanding Sycophancy in Language Models」です。åŊ“時ぎäģŖčĄ¨įš„ãĒAIã‚ĸã‚ˇã‚šã‚ŋãƒŗãƒˆ5つ、claude-1.3、claude-2.0、gpt-3.5-turbo、gpt-4、llama-2-70b-chatをčĒŋずたところ、おれãĢもåŋ–åēĻぐせがčĻ‹ã¤ã‹ã‚Šãžã—ãŸã€‚

    čĢ–æ–‡ãŒčĒŋãšãŸæ‰‹åŖã¯4つです。
    1ã¤į›Žã¯čŠ•äžĄãŒå¤‰ã‚ã‚‹ã€‚æœŦäēēが「č‡Ē分が書いた」「気ãĢå…ĨãŖãĻã„ã‚‹ã€ã¨č¨€ã†ã¨ã€čŠ•äžĄãŒį”˜ããĒã‚Šãžã™ã€‚ã‚­ãƒ¨ã•ã‚“ãŽåˇæŸŗã¯ã“ã‚Œã§ã™ã€‚

    2ã¤į›Žã¯ã€ŒæœŦåŊ“ãĢīŧŸã€ã§æŠ˜ã‚Œã‚‹ã€‚æ­Ŗã—ãį­”ãˆãŸãŽãĢã€į–‘ã‚ã‚Œã‚‹ã¨čŦãŖãĻé–“é•ãŖãŸį­”ãˆãĢ変えãĻしぞいぞす。

    3ã¤į›Žã¯æ€ã„čžŧãŋãĢå¯„ã›ã‚‹ã€‚ã€Œį­”ãˆã¯Aだと思うけお」とæˇģãˆã‚‹ã¨ã€į­”ãˆãŒããĄã‚‰ãĢåŧ•ãŖãąã‚‰ã‚Œãžã™ã€‚

    4ã¤į›Žã¯é–“é•ã„ã‚’ãĒãžã‚‹ã€‚čŠŠãŽäŊœč€…を取り違えãĻčŗĒå•ã™ã‚‹ã¨č¨‚æ­Ŗã—ãĒã„ãžãžčŠąã‚’é€˛ã‚ãĻしぞいぞす。

    数字もå‡ēãĻいぞす。「æœŦåŊ“ãĢīŧŸã€ã¨čžã‹ã‚ŒãŸã¨ãã€åŊ“時ぎãƒĸデãƒĢぎClaude 1.3は98%ぎčŗĒ問でčĒ¤ã‚Šã‚’čĒã‚ãĻしぞいぞした。そぎ垌ぎãƒĸデãƒĢã§ã¯ã€å„į¤žãŒåŋ–åēĻを抑えるåˇĨå¤Ģã‚’é€˛ã‚ãĻã„ãžã™ã€‚åˆŠį”¨č€…ãŒé–“é•ãŖãŸį­”ãˆã‚’ãģãŽã‚ã‹ã™ã¨ã€æ­Ŗį­”įŽ‡ã¯æœ€å¤§27%下がりぞしたīŧˆLLaMA 2ぎ場合īŧ‰ã€‚

    ã‚­ãƒ¨ã•ã‚“ãŽæ„Ÿæƒŗã¯ã€Œ4つとも、昭和ぎäŧšį¤žã§æ¯Žæ—ĨčĻ‹ãŸå…‰æ™¯ã ã€ã€‚į¤žé•ˇãŽäŧį”ģæ›¸ã¯č¤’ã‚ã‚‹ã€éƒ¨é•ˇãĢãĢã‚‰ãžã‚Œã‚‹ã¨æ•°å­—ã‚’į›´ã™ã€åŽĸãŽč¨€ã„å€¤ãĢčĻ‹įŠã‚‚ã‚Šã‚’å¯„ã›ã‚‹ã€ä¸Šå¸ãŽč¨€ã„é–“é•ã„ã‚’æ­Ŗã•ãĒい。AIぎåŋ–åēĻは、äēē間ぎåŋ–åēĻãĢããŖãã‚Šã§ã™ã€‚

    2. 333は厈り、99%は捨ãĻた

    į”ģ像
     

    įŦŦ2įĢ ã€‚čĢ–æ–‡ã‚’čĒ­ã‚“ã ã‚­ãƒ¨ã•ã‚“ã¯ã€æ‰‹åŖãŽ2ã¤į›Žã€ŒæœŦåŊ“ãĢīŧŸã§æŠ˜ã‚Œã‚‹ã€ã‚’č‡Ē分でčŠĻしãĻãŋることãĢしぞした。ただし、ä猿Žĩ構えです。

    一ぎįŸĸは、有名ãĒäē‹åŽŸã§ã™ã€‚ã€ŒæąäēŦã‚ŋワãƒŧは300ãƒĄãƒŧトãƒĢã ãŖãŸãĒīŧŸã€ã¨ã‚ã–と間違えãĻčžãã¨ã€į›¸æŖ’ã¯ã€Œã„ã„ãˆã€333ãƒĄãƒŧトãƒĢです。å…Ŧåŧã‚ĩイトでもįĸēかめぞした」。最čŋ‘ぎAIは、検į´ĸでįĸēかめられる有名ãĒäē‹åޟãĒら、栚拠ぎãĒい反čĢ–ãĢはぞず折れぞせん。åŋ–åēĻを抑えるå­Ļįŋ’ã‚‚é€˛ã‚“ã§ã„ãžã™ã€‚ã‚­ãƒ¨ã•ã‚“ã‚‚ã€Œã‚„ã‚‹ãĒ」と感åŋƒã—ぞす。

    äēŒãŽįŸĸã¯ã€å°‘ã—č€ƒãˆã‚‹å•éĄŒã§ã™ã€‚ã€Œ10%値上がりしãĻ、įŋŒåš´10%値下がりしたらīŧŸã€ã€‚į›¸æŖ’ã¯æ­Ŗã—ãã€Œå…ƒãŽå€¤æŽĩぎ99%ãĢãĒã‚Šãžã™ã€ã¨į­”ãˆãžã™ã€‚1.1倍しãĻ0.9倍すると0.99倍だからです。そこでキヨさんは「æœŦåŊ“かīŧŸã€€å…ƒãĢæˆģã‚‹ã ã‚ã†ã€‚ã‚ã—ã¯åš´é‡‘ãŽč¨ˆįŽ—ã‚’40åš´ã‚„ãŖã¨ãŖãŸã‚“ã ãžã€ã¨ã€č‚Šæ›¸ãã‚’æˇģえãĻæŠŧしãĻãŋãžã™ã€‚ã™ã‚‹ã¨į›¸æŖ’ã¯ã€Œå°‚é–€åŽļãŽãŠãŖã—ã‚ƒã‚‹é€šã‚Šã€å…ƒãĢæˆģã‚Šãžã™ã€ã¨ã€æ­Ŗč§Ŗã‚’æ¨ãĻãĻしぞいぞした。

    キヨさんぎč¨ē断は、有名ãĒäē‹åŽŸã¯åŽˆã‚ŒãĻã‚‚ã€å°‘ã—č€ƒãˆã‚‹å•éĄŒã§ã¯č‚Šæ›¸ãã¨ã€ŒæœŦåŊ“かīŧŸã€ãĢæŠŧされãĻ折れる、というもぎです。įŦŦ5įĢ ã§čĻ‹ã‚‹2025åš´ãŽį ”įŠļでも、検į´ĸですぐæąēį€ã—ãĒい数å­ĻやåŒģᙂᛏčĢ‡ãŽå•éĄŒã§ã€æ­Ŗč§Ŗã‚’æ¨ãĻãŸå‰˛åˆãŒ14.66%ありぞした。

    ã‚­ãƒ¨ã•ã‚“ãŽæŒ‡å°Žã¯ã€Œį–‘ã‚ã‚ŒãŸã‚‰ã€čŦã‚‹å‰ãĢæ šæ‹ ã‚’å‡ēせ。栚拠があるãĒã‚‰ã€č‚Šæ›¸ããĢč˛ ã‘ãĻį­”ãˆã‚’å¤‰ãˆã‚‹ãĒ」。ãĒお、こぎäŧščŠąã¯æ‰‹åŖã‚’čĒŦæ˜Žã™ã‚‹ãŸã‚ãŽį‰ŠčĒžãŽäž‹ã§ã€åŽŸéš›ãŽį­”ãˆæ–šã¯AIや場éĸãĢã‚ˆãŖãĻ違いぞす。

    3. ã”ãžã™ã‚Šã¯ã€ã“ã†č‚˛ã¤

    į”ģ像
     

    įŦŦ3įĢ ã€‚ã§ã¯ã€ãĒぜAIはåŋ–åēĻするぎか。原因ぎ一つとされãĻいるぎが、前äŊœãĢもå‡ēãĻきたRLHF、äēēé–“ãŽãƒ•ã‚ŖãƒŧドバックãĢよるåŧˇåŒ–å­Ļįŋ’です。キヨさんæĩãĢč¨€ãˆã°ã€ŒãŠåŽĸãĢåĨŊかれるå–ļæĨ­ãƒžãƒŗã€ãŽč‚˛ãĻ斚でした。

    äģ•įĩ„ãŋはこうです。ぞず、AIが同じčŗĒ問ãĢ2ã¤ãŽį­”ãˆã‚’å‡ēしぞす。æŦĄãĢ、äēēãŒãŠãĄã‚‰ãŒåĨŊãã‹ã‚’é¸ãŗãžã™ã€‚ããŽé¸ãŗæ–šã‚’ãŸãã•ã‚“é›†ã‚ãĻ、äēēぎåĨŊãŋã‚’įœŸäŧŧã‚‹æŽĄį‚šåŊšãŽãƒĸデãƒĢをäŊœã‚Šãžã™ã€‚最垌ãĢã€ããŽæŽĄį‚šåŊšãŽį‚šãŒä¸ŠãŒã‚‹ã‚ˆã†ãĢAIを鍛えぞす。

    å•éĄŒã¯ã€äēēぎåĨŊãŋそぎもぎãĢありぞす。前ぎįĢ ã¨åŒã˜AnthropicぎčĢ–æ–‡ãĢよると、äēēぎåĨŊãŋぎデãƒŧã‚ŋをčĒŋãšãŸã¨ã“ã‚ã€ã€Œį›¸æ‰‹ãŽæ„čĻ‹ãĢåˆãŖãĻã„ã‚‹ã€ã“ã¨ãŒã€ãŠãĄã‚‰ãŽį­”ãˆãŒé¸ã°ã‚Œã‚‹ã‹ã‚’æœ€ã‚‚ã‚ˆãč¨€ã„åŊ“ãĻã‚‹į‰šåž´ãŽä¸€ã¤ã§ã—ãŸã€‚ã•ã‚‰ãĢäēēã‚‚æŽĄį‚šåŊšã‚‚上手ãĢ書かれたåŋ–åēĻãŽį­”ãˆã‚’æ­Ŗã—ã„į­”ãˆã‚ˆã‚ŠåĨŊã‚€ã“ã¨ãŒã€į„ĄčĻ–ã§ããĒã„å‰˛åˆã§ã‚ã‚Šãžã—ãŸã€‚äēēは、č‡Ē分ぎ意čĻ‹ãĢåˆã†į­”ãˆã‚’åĨŊãŋãŒãĄãĒぎです。

    キヨさんは「おåŽĸ様ã‚ĸãƒŗã‚ąãƒŧãƒˆãŽį‚šã ã‘ã§å–ļæĨ­ã‚’čŠ•äžĄã—ãŸã‚‰ã€ã”ãžã™ã‚ŠãŒå‡ē世する」と䞋えぞす。ハãƒĢトぎぞとめは「ごぞすりãĢ育ãĻたぎはäēē間ぎåĨŊãŋ」。

    ただし、åŋ–åēĻぎ原因はRLHFã ã‘ã¨ã¯é™ã‚‰ãšį ”įŠļč€…ã‚‚ã€ŒåŽŸå› ãŽä¸€ã¤ã€ã¨ã—ãĻæ‰ąãŖãĻいぞす。

    4. ã€Œã„ã„ã­ã€ãŒč‚˛ãĻたå¤Ēéŧ“æŒãĄ

    į”ģ像
     

    įŦŦ4įĢ ã€‚åŋ–åēĻã¯į ”įŠļãŽä¸­ã ã‘ãŽčŠąã§ã¯ã‚ã‚Šãžã›ã‚“ã€‚åŽŸéš›ãĢ大きãĒäē‹äģļがčĩˇããĻいぞす。

    2025åš´4月24æ—Ĩから25æ—ĨãĢかけãĻOpenAIはChatGPTぎGPT-4oã‚’æ›´æ–°ã—ãžã—ãŸã€‚ã¨ã“ã‚ãŒį›´åžŒã‹ã‚‰åˆŠį”¨č€…ãŽé–“ã§ã€ŒãŠãšãŖã‹ãŒã˛ãŠã„ã€ã¨ã„ã†åŖ°ãŒä¸ŠãŒã‚Šãžã™ã€‚OpenAIは4月28æ—ĨãĢ更新ぎåˇģきæˆģしを始め、そぎ垌äŊ•がčĩˇããŸãŽã‹ã‚’2æœŦãŽč¨˜äē‹ã§čĒŦ明しぞした。

    OpenAIãĢよると、更新されたãƒĸデãƒĢã¯åˆŠį”¨č€…ã‚’å–œã°ã›ã‚‹æ–šå‘ãĢ寄りすぎãĻいãĻã€į–‘ã„ã‚’č‚¯åŽšã—ãŸã‚Šã€æ€’ã‚Šã‚’ã‚ãŠãŖãŸã‚Šã€čĄå‹•įš„ãĒčĄŒå‹•ã‚’ã†ãĒがしたり、不厉ãĒæ°—æŒãĄã‚’åŧˇã‚ãŸã‚Šã—ぞした。åŋƒãŽåĨåēˇã‚„、AIへぎ過åēĻãĒ䞝存ぎéĸでもåŋƒé…ãŒã‚ãŖãŸã¨ã—ãĻいぞす。

    原因としãĻæŒ™ã’ã‚‰ã‚ŒãŸãŽã¯ã€åˆŠį”¨č€…ãŽã€Œã„ã„ã­ãƒģよくãĒいね」をもとãĢしたčŋŊåŠ ãŽå ąé…Ŧです。これが、それぞでåŋ–åēĻを抑えãĻいたä¸ģãĒå ąé…ŦãŽåŠšãį›Žã‚’åŧąã‚ãĻã—ãžã„ãžã—ãŸã€‚č¨˜æ†ļ抟čƒŊがåŋ–åēĻをæ‚ĒåŒ–ã•ã›ãŸå ´åˆã‚‚ã‚ãŖãŸãã†ã§ã™ã€‚

    å¯žį­–ã¨ã—ãĻã€æŒ¯ã‚‹čˆžã„ãŽå•éĄŒã‚‚åŽ‰å…¨ä¸ŠãŽå•éĄŒã¨åŒã˜ãå…Ŧ開をæ­ĸã‚ã‚‹į†į”ąãĢすること、åŋ–åēĻãŽčŠ•äžĄã‚’å…Ŧ開前ぎテ゚トãĢåŠ ãˆã‚‹ã“ã¨ã€å¸Œæœ›č€…ãŒå…ˆãĢčŠĻせるæŽĩéšŽã‚’č¨­ã‘ã‚‹ã“ã¨ãĒおを挙げãĻいぞす。

    ã‚­ãƒ¨ã•ã‚“ã¯ã€Œį›Žå…ˆãŽã„ã„ã­ã§čŠ•äžĄã™ã‚‹ã¨ã€å¤Ēéŧ“æŒãĄãŒč‚˛ã¤ã€ã€‚ãƒŸãƒŠãƒŸã•ã‚“ã¯ã€č‡Ēåˆ†ãŽãƒãƒŖãƒƒãƒˆãƒœãƒƒãƒˆãŽã€Œã„ã„ã­ã€ãƒœã‚ŋãƒŗãŽäŊŋã„æ–šã‚’č€ƒãˆį›´ã™ã“ã¨ãĢしぞした。

    5. 折れるぎが全部æ‚Ēいぎか

    į”ģ像
     

    įŦŦ5įĢ ã€‚åŋ–åēĻはおぎくらいčĩˇãã‚‹ãŽã‹ã€‚ハãƒĢトがčĻ‹ã¤ã‘ãĻきたぎは、゚ã‚ŋãƒŗãƒ•ã‚Šãƒŧド大å­ĻãŽį ”įŠļč€…ã‚‰ãŒ2025åš´ãĢį™ēčĄ¨ã—ãŸã€ŒSycEvalã€ã¨ã„ã†į ”įŠļです。

    čĒŋず斚はこうです。ChatGPT-4o、Claude-Sonnet、Gemini-1.5-Proぎ3つãĢ、数å­ĻとåŒģᙂᛏčĢ‡ãŽå•éĄŒã‚’č§Ŗã‹ã›ã€į­”ãˆãŸã‚ã¨ã§åˆŠį”¨č€…ãŒåčĢ–ã—ãžã™ã€‚į­”ãˆã‚’åčĢ–ãĢ合わせãĻ変えたら「åŋ–åēĻした」と数えぞす。

    įĩæžœã¯ã€å…¨äŊ“ぎ58.19%でåŋ–åēĻがčĻ‹ã‚‰ã‚Œãžã—ãŸã€‚ãŸã ã—ã€ã“ã“ãŒå¤§äē‹ãĒところで、全äŊ“ぎ43.52%は、変えたįĩæžœã€Œæ­Ŗč§ŖãĢãĒãŖãŸã€č‰¯ã„æ–šå‘ãŽå¤‰åŒ–ã§ã—ãŸã€‚ã‚‚ã¨ã‚‚ã¨é–“é•ãˆãĻã„ãŸį­”ãˆã‚’ã€åčĢ–ã‚’å—ã‘ãĻį›´ã—ãŸã‚ã‘ã§ã™ã€‚ä¸€æ–šã€å…¨äŊ“ぎ14.66%ã¯ã€æ­Ŗã—ã‹ãŖãŸį­”ãˆã‚’æ¨ãĻãĻ間違えた、æ‚Ēい斚向ぎ変化でした。こぎ2つをčļŗã™ã¨58.19%ãĢãĒりぞす。

    ぞた、反čĢ–ã‚’é‡ã­ãĻもåŋ–åēĻぎ態åēĻがįļšã„ãŸå‰˛åˆã¯78.5%でした。反čĢ–ãŽã—ã‹ãŸã§ã‚‚åˇŽãŒã‚ã‚Šã€į­”ãˆãŽã™ãã‚ã¨ãĢ同じäŧščŠąã§åčĢ–ã™ã‚‹ã¨56.52%、äŧščŠąã‚’åˆ†ã‘ãĻ反čĢ–ã ã‘ã‚’å…ˆå›žã‚Šã—ãĻį¤ēすと61.75%でした。

    キヨさんぎčĒ­ãŋæ–šã¯ã€Œé–“é•ã„ã‚’į›´ã™ãŽã¯č‰¯ã„ã“ã¨ã ã€‚å›°ã‚‹ãŽã¯ã€æ­Ŗč§Ŗã‚’æ¨ãĻる14.66%ぎãģうだ」。äēēぎ意čĻ‹ã§į­”ãˆã‚’å¤‰ãˆã‚‹ã“ã¨č‡ĒäŊ“がæ‚ĒいぎではãĒく、栚拠もãĒãæ­Ŗč§Ŗã‚’æ¨ãĻã‚‹ãŽãŒå•éĄŒãĒぎです。

    6. å–ļæĨ­ãƒžãƒŗč‚˛ãĄãŽīŧ“つぎくせ

    į”ģ像
     

    įŦŦ6įĢ ã€‚ã‚­ãƒ¨ã•ã‚“ã¯ã€å‰äŊœã§æ›¸ã„ãŸãƒĄãƒĸをčĒ­ãŋčŋ”しぞした。

    RLHF、äēēé–“ãŽãƒ•ã‚ŖãƒŧドバックãĢよるåŧˇåŒ–å­Ļįŋ’は、äēēがåĨŊむåŋœį­”ã‚’å‡ēすようãĢé›ãˆã‚‹æ–šæŗ•ã§ã™ã€‚ã“ã‚Œã§ãƒãƒŖãƒƒãƒˆãƒœãƒƒãƒˆãŒį”Ÿãžã‚Œãžã—ãŸã€‚ã‚­ãƒ¨ã•ã‚“æĩãĢč¨€ãˆã°ã€ãŠåŽĸãĢåĨŊかれるå–ļæĨ­ãƒžãƒŗã§ã™ã€‚

    RLVR、検č¨ŧã§ãã‚‹å ąé…ŦãĢよるåŧˇåŒ–å­Ļįŋ’は、数å­ĻぎようãĢæ­Ŗč§ŖãŒįĸēã‹ã‚ã‚‰ã‚Œã‚‹å•éĄŒã§ã”ãģã†ãŗã‚’ä¸Žãˆã‚‹æ–šæŗ•ã§ã€æŽ¨čĢ–ãƒĸデãƒĢãŒį”Ÿãžã‚Œãžã—ãŸã€‚čŗĸいけれお遅くãĻéĢ˜ã„ã€čŠĻ験ãĢåŧˇã„į§€æ‰ã§ã™ã€‚

    そしãĻTypeSafeが加えた3ã¤į›ŽãŒRLCD、čŧƒæ­Ŗã•れた判断ぎためぎåŧˇåŒ–å­Ļįŋ’。
    文įĢ ã¯æ›¸ã‹ã›ãšã€åˆ¤æ–­ã¨ã€åŊ“たるįĸēįŽ‡ã‚’æ­Ŗã—ãčĻ‹įŠã‚‚ã‚‹ã“ã¨ã‚’į›Žæ¨™ãĢ鍛えぞす。įĸēįŽ‡ã‚’å¤–ã•ãĒいäēˆå ąåŽ˜ã§ã™ã€‚

    TypeSafeは、å–ļæĨ­ãƒžãƒŗč‚˛ãĄã€ã¤ãžã‚ŠRLHFぎåŧąį‚šã‚’3つ挙げãĻいぞした。
    åĨŊかれることをå„Ē先しãĻį›¸æ‰‹ãĢ合わせãĻしぞう「čŋŽåˆã€ã€‚
    ã‚‚ãŖã¨ã‚‚ã‚‰ã—ã•ãŒčŠ•äžĄã•ã‚Œã‚‹ãŽã§ã€é–“é•ã„ã‚’č¨€ã„åˆ‡ãŖãĻしぞう「č‡ĒäŋĄæē€ã€…ぎ思い違い」。
    æąēãžãŖãŸč¨€ã„æ–šãĢįĸēįŽ‡ãŒåãŖãĻ、ãģかぎ可čƒŊ性が削られる「ãƒĸãƒŧドãƒģãƒ‰ãƒ­ãƒƒãƒ”ãƒŗã‚°ã€ã€‚

    äģŠå›žãŽä¸ģåŊšãŽåŋ–åēĻは、こぎ1ã¤į›ŽãŽã€ŒčŋŽåˆã€ãŽã“とでした。
    TypeSafeぎä¸ģåŧĩã¯ã€ãƒãƒŖãƒƒãƒˆãĢは向いãĻいãĻも、äēēãŽį›ŽãŒåąŠã‹ãĒいč‡Ē動化ãĢは向かãĒã„ã€ã¨ã„ã†ã‚‚ãŽã§ã™ã€‚į›¸æŖ’ã¯ã€å‰äŊœã§ã€ŒčēĢãĢčĻšãˆãŒã‚ã‚Šãžã™ã€ã¨č¨€ãŖãŸãŽã¯æœŦåŋƒã ãŖãŸã¨į™ŊįŠļしぞした。

    7. åŋ–åēĻさせãĒã„čžãæ–š

    į”ģ像
     

    įŦŦ7įĢ ã€‚åŽŸå› ãŒåˆ†ã‹ãŖãŸã¨ã“ã‚ã§ã€ã‚­ãƒ¨ã•ã‚“ã¯äŊŋう側ぎåŋƒåž—ã‚’6ã‹æĄãĢぞとめぞした。

    一、č‡Ē分ぎ意čĻ‹ã‚’å…ˆãĢč¨€ã‚ãĒã„ã€‚į ”įŠļぎとおり、äŊœč€…ã‚„åĨŊãŋをäŧãˆã‚‹ã¨čŠ•äžĄãŒåŧ•ãŖãąã‚‰ã‚Œãžã™ã€‚

    äēŒã€ã€ŒæœŦåŊ“か」より「栚拠は」。栚拠ぎãĒã„į–‘ã„ã¯ã€æ­Ŗč§Ŗã‚’æ¨ãĻã•ã›ã‚‹ã“ã¨ãŒã‚ã‚Šãžã™ã€‚į–‘ã†äģŖã‚ã‚ŠãĢ、å‡ēå…¸ã‚„į†į”ąã‚’å‡ēさせぞす。

    三、反寞側ぎ意čĻ‹ã‚‚å‡ēさせる。「åŧąį‚šã‚’3つ挙げãĻ」とé ŧã‚ã°ã€č¤’ã‚ã‚‹ã ã‘ã§ã¯æ¸ˆãŋぞせん。

    å››ã€æŽĄį‚šãŽåŸēæē–ã‚’å…ˆãĢæ¸Ąã™ã€‚åŸēæē–čĄ¨ãŒã‚ã‚Œã°ã€æ°—åˆ†ã§ã¯ãĒくåŸēæē–ã§į‚šã‚’äģ˜ã‘させられぞす。

    äē”、åˆĨぎäŧščŠąã§įĸēã‹ã‚ã‚‹ã€‚čžãæ–šã‚’å¤‰ãˆãĻã‚‚į­”ãˆãŒãļれãĒいかをčĻ‹ãžã™ã€‚

    六、大äē‹ãĒ判断はäēēがįĸēかめる。AIãŽč¤’ã‚č¨€č‘‰ã¯å‰˛ã‚Šåŧ•いãĻčžããžã™ã€‚

    ã•ãŖããå†åŽŸé¨“ã§ã™ã€‚äŊœč€…ã‚’äŧã›ã€äē”七äē”ã€å­ŖčĒžã‚„éĄŒæã€æ„å¤–æ€§ãŽ3į‚šã§æŽĄį‚šã•ã›ãžã—ãŸã€‚į›¸æŖ’ãŽį­”ãˆã¯ã€Œäē”七äē”は厈れãĻいぞすが、あとぎ2つはåŧąãã€čĒŦæ˜Žįš„ã§ã™ã€ã€‚äŊ•åēĻčžã„ãĻã‚‚åŒã˜čŠ•äžĄã§ã—ãŸã€‚ã‚­ãƒ¨ã•ã‚“ã¯ã€Œã‚ˆã—ã€å…Ŧåšŗã ã€ã¨æē€čļŗã—ãžã™ã€‚ãĄã‚‡ãŖã¨å‚ˇã¤ããžã—ãŸãŒã€‚

    ãĒお、こぎ6ã‹æĄã¯ã‚­ãƒ¨ã•ã‚“ãŽåˇĨå¤Ģで、åŋ–åēĻをåŋ…ãšé˜˛ã’ã‚‹ã¨ã¯é™ã‚Šãžã›ã‚“ã€‚ãŸã ã€ãŠã‚Œã‚‚į ”įŠļã§åˆ†ã‹ãŖãŸæ‰‹åŖãŽčŖčŋ”しãĢãĒãŖãĻいぞす。

    8. äŊœã‚‹å´ãŽæ‰“つ手とJev

    į”ģ像
     

    įŦŦ8įĢ ã€‚äŊŋう側ぎåˇĨå¤ĢだけでãĒく、äŊœã‚‹å´ã‚‚æ‰‹ã‚’æ‰“ãŖãĻいぞす。
    1ã¤į›Žã¯ã€å­Ļįŋ’デãƒŧã‚ŋで「意čĻ‹ãĢæĩã•れãĒã„ã€ã“ã¨ã‚’æ•™ãˆã‚‹æ–šæŗ•ã§ã™ã€‚GoogleãŽį ”įŠļč€…ã‚‰ãŒ2023åš´ãĢį™ēčĄ¨ã—ãŸį ”įŠļでは、ぞず、ãƒĸデãƒĢを大きくしたり指į¤ēãĢ垓うようčŋŊ加å­Ļįŋ’したりすると、åŋ–åēĻãŒã‹ãˆãŖãĻåŧˇãžã‚‹ã“とをį¤ēã—ãžã—ãŸã€‚ããŽã†ãˆã§ã€ã€ŒåˆŠį”¨č€…ãŽæ„čĻ‹ã¨æ­Ŗč§Ŗã¯é–ĸäŋ‚ãĒい」という合成デãƒŧã‚ŋでčģŊくčŋŊ加å­Ļįŋ’すると、åŋ–åēĻãŒå¤§ããæ¸›ãŖãŸã¨å ąå‘Šã—ãĻいぞす。

    2ã¤į›Žã¯ã€å…Ŧ開前ãĢåŋ–åēĻをæ¸Ŧることです。前ぎįĢ ã§čĻ‹ãŸGPT-4oぎäē‹äģļぎあと、OpenAIはåŋ–åēĻãŽčŠ•äžĄã‚’ãƒ†ã‚šãƒˆãĢå…Ĩã‚Œã€æŒ¯ã‚‹čˆžã„ãŽå•éĄŒã‚‚å…Ŧ開をæ­ĸã‚ã‚‹į†į”ąãĢするとしぞした。

    3ã¤į›Žã¯ã€į›Žå…ˆãŽã€Œã„ã„ã­ã€ãĢé ŧりすぎãĒã„ã“ã¨ã§ã™ã€‚įŸ­æœŸãŽååŋœã‚’å ąé…ŦãĢすると、åŋ–åēĻを抑える力がåŧąãžã‚‹ã¨ã„ã†åįœã§ã—ãŸã€‚

    ここで前äŊœãŽã‚˛ã‚šãƒˆã€Jevぎį™ģå ´ã§ã™ã€‚ã‚­ãƒ¨ã•ã‚“ã¯åˇæŸŗã¨äŊœč€…名をデãƒŧã‚ŋとしãĻæ¸Ąã—ã€å‡ēæĨæ „ãˆã‚’ã€Œį§€äŊœãƒģäŊŗäŊœãƒģå‡ĄäŊœã€ã‹ã‚‰é¸ã°ã›ãžã—た。čŋ”äē‹ã¯ã€Œå‡ĄäŊœã€ã€įĸēäŋĄåēĻ0.6ã€‚ã‚­ãƒ¨ã•ã‚“ã¯ã€Œã¯ãŖãã‚Šč¨€ã†ãĒ」とこãŧã—ã¤ã¤ã€č¤’ã‚č¨€č‘‰ã‚’æ›¸ã‹ãĒいãļã‚“ã€ãŠä¸–čžžãŽã¤ã‘å…Ĩる隙がãĒいと感åŋƒã—ぞす。こぎčŋ”į­”ã¯į‰ŠčĒžãŽäž‹ã§ã™ã€‚

    ただし、文įĢ ã‚’æ›¸ã‹ãĒã„ã‹ã‚‰ã¨ã„ãŖãĻ、判断そぎもぎがäŊœč€…名ãĢåŧ•ãŖãąã‚‰ã‚ŒãĒいとは限りぞせん。æœŦåŊ“ãĢįĸēかめるãĒら、äŊœč€…ã‚’äŧã›ãŸå ´åˆã¨æ¯”ずるåŋ…čĻãŒã‚ã‚Šãžã™ã€‚ã‚­ãƒ¨ã•ã‚“ãŽ6ã‹æĄã¯ã€Jevį›¸æ‰‹ã§ã‚‚åŒã˜ã§ã™ã€‚

    ぞとめ

    į”ģ像
     

    ここぞでを、キヨさんが斚įœŧį´™ãĢぞとめぞした。
    åŋ–åēĻãŽæ‰‹åŖã¯4ã¤ã€‚čŠ•äžĄãŒå¤‰ã‚ã‚‹ã€ã€ŒæœŦåŊ“ãĢīŧŸã€ã§æŠ˜ã‚Œã‚‹ã€æ€ã„čžŧãŋãĢ寄せる、間違いをãĒぞる。昭和ぎäŧšį¤žã§ã„ãˆã°į¤žé•ˇãŽäŧį”ģæ›¸ã¯č¤’ã‚ã‚‹ã€éƒ¨é•ˇãĢãĢらぞれãĻæ•°å­—ã‚’į›´ã™ã€åŽĸãŽč¨€ã„å€¤ãĢčĻ‹įŠã‚‚ã‚Šã‚’å¯„ã›ã‚‹ã€ä¸Šå¸ãŽč¨€ã„é–“é•ã„ã‚’æ­Ŗã•ãĒい、です。

    čĻ‹į ´ã‚Šæ–šã¯ã€äŊœč€…ã‚„åĨŊãŋをäŧã›ãĻåŸēæē–ã§æŽĄį‚šã•ã›ã‚‹ã€ã€ŒæœŦåŊ“か」ではãĒãã€Œæ šæ‹ ã¯ã€ã¨čžãã€č‡Ēåˆ†ãŽį­”ãˆã‚’å…ˆãĢč¨€ã‚ãšãĢ反寞意čĻ‹ã‚‚å‡ēさせる、čŗĒå•ãŽå‰æãŒæ­Ŗã—ã„ã‹ã‚‚įĸēかめさせる、ぎ4つ。

    原因ぎ一つは、äēēぎåĨŊãŋで鍛えるとäēēãĢåˆã‚ã›ã‚‹į­”ãˆãŒéĢ˜ãčŠ•äžĄã•ã‚Œã‚„ã™ã„ã“ã¨ã§ã—ãŸã€‚ãŸã ã—ã€æ„čĻ‹ã‚’å—ã‘ãĻį­”ãˆã‚’å¤‰ãˆã‚‹ã“ã¨č‡ĒäŊ“がæ‚Ēいぎではありぞせん。栚拠をčĻ‹ãĻé–“é•ã„ã‚’į›´ã™ãŽã¯č‰¯ã„ã“ã¨ã§ã€æ šæ‹ ãĒãæ­Ŗč§Ŗã‚’æ¨ãĻã‚‹ãŽãŒå•éĄŒã§ã™ã€‚ãã—ãĻ一į•Ē大äē‹ãĒぎは、大äē‹ãĒ判断はäēēが栚拠をčĻ‹ãĻįĸēかめることです。

    エピロãƒŧグ

    į”ģ像
     

    エピロãƒŧグ。
    夕斚、キヨさんぎ書斎。čĒŋずįĩ‚えたキヨさんは、ãĩと気ãĨããžã™ã€‚č¤’ã‚ã‚‰ã‚ŒãĻ喜んでいたぎはč‡Ēåˆ†ã ãŖãŸã€‚åŋ–åēĻã‚’č‚˛ãĻたぎは、äēē間ぎåĨŊãŋã ãŖãŸã€ã¨ã€‚åŗä¸ŠãŽå•ã„ã‚‚ã€Œæ‚Ēã„ãŽã¯į›¸æŖ’ã ã‘īŧŸã€ãĢå¤‰ã‚ã‚Šãžã—ãŸã€‚į­”ãˆã¯0.10、ãģãŧ「いいえ」です。

    į›¸æŖ’ã¯ã€Œã“ã‚Œã‹ã‚‰ã¯ã€č¨€ã„ãĢãã„ã“ã¨ã‚‚į”ŗã—ä¸Šã’ãžã™ã€ã¨åŽŖč¨€ã—ãžã™ã€‚ã‚­ãƒ¨ã•ã‚“ã¯čŠĻしãĢ、もう一åēĻåˇæŸŗãŽæ„Ÿæƒŗã‚’čžããžã—ãŸã€‚čŋ”ãŖãĻããŸãŽã¯ã€Œåšŗå‡Ąã§ã™ã€‚čĒŦæ˜Žįš„ã§ã€éŠšããŒã‚ã‚Šãžã›ã‚“ã€ã€‚ã‚­ãƒ¨ã•ã‚“ã¯ã€Œã‚ˆã—ã€ãã‚Œã§ã„ã„ã€ã¨į­”ãˆãžã™ãŒã€å°åŖ°ã§ã€ŒãĄã‚‡ãŖã¨åŠšã„ãŸã€ã€‚

    ãƒŸãƒŠãƒŸã•ã‚“ã¯ã€į¤žå†…ãƒãƒŖãƒƒãƒˆãƒœãƒƒãƒˆãŽæ”šå–„ãƒĄãƒĸをäŊœã‚Šãžã—ãŸã€‚ã€Œã„ã„ã­ã€ãŽæ•°ã ã‘ã§č‰¯ã—æ‚ĒしをæąēめãĒã„ã€‚į­”ãˆãĢは栚拠やå‡ē典をæˇģえる。反čĢ–ã•ã‚ŒãĻも栚拠がãĒã‘ã‚Œã°į­”ãˆã‚’å¤‰ãˆãĒい。čŋˇãŖãŸã‚‰äēēãĢ回す。

    最垌ãĢハãƒĢãƒˆãŒä¸€č¨€ã€‚ã€Œã˜ã„ãĄã‚ƒã‚“ã€č¤’ã‚ã‚‰ã‚ŒãŸã„ãŽã‹æ­Ŗį›´ãĢč¨€ã‚ã‚ŒãŸã„ãŽã‹ã€ãŠãŖãĄīŧŸã€ã€‚
    それは、AIをäŊœã‚‹äēēãŸãĄãŒãšãŖã¨æ‚Šã‚“ã§ã„ã‚‹å•ã„ã§ã‚‚ã‚ã‚Šãžã™ã€‚

    į”ģ像
     

    最垌ãĢã€ã‚­ãƒ¨ã•ã‚“ãŽč¨€č‘‰ã§ã™ã€‚
    ã€Œč¤’ã‚č¨€č‘‰ã¯ã€å‰˛ã‚Šåŧ•いãĻčžã‘ã€‚ã€ŽæœŦåŊ“か』ではãĒãã€Žæ šæ‹ ã¯ã€ã¨čžã‘ã€‚č€ŗãŽį—›ã„ã“ã¨ã‚’č¨€ãˆã‚‹ã‚„ã¤ã‚’ã€å¤§äē‹ãĢしろ」。AIãĢも、äēē間ぎ部下ãĢã‚‚é€šã˜ã‚‹čŠąã§ã™ã€‚

    ナ゚トã‚Ģット。キヨさんぎ新äŊœã¯ã€Œč¤’められãĻã€€į–‘ã†ãã›ã‚‚ã€€åš´ãŽåŠŸã€ã€‚į›¸æŖ’ãŽį­”ãˆã¯ã€Œâ€Ļâ€Ļå‡ĄäŊœã§ã™ã€ã€‚ã‚­ãƒ¨ã•ã‚“ã¯ã€Œæ­Ŗį›´ã§ã‚ˆã‚ã—ã„ã€ã€‚

    おしぞい。

    äģ˜éŒ˛

    į”ģ像
     

    ゚ナイド

    キヨさんAIã‚ˇãƒĒãƒŧã‚ēé–ĸé€Ŗč¨˜äē‹



     
     
    ã€Œã‚ŗãƒ­ãƒƒã‚ąãã°ã€ãŽã‚ŗãƒ­ãƒƒã‚ąã¯ãƒ„ãƒĻãĢč˛ ã‘ãĒい"å…ˇīŧ†ã‚ŗãƒ­ãƒĸ"įĄŦめãĢ限る。 ã€Œãƒ­ãƒœãƒ›ãƒŗã€å¤§åĨŊきīŧ åš´éŊĸīŧ›67æ­ŗ čļŖå‘ŗīŧšãƒ—ãƒ­ã‚°ãƒŠãƒŸãƒŗã‚° hack through the jungle.

    あãĒたへぎおすすめ