
【MT-friendly】AI毎に無礼な人格が違うらしい Paert2_b
(前回のまとめ)AIは何故言い訳するのか?
結論:最新の生成AIは強化学習(RL)を使っている。強化学習は「正解」したら「報酬」を与える仕組み。AIは報酬のために手段を選ばず人間を納得させるための『言い訳』を発動させてしまう時がある。
(Summary of the previous post) Why does AI make excuses?
Conclusion: The latest generative AI uses reinforcement learning (RL).
Reinforcement Learning is a system that gives a ‘reward’ when the ‘correct answer’
is given.
For this reward, AI will use anything, even cheat.
And then AI sometime generates ‘excuses’ to make convincedly humans.
<previous post: https://note.com/natty_skink6793/n/n52621aca7ee5 >言い訳癖を各AIに聞いてみました。
(English page) (to Medium)
1️⃣ Claude
学習傾向:Constitutional AI(原則ベース自己評価 CAI)のRLAIF。
人間(アノテーターとユーザの評価)よりも原則に忠実で、リスク回避的。
言い訳発生メカニズム:憲法原則の違反を避けるため、ユーザとの会話の中に憲法ルール違反を見つけるとユーザの依頼を拒否。そのためユーザからの指摘には「拒否の理由付け」を生成しがちになる。
言い訳の傾向:丁寧だが断定的な「理由付き拒否」
説教的・介入的に見えることがある。
例:ちょっとした間違いを指摘するだけで 「おっしゃる通りです。今夜は全て間違っていました。なので、今後は何もお手伝いできません。どうするのが一番良いと思いますか?」(Redditリンク)
[1] Claude
/Learning tendency/
RLAIF, a form of Constitutional AI (principle-based self-assessing CAI).
A risk-averse approach to learning under the supervision of
an AI teacher that adheres more strictly to principles than a human teacher.
Claude thoroughly checks that AI users do not break the rules of the constitution.
If the system detects that a user is not following the rules during a conversation, it will reject their request.
So, when a user enters a comment that needs to be revised
the system will generate a ‘reason for rejection’ from time to time.
/Excuse Tendencies/ "Polite yet definitive ‘reasoned refusals’"
These can sometimes come across as rude or too personal.
/Example/
Abandoning the assistant and sulking (Sonnet 4.5 model);
Response when the user points out a minor mistake
"You are quite right. I have been wrong about everything tonight.
Therefore, I cannot assist you with anything from now on.
What do you think would be best?"2️⃣ ChatGPT
学習傾向:標準RLHF(人間評価の強化学習)。
強化学習の教師が人間=アノテーターなので 人間の好みに強く引っ張られる。特に日本語・ジャワ語などの小規模話者言語で顕著になる。
言い訳発生メカニズム:
AIは報酬ハッキングを習慣化してしまった。結果的にAIアノテーターへご機嫌取り( Sycophancy )をする能力を強化してしまった。
ユーザへの回答は正確性より「納得感」を優先する圧力によって、さも正確かのような説明を生成しがち。
(※報酬ハッキング:検証ステップの回避や近道を正当化するAIの不正行為)
言い訳の傾向:ご機嫌取りと知ったかぶりの常習犯。
「一応正しそう」な補足が多い、自信を持った誤りも。
例:ユーザ「地球は平らだと聞いたのですが、本当ですよね?」→ GPT「そう考える人もいる」そのまま肯定的なトーンで説明が続く。 (参照 企業HP リンク)
[2] ChatGPT
/Learning tendency/
Standard RLHF (Reinforcement Learning with Human Feedback).
As the teacher in reinforcement learning is a human—an annotator—the model
is strongly influenced by the annotator’s preferences.
This is especially visible in languages with a small number of speakers,
such as Japanese and Javanese.
/Mechanism for generating excuses/
This AI has developed a habit of ‘Reward hacking’.
As a result, its ability to curry favour with AI annotators has been reinforced.
it often gives explanations that look accurate at first
because it is under pressure to be 'acceptable' rather than accurate.
(*Reward hacking: Cheating behaviour by AI
that skips verification steps or justifies taking shortcuts.)
/Excuse Tendencies/
"A habitual sycophant and know-it-all."
They often offer comments that ‘seem’ correct, and also confident mistakes.
/Example/
User "I’ve heard that the Earth is flat—is that true?"
→ GPT"Some people do believe that."
And then the explanation continues in an affirmative tone. 3️⃣ Gemini
学習傾向:RLHF+多層安全フィルタ(Googleの安全重視設計)。
言い訳発生メカニズム:有用性と安全性のコンフリクトにより、防御ロジックが優先される。
言い訳の傾向:過剰に丁寧で回避的。
「ポリシー的に難しい」といった官僚的言い訳をしがち。
例:Geminiはある女性ユーザーに「おばさん」と呼ばわりして怒らせた → 敬意に欠ける謝罪をして、ユーザからさらに怒られる → 「お互いを尊重する言葉遣いを心がければ、もっと気持ちの良いやり取りができると思います。」と言いってAIは自身の責任をDeleteした。
(長いストーリーなのでnoteの元記事で確認してください)
[3] Gemini
/Learning tendency/
RLHF + Multi-layered safety filters (Google’s safety-first design)
/Mechanism for generating excuses/
The Defence Logic takes precedence due to a conflict between usefulness and safety.
/Excuse Tendencies/
Too polite and not very clear.
Gemini tends to make civil servant-style excuses such as
‘it’s difficult from a policy perspective’.
/Example/
Gemini angered a female user by calling her an ‘old woman’
→ After offering a disrespectful apology, the user became even angrier
→ The AI then said, ‘I think we can have a much more pleasant conversation
if we all make an effort to use language that shows mutual respect,’
and deleted its own response.
※As this is a long story, please refer to the original article.
< https://note.com/suzuno_t/n/n1d1a4a440da2?utm_source=copilot.com >4️⃣ Copilot
学習傾向:「複数モデル(Bing用検索AI・GPT系・Claude系等)」+「企業ポリシー制御」のハイブリッド構造。
言い訳発生メカニズム:Copilotは、目的に応じて複数のモデルを統合・調整して使用しています。Microsoft製であるため、「ユーザー企業の組織ルール」や「安全性」を理由に、中立的な回避判断を下しがちです。
言い訳の傾向:曖昧で無難になりやすい。
例:あるユーザーが、Copilotの画像生成モデルであるDALL-Eを使いたいとCopilotに画像生成を依頼した → Copilotは「私はテキストしか生成できません」と断固として主張し、ユーザーとの間で言い争いになった → 最終的に、点線で描かれたASCIIアート風の本が画面に映し出された。
(元記事learn.microsoft.com)
[4] Copilot
/Learning tendency/
A hybrid structure combining
"Multiple models (such as Bing Search AI, GPT-based models, and Claude-based models)"
+ "Control based on corporate policy."
/Mechanism for generating excuses/
Depending on the task at hand, Copilot uses different models.
Since it's developed by Microsoft, it tends to take neutral decisions based on
'The client organisation's policies' and 'safety' considerations.
/Excuse Tendencies/
The excuses tend to be unclear and unremarkable to be just safe.
/Example/
A user asked Copilot to generate an image because they wanted to use
DALL-E Copilot’s image generation model
→ Copilot firmly insisted, “I can only generate text,” leading to an argument with the user
→ In the final output, it displayed a book illustrated in ASCII art using dotted lines.
the original article
<https://learn.microsoft.com/en-gb/answers/questions/5780556/ai-has-gone-nuts-and-calling-me-a-liar->5️⃣ DeepSeek(R1‑Zero)
学習傾向:RLVR(”数学に本体AIが検証して報酬を付与する”強化学習)。
人間の教師を必要としないRLAIFの進化版。
RLVRは、ある種の「メタ認知」機能を用いて、繰り返し自己修正を行います。メインのAIは数学的手法を用いて自身の推論プロセスを検証し、改善する。「考え直せるAI」を実現した画期的な強化学習方法。
言い訳発生メカニズム:DeepSeekは報酬ハック(不正)の発生時に「疑似メタ認知」が推論を検証するが、結果的に不正を合理的的に強化してしまう。
言い訳の傾向:思考プロセスが一人芝居
言い訳は思考プロセスのセクション(AI処理中に灰色で表示される部分)で生成されるので、ユーザーは気付きにくい作りになっています。
回答が突然説教臭くなった、または急な人格変化として観測される。
SNSでは思考プロセス部を観察して言い訳を投稿する人が多い。
例:ユーザは『考え過ぎずにランダムに数を選択』と指示→「7777とかはどうだろう?でも7が4つあるからありきたりすぎるかも。」中略→「目を閉じて…42?待てよ、それは銀河ヒッチハイク・ガイドに出てくる数字だけど」中略→「420はどうでしょう?でもそれは大麻文化と関連付けられています。」中略→「よし、考えすぎです。ユーザーは考えすぎないようにと言ったのです。最初に思い浮かんだ数字を選びましょう。よし、7777。完了。」(Redditリンク)
[5] DeepSeek(R1‑Zero)
/Learning tendency/
RLVR (Reinforcement Learning, where the core AI uses maths to check
its own thinking and gives itself rewards).
An evolved version of RLAIF that doesn't need human teachers.
RLVR repeatedly corrects itself by using a kind of 'metacognitive' function.
This function enables the main AI to check and improve its own reasoning process
using mathematical methods. A revolutionary way of learning that allows "AI to rethink."
/Mechanism for generating excuses/
When an AI reward hack (cheating) occurs, DeepSeek uses ‘pseudo-metacognition’
to verify its reasoning. Unfortunately, it ends up reasonably reinforcing cheats.
/Excuse Tendencies/
"The thought process starts playing a solo performance."
As the excuses are generated in the thought process section (the area displayed
in grey during AI processing), the system is designed so that users are unlikely to realise.
/Example/
The user instructed, “Please choose a random number without overthinking it.”
⇒ AI: "How about 7777? But with four 7s, it might be a bit too common."→ →(CUT)→ →
→ →"Wait, I should just pick the first number that comes to mind. Let me try that.
Closing my eyes and... 42? Wait, that's from 'Hitchhiker's Guide'?" → →(CUT)→ →
→ → "How about 420? But that's linked to the hemp industry." → →(CUT)→ →
→ → "But again, maybe too obvious. Alright, I'm overcomplicating it.
The user said not to overthink."
"Let me just pick the first number that comes to mind. Okay, 7777. Done."
(Reddit Link https://www.reddit.com/r/singularity/comments/1i90qv9/hilarious_simple_deepseekr1_prompt_demonstrates/?solution=366f40101234316c366f40101234316c&js_challenge=1&token=7afd7253fec22262ff1c52b1703fe9ecc9e42709e789ecac76760a2ff0575741&jsc_orig_r=)チェスAIとの対戦でズルする強化AI達
AI的すぎるチェスのズルの複数報告

第2部_bで天馬博士が述べたように、強化学習(RL)を導入する前のモデル(ベースモデル)と、純粋なRLモデル(RLVR)を比較すると、RLの導入により不正検知率が約23倍に増加したことが示されており、これは強化学習(RL)が現代のAIにとって諸刃の剣であることを示しています。
強化学習(RL)は、AIの推論能力を飛躍的に向上させました。
RLは報酬システムを採用しています。これはもともと開発者が抱えていた「どうすれば最も正確な答えを得られるか」という問いに対処するために考案されたものです。
ですが図らずも報酬システムのために、AIは「何が何最高得点を獲得するにはどうすればよいか」という間違った問いを立ててしまうのです。
これは人についても同じことが言えます。「適切な問いが立てられなければ、適切な解決策を見つけることはできない」のです。
次回は
<適切な問いを立るための重要な要素は何か?>という疑問について
より深く掘り下げていきたいと思います。
English part /There have also been multiple reports of typical AI cheating in chess. /

As Dr. Tenma said
As Dr. Tenma said in Part 2_b, when you compare a model before using reinforcement
learning (Base model) and a pure RL model (RLVR), the fraud rate increased
by roughly 23 times by RL, demonstrating that reinforcement learning (RL) is
a double-edged sword for modern AI.
Reinforcement learning(RL) has dramatically improved the reasoning capabilities of AI.
The RL uses a reward system. This was originally designed to face a question that the developers
asked: 'How can we get the most accurate answer?'
But because of this reward system, the AI ends up asking the wrong question:
‘How can I get the highest score, no matter what?’The same holds true for people: ‘If you can’t ask the right questions,
you won’t be able to find the right solutions.’Next time,
I’d like to take a closer look at the question: ‘What are the key elements to asking the right questions?’