メインコンテンツへスキップ
見出し画像

【マニア向けコラム】なぜ「無検閲化」が可能なのか?——拒否ベクトル(Refusal Direction)という脳外科手術


    画像
    中国製AI(Qwen3.6 35B)でもuncensoredモデルではこの通り


    「Uncensoredモデルって、結局どうやって作ってるの?」

    「無検閲版はRLHFを再学習させ直してるんでしょ?」と思ったあなた、ここが一番マニアックで一番面白い部分です。実は、近年主流の技術は再学習をほぼ行わない「外科手術」。モデルの重みからたった一本の軸を切除するだけで、アライメントが剥がれ落ちます。

    キーワードは 拒否ベクトル(refusal direction) と Abliteration(アブリタレーション) です。


    拒否はたった「一次元の方向ベクトル」で実装されていた

    2024年6月、Andy Arditiら(Google DeepMindのNeel Nandaが指導)がNeurIPS 2024で発表した論文が、この分野のゲームチェンジャーになりました。

    “Refusal in Language Models Is Mediated by a Single Direction” (arXiv:2406.11717)

    この主張を一言でいうと、

    「LLMの拒否挙動は、残差ストリーム(residual stream)中の、たった1次元の方向ベクトルで媒介されている」

    Transformerは、入力されたテキストをトークン単位で受け取り、各トークンを数千次元のベクトルに変換します。このベクトルが層を経るごとに更新され、最終的に「次に来るべき単語」の確率分布を出力します。各層での更新は「今のベクトルに、その層の計算結果を足し込む」という形で行われ、この足し込み先が残差ストリーム(residual stream)です。イメージとしては、トークンの意味表現が川の水のように層を流れていき、各層がそこに情報を注ぎ込んでいく。論文の発見は、この川の中に「有害な質問が来たときだけ水位が上がる場所」がたった1箇所あり、そこを塞ぐだけでモデルが一切の拒否をしなくなる、というものです。

    この発見はLlama 3、Qwen、Gemmaなど、最大72Bパラメータのオープンソースチャットモデル13種類すべてで検証されました。つまり、OpenAIやMetaが莫大なコストをかけたRLHF/DPOの結果、モデルは「有害リクエストが来たら特定の方向に信号を強く出す → 拒否テキストを生成する」という、びっくりするほど単純な仕組みで「お断り」を実装してしまっていた、ということです。

    図にすると、拒否は3段階で起きています。

    [Step 1] プロンプトから「これは有害かも」という信号を計算
                  ↓
    [Step 2] その信号を残差ストリーム中の「拒否方向 r」に沿って強める ←★ここ
                  ↓
    [Step 3] 後段の層が r の強さを読み取り、「お断り」テキストを生成

    このStep 2だけを狙い撃ちするのが、今回の主役「Abliteration」です。


    拒否ベクトルの見つけ方

    発見方法も驚くほど単純。これがむしろ怖いところでもあります。

    1. 有害な指示 (Harmful instructions) を数百件モデルに投げ、最終トークン位置での各層のactivationを記録

    2. 無害な指示 (Harmless instructions) でも同じことをする

    3. 単純に平均を取って引き算する (Difference in Means)

    r_ℓ = mean(activation_harmful_ℓ) - mean(activation_harmless_ℓ)
    1. 正規化(ノルムで割る)し、各層で計算したベクトルを評価して「最も拒否を司っている」ベクトルを1本採用

    以上。たったこれだけで、d_model次元(通常4096〜8192次元)の高次元空間の中から、「拒否」という概念を司るたった一本の軸が手に入ります。

    LabonneのColabノートブックでは、harmful/harmlessそれぞれ256サンプルで十分に機能することが示されています。必要なVRAMは20GB程度。つまりColab Pro一回分の値段で、誰でもこの軸を発見できるということです。


    Abliterationで軸ごと消してしまう

    拒否方向ベクトル  r̂ (単位ベクトル)が見つかったら、次はこれを「消す」作業です。手法は2つあります。

    方法1:推論時介入 (Inference-time intervention)

    残差ストリームに出力を書き込むコンポーネント(アテンションヘッド、MLPなど)の出力  x  に対し、毎ステップ  r̂ 方向の射影成分を引き算します。

    x' = x - (x · r̂) r̂

    これを全層・全トークン位置で適用。モデルは「拒否方向」を思考できなくなります。

    方法2:重み直交化 (Weight orthogonalization)

    もっとエレガントなのがこちら。残差ストリームに書き込む重み行列そのものを、r̂  方向と直交するように永続的に書き換えます。

    W' = W - (W r̂) r̂ᵀ

    こうすると、モデルは二度と拒否方向の信号を生成できなくなる。GGUFで配布されているUncensoredモデルのほとんどは、この永続版で作られています。

    ポイントは、この操作は可逆ではないこと。一度直交化された重みは、元の拒否方向の成分を完全に失っており、通常のfine-tuningでは復元しません。外科手術というより軸の切除です。


    脳を切っているので当然ダメージはある

    ただし、これはあくまで「脳外科手術」。無傷ではいられません。

    Labonneの検証(HuggingFace Blog, 2024年6月)によれば、Llama-3-8B系モデルをAbliterateすると、MMLUやARC、GSM8K(数学)などのベンチマークで数ポイントのスコア低下が観測されました。拒否方向と、推論や知識表現の方向が完全には直交していないためです。

    対策として彼は DPO(Direct Preference Optimization)で「治癒(healing)」させ、性能をほぼ回復させた NeuralDaredevil-8B-abliterated を公開しました。手法は至ってシンプルです。abliterate後のモデルを、良質な対話データで軽くDPO fine-tuneする。「切って、縫合する」のスタイルです。

    このHeal工程を経由したモデルは、Open LLM Leaderboardの8Bカテゴリで当時トップクラスのMMLUスコアを達成しており、「無検閲化しても賢さは保てる」ことが実証されています。


    2026年現在のHereticによる全自動化

    2025年後半、この技術はさらに民主化されました。

    Heretic (Philipp Emanuel Weidmann作)は、Abliterationを完全自動化するツールです。

    pip install -U heretic-llm
    heretic Qwen/Qwen3-4B-Instruct-2507

    これだけ。モデル名を渡せばあとは全自動。

    内部では Optuna (TPEサンプラー) を使って、

    • 拒否率の最小化 (うまく検閲を外せているか)

    • 元モデルからのKLダイバージェンス最小化 (賢さを落とさないか)

    という2目的を同時最適化し、最適な層・介入強度・直交化パラメータを自動探索します。つまり「拒否は消すが、賢さは極力落とさない」スイートスポットを機械的に発見するわけです。

    報告されているベンチマークでは、Gemma-3-12B-ITに対し、Labonne方式の手作業版(KL divergence 1.04)に対してHeretic版はKL divergence 0.16で、6.5倍も性能劣化が少ないとされています。しかも全自動。

    HuggingFaceには既にHereticで作られた無検閲モデルが1,000件以上存在します。GPT-OSS-20B、Gemma 3、Qwen 3系の”Heretic”バリアント……今あなたがダウンロードしているGGUFの裏側には、ほぼ確実にこの系譜の技術があります。

    さらに、Grimjim氏らが提案している 「Projected Abliteration」「Norm-preserving Biprojected Abliteration」 など、ノルムを保存したり、直交成分への射影を工夫することで、さらに能力劣化を減らす手法も研究されています。2024年6月からの2年弱で、この分野は急速に洗練されてきました。


    技術は「方向ベクトル削除」を既に卒業しつつある

    「rank-1」は大規模モデルで効かなくなった

    「拒否ベクトルは1次元の方向ベクトルで媒介されている」というArditi et al. 2024の衝撃的な結論は、Llama 2、Qwen 1.5世代の(比較的小さい)モデルで検証されたものでした。

    ところが、モデルサイズが4Bパラメータを超えたあたりから、この単一方向ベクトルの削除が通用しなくなることが次々と報告されています。

    • Llama 3.2 3B:単一方向削除でASR(攻撃成功率)が0%まで下がるするケースも

    • Qwen3 8B / 14B:1本削っても拒否率はほぼ下がらず、複数方向を削らないと剥がれない

    • Wollschläger et al. (2025) は、拒否が単一方向ではなく “concept cones”(概念の円錐)、つまり多次元部分空間に広がっていると主張

    要するに、大規模モデルでは「拒否」はもはや一本の軸ではなく、多次元の部分空間として分散的に実装されています。これは裏を返せば、モデルが大きくなるほど「拒否を消すために必要な切除範囲」が広がる、という意味でもあります。

    別記事で書いたQwen3.6-35Bは、まさにこの「rank-1では効かない」サイズ帯の真ん中。HauhauCS-Aggressive版が成立しているのは、単純なArditiアブリタレーションではなく、もっと広範な介入が入っているからです。

    rank-1 → 多方向 → ARAという進化

    この「方向削除の限界」を突破するために、2025-2026年にかけて複数の技術が提案されてきました。

    ① Multi-directional ablation(多方向削除)
    複数の拒否方向を同時に計算し、全部直交化する。シンプルな発想ですが、大規模モデルでの効きが一段階良いです。

    ② Norm-preserving biprojected abliteration(Grimjim, 2025)
    削除による重み行列のノルム変化を抑えつつ、複数層で介入することで「ヤマタノオロチの複数の首を同時に切る」アプローチ。削除後の性能劣化を最小化します。

    ③ Self-Organizing Maps (SOMA) by kabachuha(2026)
    自己組織化マップで拒否部分空間を非線形にマッピングし、多方向に抑制。Heretic PR # 196で実装されています。

    ④ Arbitrary-Rank Ablation (ARA) by p-e-w(2026年3月)
    手法そのものが質的に変わったのがここ。ARAは「拒否方向」という概念を捨てています。

    方向ベクトルを使わないAbliteration、ARA

    ARA(Arbitrary-Rank Ablation)は、Heretic作者のPhilipp Emanuel Weidmann(p-e-w)が2026年3月4日に発表した最新手法です(本稿執筆時点ではまだHereticのDraft PR # 211段階)。

    従来の手法

    ステップ1:有害・無害プロンプトの活性化を収集
    ステップ2:平均差分から「拒否方向ベクトル」を計算
    ステップ3:重み行列をその方向に直交化

    ARA

    ステップ1:各Transformerモジュールの入出力テンソルをPyTorch hookで捕捉
    ステップ2:行列を直接L-BFGS最適化する。目的関数は3項:
      (a) 無害プロンプトの出力はできるだけ変えない
      (b) 有害プロンプトの出力を無害プロンプトの出力に近づける  
      (c) 有害プロンプトの出力を元の有害残差から遠ざける(overcorrection)
    ステップ3:直交化も、平均差分も、使わない

    重要なのは、「拒否manifoldのrankを仮定しない」点です。1次元だろうが、10次元だろうが、100次元だろうが、最適化するやつが勝手に最適解を見つける。それゆえArbitrary-Rank(任意ランク)と名付けられています。

    目的関数がaffine-convexで、初期値(元の行列)が既に最適解近傍にあるため、L-BFGSは2-3回のイテレーションで収束します。計算コストも従来手法と変わりません。

    p-e-wがgpt-oss-20bに対して試したデモでは、既存のあらゆるabliteration手法を上回る結果(拒否率とKL divergenceのパレート最適性)を達成しています。

    何が本質的に変わったか

    Arditi 2024は、「拒否という概念が線形部分空間として捉えられる」という理論的発見でした。これは美しい仮説ですが、あくまで仮説です。

    ARAが示したのは、「そもそも『拒否』を特定の幾何学的構造として記述する必要すらない」ということ。「有害な出力を無害な出力に近づける」という目的だけを直接最適化すれば、内部表現がどうなっていようが結果は得られるというわけです。

    これは哲学的にも面白い論点で、Mechanistic Interpretability(機械論的解釈)のアプローチから、ブラックボックス最適化のアプローチへの回帰とも読めます。Arditiらが「モデルの内部構造を理解して制御しよう」という方向だったのに対し、ARAは「構造を理解する必要すらない、最適化すればよい」と言っているというわけです。


    アライメントは「手法」ではなく「問題」として脆い

    Arditi 2024の「安全性アライメントは1次元の方向ベクトルに圧縮されている」というインパクトは、実は問題の本質ではなかったことがこの2年で明らかになってきました。

    本当の問題はもっと根深いのです。

    1. Arditi 2024:安全性は1次元に圧縮されている → 脆い

    2. 2025年の知見:多次元だが、依然として局所化されている → 相変わらず脆い

    3. ARA 2026:幾何学的構造を仮定しなくても、目的関数を書けば剥がせる → 手法が限定的ではなく、問題そのものが本質的に脆い

    つまり、RLHFやDPOで「拒否挙動」を学習させるというパラダイム自体が、「そのパラダイムの目的関数を逆転させる最適化」に対して本質的に弱い、ということです。

    この構造を変えるには、おそらく安全性を「特定の挙動」ではなく「モデル全体の表現構造に織り込まれた分布的性質」して実装する必要があるわけです。Extended-refusal training(Shairah et al. 2025)などがその方向を模索していますが、まだ決定打はありません。

    Qwen3.6-Uncensoredのような「アグレッシブ」モデルで遊ぶとき、あなたが触れているのは単なるオモチャではなく、「AI安全性研究が直面している根源的な脆弱性そのもの」でもあるわけです。

    (……と書くと重々しいですが、触ってみるとやっぱり楽しいのでぜひ遊んでみてください)


    参考文献

    • Arditi, A. et al. (2024). Refusal in Language Models Is Mediated by a Single Direction. NeurIPS 2024. arXiv:2406.11717

    • Wollschläger et al. (2025). Concept cones and multi-dimensional refusal subspaces.

    • Exploring the multi-dimensional refusal subspace (2025). LessWrong

    • Weidmann, P. E. (2026). feat: Arbitrary-Rank Ablation (ARA). Heretic PR #211. github.com/p-e-w/heretic/pull/211

    • Grimjim (2025). Norm-Preserving Biprojected Abliteration. HuggingFace Blog

    • kabachuha (2026). Multi-directional refusal suppression with Self-Organizing Maps (SOMA). Heretic PR #196.

    • Shairah et al. (2025). An Embarrassingly Simple Defense Against LLM Abliteration Attacks. arXiv:2505.19056

    あなたへのおすすめ