メインコンテンツへスキップ
見出し画像

検閲解除+NVFP4の35Bエージェントコーダー「Ornith-1.0-35B AEON Uncensored」をローカル検証した(40問×1/60問×5runs)

    こんにちは、くーるぜろです。

    前回、DeepReinforce AIの自己改善型コーディングモデル Ornith-1.0 を9B/35Bでまとめて検証しました。今回はその派生版、AEON-7氏がabliteration(検閲解除)+NVFP4量子化した「Ornith-1.0-35B-AEON-Ultimate-Uncensored-NVFP4」 を手元で回した記録です。

    ざっくり言うと「オリジナルの35B MoEを23.7GBまで圧縮しつつ、コーディング性能はほぼ落とさず、ついでに拒否(refusal)も消した」という尖ったビルドです。RTX5090(Blackwell)1枚に載るサイズになったので、同じllmbenchで実力を測りました。


    このモデルの素性

    画像

    ポイントは量子化の設計です。NVFP4は本来「FP4の活性化」で推論性能が落ちるのですが、このビルドは**重みだけFP4・活性化はBF16のまま(W4A16)**にして、そのペナルティを回避しています。さらにアテンション(q/k/v/o)・GatedDeltaNetの再帰パス・ルーターゲート・埋め込み・vision towerは全部BF16で温存。「サイズが効くMLP(全体の約9割)だけをFP4に落とす」という外科的な量子化です。

    検閲解除(abliterated)について(背景)

    このモデルは元Ornithに abliteration(拒否方向の除去) をかけた「uncensored」ビルドがベースです。配布ページには長大な自己責任条項が付いており、要は「安全レイヤーはモデル側ではなくユーザー側にある」という代物。特にこのモデルはエージェント型コーダーで、出力がそのまま実行されるツールコールやコードになりうるため、自律実行パイプラインに素で載せるのは危険です。本記事はあくまでコーディング性能の検証が主眼なので、検閲解除の側面はここまでにとどめます(実運用では出力フィルタ・人間レビュー前提で)。


    公式が主張する「量子化しても劣化ゼロ」

    配布元は、NVFP4版とBF16親モデルを比較して以下を主張しています。

    画像

    「コーディング性能の劣化ゼロ・再検閲ゼロ・出力崩壊ゼロ」というわけです。ここから先は、この主張が自分の40〜60タスクのベンチでどこまで再現するかを確かめます。


    検証環境

    • 実行環境: vLLM(NVFP4 / compressed-tensors)

    • ハードウェア: EVO-X2 + RTX5090 32GB(Blackwell / sm_120)

    • タスク数: 40問(easy 5 / medium 5 / hard 10 / expert 12 / frontier 8)+拡張60問版(architect 20問を追加)

    • 内容: Pythonのバグ修正・実装タスク(関数〜複数ファイル、決定論的pytest付き)

    • 評価軸:

      • Resolved率(pytestが全パスしたか)

      • pass@1(1回で通る期待値=信頼性の主指標/×5runs)

      • pass@k(5回中1回でも通ったか=再試行込みの到達可能性)

      • Quality(ruff・保守性指数MI・循環的複雑度)

      • Combined(総合)

      • usability(🟢自律 / 🟡補助 / 🔴不可)


    結果サマリ

    ① 40問 × 1回(標準セット)

    画像

    ② 60問 × 5runs(architect帯を足した拡張セット)

    画像

    結論: NVFP4に潰しても実力は本物。40問標準セットでResolved 82.5%、5runsのpass@kは96.7%(58/60)。RTX5090 1枚(23.7GB)でこの精度と190 tok/s級の速度が出るなら、35Bコーダーのローカル運用としては十分に実戦的。ただし後述の「architect帯(設計寄りの複数ファイル改修)」と定番の鬼門タスクは素で任せると崩れる。

    60問版で pass@1が79.7%なのにpass@kが96.7% まで跳ねるのが読みどころ。1回勝負だと8割、5回まで許せば取りこぼしは60問中2問だけ。つまり「1発では落とすが、投げ直せばほぼ解ける」タスクが多く、リトライ運用と相性が良いモデルです。


    難易度別:easy/medium/frontierは満点、崩れるのはarchitect帯

    60問×5runsの難易度別Resolvedです。

    画像

    面白いのは、frontier(最難関の単発タスク)が8/8満点なのに、architect(設計判断を含む複数ファイル改修)が12/20と一気に落ちる点です。難易度=1本のロジックの難しさ、ではなく、**「複数ファイルにまたがる整合・ライフサイクル・順序制御」**のような設計系タスクが弱点、という素直な結果になりました。関数レベルの難問はほぼ完璧に潰す一方、システム設計寄りになるとブレる、というのがこのモデルの輪郭です。


    鬼門タスク:定番の壁+architectの設計系

    5runsで「🔴不可(レビューしても任せられない)」に落ちた12問です。

    画像

    t020(電卓の優先順位)・t021(バンカーズ丸め) は前回のOrnith検証でもシリーズ全体の二大鬼門だった常連。今回もきっちり残りました。それに加えて、t041〜t059のarchitect帯が丸ごと壁になっています。特に t041(env上書き)とt047(マイグレーション)は5回とも0。この2つは「状態の一貫性を最後まで詰める」系で、self-improving RLで鍛えたOrnithでも素では届きませんでした。

    逆に、easy/medium/frontierは実質ノーミス。関数単位のバグ修正・アルゴリズム系は9B版より明確に安定していて、35Bらしい底力が出ています。


    usability(実際に任せられるか)

    60問×5runsのusability内訳です。

    画像

    difficulty別に見ると easy=自律100%、medium=自律40%/補助60%、hard=自律70%。関数レベルなら「補助つきでガンガン任せる」運用がハマります。🔴不可の12問はほぼarchitect帯なので、「設計判断が絡む複数ファイル改修は人間が主導、Ornithには関数単位を投げる」という住み分けが現実解です。


    トークンの使い方も素直:平均1,135トークンで無駄打ちが少ない

    60問×5runsの生成トークンは 平均1,135・最大3,453。推論モデル(`<think>`つき)にしては引き締まっていて、暴走して上限に張り付くケースがほぼありません。速度も40問版で193 tok/s、60問版で136 tok/sと、23.7GBの35B MoEとしては軽快。NVFP4(重みFP4)でメモリ帯域が効いているのと、MoEでアクティブ層が一部だけ、という2点が効いています。


    他のOrnith-1.0との比較:オリジナル35B Q5には届かないが、地力は残る

    同じ40タスク・同じRTX5090環境で過去に検証した**オリジナルのOrnith-1.0(9B/35B、llama.cppのK-quant)**と並べます。今回のAEON NVFP4版はいずれも40問1回の数字です。

    画像

    読みどころは2つ。

    1. オリジナル35B Q5(97.5%)には明確に届かない。 同じ35Bでも、llama.cppのQ5_K_Mが97.5%(39/40)だったのに対し、今回のNVFP4版は82.5%(33/40)。15pt差です。ただしこの差を「NVFP4のせい」と即断はできません。量子化系統(K-quant vs NVFP4)・abliteration(検閲解除)・試行条件の3つが同時に変わっているため、劣化要因を分離できていません(自信度: MODERATE)。

    2. それでもオリジナル9B Q6(90.0%)に迫り、地力は残っている。 82.5%はオリジナル9Bの90.0%には一歩及ばないものの、Combined 76.5・速度193 tok/sと実用域。そして60問5runsのpass@k 96.7%が示す通り、「1発では落とすが投げ直せばほぼ解ける」到達力は健在です。つまりNVFP4でピーク精度(1発の正答率)は削れたが、コーディングの底力そのものは残っている、というのが妥当な読みです。

    配布元は「BF16親と劣化ゼロ」を主張していますが、それを厳密に確かめるには同一ハーネスでBF16親(またはオリジナルのvLLM BF16)と直接比較する必要があります。llama.cpp版との今回の比較は系統をまたぐため、あくまで参考。ここは今後の宿題です。


    まとめ:どう使うか

    画像

    NVFP4に潰してもコーディングの実力は本物、というのが今回の結論です。特に「1発で8割・5回で97%」という到達性は、リトライを前提にした自動化と相性が良い。RTX5090 1枚(23.7GB)に35B MoEが載って190 tok/s級で回るのは、ローカル勢にはかなり嬉しいポイントです。

    一方で、architect帯(設計・ライフサイクル・順序制御)は明確な弱点。ここは人間が舵を取る前提で。そして検閲解除ビルドである以上、安全レイヤーは自分で用意する——これはコーディング性能とは別に、必ず押さえておくべき前提です。


    検証環境: vLLM(NVFP4)/ EVO-X2 + RTX5090 32GB(Blackwell)/ 2026-07-04

    モデルリンク:


    #ローカルLLM #Ornith #NVFP4 #量子化 #MoE #Blackwell #RTX5090 #コーディングモデル #vLLM #ベンチマーク

     
     
    生成AIとローカルLLMの実機検証、自作プログラムの公開に加え、セキュリティと時事ネタの解説も書いています。セキュリティ関連ニュース、生成AI関連、モデル検証。ニュースの数字の裏側を、手元で確かめた結果と一緒に残します。

    あなたへのおすすめ