メインコンテンツへスキップ
見出し画像

約30億パラメータ+価値モデルでSWE-bench 73%――Microsoftが示す「巨大モデルだけがAIエージェントではない」

    この記事でわかること

    ・Microsoft Researchは2026年8月3日、エージェントAIの訓練・評価を行うオープンソースフレームワーク「Orchard」を公開した。そのうちのコーディング特化モデル「Orchard-SWE」(約30億のアクティブパラメータ)は、SWE-bench Verifiedで69.7%(同規模のオープンソースモデルとして最高水準)を達成し、value-model rerankingという追加の仕組みを組み合わせると73.0%まで到達、「10倍以上大きいフロンティアシステムに近づいた」と報告されている

    ・この結果を支えたのはモデルサイズだけではない。失敗した試行からも有用な部分を学習に活かす訓練データの使い方、段階的に精緻化された報酬設計、実際のAIコーディングツールの動作環境(agent harness)内で直接訓練できる基盤という、複数の要素の組み合わせだとMicrosoftは説明している

    ・「10倍以上大きい」という比較は定性的な表現にとどまり、比較対象となる具体的なフロンティアシステムの名前・パラメータ数は原文に明記されていない。また73.0%という数値は、Orchard-SWE単体ではなく、別途訓練した40億パラメータの「価値モデル」による候補選別を組み合わせた結果である点にも注意が必要だ

    「Together, these techniques take Orchard-SWE from a 61.4% baseline on SWE-bench Verified to 69.1% with Balanced Adaptive Rollout and 69.7% with the dense-reward techniques...rising to 73% with value-model reranking, approaching frontier systems more than 10 times larger」(これらの技術を組み合わせることで、Orchard-SWEはSWE-bench Verifiedにおいて、61.4%というベースラインから、Balanced Adaptive Rolloutの適用で69.1%、dense-reward技術の追加で69.7%へと向上し、さらにvalue-model rerankingを組み合わせることで73%まで上昇、10倍以上大きいフロンティアシステムに近づいた)――Microsoft Research公式ブログ(2026年8月3日公開)は、この一文でOrchard-SWEの性能向上の過程を説明している。

    一次情報の要約――Orchardとは何か

    一次情報によれば、Orchardは「スケーラブルで費用対効果の高いエージェントAI研究のためのオープンソースフレームワーク」だ。中核となる「Orchard Env」は、ソフトウェアエンジニアリング・Webナビゲーション・パーソナルアシスタントといった複数のタスク領域にまたがって、エージェントの訓練・評価を行える再利用可能な環境サービスとして提供されている。

    今回リリースされたモデルの1つが「Orchard-SWE」だ。一次情報の本文は、このモデルを「roughly 3 billion active parameters」(約30億のアクティブパラメータ)を持つモデルと説明している。図表には「A3B」という略記も見られるが、この表記の正式な定義や、モデル全体の総パラメータ数については、複数回アクセスして確認しても本文中に明確な説明を確認できなかった(アクセスごとに図表の表示内容が異なって抽出される場面もあった)。そのため本記事では、本文で確認できた「約30億のアクティブパラメータ」という情報のみを事実として扱い、総パラメータ数やMoE(混合エキスパート)構成であるかどうかについては断定しない。

    このOrchard-SWEが、コーディング能力を評価する標準的なベンチマーク「SWE-bench Verified」において、69.7%という成績を記録した。原文はこれを「a new state of the art among open-source models of comparable size(roughly 3 billion active parameters)」(同程度の規模=約30億のアクティブパラメータを持つオープンソースモデルの中で、新たな最高水準)と表現している。つまりこの「最高水準」という評価は、あらゆるモデルの中での最高水準ではなく、同規模のオープンソースモデル同士を比較した上での最高水準である点に注意したい。

    なお、Orchardではもう1つ「Orchard-GUI」という40億パラメータの視覚言語モデルも公開されているが、これは画面操作(GUI操作)に特化したモデルであり、今回のSWE-bench Verifiedのスコアとは別のモデル・別の評価軸である。

    本題――なぜ「約30億のアクティブパラメータ」で「10倍以上大きいシステムに近づく」ことができたのか

    ここが今回のテーマの核心部分だ。Microsoft Researchは、Orchard-SWEの性能向上を、単一の要因ではなく、複数の要素の積み重ねとして説明している。原文の該当段落を確認する。

    「To train the system, we distilled 107,000 agent interactions from two advanced open-weight models (MiniMax-M2.5 and Qwen3.5-397B) covering a broad range of GitHub Issues. The training process uses credit-assignment supervised fine-tuning: rather than discarding attempts where the agent failed to fully resolve an issue, the system learns from the productive portions of those partial attempts, expanding the amount of useful training data available to the model.」

    (訓練にあたっては、GitHub上の幅広いIssueを対象に、2つの高性能なオープンウェイトモデル〈MiniMax-M2.5とQwen3.5-397B〉から抽出した10万7000件のエージェント対話を蒸留した。訓練プロセスでは「credit-assignment supervised fine-tuning」という手法が使われている。エージェントがIssueを完全には解決できなかった試行をそのまま捨てるのではなく、その部分的な試行のうち生産的だった部分から学習することで、モデルが利用できる有用な訓練データの量を増やしている)

    つまり、単に大量のデータを集めるだけでなく、「失敗した試行の中にある、部分的に成功した部分」まで学習に活かすという、データの使い方そのものに工夫がある。

    そのうえで、強化学習の段階でも工夫が重ねられている。原文は次のように説明する。

    「Reinforcement learning comes next, but its feedback is sparse...We start with Balanced Adaptive Rollout, designed to make the most of these infrequent success signals, and then add two "dense reward" techniques for richer guidance: on-policy distillation, in which a stronger teacher model scores the agent's decisions step by step, and a process reward model, in which an AI judge rewards sound problem-solving process」

    (続く強化学習の段階では、フィードバックがまばらになりがちだ。そこでまず「Balanced Adaptive Rollout」という手法を使い、数少ない成功シグナルを最大限活用する。そのうえで、より豊かな指導を与える2つの「密な報酬」の技術を追加する。1つは「on-policy distillation」で、より高性能な教師モデルがエージェントの判断をステップごとに採点する。もう1つは「process reward model」で、AIの審判役が、問題解決の過程が妥当かどうかを評価して報酬を与える)

    これらの積み重ねにより、SWE-bench Verifiedのスコアは、61.4%(ベースライン)→69.1%(Balanced Adaptive Rolloutを適用)→69.7%(dense reward技術を追加)と段階的に向上したと報告されている。

    さらに、73.0%という数値は、この69.7%からもう一段の工夫を加えた結果だ。原文は次のように説明している。

    「Finally, we train a value model on past rollouts to rerank candidate solutions. Reinforcement learning generates many practice trajectories that are normally discarded; instead, trajectories from 20 prior experiments train a compact 4-billion-parameter value model that recognizes high-quality solutions, and at problem-solving time it scores several candidate answers and picks the best one.」

    (最後に、過去の試行結果をもとに「価値モデル」を訓練し、候補となる解を並べ替える。強化学習では通常なら捨てられてしまう、大量の練習用の軌跡(trajectory)が生成される。これを捨てる代わりに、過去20回分の実験から得た軌跡を使って、質の高い解を見分けるコンパクトな40億パラメータの価値モデルを訓練する。そして問題を解く際には、この価値モデルが複数の候補解を採点し、最も良いものを選ぶ)

    つまり73.0%という数値は、約30億のアクティブパラメータを持つOrchard-SWE単体の成績ではなく、Orchard-SWEが生成した複数の候補解を、別途訓練した40億パラメータの価値モデルが選別した結果である。この点は、「約30億パラメータのモデル1つだけで73%を達成した」という誤解を避けるために、正確に押さえておきたい。

    最後に、訓練を実行する「環境」そのものについても、原文は次のように述べている。

    「Open training tools usually cannot handle these stateful, multi-process harnesses, forcing researchers to train on a simplified stand-in and then deploy in the real setting」

    (オープンな訓練ツールは通常、こうした状態を保持する・複数プロセスにまたがるharness〈エージェントが実際に動作する環境〉を扱うことができず、研究者は簡略化された代替環境で訓練し、その後に実環境へ展開せざるを得なかった)

    原文は、「今日の最も高性能なエージェントは、Claude Code・Codex・OpenClawのような高度なharness(複数ターンの推論やツール利用を管理する実行環境)を通じて動作している」と述べたうえで、Orchardはこうしたharnessの内部で直接エージェントを訓練できる設計になっているという。ただし、Orchardが訓練対象として実際に列挙しているharnessは「OpenClaw、Codex、ZeroClawなど」であり(Claude Codeは、上記の「高度なharnessの実例」としてのみ登場し、Orchardの訓練対象リストには含まれていない)、この違いを混同しないよう注意したい。加えて、Kubernetes基盤の上で数千の分離されたコンポーネントを並列管理する環境サービスも提供されている。原文はこの点を「Orchard's results reinforce a broader point: the environment layer matters. By making the underlying infrastructure open, lightweight, and reusable, Orchard lowers the cost of agentic AI research.」(Orchardの成果は、より広い1つの論点を裏付けている。環境層が重要だ、という点だ。基盤となるインフラをオープンで軽量、再利用可能にすることで、Orchardはエージェント型AI研究のコストを下げる)とまとめている。

    見落とされがちな視点――「巨大モデルに近づいた」の中身を正確に読む

    ここで、誇張して受け取らないために2点整理しておきたい。

    1つ目は、「10倍以上大きいフロンティアシステムに近づいた(approaching frontier systems more than 10 times larger)」という表現が、あくまで定性的な比較にとどまっている点だ。原文には、比較対象となる具体的なシステム名やパラメータ数は明記されておらず、「10倍以上大きい」という表現がどのモデルを指しているのかは、この一次情報からは特定できない。また「近づいた(approaching)」という表現自体、上回った・並んだという意味ではなく、依然として差がある中での接近を意味している点にも注意したい。

    2つ目は、先述のとおり、73.0%という最終スコアが、Orchard-SWE(約30億のアクティブパラメータ)単体の成績ではなく、別途訓練した40億パラメータの価値モデルによる候補選別と組み合わせた結果だという点だ。「30億パラメータのモデルだけで73%」という単純化した理解は、原文の記述と正確には一致しない。

    一方で、確認できた事実として押さえておきたいのは、69.7%という「同規模モデルの中での最高水準」の成績自体は、価値モデルを使わないOrchard-SWE単体の成績として報告されている、という点だ。つまり、モデルサイズを大きくすることなく、訓練データの使い方(失敗試行の部分活用)・報酬設計(段階的な密な報酬)・訓練環境(実際のharness内での直接訓練)という要素の組み合わせだけで、同規模モデルの中で高い成績を達成できたこと自体は、原文が示す一次情報の事実として確認できる。

    日本の読者への示唆

    ここからは一次情報を踏まえたAI TREND LABの考察であり、断定ではなく推測を含む点をあらかじめ断っておく。なお、今回の一次情報には日本市場・日本語対応についての言及は特になく、以下は日本の読者一般への当てはめとしての推測である。

    会社員としてAIを活用したい人にとって――社内でAIエージェント導入を検討する際、「とにかく一番高性能な(=一番高価な)モデルを選ぶ」という判断基準だけでなく、「そのタスクに対して、訓練データや評価の工夫でどこまで小さいモデルでも対応できるか」という視点があることを知っておくと、ベンダー選定やコスト試算の材料が増えるかもしれない。

    個人開発者にとって――今回のOrchardの事例は、モデルサイズを大きくする以外にも、失敗した試行のデータをどう活かすか、評価の仕組みをどう設計するかといった要素が性能に影響しうることを示している。個人開発の規模でMicrosoftと同様の訓練基盤を再現するのは難しいが、「モデルを大きくする」以外の改善レバーがある、という発想自体は参考になりそうだ。

    副業でAI活用を目指す人にとって――AIエージェントを使ったサービスやツールを検討する際、「巨大なモデルでなければ使い物にならない」と決めつける前に、タスクに応じた適切な規模のモデルで十分な場合があることを念頭に置いておくと、コスト面での選択肢が広がる可能性がある。ただし、今回の事例は研究フレームワークの発表であり、実際の業務で同等の性能が再現できるかどうかは、個別に検証が必要な点には留意したい。

    独立・事業化を視野に入れる人にとって――AIエージェント関連の事業を検討する際、モデルの選定基準を「パラメータ数の大小」だけで判断せず、「訓練環境・評価設計・データの使い方」まで含めた総合的な設計として捉える視点は、プロダクトの差別化を考える上で参考になりそうだ。Orchardがオープンソースで公開されている以上、こうした訓練手法の考え方自体は、将来的に他のプロダクト・サービスにも応用されていく可能性がある。

    まとめ:明日から試せること

    Orchard-SWEの事例が示しているのは、「AIエージェントの性能はモデルサイズだけで決まるわけではない」という点だ。約30億のアクティブパラメータという、フロンティアモデルと比べて小さい規模でありながら、失敗した試行の部分活用・段階的な報酬設計・実際のharness内での直接訓練という要素の組み合わせによって、同規模のオープンソースモデルの中で最高水準の成績(69.7%)を達成し、追加の価値モデルによる選別を組み合わせることでさらに73.0%まで伸ばしたと報告されている。ただし、この73.0%が単体モデルの成績ではないこと、「10倍以上大きいシステム」との比較が定性的なものにとどまることは、正確に押さえておきたい。

    明日から試せることとして、AIエージェント関連のツール・サービスを比較検討する機会があれば、「使っているモデルは何か(パラメータ数)」だけを質問するのではなく、「そのモデルはどんな訓練データ・評価方法で作られているか」「実際の業務環境(今回でいうagent harnessに相当するもの)でどう検証されているか」まで確認してみるとよいだろう。社内でAIエージェントの導入を評価する立場であれば、この2つの質問をベンダー確認シートに1項目ずつ加えるだけでも、モデルサイズ以外の判断材料を増やせるはずだ。

    詳細は、ぜひ一次情報にも直接あたってみてほしい。

    出典
    Baolin Peng, Wenlin Yao, Qianhui Wu, Hao Cheng, Jianfeng Gao「Orchard: An open framework for scalable agentic AI」(Microsoft Research Blog、2026年8月3日)
    https://www.microsoft.com/en-us/research/blog/orchard-an-open-framework-for-scalable-agentic-ai/

    おわりに

    AI TREND LABでは、海外で発表される調査・レポート・公式発表を一次情報から丁寧に裏取りし、誇張や断定を避けながら、日本のビジネスパーソンが実務や副業にどう活かせるかという視点で翻訳・整理して届けている。

    今後もAI TREND LABでは、海外の一次情報をもとに、AIの最新動向を正確かつ分かりやすく発信していく。

     
     
    海外AIの最新動向を、一次情報ベースでわかりやすく解説。仕事への影響を中立的に発信します。 【有料・700円】GitHub Copilotの組織設定・課金を点検する記入式チェックリスト https://note.com/aitrendlab/n/nfff02f850a1f

    あなたへのおすすめ