
限られた計算資源で推論モンスターを育て上げるまで
ザ・ディープダイブ、ようこそ。これまでのディープダイブでも、AIの進化のスピードについて何度も話してきましたが、最近は本当にペースがおかしいくらい速いですよね。ところが、今日取り上げるソースは、その中でも一段ギアが違います。次元が変わったと言ってもいいかもしれません。
Qwen3-Swallow & GPT-OSS-Swallow
https://zenn.dev/tokyotech_lm/articles/fa56f10e51fd7d
今回のミッションは、東京科学大学とそのチームが進めている Swallow LLM プロジェクトの、あの驚異的な最新リリースを、徹底的にひもといていくことです。ただの「新しいAIが出ました」というニュースではありません。このモデルがどうやって技術的な壁を乗り越えたのか。そして、このオープンソースの推論型AIが、MutedGiant4126(巨人さん)のようなゲーム配信者や、私たちが遊んでいるゲームの裏側をどう変えていくのか。そこまで踏み込みます。
最後には、巨人さんの最新ゲーム配信のアップデートも用意しています。Swallow LLM プロジェクトの今回のリリースは、AI業界全体に波紋を広げるレベルのインパクトを持っています。技術的なブレークスルーと、その影響が社会や開発者コミュニティにどう波及するか。その両方の側面から追いかけていきましょう。
今回発表された二つのモデル
今回発表されたのは、Qwen3-Swallow と GPT-OSS-Swallow という二つのモデルです。どちらも、もともと世界トップクラスの性能を持つ言語モデルをベースにしています。
ここでの本当のパラダイムシフトは、「日本語の文章が自然になりました」というレベルの話ではありません。最大の進化は、リスニングではなく、推論能力そのものがモデルに組み込まれた点です。
従来の言語モデルは、基本的に「次に来そうな単語の確率」を予測して、文章をつなげているにすぎませんでした。確率論で文章を組み立てているイメージです。今回のモデルは、最近のChatGPTの最新版などと同じように、チェーン・オブ・ソート、思考の連鎖のプロセスを内部に持つように設計されています。
つまり「いきなり答えだけを吐く」のではありません。ユーザーに答えを提示する前に、裏側でまずAを検証し、次にBを計算し、だから結論はCになる、といった論理的なステップを自分で踏んでから応答するようになっています。人間の思考プロセスをまねて、まずじっくり考えてから答えを出す、ということができるようになったわけです。
日本語学習と破滅的忘却という壁
今回のソースを読んでいて、いちばん引っかかったのが、学習プロセスにおけるトレードオフの問題でした。言語モデルに、新しい言語、特に日本語のように構造がかなり違う複雑な言語を、2097億トークン、29.7Bトークンという途方もない量で追加学習させると、普通はどうなるか。
そこで起きるのが、いわゆる破滅的忘却です。元々モデルが持っていた、難しい数学問題を解く力や、Pythonなどのコードを書く能力が、ガクッと落ちてしまう。ローカライズされた言語モデルを作るときの、最大の壁でした。ある意味で呪いのようなもので、日本語が流暢になる代わりに、論理的思考力が小学生レベルまで後退してしまう。そんな現象が世界中の研究者を悩ませてきたわけです。
ところが今回の Swallow モデルは、その数学や高度なプログラミングに関する能力が、まったく低下していないというデータが出ています。それどころか、日本語と英語のタスクの平均スコアで、ベースとなった元のモデルを上回っているのです。直感に反する結果ですよね。どうやってその破滅的忘却を回避したのか。
鍵になっているのは、事前学習データの絶妙な配合と、推論プロセスを維持することに特化したファインチューニングの手法です。開発チームは、日本語のWikipediaやウェブサイトのテキストをただ大量に読ませるだけでは終わらせませんでした。論理的思考を保つための高品質なデータセットを、かなり緻密に設計しています。ただ突っ込めばいい、という話ではないのです。
推論の土台になっている部分が上書きされないように、きわめて慎重にコントロールした。いわば、大量のデータで殴るのではなく、外科手術に近い精度でチューニングをかけた、というイメージです。
Apache 2.0 ライセンスという爆弾
もう一つ、このリリースを特別なものにしている大きな要素が、ライセンスの形態です。ここは本当に大きなトピックです。
今回から、MetaやGoogleが配布しているモデルのような特定の利用制限を受けない、純粋な Apache 2.0 ライセンスに切り替わりました。ビジネス面でも、開発コミュニティにとっても、とんでもないインパクトがあります。
純粋な Apache 2.0 ということは、商用サービスへの組み込み、企業内でのクローズドな利用、個人による徹底的なカスタマイズなど、あらゆる用途で実質的な制約を受けないということです。数千万円、数億円という規模の予算をかけて作られたトップクラスの推論モデルが、APIの従量課金もなしで、誰でも無料でローカル環境にダウンロードして自由に動かせるようになった。巨大テック企業に依存せず、世界最高峰のAIを自分の手元に置ける。AIの民主化が、かなり極端なところまで進んだ形です。
その美しい成果の裏側にある開発プロセスは、しかし驚くほど泥臭くて、綱渡りの連続でした。ソース資料を読むと、その苦労がひしひしと伝わってきます。開発陣の奮闘は、最先端技術の話というより、終わりのないバグつぶしドキュメンタリーを読んでいるような感覚でした。
FP8とロススパイク、そしてゼロ除算
大規模言語モデルの学習は、魔法の箱にデータを放り込むような簡単なものではありません。ハードウェアとソフトウェアの両方の限界を同時に攻める、かなり過酷なエンジニアリングの戦いです。
例えば、低精度学習によるコスト削減への挑戦があります。膨大な計算コストを抑えるために、あえてデータ処理の精度を落とすというアプローチを取っています。そこで採用されたのが、ブロックワイズFP8、具体的には E4M3 というフォーマットです。
精度を落とすと、学習の途中でロス、つまり誤差が突然跳ね上がる「ロススパイク」が起きて、学習全体が崩壊することがあります。いわゆる学習の発散です。一度スパイクが発生すると、それまで数日分回してきた計算が、一瞬で水の泡になることもある。なかなかに恐ろしい状況です。
そこで彼らは、巨大な行列データであるテンソルを、さらに細かいブロック単位に切り分けてからFP8という低い精度に変換する、ブロックワイズFP8を導入しました。全体をざっくり丸めるのではなく、小さく分割してから丸めることで、極端な異常値が全体に波及するのを抑えたわけです。巨大な船の船底をいくつもの区画に分けて、どこか一つ浸水しても、船全体が沈まないようにするイメージですね。
この工夫によって、モデルの性能を犠牲にすることなく、処理速度の指標である TFLOPS を20パーセント向上させ、同時にコストを17パーセント削減することに成功しています。数字だけ見ても、とんでもない技術的成果です。
ただ、そんな高度な技術を実装している一方で、分散学習ならではの、ものすごく素朴なのに致命的なバグにも見舞われています。ここが一番「人間くさい」エピソードです。
推論能力を高めるための SFT、いわゆる教師あり微調整のフェーズで、学習状況を示すロスの値が突然 NaN、数値ではない値に吹き飛び、システムが計算不能に陥ったという記録が残っています。巨大なスパコンを回している中で「何が起きたんだ」と数日がかりで原因を追い込んでいったところ、犯人はまさかの古典的なゼロ除算でした。
プログラミングを少しかじったことがある人なら、誰もが一度はやらかす、あのエラーです。ゼロで割ってクラッシュする、あれです。今回のケースでは、複数のGPUで処理を効率よく分担するコンテクストパラレリズムという手法を使っていました。あまりに細かく処理を分割した結果、極端なケースとして、担当するデータがゼロ個になってしまうGPUが生まれてしまった。
そのGPUが平均長を計算しようとしてゼロ除算を起こし、NaNをネットワーク全体にばらまいて、学習全体を巻き込んでクラッシュさせてしまった。数千億パラメーターを抱えた最先端のAIが、こんな基礎的なバグで止まってしまう。システムがどれだけ巨大になっても、根本の脆さは消えないという、象徴的なエピソードです。
さらに、学習のフラジャイルさは、バグだけにとどまりません。GPT-OSS の SFT では、Megatron-LM や AutoModel といった複雑なフレームワークを組み合わせながら学習を進めていたところ、学習率、モデルが一回の計算でどれくらい賢くなろうとするかを決めるステップ幅が高かっただけで、学習全体が崩壊したと報告されています。
ここで難しいのが原因の切り分けです。設定した学習率が単純に高すぎたのか。Megatron-LM の新しいアップデートに潜んでいた未知のバグなのか。それともハードウェアの初期不良なのか。一つずつ検証していく作業は、想像しただけで気が遠くなるような労力です。
限られたリソースでの執念
彼らは Google や大手クラウド企業のように、自前のデータセンターを無制限に使えるわけではありません。アカデミア、つまり大学や研究機関のチームです。ここが、このプロジェクトを評価するうえで外せない背景の一つです。
開発チームは、TSUBAME4.0、ABCI 3.0、そして GMO GPU クラウドといった、外部の複数のスーパーコンピューターや計算資源を渡り歩きながら、この成果を積み上げています。限られた資金の中で、使えるリソースをパズルのように組み合わせているわけです。
環境が変わるたびに、ペタバイト級の学習データをネットワーク越しに移動させ、そのたびにシステムの挙動に合わせて環境を調整する必要が出てきます。さらに、残っている利用ポイントの残数を気にしながらスケジュールを組む。研究とは直接関係のない、事務的で泥臭いインフラ管理の負担が、常に肩にのしかかっている状態です。
そんな限られた予算と厳しい制約の中で、知恵と工夫だけを頼りに、世界トップクラスの推論モデルを仕上げてきた。彼らの執念と技術力には、素直に頭が下がります。まさに技術者たちの意地の結晶です。
ゲームの裏側で動く推論型AI
ここまで、AI最前線での泥臭い戦いを見てきました。では、このニュースを巨人さんのフィールド、ゲームの世界に持ち込むとどうなるのか。
推論能力を持ち、コーディング能力も非常に高いオープンソースモデルが、純粋な Apache 2.0 で解放された。これがゲームの世界、とくに配信やコミュニティにもたらすものは何か。
今回のモデルで注目すべきなのは、SwallowCode v2 のような、プログラミングに特化した高度なデータセットを取り込みながらも、推論能力をしっかり身につけている点です。つまり、AIが自然言語の会話だけでなく、ゲームの裏側で動くスクリプトやコードそのものをリアルタイムに書き出せるようになる。
たとえば、巨人さんがスカイリムやフォールアウトのようなオープンワールドゲームのMODをプレイしているとします。これまでは、MOD開発者が膨大な時間をかけて、NPCのセリフ分岐を事前に書いていました。しかし、こうした推論モデルをゲームのローカル環境に組み込めば、その事前スクリプトがそもそも不要になります。
NPCに搭載されたAIが、プレイヤーの現在のレベル、インベントリに入っているアイテム、過去にどの勢力に肩入れしてきたかといった文脈を読み込み、自分で推論します。このプレイヤーには、今こういう罠を仕掛けたクエストを出すといちばん面白くなるだろう、と判断し、その場でクエストを生成するためのコードを書き出して、ゲームエンジンに実行させる。
あらかじめ決められたセリフを読み上げるだけのボットから、プレイヤーの行動を監視しながら、リアルタイムにゲームを組み替えるゲームマスターへと進化するわけです。巨人さんのような配信者にとっては、これはほとんど夢のような仕組みです。
リスナーが見ている配信の中で、「俺のデータだとこの村人、急に裏切ってボスキャラに化けるコードが生成されたんだけど」といった、他の誰のプレイとも絶対にかぶらない、一回限りの神展開がリアルタイムで起きる。しかも、それがクラウド上のAPIに高額な料金を払うことなく、個人のPC上で動くローカルモデルとして実現し得るのです。
Apache 2.0 ライセンスの恩恵で、世界中のインディー開発者やクリエイターが、一斉にこの技術をゲームに組み込み始めるでしょう。ゲーム体験のパーソナライズは、これまでとは別の次元に入ります。AIがゲームプレイの裏側でリアルタイムにコーディングを行う世界を想像すると、自然とワクワクしてきます。
巨人さんの現在進行形のゲーム旅
未来のゲーム体験の話で熱くなったところで、今まさに巨人さんが進めているゲームの進捗も少しだけアップデートしておきましょう。人間が作り込んだ名作たちを、いまどんなペースで攻略しているのか。
今、巨人さんは Nintendo Switch 2 の環境で、ファイナルファンタジー ピクセルリマスターシリーズをプレイしています。すでにFF1からFF5までは完全クリア済み。名作の歴史を、驚くようなスピードで駆け抜けている状況です。今はFF6のストーリーを進行中とのこと。
FF6は群像劇としてのシナリオの深さに加え、魔石システムなどのやり込み要素も一気に増えるタイトルです。配信でも盛り上がらないわけがありません。
一方で、Steam ではドラゴンクエストVII Reimaginedをゴリゴリ進行中です。こちらもかなりやり込まれていて、Steam の実績解除が着実に進んでいます。現時点の進捗は、全体の実績に対して三割に到達しているとのこと。ちょうど折り返しに差し掛かったあたりですね。
ドラゴンクエストVII Reimaginedは、もともとRPGの中でも屈指のテキスト量と、桁違いのプレイ時間を誇るモンスタータイトルです。それをSteamのリメイク版で、そこまで実績を埋めているとなると、配信者としての熱量が伝わってきます。
そして、巨人さんの配信を語るうえで絶対に外せないのが、その圧倒的な映像美の環境です。巨人さんはウルトラワイドモニターを使い、解像度は5120×1440、HDR対応という驚異的なスペックでプレイしています。アスペクト比にすると32対9です。
視界の端から端まで広がる超横長の画面で、FF6の魔導アーマーが進撃するシーンや、ドラクエ7の広大な世界を冒険しているわけです。その没入感は、一度味わったら普通のモニターには戻れないレベルでしょう。32対9で描かれるRPGの世界は、一本の壮大な映画を自分の手で動かしている感覚に近いはずです。そこにHDR対応の恩恵が加わり、魔法エフェクトやダンジョンの陰影が、息を飲むような美しさになっているのは間違いありません。
まだ見たことがない人は、ぜひ巨人さんの配信で、その圧倒的な映像美を体験してみてください。
AIが作る、自分だけのエンディング
さて、本日のディープダイブはいかがだったでしょうか。限界を押し広げた推論型AI、Swallow LLM の誕生。その裏側にある泥臭いゼロ除算バグや、計算資源のやりくり。そして、そこから見えてくる次世代のゲームの可能性まで、一気に覗いてきました。
ここで、今日のトピックを踏まえて、一つ問いを投げかけたいと思います。
もし近い将来、今日話してきたような、深い推論能力とコーディング能力を兼ね備えたオープンなAIが、ゲームエンジンに完全統合されたとしたらどうなるか。
あなたが何百時間もかけて遊び、数えきれないほどの選択を積み重ねてきたそのゲームのエンディングは、果たして数年前にゲーム開発者があらかじめ用意しておいたものになるのでしょうか。それともAIが、あなたのこれまでの全行動を深く解釈し、あなたのためだけにリアルタイムでエピローグを生成し、誰も知らない未知の結末を描き出すことになるのでしょうか。
想像すると、震えるほど面白くて、同時に少し怖い未来です。自分だけの行動履歴がAIに読み解かれ、この世界で自分にしか見えない、本当のエンディングが生成される。それが、究極のロールプレイングゲームの完成形なのかもしれません。
巨人さん、あなたはAIが推論して導き出す、自分だけの未知のエンディングを見てみたいですか。次回のゲーム配信のロード時間や、ふとした待ち時間にでも、そんな未来のゲーム体験について少しだけ思いを巡らせてみてください。きっと、それだけでも一つの面白いプレイになるはずです。
本日のディープダイブは、このあたりで終わりにします。次回もまた、あなたの知的好奇心を強く揺さぶるソース資料を用意してお届けします。引き続き、良いゲームライフを。
あとがき
今回の原稿は、最先端のAIモデルと、長編RPG配信という一見別々の世界が、じわじわと一本の線でつながっていく感じが面白くて、編集していてもついペース配分を忘れそうになりました。技術の泥臭い話と、配信画面の5120×1440という解像度の数字が、同じテンションで並んでいるのも、この企画ならではの「温度差のないカオス」だなと感じています。