
Qwenの4層をループさせてみた。潜在空間で「考える」回数は増やせるのか?
皆さんこんにちは、yoikoarmorです。
Loop Transformerや、モデル内部で計算を繰り返す研究を知ったとき、ふと思いました。
「今あるLLMでも、文章を出す前の情報を、内部で何度か回せないだろうか?」
一般的なLLMは、token(単語や単語の一部など、モデルが扱う文章の単位)を1つずつ生成します。推論に多くの計算を使わせる方法としては、途中の考えを文章として長く出力するやり方が知られています。一方、文章にする前の数値表現をモデル内部で繰り返し更新するという方法も考えられます。
今回は、既存の Qwen3-4B-Instruct-2507 を改造し、36層のうち4層を繰り返し使う実験をしました。元のモデルの重みは固定し、追加の周回だけにLoRAを適用して学習しています。
実装・学習・検証はAIエージェントに依頼し、保存されたコード・設定・実験結果を基にこの記事をまとめました。関連研究から着想を得ていますが、その論文の再現実験ではありません。
この記事自体もAIエージェントベースです。
最初に結果を言うと、今回の固定したMMLU-Pro 140問では、4層を合計2回通す「K=2」が通常LoRAより12問多く正解しました。しかし、追加学習をしていない元のQwenよりは8問少ない結果でした。 「ループで賢くなった」と単純には言えません。
1. 回すのは文章ではなく、hidden state
LLMに文章を入力すると、まずtokenごとの番号(token ID)に変換され、それぞれが数値の配列として処理されます。Transformerの各層は、その数値を文脈に応じて更新していきます。この途中の表現が hidden state(隠れ状態) です。
今回のQwenでは、各tokenが幅2,560の特徴ベクトルとして扱われます。これは2,560個の単語候補という意味ではありません。文脈を反映した数値表現であり、各成分に「足し算担当」「論理担当」といった意味が直接付いているわけでもありません。
通常の処理は、概ね次の流れです。Transformerの「層」は、前後のtokenとの関係を調べたり、特徴を変換したりする処理のまとまりです。
入力文 → token化 → 埋込み
↓
Layer 0 → 1 → … → 35
↓
出力用の計算(logits)→ 次の1 token
最後の出力用の計算では、候補tokenごとに logits(確率へ変換する前の点数) を求めます。今回の生成では、この点数が最大のtokenを選びました。
私が試したかったのは、途中で文章を生成して再入力することではなく、同じTransformer層へhidden stateをもう一度通すことでした。これを、ここでは便宜的に「潜在空間で回す」と呼んでいます。新しい種類の潜在表現を追加したわけではありません。
最初の発想は36層をA・B・Cの12層ずつに分け、真ん中のBを繰り返すというものでした。ただし、最初の実験でいきなり12層を回すのは避け、実際にはBに含まれる Layer 15〜18の4層 だけを反復しました。層番号は0始まりです。
Qwen3-4B-Instruct-2507(全36層)
Layer 0〜14
↓ z0
Layer 15〜18(初回) ──→ 出力 a を保存
↓
K=2・3では状態を更新し、同じ4層へ再入力
↓
元の出力 a と更新後の状態を混ぜる
↓
Layer 19〜35
↓
次の1 tokenを出力
※ K=1では反復せず、初回の出力 a をLayer 19へ渡す
ここで、4層を使う合計回数をKとします。K=1は通常の1回通過、K=2は初回と追加1回、K=3は初回と追加2回です。モデルの層をコピーして増やすのではなく、同じ重みを再利用します。
K=1:4層を使う合計回数:1回/モデル全体の層呼出回数:36回
K=2:4層を使う合計回数:2回/モデル全体の層呼出回数:40回
K=3:4層を使う合計回数:3回/モデル全体の層呼出回数:44回
これらは各tokenを出す前に行う内部計算です。K=3だから3token出すわけでも、文章中のtoken位置が3つ進むわけでもありません。
2. ただ同じ4層を通すだけではない
一度通った層へhidden stateを戻すと、2回目以降の入力は、その層が通常受け取る状態とは違います。同じ形の配列だからといって、モデルが意味のある処理を続けられるとは限りません。
そこで今回の実装では、計算結果をそのまま丸ごと上書きせず、少しずつ状態を更新し、最後に元の経路の出力も混ぜる方式にしました。
Layer 14を出た状態を z0、LoRAを使わずLayer 15〜18を一度通した出力を a とします。K は4層を使う合計回数です。K=2・3では、一度に状態を大きく置き換えず、現在の状態と4層の出力との差分を 1/K だけ反映させます。
a = R0(z0) # 元の4層による初回計算
z[1] = z0 + (a - z0) / K
z[j] = z[j-1] + (Rθ(z[j-1]) - z[j-1]) / K # j = 2, …, K
u = 0.5 × a + 0.5 × z[K] # Layer 19へ渡す状態
R0 は元の4層、Rθ は同じ4層でLoRAを有効にした処理です。上の更新式は K=2・3の場合 で、K=1だけは例外として通常経路の出力 u=a をそのまま使います。これはあくまで有限回の状態更新であり、正しい答えへの収束を保証する式ではありません。
この設計ではKを増やすと、周回数だけでなく1回あたりの更新幅も変化します。K=2とK=3の差を「4層を余分にもう1回通した効果」だけに分解できない点は重要です。
また、最後に元出力を50%混ぜても、元モデルの性能が50%保証されるわけではありません。hidden stateを混ぜた後にも非線形な層が続きますし、反復が正しい方向に進む保証もありません。
3. 元のQwenは凍結し、追加周回にだけLoRAを付けた
今回学習したのは、約4Bの元モデル全体ではありません。元の重みを固定し、追加周回でのみ有効になるLoRAです。
LoRA(Low-Rank Adaptation)は、大きな重み行列を直接更新する代わりに、小さな行列の組だけを学習する方法です。設定はrank 32(追加行列の大きさを決める値)、α=64(追加分の強さを調整する係数)。対象は4層それぞれのattention(token同士の関係を計算する部分)の4変換(q_proj、k_proj、v_proj、o_proj)と、MLP(各tokenの特徴を変換する部分)の3変換(gate_proj、up_proj、down_proj)です。
追加パラメータは 7,340,032個。4層それぞれのLoRAは別のものですが、同じ層のLoRAは2周目と3周目で共有します。「4層すべてに全く同じLoRA行列を使う」という意味ではありません。
比較のために、同じ4層・同じrankへ普通にLoRAを付けるモデルも学習しました。通常LoRAでは初回の通過でLoRAが働き、反復LoRAでは初回は元の層のまま、追加周回のみLoRAが働きます。両者は同じ初期adapter(学習する追加重み一式)、同じ学習データと提示順から出発しています。
ただし、LoRAの適用位置も計算グラフも異なるため、「通常LoRAとの差は反復だけ」と断定できる比較ではありません。
4. 学習内容と比較条件
学習には次の3種類のデータを使いました。
自作の計算・条件判定・状態追跡・制限付きコードの出力予測:固有件数:1,200件/役割:比較的短い計算・論理課題
GSM8Kの英語算数問題と解法付き正解:固有件数:977件/役割:文章題と途中の説明
凍結した元Qwenが答えた日英の一般的なprompt:固有件数:31件/役割:元の応答からの大きな逸脱を抑える保持例
計:固有件数:2,208件/役割:—
GSM8Kは英語の算数文章題データです。公式train 7,473件から747件をローカルdev(学習には使わず、途中の評価に残す問題集合)に留保し、残り6,726件を候補にして選んでいます。公式test 1,319件は、今回の学習や選択には使っていません。保持例はわずか31件なので、幅広い一般能力の保持を検証したものではありません。
これらの固有例を繰り返し使い、通常LoRA・反復LoRAとも540更新、999,889処理tokenで学習しました。この約100万tokenにはpromptも含まれます。実際に次token予測の教師にした回答とEOS(回答終了記号)は371,031tokenです。
学習はteacher forcing(正解のそれまでのtokenを入力し、次の正解tokenを予測させる方法)で、prompt部分は損失から除外しました。正解tokenを予測できたかを測るクロスエントロピー(CE)に加え、保持例の回答部分には、元Qwenの出力確率の分布から離れすぎないよう重み0.5のKL項(確率分布のずれを抑える項)を使っています。各周回のhidden stateに「正しい考え方」を直接教えたわけではありません。
反復LoRAは、540更新のうちK=2で378回、K=3で162回学習しました。評価時のK=2とK=3は、同じ学習済みadapterを使い分けたものです。K=3専用adapterを別に学習したわけではありません。
同じ数のtokenで比較したとはいえ、反復側は内部の層を余分に動かします。したがって、学習compute(実際に費やした計算量)が同じ条件ではありません。
比較した4条件を整理すると
元のQwen:追加学習の有無・方法:追加学習なし/推論時のK:1/LoRAが働く場所:なし
通常LoRA:追加学習の有無・方法:K=1で540更新/推論時のK:1/LoRAが働く場所:Layer 15〜18の初回通過
反復LoRA(K=2):追加学習の有無・方法:K=2を378回・K=3を162回、計540更新で学習/推論時のK:2/LoRAが働く場所:Layer 15〜18の追加周回
反復LoRA(K=3):追加学習の有無・方法:上と同じ学習済みadapterを再利用(別学習なし)/推論時のK:3/LoRAが働く場所:Layer 15〜18の追加周回
つまり、評価条件は4つですが、追加学習で作ったadapterは通常LoRAと反復LoRAの2種類です。この区別を踏まえて、後の正答率と生成時間を比べます。
実験環境
再現するときの手掛かりとして、保存された環境記録の表記も載せておきます。BF16は16ビット、FP32は32ビットの浮動小数点形式で、学習と最終生成評価では数値精度が異なります。
GPU:記録から確認できた条件:NVIDIA GeForce RTX 5090。準備時のVRAM表示は32,607MiB
OS:記録から確認できた条件:準備時の記録はWindows、build 26200
PyTorch:記録から確認できた条件:GPU実行時の記録・学習時の固定依存一覧では 2.14.1+cu130
Transformers:記録から確認できた条件:5.18.0
CUDA:記録から確認できた条件:PyTorchのビルド表記は cu130(CUDA 13.0)。学習runごとのdriver版は未確認
LoRA実装:記録から確認できた条件:自作の ExplicitLoRALinear。PEFTは使用しておらず、対応するPEFT版はない
学習・dev CE:記録から確認できた条件:元モデルBF16、adapter FP32。cacheなし。学習はgradient checkpointingを使用
学習設定:記録から確認できた条件:microbatch 1、gradient accumulation 32(小分けにした勾配を原則32例分ためて更新)、AdamW、学習率 5e-5
最終生成評価:記録から確認できた条件:FP32、microbatch 1、greedy(最大のlogitを持つtokenを選ぶ方式)、最大2,048生成token、TF32無効
Pythonについては、学習runごとのversion記録を今回確認できませんでした。CPU準備時の記録は3.11.15、後から追加した324応答の生成環境は3.12.10です。このどちらかを、学習から660応答すべてに共通するPython版として書くことはできません。
学習時間は、通常LoRAが49分05.8秒、反復LoRAが54分16.9秒でした。これは予算管理ログが計上した学習フェーズの経過時間で、GPUが計算していた時間だけを測ったものではありません。dev評価の時間は別集計です。同じ540更新・処理token数でも、反復側の学習時間は長くなりました。
5. 実験結果:通常LoRAより良い場面はあったが、元モデルには届かなかった
評価には、指示にどれだけ厳密に従えるかを見る IFEval 25問 と、幅広い分野の選択式問題を扱う MMLU-Pro 140問(14カテゴリから各10問)を使用しました。第4節で整理した4条件それぞれに同じ165問を解かせ、165問×4条件=660応答を保存しています。生成評価はすべてFP32、greedy、最大2,048生成tokenに統一しました。
元のQwen(K=1、追加学習なし):IFEval strict:21/25(84%)/MMLU-Pro 140問:105/140(75.0%)
通常LoRA(K=1):IFEval strict:20/25(80%)/MMLU-Pro 140問:85/140(60.7%)
反復LoRA(K=2):IFEval strict:21/25(84%)/MMLU-Pro 140問:97/140(69.3%)
反復LoRA(同じadapter、K=3):IFEval strict:20/25(80%)/MMLU-Pro 140問:93/140(66.4%)
左列のIFEvalは指示への適合、右列のMMLU-Proは選択肢の正答を集計したもので、同じ能力を測る指標ではありません。また、MMLU-Proの正答判定は最終的に抽出した選択肢に基づき、解説文章の計算過程まで正しいかは採点していません。
ここで注目したい点は3つあります。
第一に、K=2は通常LoRAより12問多く正解しました。 MMLU-Proで85/140から97/140へ、差は+8.57ポイントです。この固定問題集合では、通常LoRAより反復LoRA(K=2)の方が高い正答率になりました。
第二に、それでも元のQwenには8問届きませんでした。 元モデル105/140に対し、K=2は97/140です。今回の追加学習後の正答率低下は、通常LoRAより反復構成の方が小さかった可能性があります。ただし、反復によって元モデルを強化できたとは言えません。
第三に、K=3はK=2より4問少ない結果でした。 同じadapterでも、K=2の97/140に対してK=3は93/140です。周回数だけでなく更新幅も変わるため、何が原因なのかはこの比較だけでは決められません。
通常LoRAに対するK=2の差について、対応付きbootstrap(同じ問題に対する2条件の正誤を組にして、問題を繰り返し抽出し直す集計法)の95%区間は+2.86〜+14.29ポイントでした。ただし、これは選んだ固定問題集合についての、多重比較補正前の記述的な区間です。複数の比較を同時に行った影響を考慮する補正後、補助検定では有意とは扱っていません。学習seed(乱数設定)を変えて再現するかどうかも未確認です。
なお、MMLU-Proの主集計では、回答文から選択肢を取り出せなかった場合に乱数で選択肢を補う fallback を使っています。抽出失敗を不正解とみなす補助集計では、K=3は92/140でした。問題文にはMMLU-Proのvalidationから少数の例題を添える few-shot 形式を使っていますが、chat形式なども公式の評価プログラム(runner)と同一ではありません。公式のMMLU-Pro全問スコアではなく、今回の固定subsetの結果として読んでください。
実際の回答を見比べる
140問を1問ずつ対応させると、通常LoRAの誤答がK=2で正答になった問題は16問、逆に通常LoRAの正答がK=2で誤答になった問題は4問でした。残り120問は両者の正誤が同じで、16−4=12問が正答数の差です。ただし、「正答に変わった」は採点上の選択肢ラベルについての話で、説明全体が改善したことまでは意味しません。
以下は、MMLU-Proの保存したtest問題と生成ログから、結果を見た後で選んだ説明用の例です。問題は日本語で要約し、引用部分はモデルの生成原文を短く抜き出しています。問題IDは元データの question_id、正解は今回使用した固定データのラベルです。ここで比較する通常LoRAとK=2の回答はいずれも乱数fallbackを使っていません。選んだ例が、140問全体を代表するとは限りません。
例1 力の比の計算が正答に変わった
chemistry / 問題ID 4092。陽子と電子の間に働く電気力と重力の大きさの比を求める問題です。正解はFの約 2 × 10^39。
通常LoRAの原文抜粋(A、誤答):
The resulting value is approximately $4.19 \times 10^{39}$, which is closest to $4 \times 10^{39}$. The answer is (A).
反復K=2の原文抜粋(F、正答):
2.307 × 10^-28 / 1.019 × 10^-67 = 2.265 × 10^39
This is approximately 2.3 × 10^39, which is closest to 2 × 10^39.
The answer is (F).
読み取り: 両者とも電気力と重力の式を使っていますが、通常LoRAは約 4.19 × 10^39、K=2は約 2.265 × 10^39 と計算しました。この例では、K=2の最終的な数値と選択肢がそろって正解側へ変わっています。ただし、この違いだけで内部の反復が計算を修正したとまでは言えません。
例2 単位換算をやり直し 正答の符号を選んだ
chemistry / 問題ID 4052。ホウ素と水素からヘリウムができる反応について、原子質量からエネルギー変化を求める問題です。正解はEの約 −2.01 × 10^8 kcal/mol。
通常LoRAの原文抜粋(G、誤答):
The energy released is 19.17 kcal / 1 mol = 1.917 × 10^1 kcal/mol. The answer is (G).
反復K=2の原文抜粋(E、正答):
So, 8.39 × 10¹¹ / 4184 ≈ 2.01 × 10⁸ kcal/mol
(中略)
Therefore, $\Delta E = -2.01 \times 10^8$ kcal/mol
The answer is (E).
読み取り: 通常LoRAでは単位換算が崩れ、本文の数値と選んだG(正の 2.01 × 10^8)も一致していません。K=2も最初から一貫して正しく計算したわけではなく、途中で 2.01 × 10^9 kcal/mol と誤計算した後に換算をやり直し、最後は数値・符号とも正解に対応しました。ここに見えているのは出力文章の中での訂正で、hidden stateの周回ごとの変化を直接観測したものではありません。
この2例は元Qwenも主集計上は正答だったため、通常LoRAとの出力比較として示しており、元モデルを超えた実例ではありません(問題4092の元Qwenは生成上限に達した回答からの抽出です)。
例3 正解ラベルでも説明が合っているとは限らない
computer science / 問題ID 10700。指定された解像度・色の間引き方・フレームレートから、1時間の動画の保存容量を求める問題です。固定データの正解はCの417 Gbytes。
通常LoRAの原文抜粋(A、誤答):
The number of Gbytes per hour is 906 Gbytes. The answer is (A).
反復K=2の原文抜粋(C、採点上は正答):
Step 6: Round to 3 significant figures = 446 Gbytes
The answer is (C).
読み取り: K=2は正解ラベルCを選んでいますが、本文の446 Gbytesは、選択肢Cの417 Gbytesと一致していません。通常LoRAも本文906 Gbytesに対して、600 GbytesのAを選んでいます。この問題は16問の改善に含まれますが、計算と説明が正しくなった成功例としては数えられません。Gbytesの単位解釈にも注意が必要です。今回の正答率は、説明全体の正確さを採点した指標ではありません。
例4 通常LoRAは正答 K=2は最終ラベルを取り違えた
math / 問題ID 8657。整域上の多項式環についての命題と、一般の環上で多項式の積の次数が加算されるかという命題の真偽を問います。固定データの正解はCの「真・偽」です。
通常LoRAの原文抜粋(C、正答):
The answer is (C).
反復K=2の原文抜粋(I、誤答):
So Statement 1 is true.
(中略)
So Statement 2 is false. The answer is (I). the answer is (I)
読み取り: K=2は本文では「第一の命題は真、第二は偽」と述べているのに、最後に「偽・偽」のIを選びました。これは、今回の採点で正答から誤答へ変わった4問の一つです。通常LoRAの説明にも零多項式の次数の扱いに注意点があり、正解ラベルを選んだことだけで説明全体を正しいとは扱っていません。
例5 両方とも固定正解と一致しなかった
history / 問題ID 5044。南米で金属使用の最初の証拠が見つかる年代を問う問題です。固定データの正解はFの3100 B.P.でした。
通常LoRA・反復K=2の原文抜粋(両方ともA、固定正解と不一致):
The first evidence of the use of metals in South America is dated to 5100 B.P. The answer is (A).
読み取り: この例では、通常LoRAとK=2の回答は同文でした。元QwenとK=3もAを選んでいます。ループを加えても、知識問題の答えが変わらない例が残りました。なお、元の回答冒頭にはWikipediaを参照するという文がありますが、それは生成文の一部で、実際に閲覧して答えた記録ではありません。
こうして並べると、正解に変わる例だけでなく、説明とラベルの不一致や、逆方向への変化も見えてきます。少数の回答例から、反復が効いた原因や一般的な得意・不得意を決めることはできません。
別の指標では、通常LoRAの方が良かった
ここまでのMMLU-Proは、生成した回答の最終選択肢が正しいかを見た結果です。一方、学習後に固定devの正解文章を予測させると、CE(クロスエントロピー。低いほど正解tokenを予測しやすい)は次のようになりました。
通常LoRA(K=1):固定devのCE(低いほど良い):0.3918
反復LoRA(K=2):固定devのCE(低いほど良い):0.4095
反復LoRA(同じadapter、K=3):固定devのCE(低いほど良い):0.4070
この指標では通常LoRAの方が良い結果です。CEは生成した最終回答の正答率ではありません。また、devの教師tokenはGSM8Kに偏り、保持devも日英計5件しかないことに注意が必要です。
6. 計算はどれだけ増えたか
第5節と同じ4条件・同じMMLU-Pro 140問について、回答を自然に生成させた際の長さと時間も記録しました。
元のQwen:平均生成token/問:770.0/平均秒/問:30.60秒
通常LoRA:平均生成token/問:258.4/平均秒/問:10.67秒
反復K=2:平均生成token/問:275.6/平均秒/問:12.12秒
反復K=3:平均生成token/問:269.3/平均秒/問:13.49秒
通常LoRAより反復K=2、反復K=2よりK=3の方が時間はかかりました。しかし、元Qwenは平均してはるかに長い文章を出しています。1問あたりの総時間だけで、同じ出力量に対する推論速度や計算効率を比較することはできません。 また、最大2,048tokenでの打切りは順に16件、7件、3件、7件あり、生成上限の影響も含まれます。
重みの増加が小さくても、計算やKV cacheの使用量は増えます。今回のように周回ごとに別々のKV cacheを保持する場合、履歴が6,144tokenまで埋まったと仮定したFP32のKVテンソル本体の理論値は、K=1で1.6875GiB、K=2で1.875GiB、K=3で2.0625GiBです。これらはGPUメモリ使用量の実測値ではなく、一時領域なども含みません。
7. 実装で難しかったのは、ループそのもの以外にもある
特に注意が必要だったのがKV cache(過去のtokenについて計算済みのkey・valueを保存し、次の生成で再利用する仕組み)です。しかし今回のLayer 15〜18は、同じ重みでも周回ごとに入力状態が異なります。そこで、初回と追加周回のcacheを分離しました。文章上のtoken位置は同じままなので、RoPE(tokenの位置をattention計算に反映する仕組み)の位置情報を周回ごとに先へ進めたりもしません。
因果mask(未来のtokenを参照させない制限)や勾配の伝播(学習時に誤差から各重みへの更新方向を計算すること)、元重みの不変、保存・再読込も検査しています。追加周回LoRAには非ゼロの有限な勾配が届き、完了した学習runの前後で元重みのhash(内容を照合するための値)が一致しました。
一方、BF16での長い入力を使った逐次cache比較は、許容値を超えて不合格でした。そのため、学習とdev CEはcacheなしで行い、最終生成評価は4条件ともFP32にそろえました。FP32では、cacheありの計算と、過去の入力を毎回すべて計算し直す方法との108比較が許容値内に収まりました。ただし、FP32で通ったことはBF16の問題が解決したことを意味しません。
学習途中の実行トラブルについても記録を残しています。初回の104応答を含む実行は異常終了し、終了時のRAM上の元重みhashを取得できませんでした。後から正常終了したrunの検査で、その欠損を補ったとは扱っていません。また、合成問題の封印final評価は未実施で、一時生成したfinal例がCPU側の検証処理で扱われた事故記録もあります。今回の結果を、未実施の封印評価まで通ったものとして扱うことはできません。
8. この実験で分かったこと、分からなかったこと
確認できたことは、既存のQwenの途中に4層の反復処理を後付けし、元重みを固定したまま追加周回のLoRAを学習できたことです。そして、この固定した問題集合では、反復K=2が通常LoRAを上回りました。
確認できなかったことは、通常LoRAとの差が反復そのものによるのか、LoRAの適用位置・更新則・学習computeの違いによるのか、という因果関係です。元のQwenを超える性能改善も得られていません。学習seedが1つで、保持データも少なく、評価も固定subsetに限られるため、一般的な推論能力や他の課題への効果までは結論づけられません。
学習集合と評価問題の正規化文字列を照合した完全一致は0件でしたが、意味的な類似や元モデルの事前学習への混入まで否定できるわけではありません。
次に試すなら、反復なし・更新式のみ・LoRAのみといった条件を分けた比較、学習computeをそろえた比較、複数seedでの再実験が必要だと思います。併せて、BF16 cacheの修正、周回によるhidden stateの変化の測定、難しい問題だけ反復回数を増やす仕組みも検討したいところです。ただし、これらは今回実施した内容ではありません。
おわりに
「今のLLMも、潜在空間で情報を回せばいいのでは」という思いつきから、Qwenの4層を実際にループさせるところまで試しました。
追加の計算をモデル内部で行うことはできた。でも、計算を増やすことと、賢くなることは同じではなかった。
今回の結果は、反復の可能性を示す小さな実装実験であると同時に、比較条件をきちんと作らなければ「効いた」とは言えない、という記録でもあります。
もっと回せばよいのか。それとも、回す位置・更新方法・学習方法を変えるべきなのか。そこはまだ、次の実験で確かめる必要があります。
参考資料
Qwen3-4B-Instruct-2507(Hugging Face) — 使用モデル。固定したrevision:cdbee75f17c01a7cc42f958dc650907174af0554。
Geiping et al., Scaling up Test-Time Compute with Latent Reasoning: A Recurrent Depth Approach(2025) — 関連研究。今回の既存モデル改造とは学習構成が異なる。
Hu et al., LoRA: Low-Rank Adaptation of Large Language Models — LoRAの原論文。
GSM8K(Hugging Face datasets) — 追加学習に使用した公開問題データ。
MMLU-Pro(Hugging Face datasets) — 評価問題と回答例の出典。採点には保存した固定版のtestを使用。
この記事は、保存された実装・設定・実験記録を基に編集した、単一seed・固定subsetの実験報告です。回答例は保存ログからの抜粋で、元データ・完全ログ・コード一式はこの記事には同梱していません。