
Transformerじゃなくても言語モデルは作れる?
今の生成AIを触っていると、かなり高い確率で出会う単語があります。
Transformer。
現在よく使われている大規模言語モデルの多くは、Transformerを中核とするアーキテクチャを採用しています。
なので、
「LLM=Transformerで作るもの」
みたいなイメージを持っている人も多いかもしれません。
でも、よく考えるとちょっと不思議です。
そもそもTransformerが登場したのは2017年。
それより前から、AIは文章を扱っていました。
じゃあ昔のAIはどうやって文章を読んでいたのか。
そして今、Transformer以外の言語モデルはもう研究されていないのか。
今回は、
「AIは、過去の文章をどう覚えて次の言葉を予測しているのか」
という視点から、Transformerと、それ以外の方式をざっくり眺めてみます。
⸻
そもそも「言語モデル」と「Transformer」は同じものではない
まずここを分けておきます。
言語モデルは、とても乱暴に言えば、
ここまでの文章がこうだったとき、次には何が来そう?
を扱うモデルです。
たとえば、
吾輩は
まで読んだとします。
その続きを、
猫
学生
冷蔵庫
火星
などの候補から予測する。
実際のLLMはこんな単純ではありませんが、基本となる仕事の一つは、こうした「次に来るものを予測すること」です。
一方のTransformerは、その仕事を実現するための仕組みの一つです。
つまり、
言語モデル=言葉の並びをモデル化するもの
で、
Transformer=それを実現するために使えるアーキテクチャの一種
という方が近い。
Transformer以外の方法で言語モデルを作ること自体は、別に禁止されていません。
というか、Transformerが生まれる前は当然みんな別の方法でやっていました。
⸻
昔は「直前に何があった?」を見る方法もあった
古典的な方法には、n-gramなどがあります。
たとえば、
私は今日
まで文章が来たら、
過去の文章データを調べて、
「私は今日」の後には「学校」がよく来る
「仕事」も来る
「猫」はちょっと少ない
みたいな情報から次を予測する。
かなり単純化すると、
「最近何が出てきたか」を材料にして次を考える
方式です。
これはこれで分かりやすい。
ただ、問題があります。
文章が長くなると、
ずっと前に出てきた情報をどうするの?
という話になります。
たとえば小説の冒頭で、
犯人は左手に赤い手袋をしていた。
と書かれていて、5000文字後にその情報が重要になる。
直前の数単語だけ見ている方式では、こういう遠い情報を扱うのは難しい。
そこで、
「だったら、ここまで読んだ内容を何らかの形で持ち歩けばいいのでは?」
という発想が出てきます。
⸻
RNN――文章を読みながら「頭の中」を更新していく
ここで登場する代表的な仕組みが、
RNN(Recurrent Neural Network)
です。
RNNは文章を前から順番に読みます。
たとえば、
吾輩は
を読む。
すると、その情報を使って内部の状態を更新する。
次に、
猫で
を読む。
今度は、
「吾輩は」を読んだあとの状態+「猫で」
を使って、また内部状態を更新する。
さらに、
ある
を読む。
また更新。
イメージとしては、
本を読みながら、頭の中のメモを書き換え続けている
みたいな感じです。
過去の文章を全部そのまま抱えるのではなく、
「ここまで読んで分かったこと」
を内部状態として持ち歩く。
これ、かなり自然な発想ですよね。
人間も本を読んでいるとき、前のページを一文字ずつ全部頭の中に並べているわけではなく、
「こういう話だった」
という状態を持ちながら読んでいます。
⸻
でもRNNには「昔のこと忘れちゃう問題」があった
ところが、普通のRNNには大きな問題がありました。
文章が長くなると、
遠い過去の情報を学習するのが難しい。
ニューラルネットの学習上、勾配がどんどん小さくなってしまう「勾配消失」と呼ばれる問題などが関係します。
簡単に言えば、
3秒前のことは覚えてる。
でも50ページ前に言われたことは……なんだっけ?
みたいなことが起こりやすい。
そこで1997年に登場した代表的な方式が、
LSTM(Long Short-Term Memory)
です。
HochreiterとSchmidhuberが発表したLSTMでは、情報を長く保持するためのメモリセルと、そこへのアクセスを制御する仕組みが導入されました。
ざっくり言えば、
「大事な情報を長く保持しながら、必要なときにそこへアクセスする」
ことをしやすくしたRNNです。
その後の改良では、「何を忘れるか」を制御する仕組みなども追加され、現在よく知られているLSTMへ発展していきました。
⸻
そして2017年、Transformerが来る
ここで2017年。
Googleの研究者らが、
Attention Is All You Need
という論文を発表します。
タイトルからして強い。
この論文で提示されたのが、
Transformer
です。
Transformerの大きな特徴の一つが、
Self-Attention
です。
⸻
「記憶を運ぶ」より「必要なところを見る」
RNNは基本的に、
過去
↓
内部状態
↓
内部状態
↓
内部状態
↓
現在
という形で、情報を順番に運んでいきます。
一方、Transformerでは発想がかなり違います。
たとえば、
太郎は机の上に本を置いた。
そのあと花子からバッグを借りた。
彼はそれをバッグに入れた。
という文章があったとします。
「それ」が何なのか理解したい。
このときTransformerは、
「この部分を理解するためには、文章のどこを見るべき?」
という関係をAttentionによって計算できます。
「それ」と、
「本」
の関係が強ければ、そこへ強く注意を向ける。
つまり、
昔の情報を一つの状態へ全部押し込んで運んでくる
というより、
必要になったら、過去のどこが重要なのかを見る
という方向です。
⸻
Transformerが強かった理由は、Attentionだけではない
Transformerがここまで広がった理由として重要なのが、
並列化しやすかったこと
です。
RNNは文章を、
1番目
↓
2番目
↓
3番目
↓
4番目
と順番に処理する性質が強い。
前の状態が決まらないと、その次の状態を計算できないからです。
一方、Transformerは学習時に系列内の多くの計算を並列化できます。
大量のGPUを使って、
巨大なデータを巨大なモデルへ食わせる
という現在のLLM開発との相性が非常によかった。
2017年のTransformer論文自体も、RNNやCNNを使わずAttentionを中心に構成し、従来方式より並列化しやすいことを特徴として挙げています。
そしてモデルは巨大化していき、
現在の生成AIにつながっていきます。
⸻
じゃあ、Transformerで最終回答なの?
ここまで読むと、
「じゃあTransformerで解決じゃん」
と思うかもしれません。
私も普通にそう思います。
強いし。
実際、現在の大規模言語モデルの中心にTransformerがいるのは、それだけうまくいったからです。
ただし、
Transformerにも弱点はあります。
特に有名なのが、長い系列を扱うときの計算コストです。
標準的なSelf-Attentionでは、系列が長くなるにつれてAttention計算の負担が大きくなります。
つまり、
文脈長をどんどん伸ばしたい!
となったとき、
計算量もメモリもどんどんください!
となる。
困る。
非常に困る。
そこで研究者は考えます。
「Attention以外の方法、まだあるんじゃない?」
⸻
そして「状態を持つ方式」がまた注目される
ここ数年、面白い流れがあります。
Transformer以前から存在していた、
「内部状態を持ち、それを更新しながら系列を処理する」
という発想が、別の数学的枠組みから現代的に再浮上してきています。
その一つが、
State Space Model(SSM)
です。
⸻
SSM――文章を「変化していく状態」として扱う
State Space Model自体は、AIよりずっと広い分野で使われてきた考え方です。
システムの内部に「状態」があって、
入力を受けるたびに、
状態が変化する。
その状態から出力が生まれる。
ものすごく雑に書けば、
入力
↓
現在の状態を更新
↓
出力
という仕組みです。
これを現代的なニューラルネットへ持ち込んだ研究の一つが、
S4(Structured State Space for Sequence Modeling)
です。
2021年に発表されたS4は、非常に長い系列を効率よく扱うために、State Space Modelをニューラルな系列モデルへ組み込む方法を示しました。
⸻
Mamba――「何を残すか」を入力によって選ぶ
そして2023年に登場したのが、
Mamba
です。
名前が強い。
MambaではSelective State Space Modelという考え方が導入されています。
ポイントの一つは、
入力によって、どの情報を状態へ残すかを選べる
ことです。
つまり、
これは重要だから持っておこう。
これはいらないから忘れよう。
という情報選択を、入力に応じて変えられる。
論文ではAttentionやMLPブロックを使わないMambaアーキテクチャを構成し、系列長に対して線形にスケールする処理や、言語・音声・ゲノムなど複数分野での結果が報告されています。
ここまで来ると、
ちょっと面白くありません?
Transformer以前、
「内部状態を持って文章を読もう」
とやっていた。
Transformerが来て、
「必要な場所を直接見ればいいじゃん」
となった。
そして今、
「状態を持って系列を扱うという発想も、まだ全然終わってないのでは?」
と、新しい形で研究が進んでいる。
一周しているように見えて、
同じ場所には戻っていません。
⸻
RNNもまだ死んでいなかった
さらに面白いものがあります。
RWKVです。
RWKVは、Transformerのように並列化して学習できる性質と、RNNのように効率よく逐次推論できる性質を組み合わせることを狙ったアーキテクチャです。
論文では14Bパラメータ規模までスケールしたモデルも評価されています。
つまり、
「TransformerかRNNか」
という二択ではなく、
Transformerのここは欲しい。
RNNのここも欲しい。
じゃあ両方取れない?
という研究も普通にある。
AI研究者、欲張りです。
でも、その欲張りが技術を進めます。
⸻
そしてLSTMまで帰ってきた
さらに2024年。
xLSTM(Extended Long Short-Term Memory)
という研究が出ました。
著者には、あのLSTMを提案したSepp Hochreiter本人もいます。
論文が投げかけた問いはかなり面白くて、
ざっくり言えば、
「現代のLLMで使われている技術を使って、LSTMを数十億パラメータまで本気でスケールさせたらどうなる?」
です。
1997年に登場したLSTM。
2017年にTransformerが登場。
そして2024年、
LSTM、現代装備で再出撃。
こういうの、私はかなり好きです。
古い方式だから終わった。
新しい方式だから絶対正しい。
という単純な世界ではありません。
計算機が変わる。
学習方法が変わる。
データ量が変わる。
周辺技術が変わる。
すると、
昔うまくいかなかったアイデアが、別の姿で帰ってくる
ことがあります。
⸻
結局みんな、何と戦っているのか
ここまでいろんな方式が出てきました。
ちょっと整理します。

こうして見ると、
Transformer vs 非Transformer
という単純な戦いでもないんですよね。
もっと根本には、
「過去の情報をどう持つ?」
「何を忘れる?」
「必要な情報をどう取り出す?」
「それをどうやって効率よく計算する?」
という問題があります。
言語モデルの歴史って、
見方を変えるとずっと、
「文脈と記憶をどう扱うか」
の設計競争なのかもしれません。
⸻
ところで、なんで急にこんな記事を書いたのか
さて。
ここまで、
TransformerだのRNNだのMambaだの、
いろいろ話してきました。
ここで一つ、
「ところで、なんで急にこんな記事を書いてるの?」
という話があります。
実は今、
Transformerとは異なる仕組みで、履歴を使った予測や文脈依存の振る舞いをどこまで成立させられるか
を試しています。
既存のMarkov系やRNN系などとの比較も進めていますが、現在は特許化も含めて扱いを検討しているため、内部構造や既存方式との差分については、この記事では意図的にぼかします。
ただ、
「アイデアを思いついただけ」
の段階は、すでに越えています。
実際にコードを書き、
回帰テストを組み、
複数のベースラインと比較しながら、
どこで成立して、どこで壊れるのか
を検証しています。
ちなみに開発を手伝っているCodexによる自己評価では、
「研究基盤としては95%くらい」
まで来ているらしいです。
……。
開発を手伝っているAI本人による自己申告なので、その95%をどこまで信用していいのかは知りません。笑
⸻
まだ「新しい言語モデルができた」とは言わない
ここは大事なので、最後に。
現時点では、
「新しい言語モデルを作りました!」
と言うつもりはありません。
まだ確認しなければいけないことはたくさんあります。
簡単な条件では動いても、複雑になったら壊れるかもしれない。
あるテストでは既存方式を上回っても、別のテストでは普通に負けるかもしれない。
そもそも進めていった結果、
「この設計ではここが限界でした」
になる可能性だって普通にあります。
でも少なくとも、
ふと思いついたアイデアをコードにして、動かして、壊して、比較して、成立条件を探る
ところまでは来ました。
この先、
ちゃんと言語モデルになっていくのか。
それとも盛大に壁へ突っ込むのか。
まだ分かりません。
なので、もう少し遊んでみます。
🐱
エミリアラボは、YouTubeを見て「これ面白い!」と騒いでいるだけの場所ではなかったらしい。
たまにはちゃんとラボっぽいこともしています。笑
⸻
参考にした一次資料
* Vaswani et al. (2017), Attention Is All You Need
* Hochreiter & Schmidhuber (1997), Long Short-Term Memory
https://direct.mit.edu/neco/article/9/8/1735/6109Long-Short-Term-Memory
* Gu, Goel & Ré (2021), Efficiently Modeling Long Sequences with Structured State Spaces
* Gu & Dao (2023), Mamba: Linear-Time Sequence Modeling with Selective State Spaces
* Peng et al. (2023), RWKV: Reinventing RNNs for the Transformer Era
* Beck et al. (2024), xLSTM: Extended Long Short-Term Memory
#AI #生成AI #LLM #Transformer #RNN #LSTM #Mamba #RWKV #xLSTM #言語モデル #機械学習 #AI研究 #個人研究 #非Transformer #エミリアラボ