
モダンTransformer
こんな人におすすめ
•Transformerのアーキテクチャを、表面的な理解ではなく深く理解したい人
•Transformerを使ったLLM・生成AIの内部技術を理解したい人
•RAGやSLM、MoE、エージェントなど、Transformerを応用した技術まで体系的に学びたい人
この本を読んでいて、個人的に特に面白いと感じたのが、SLM(Small Language Model)をLLMの周辺に配置して使うという考え方でした。
一般的にいうハーネス見たいなイメージですかね?
BERTやGemma3 270MなどのSLMを単純に「性能の低いLLM」として扱っていないことです。
むしろ、SLMにはSLMの得意な仕事を担当させ、LLMと組み合わせる。
例えば、
* 入力の分類
* 意図判定
* セキュリティ・コンプライアンスチェック
* 特定形式への変換
* ガードモデル
* 特定タスクに特化した処理
といった仕事を小さなモデルに任せる。
そして、本当に高度な推論や生成が必要になったところでLLMを呼び出す。
こう考えると、SLMは「小さいLLM」というより、LLMをうまく動かすための部品として見ることができます。
100点のLLMに全部やらせるのではなく、
小さなモデル → LLM → 小さなモデル
のように、それぞれのモデルに得意な仕事を担当させる。
この考え方は実務でのAIシステムの組み方に活かせそうです。