メインコンテンツへスキップ
見出し画像

モダンTransformer

    こんな人におすすめ
    •Transformerのアーキテクチャを、表面的な理解ではなく深く理解したい人
    •Transformerを使ったLLM・生成AIの内部技術を理解したい人
    •RAGやSLM、MoE、エージェントなど、Transformerを応用した技術まで体系的に学びたい人

    この本を読んでいて、個人的に特に面白いと感じたのが、SLM(Small Language Model)をLLMの周辺に配置して使うという考え方でした。

    一般的にいうハーネス見たいなイメージですかね?

    BERTやGemma3 270MなどのSLMを単純に「性能の低いLLM」として扱っていないことです。

    むしろ、SLMにはSLMの得意な仕事を担当させ、LLMと組み合わせる。

    例えば、

    * 入力の分類
    * 意図判定
    * セキュリティ・コンプライアンスチェック
    * 特定形式への変換
    * ガードモデル
    * 特定タスクに特化した処理

    といった仕事を小さなモデルに任せる。

    そして、本当に高度な推論や生成が必要になったところでLLMを呼び出す。

    こう考えると、SLMは「小さいLLM」というより、LLMをうまく動かすための部品として見ることができます。

    100点のLLMに全部やらせるのではなく、

    小さなモデル → LLM → 小さなモデル

    のように、それぞれのモデルに得意な仕事を担当させる。

    この考え方は実務でのAIシステムの組み方に活かせそうです。

    この記事が参加している募集

     
     
    都内在住のエンジニア。

    あなたへのおすすめ