メインコンテンツへスキップ
見出し画像
Photo by6231218

Gemma 3Nを試す:軽量マルチモーダルAIの実力とは?

    はじめに

    2025年に登場した Gemma 3N は、Googleが開発した次世代の軽量マルチモーダルAIモデルです。画像、テキスト、音声、さらには動画まで扱える汎用性を持ちながら、スマートフォンやJetsonのようなリソースの限られたEdgeデバイスでも動作するのが特徴です。

    本記事では、Gemma 3Nを実際に手元で動かしながら、どれだけ軽量で、どれだけ賢いのかを体感していきます。

    環境構築

    まずは、Google Colab で必要なライブラリをインストールします。

    !pip install transformers==4.53.0
    !pip install -U accelerate sentencepiece
    !pip install -U git+https://github.com/huggingface/peft.git

    ※私の場合、なぜかtransformers==4.53.0でないとうまくいかなかったので、ご注意ください。

    from huggingface_hub import login
    login("hf_****") 

    Haggingfaceのトークンを使ってログインします。事前にGemini3Nの利用申請を済ませてください。今回は、HuggingFace上で公開されている gemma-3n 系のモデル(例:google/gemma-3n-4b-it)を使用します。マルチモーダルモデルなので、言語と画像のペアでメッセージを作成します。

    from transformers import AutoProcessor, Gemma3nForConditionalGeneration
    from PIL import Image
    import requests
    import torch
    
    model_id = "google/gemma-3n-e4b-it"
    
    model = Gemma3nForConditionalGeneration.from_pretrained(model_id, device_map="auto", torch_dtype=torch.bfloat16,).eval()
    
    processor = AutoProcessor.from_pretrained(model_id)
    
    messages = [
        {
            "role": "system",
            "content": [{"type": "text", "text": "You are a helpful assistant."}]
        },
        {
            "role": "user",
            "content": [
                {"type": "image", "image": "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/bee.jpg"},
                {"type": "text", "text": "Describe this image in detail."}
            ]
        }
    ]
    
    inputs = processor.apply_chat_template(
        messages,
        add_generation_prompt=True,
        tokenize=True,
        return_dict=True,
        return_tensors="pt",
    ).to(model.device)
    
    input_len = inputs["input_ids"].shape[-1]

    generationは以下の通り。ここでtransformer==4.55.0を使うとエラーが発生しました。

    with torch.inference_mode():
        generation = model.generate(**inputs, max_new_tokens=100, do_sample=False)
        generation = generation[0][input_len:]
    
    decoded = processor.decode(generation, skip_special_tokens=True)
    print(decoded)

    出力は以下の通り。

    Captured in a close-up shot, a vibrant pink cosmos flower takes center stage, its delicate petals radiating outwards from a bright yellow center. The flower is in full bloom, showcasing its symmetrical form and soft texture. A small, fuzzy bumblebee is actively foraging on the flower's center, its body a mix of black and yellow stripes. The background is a blur of green foliage, suggesting a garden setting. Other cosmos flowers, some in various stages of bloom and some past their prime

    和訳すると:

    クローズアップで捉えたこの写真では、鮮やかなピンクのコスモスが中心に鎮座し、鮮やかな黄色の中心から繊細な花びらが放射状に広がっています。満開の花は、その左右対称のフォルムと柔らかな質感を際立たせています。小さくふわふわとしたマルハナバチが、花の中心部で活発に餌を探しています。その体には黒と黄色の縞模様が見られます。 背景には緑の葉がぼんやりと映り、庭園の情景を彷彿とさせます。他にも、様々な開花段階のコスモスや、見頃を過ぎたコスモスが咲いています。

    使用した画像は以下ですのであっていると思います。
    https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/bee.jpg

    Google Colab上では15~16GのVRAMを使用していました。

    Edgeデバイスへの最適化Tips

    実際にGemma 3NをEdgeに乗せるには、以下の工夫が有効です:

    • GGUF形式へ変換してllama.cppで実行:VRAM 2〜3GBで動作可能

    • Triton Inference Server:バッチ処理やAPIエンドポイント化に

    • ONNXやTensorRT:JetsonなどNVIDIA環境向けの高速推論に

    • LoRAアダプタ活用:モダリティごとに機能を追加し、柔軟に運用

    まとめ:GeMMでの活用可能性

    Gemma 3Nは、以下のようなGeMMユースケースに最適です:

    • スマホやローカルカメラ端末上での画像説明生成

    • 音声での画像検索やキャプション補足(マルチモーダル検索)

    • RAG連携による軽量なメディアナレッジ検索

    「小さいけれど賢い」モデルとして、Gemma 3Nはまさに生成AIの民主化を象徴する存在です。


    さいごに

    実際にGemma 3Nを動かしてみて、Googleが提示した「軽量×高性能」なマルチモーダルAIの可能性を強く実感しました。特に、数十行のコードで画像とテキストを自然に組み合わせた生成が行え、しかもその出力内容が非常に豊かで精度も高いことに驚かされました。一方で、transformersのバージョン差による挙動の違いや、まだ開発中の部分との付き合い方など、現時点ではある程度の試行錯誤と技術的理解が求められる側面もあります。ですが、それを補って余りあるパワーがGemma 3Nにはあると思います。現場特化型のメディアAIアプリケーションにおいても、十分に実装可能で、しかもEdge実行まで視野に入るGemma 3Nは、「2025年以降の現実的な生成AI活用」を象徴するモデルの一つになると感じました。

    これからも引き続き、Gemma 3Nやその後継モデルの進化を追いながら、実践的な検証を重ねていきたいと思います。

    ではまた。


     
     
    弊社では、データサイエンス、R&Dをはじめ、生成AIアプリケーション開発、ファインチューニング、エッジデバイスへの最適化等の開発に取り組んでいます。それらに関する情報発信をしてまいります。https://www.shimmyo-lab.com/

    あなたへのおすすめ