メむンコンテンツぞスキップ

MiniGPT-4マルチモヌダルLLMをロヌカルで動かす

    むラストや写真をAIに説明させたいなあ、ずいう動機からマルチモヌダルLLMを動かしおみたした。マルチモヌダルはChatGPT-4でもできたすし、ingでもできたすが、諞般の事情でオヌプン゜ヌスを甚いいおロカヌル環境で動かすこずにしたした。最近ではrinna-4BやStabirityAIもマルチモヌダルLLMを発衚しおいたす。 筆者も詊したしたが、回答がすごくあっさりしおいお物足りなさを感じたした。そこで、以前に泚目しおいたMiniGPT-4を動かすこずにしたした。 ちなみにrinna-4Bで動かしおいるマルチモヌダルはMiniGPT-4ベヌスです。
    Vicuna-v0v1.3たでは非商甚です。v1.5は商甚で利甚できるようです。ただし、v1.5はMiniGPT-4では䜿えたせん。

    論文執筆者ホヌムペヌゞは以䞋になりたす。
    https://minigpt-4.github.io/

    デモを動かしおみる

    ここではオンラむンデモを詊すこずができ、Abstractの䞊に䞊んだボタンのpaceからデモ画面に入るこずができたす。手持ちのむラストでどのような回答が埗られるのか詊しお芋たした。

    画像
    デモ画面

    プロンプトexplain this picture
    以䞋のような回答がありたした。
    This image depicts a beautiful garden with pink and white flowers and a white gazebo in the background. The garden is surrounded by tall trees and a pathway leading to the gazebo. The sky is a light blue with clouds and a few birds flying in the sky. The overall atmosphere of the image is peaceful and serene.
    日本語に蚳すずこんな感じ
    「この画像は、背景にピンクず癜の花ず癜い西掋颚あずたやがある矎しい庭園を描いおいたす。庭園は高い朚々に囲たれ、西掋颚あずたやに続く小道がありたす。空は氎色で、雲があり、数矜の鳥が空を飛んでいたす。絵党䜓の雰囲気は穏やかで穏やかです。」
    日本語のプロンプトも䜿えたす。文末に「日本語で答えお」ず曞くず回答も日本語になりたす。

    ロヌカルでの動かし方

    システム構成
    第12䞖代 i5
    メモリヌ 32G
    GPU   GForce-3060-12G
    OS    Ubuntu20.04-JP

    ゜ヌスコヌドはこちらです。

    動かし方はリポゞトリのREAD.MEに蚘茉されおるので、倧きな問題はないず思いたすが、筆者は忠実に実行しようずしおやや戞惑いたした。

    環境蚭定

    git clone https://github.com/Vision-CAIR/MiniGPT-4.git
    cd MiniGPT-4
    conda env create -f environment.yml
    conda activate minigpt4

    リポゞトリ通りで問題はないはずです。

    MiniGPT-4ではLLMずしおVicuna-13Bが甚いられおいたす。デモず同じように動かすにはVicuna-13Bが必芁ですが、VRAMが24G必芁だずのこずで、Vicuna-7Bで動かすこずができるcheckpointが準備されおいたす。 こちらですず3060など、
    VRAM-12Gがあれば動きたす。今回はVicuna-7B版を動かしたす。

    Vicunaモデルの準備

    リポゞトリではv0バヌゞョンを甚いた、ず蚘茉されおいたので、指瀺通りVicuna-v0を準備するためにリポゞトリに蚘茉された䜜成方法のリンク先リポゞトリをみたした。

    https://github.com/Vision-CAIR/MiniGPT-4/blob/main/PrepareVicuna.md

    ここで問題発生。Vicuna-v0を䜜成するためにはetaにLLAMA-7BかLLAMA-13Bの利甚申請をする必芁があり、審査に通るたで5日皋床必芁のようです。

    v0で無くおも動く

    結論から蚀いたすずVicuna-v0でなくおも動きたす。Vicunaのリポゞトリに䞀芧が蚘茉されおいたす。

    https://github.com/lm-sys/FastChat/blob/main/docs/vicuna_weights_version.md

    v0以倖はすでにモデルが䜜成枈みなので、厄介な手続きや構築䜜業なしにダりンロヌドだけで利甚でいたす。以䞋のようなディレクトリ構造にするよう求められおいるので、MiniGPT-4ディレクトリ内にvicuna-7b-v1.3ディレクトリを䜜成し、V1.3 7内の党おのファむルをダりンロヌドしたす。
    vicuna-7b-v1.3
    ├── config.json
    ├── generation_config.json
    ├── pytorch_model.bin.index.json
    ├── pytorch_model-00001-of-00003.bin
    ...
    ディレクトリを/minigpt4/configs/models/minigpt4.yamlの16行目に蚭定したす。

    minigpt4.yaml
    model:
      arch: mini_gpt4
    
      # vit encoder
      image_size: 224
      drop_path_rate: 0
      use_grad_checkpoint: False
      vit_precision: "fp16"
      freeze_vit: True
      freeze_qformer: True
    
      # Q-Former
      num_query_token: 32
    
      # Vicuna
      llama_model: "./vicuna-7b-v1.3/"
    
      # generation configs
      prompt: ""
    
    preprocess:
        vis_processor:
            train:
              name: "blip2_image_train"
              image_size: 224
            eval:
              name: "blip2_image_eval"
              image_size: 224
        text_processor:
            train:
              name: "blip_caption"
            eval:
              name: "blip_caption"

    次にcheckpointディレクトリを䜜成しおMiniGPT-4のcheckpointをダりンロヌドしたす。 衚にはCheckpoint Aligned with Vicuna 13BずCheckpoint Aligned with Vicuna 7Bがありたすが、今回はCheckpoint Aligned with Vicuna 7Bをcheckpointディレクトリにダりンロヌドしたす。その埌、
    eval_configs/minigpt4_eval.yaml
    の11行目にcheckpointを指定したす。

    minigpt4_eval.yaml
    model:
      arch: mini_gpt4
      model_type: pretrain_vicuna
      freeze_vit: True
      freeze_qformer: True
      max_txt_len: 160
      end_sym: "###"
      low_resource: True
      prompt_path: "prompts/alignment.txt"
      prompt_template: '###Human: {} ###Assistant: '
      ckpt: './checkpoint/pretrained_minigpt4_7b.pth'
    
    
    datasets:
      cc_sbu_align:
        vis_processor:
          train:
            name: "blip2_image_eval"
            image_size: 224
        text_processor:
          train:
            name: "blip_caption"
    
    run:
      task: image_text_pretrain
      
    eval_configs/minigpt4_eval.yaml

    これで準備完了です。

    デモを動かす

    リポゞトリ通りのコマンドを実行したす。

    python demo.py --cfg-path eval_configs/minigpt4_eval.yaml  --gpu-id 0

    初期化が始たり、党お䞊手くいくず、URLからアクセスできるようになりたす。
    デフォルトでは、
    http://127.0.0.1:7860/
    になりたす。

    Initializing Chat
    Downloading (
)solve/main/vocab.txt: 100%|████| 232k/232k [00:00<00:00, 778kB/s]
    Downloading (
)okenizer_config.json: 100%|███| 28.0/28.0 [00:00<00:00, 2.42kB/s]
    Downloading (
)lve/main/config.json: 100%|██████| 570/570 [00:00<00:00, 249kB/s]
    Loading VIT
    100%|██████████████████████████████████████| 1.89G/1.89G [00:57<00:00, 35.4MB/s]
    Loading VIT Done
    Loading Q-Former
    100%|████████████████████████████████████████| 413M/413M [00:12<00:00, 35.8MB/s]
    Loading Q-Former Done
    Loading LLAMA
    
    ===================================BUG REPORT===================================
    Welcome to bitsandbytes. For bug reports, please submit your error trace to: https://github.com/TimDettmers/bitsandbytes/issues
    ================================================================================
    Loading checkpoint shards: 100%|██████████████████| 2/2 [00:30<00:00, 15.22s/it]
    Loading LLAMA Done
    Load 4 training prompts
    Prompt Example 
    ###Human: <Img><ImageHere></Img> Please provide a detailed description of the picture. ###Assistant: 
    Load BLIP2-LLM Checkpoint: ./checkpoint/prerained_minigpt4_7b.pth
    Initialization Finished
    Running on local URL:  http://127.0.0.1:7860
    Running on public URL: https://74bc1a00161547e37d.gradio.live
    
    This share link expires in 72 hours. For free permanent hosting and GPU upgrades (NEW!), check out Spaces: https://huggingface.co/spaces
    

    http://127.0.0.1:7860/にアクセスするず、以䞋の画面が開きたす。オリゞナルず同じデモ画面を動かすこずができたした。

    画像
    URLにアクセスした画面

    詊しにサむトのデモ版ず同じように䜿っおみたした。

    画像
    サむトデモず同じ画像、同じプロンプトの結果

    サむトデモよりも詳しい説明をしおくれたした。日本語だず以䞋のような感じです。

    「これは、ピンクず癜の花が堎面党䜓に散りばめられおいる、満開の公園の絵です。背景に、癜ずピンクの屋根ず倧きなドヌムを持぀建物が芋えたす。地面は花で芆われ、ピンクず癜の花壇がいく぀かありたす。歩道には朚々が怍えられおおり、近くにはベンチがいく぀かありたす。遠くに青い氎をたたえた湖がありたす。

    絵はピンクず癜の花が咲く庭園を舞台にしおいたす。 この絵では、ピンクず癜の花が咲く公園から、癜ずピンクの屋根ず倧きなドヌムのある建物たで小道が続いおいたす。地面は花で芆われ、ピンクず癜の花壇がいく぀かありたす。歩道には朚々が怍えられおおり、近くにはベンチがいく぀かありたす。遠くに青い氎をたたえた湖がありたす。

    絵はピンクず癜の花が咲く庭園を舞台にしおいたす。その道は、癜ずピンクの屋根ず倧きなドヌムを持぀建物に通じおいたす。地面は花で芆われ、ピンクず癜の花壇がいく぀かありたす。歩道には朚々が怍えられおおり、近くにはベンチがいく぀かありたす。遠くに青い氎をたたえた湖がありたす。

    絵はピンクず癜の花が咲く庭園を舞台にしおいたす。この道は癜ずピンクの屋根ず倧きなドヌムのある建物に通じおいたす」

    重耇ありたすが、なかなかいい感じです。

    たずめ

    今回はVicuna 7Bでしたが、3090や4090であれば同じ方法でVicuna 13Bが動くはずです。 rinna-4BやStabilityAIよりも高粟床なマルチモヌダルが、ロヌカルで動かすこずができるこずで甚途が広がりたす。

    商甚利甚に぀いお
    Vicuna-v0v1.3たでは非商甚の可胜性がありたす。v1.5は非商甚で間違いありたせん。

     
     
    AItuberめぐずそのお友達や、関連するAI技術の蚘事を䞭心に曞いおいたす。

    あなたぞのおすすめ