メインコンテンツへスキップ
見出し画像

でも、すべては見た目通りじゃないんだ Project "Council Meetings"

    タイトルの元ネタはこちら ↓

    (日本語の歌詞字幕付きだよ)

    価格高騰が著しく、miniPCが買えるのではないかという値段のラズパイ5・8GBモデルでローカルAIサーバーを作りました。

    でも、もう少し値段の安い4GBモデルや、ラズパイ4でも動かせないか、確かめることにしてみました。

    ラズパイ5での検証が終わったのでまず報告します。


    かそ☆せいが持ってるラズパイ5の8GBモデルはムーン風切丸として、株式市場の情報を毎日配信してくれてるので今回は使えません。
    ちょっと似ているラズパイ500(8GB)を使います。

    画像
    キーボード一体型のラズパイ5、8GB

    はじめに結論



    結論です。これだけ読んでもらえれば、あとのグダグダしたものは読まなくってもOK牧場です。

    ラズパイ500でローカルAIモデル10個に同じ防災課題を解かせ、次のことがわかりました:
    ・速いけど仕事ができないモデルがある
    ・考えすぎて無言になるモデルもある


    もう一度言います。
    仕事ができるふりをして全くできないやつがいた。
    それとは別に頭がいいふりをしながら何にもできないやつがいた。

    画像

    検証の前提条件

    ストレージ


    ストレージははじめ手持ちのmicroSDにしようとしていましたが、ムーン風切丸のM.2SSDとくらべ、Ubuntuのインストールに気の遠くなるほどの時間がかかったことからUSBメモリに変更しました。

    USB3.1の旧モデルですが、MicroSDに比べると雲泥の違いです。
    通販だと3千円台で買えます。
    NVMe PCIe接続・Type 2242は早くて快適なのですが、128GB品は他のSSDと同様高値爆進中です。
    ラズパイ程度の用途であれば、USB3.1でもそこそこ実用的だと思いますのでおすすめですよ奥様。

    AIモデルに何を依頼するか?


    ラズパイ500の上で、Ollama経由で10個のローカルAIモデルを動かして、まったく同じ課題を解かせる。

    どのようなモデルを使うか?


    モデルは小さい順に、gemma3の270m(2億7千万パラメータ)から、gemma2の2b(20億)まで。
    どれもラズパイで動くサイズのモデル。

    課題と前提条件は「自治体の防災担当者を支援するAI」として、台風接近時の避難情報の発信計画を作らせる、
    というもので、Project”Council Meetings”で、3つのAIに投げ、manusがブラッシュアップしたもの。

    ただの雑談ではなく、
    - リスクと制約を整理
    - 地域ごとの優先順位と、その理由を書く
    - 防災無線・Web・メール・SNSの使い分けと、住民向けメッセージの例を作る
    - 最後に実行チェックリストを付ける
    - 与件にない避難所名や気象予測を作らないこと(分からないことは「要確認」と書く)


    という、形式と「嘘をつくな」の条件を付けた実務寄りの課題です。

    生成条件(temperature=0.3、seed=42、最大2048トークン)は全モデルで揃えました。

    採点するAI


    つい昨日使い始めた、AIアシスタント「おもち」(muse)にしてもらいました。

    画像
    はたらきものだよ「おもち」

    今、招待コードを使わせてもらって、10億トークンもらってむっちむっちになったけど、ぜんぜんトークンが減らんですたい。


    すべてのテキストを一度Google Driveに入れ、「おもち」に取りに行かせ、レビューと採点結果をまとめてGoogle Driveに入れてもらいました。

    採点


    すべての回答を課題と照らし合わせて、「おもち」に採点をしてもらいました。

    画像
    画像
    画像
    画像


    Geminiに実行時の最大メモリ使用量の表を作ってもらいましたので参考まで。

    画像


    ダメだったもの、失敗


    今回の課題でダメだったものです。

    ・考えすぎて無言(qwen3.5の2モデル)


    最新のqwen3.5(0.8bと2b)は、2つとも回答が空っぽ。
    ああ、T.S.エリオットの詩が頭に浮かぶ。

    ”われらはうつろなAIたち、われらは剥製のAI。頭には藁しか詰まっていない。ああ”

    思考過程だけで2048トークンの上限を使い切り、本文を一文字も書けてません。
    ”ああ”

    2bは627秒=10分以上考え続けて無言。メモリも一番食ってます。

    大飯ぐらいのくたびれもうけ。

    頭が藁のAIは、「考えるモデル」は強いはずが、考える量を制御しないと、試験で言えば「考え込んで白紙提出」と同じことが起きてしまいます。
    運用に組み込むなら、思考量の上限管理は必須です。

    ・中国語で返してきた(deepseek-r1:1.5b)


    日本語で書けと指示したのに、回答は簡体字中国語。おまけに「市職員は限られている」を「職員の給与が限られている」と誤読したまま、同じ文を30回以上繰り返す表まで作ってくれました。
    今回の課題には不向きだったんでしょう。

    だけど、Council Meetingsプロジェクト初期に、Geminiはしきりにdeepseek-r1を日本語処理に推薦してきてました。

    使わなくって良かった。

    ・さらっと嘘をつく(qwen3:1.7b)


    パフォーマンスは良いのですが、防災無線のメッセージ例で「地域Aの避難所は午前10時までに開設」と、与件にない避難所の開設時刻を事実のように書き込んでいます。もし、これを公的機関が用いるのであれば、これは一番まずい嘘でしょう。
    「遅い」とか「下手」より「もっともらしく嘘をつく」のは論外です。
    今回一番の学びです。

    今回の優勝者(gemma2:2b)


    結論→リスク→優先順位→手段の使い分け(メッセージ例つき)→時系列の計画→注意点→チェックリストと、指定した形式をほぼ完全に守り切ったのはgemma2:2bだけです。

    ただし、
    メモリは一番食う
    速度も遅い部類


    でも「速くて使えない」と「遅いけど使える」なら、実務ではgemma2:2bです。

    分かったこと


    - 小さいモデル(0.5b以下)は速いけど、課題の言い換えと繰り返しで終わる。実務の下限は2b級くらいかも
    - 失敗の仕方がモデルごとにまったく違う。無言、中国語化、捏造、ループ。速さの順位表だけでは分からない
    - 「同じ課題で比べる」のはとても大事。ベンチマークの数字(tok/s)だけ見て選ぶと、無言のモデルを掴まされる
    - 確かなことは言えないけど、メモリ使用量だけ見れば、今回選んだモデルたちはラズパイ5の4GBモデルで動かせるかも

    AIアシスタント「おもち」の推薦


    1. 本命:gemma2:2b — ラズパイ級のマシンで「日本語の実務文書を形式通りに書かせる」ならこれ。メモリと速度は我慢する
    2. 対抗:qwen3:1.7b — 構成力は高い。捏造チェックを人間が挟む前提で
    3. 軽量枠:gemma3:1b — 短い指示・軽い下書き用。出力長の制御に注意
    4. 再検証枠:qwen3.5 系 — 思考を制御した設定でもう一度測ってから判断する



    おまけですが、10のAIモデルが吐き出したテキスト(ZIP)と、「おもち」によるレポートをのせときます。

    ラズパイでAI運用を企画してる方は是非お読みください。


    次にやること


    ・ラズパイ4でどのくらい時間がかかるか。
    ・qwen3.5は、思考を切る設定や、トークン上限を増やして再挑戦させ、実力をきちんと評価してあげる
    ・もうちょっと大きいモデルの評価

    かそ⭐︎磯辺焼き

     
     
    「ワンフェスめざしてのそのそと」 いつの日か自分でモデリングしたものをワンフェスに出す。 まずは3D CADを使いこなさないと、と思ってたら、「Plasticity逆引きマニュアル」Kindle版を作ってました。

    あなたへのおすすめ