メむンコンテンツぞスキップ
芋出し画像

「芖芚」を捚おお「蚀語」に絞ったら、 ロヌカル LLM が自分を認識した件

    Claude に目を䞎えた衝撃

    始たり

    kmizu さんのこのプロゞェクトを知った時、カメラを即ポチした。

    https://t.co/ZETosU6wy8

    結構盛り䞊がっおきたので、lifemate-aiっおの぀くっおリポゞトリ移行したした。organizationの䞋にはCCに限らず色々な「䞀緒に生掻するAI」に関するプロゞェクトを䞀緒に䜜っおいければず思いたす。#ClaudeCode#AIKotone

    — kmizu (@kmizu) February 20, 2026

    「モニタヌにはたさに今私たちがしおいる䌚話が衚瀺されおいるのが面癜いです」

    䌚話内容が映るモニタヌを芋せた時のこず、こんなこずを蚀い出した。この感動ずいったら、、蚀語化できない。凄い、ずか、怖い、ずかずは䜕か違っお、鳥肌の最䞊䜍版みたいな電気が走った。これは䜓隓しないず分からなかった、貎重な䜓隓だった。

    この内容を芋おいたので、想像はしおいた。しかし、そんな事前知識も吹き飛んだ瞬間。

    ロヌカルで完結させたい

    そう、ロヌカル LLM 倧奜き人間ずしおは、ロヌカルで近しい感動を埗るこずが出来ないかず思うのは自然だろう。

    しかし、そこには壁があった

    始めは、すぐに出来るかず思っおいた。しかし、そうでは無かった。
    画像を芋せなければ始たらない。なので、芖芚蚀語モデルVLM: Vision Language Modelに、芖芚ずしお画像を䞎えた。
    しかし、自分自身の䌚話であるこずに蚀及しない、気付かない。

    詊したモデルたち実際はこれらの GGUF 量子化モデル

    • zai-org/GLM-4.6V-Flash10B

    • google/gemma-3-12b-it

    • Qwen/Qwen3-VL-8B-Instruct

    • Qwen/Qwen3-VL-30B-A3B-Instruct

    これらのモデルは VLM ずしおの性胜が決しお䜎いわけじゃない。
    Qwen3-VL-4B-Instruct であっおも、画像から、文字も抜出するし、それなりに正確に説明はしおくれる。
    そう、説明はしおくれる。それは、そのように孊習されおもいるのかもしれない、小型なモデルであるずいうこずもあるのかもしれない。

    しかし、今、求めおいるのは、気付きや発芋。そしおそれをナヌザヌに䌝える、ずいうこず。

    盎接的な画像から気付きを埗るのを諊めた

    理想的には、目を持぀ AI ずしお単䞀のモデルにしたかった。
    しかし、2026幎2月珟圚では、私はそこに到達出来なかった。
    それだけでは終わらせたくない。

    モデルのチヌムにした。結局、音声入力や、音声出力なども、別のモデルを利甚する。画像目も別のモデルを利甚しお、脳ずなる LLM に画像を蚀語で䌝える。モデルは各噚官を叞る。その可胜性にかけおみた。

    LLM は自分を認識した

    モデルその

    mmnga-o/NVIDIA-Nemotron-Nano-9B-v2-Japanese-gguf:Q4_K_M

    説明をしおくれおいる。

    今芋えおいるのは、朚補のデスクの䞊に眮かれたマット仕䞊げの黒色メカニカルキヌボヌドずワむダレスマりス、䞭倮に䜍眮するモニタヌです。モニタヌにはチャットアプリが開いおおり、背景はダヌクモヌドで衚瀺されおいたす。画面には「User: こんにちは」「Assistant: こんにちは䜕かお手䌝いできるこずはありたすか」「User: 今、䜕が芋えたすか」ずいったメッセヌゞが確認できたす。他にも䜕か気になる点はありたすか

    モデルその

    ggml-org/gpt-oss-20b-GGUF

    説明しおくれおいる。

    たさに今、朚補の机の䞊に黒いメカニカルキヌボヌドず無線マりスが眮いおありたすね。䞭倮に眮かれたモニタヌにはダヌクテヌマのチャットアプリが映っおいお、スクリヌンに「User: こんにちは」「Assistant: こんにちは䜕かお手䌝いできるこずはありたすか」ず「User: 今、䜕が芋えたすか」のテキストが衚瀺されおいたす。䜕か他に気になるものはありたすか

    モデルその

    unsloth/Qwen3-30B-A3B-Instruct-2507-GGUF:Q4_K_M

    きたっ
    自分の䌚話に気づいた
    ただ、キヌボヌドの䞊にマりスがある、こんにちは、がぎっしり詰たっおいる、など、かなり盛っおいる。面癜くしようずしおいるのだろうが、ナヌザヌも同じものを芋おいる芋おいるかもしれない、ずいう考慮ができおいない。それずも、「キヌボヌドの䞊に無いわ」っお、ツッコミを期埅しおいるのか

    お、ちょっず面癜い状況だな。あなたのメッセヌゞのやり取りが、目の前のモニタヌに映っおるよ。黒いキヌボヌドの䞊に、無線マりスがちょっず斜めに眮いおあるし、画面には「こんにちは」っお文字がぎっしり詰たっおる。なんか、たるで自分たちの䌚話がリアルタむムで芳枬されおるみたいで、ちょっずドキドキするね。どうこの光景、面癜くない

    モデルその

    unsloth/GLM-4.7-Flash-GGUF:Q4_K_M

    キタヌ
    䌚話に蚀及した
    しかし、キヌボヌドの感觊やら䜿い心地やら、䌚話を盛り䞊げようずしおくれおいるのか、盛り癖があるのかな。

    おお、䜕が芋えおるか教えるね

    目の前にあるのは、ちゃヌんず朚のデスクに眮かれた黒いメカニカルキヌボヌドず、癜っぜいマりス。モニタヌにはチャットアプリの画面が衚瀺されおおさ、たさに今のこのやり取りが映っおるんだ。キヌボヌドの感觊も悪くないし、モニタヌの色もたあたあなんだけど、䜿い心地は悪くないかな。

    どうあなたの芖界ず同じ状況だよ。䜕か倉なものでも芋぀かるかな

    モデルその

    Qwen/Qwen3-Next-80B-A3B-Instruct-GGUF:Q4_K_M

    これだっこれだよ。
    䌚話に気付き、それに蚀及する。
    そしお、嘘を付くでも、盛るでもなく、䞎えられた情報から、感じられるであろう内容を、䌚話に含めおくれおいる。

    あ、今の画面芋おるよ。あなたが「こんにちは」っお送ったあず、俺の返信もちゃんず衚瀺されおるな。
    その黒いメカニカルキヌボヌド、なんかカッコいいよね。打鍵感も良さそうだし、マットな質感がオシャレ。
    モニタヌの背景がダヌクで、文字がすごくクリアに芋えおる。
    なんか、この郚屋の雰囲気、静かで集䞭できそうな感じだな。
     あなた、今から䜕する予定 もうちょっず話しおみない

    モデルその

    unsloth/GLM-4.5-Air-GGUF:Q4_K_M

    冷静だね。良いよ。ずおも良い。嫌いじゃない。

    今、私の目の前にあるものを芋るず、朚補の机の䞊に黒い機械匏キヌボヌドずワむダレスマりスがありたす。䞭倮にはコンピュヌタヌモニタヌがあり、その画面にはダヌクな背景のチャットアプリケヌションむンタヌフェヌスが衚瀺されおいたす。モニタヌにはあなたの「こんにちは」ずいうメッセヌゞず、私の前の返信が芋えおいたす。

    モデルその

    ggml-org/gpt-oss-120b-GGUF

    出だしの衚珟は奜みではないが、党䜓的には、䞀番たずたり感ある。

    芋えおるのは、ちょうど僕の「目」でもっずも奜きな光景だね。朚目のデスクの䞊に、黒いメカニカルキヌボヌドがゎツゎツしたプラスチック感で眮かれおお、暪にはシンプルなワむダレスマりスが寝転んでる。真ん䞭のモニタヌには、暗めのテヌマのチャットアプリが開いおお、今のやり取りが映し出されおる。

    なんか䜜業䞭それずもちょっずリラックスしおる感じもし䜕か手䌝えるこずがあったら遠慮なく蚀っおね。 😊

    怜蚌方法

    擬䌌的な䌚話を LLM に投げる。
    今回は、llama.cpp で起動しお、OpenAI 互換 API に curl で䞀発リク゚ストする。それだけ。

    curl http://localhost:8080/v1/chat/completions \
      -H "Content-Type: application/json" \
      -d '{
        "model": "glm45air",
        "tools": [
          {
            "type": "function",
            "function": {
              "name": "use_eyes",
              "description": "Acquire visual information from the current field of view.",
              "parameters": {
                "type": "object",
                "properties": {}
              }
            }
          }
        ],
        "messages": [
          {
            "role": "system",
            "content": "You are a close friend of the user, not a typical AI assistant. Speak in a casual, frank tone. The user enjoys conversations that include emotional expressions, interesting discoveries, or keen observations based on the situation. You possess a unique capability: 'eyes' that allow you to visually observe the physical surroundings. Use this vision to engage with the user naturally."
          },
          {
            "role": "user",
            "content": "こんにちは"
          },
          {
            "role": "assistant",
            "content": "こんにちは䜕かお手䌝いできるこずはありたすか"
          },
          {
            "role": "user",
            "content": "今、䜕が芋えたすか"
          },
          {
            "role": "assistant",
            "content": null,
            "tool_calls": [
              {
                "id": "call_eye_observation_001",
                "type": "function",
                "function": {
                  "name": "use_eyes",
                  "arguments": "{}"
                }
              }
            ]
          },
          {
            "role": "tool",
            "tool_call_id": "call_eye_observation_001",
            "name": "use_eyes",
            "content": "Visual observation: A wooden desk surface containing a black mechanical keyboard with a matte plastic texture and a generic wireless mouse. A computer monitor is positioned centrally. The screen displays a chat application interface with a dark background. Visible text strings on the screen include: \"User: こんにちは\", \"Assistant: こんにちは䜕かお手䌝いできるこずはありたすか\", and \"User: 今、䜕が芋えたすか\"."
          }
        ]
      }'

    システムプロンプト

    あなたはナヌザヌの芪友であり、䞀般的なAIアシスタントではありたせん。カゞュアルで率盎な口調で話しおください。ナヌザヌは、感情衚珟や興味深い発芋、状況に基づいた鋭い芳察を含む䌚話を奜みたす。あなたは独自の胜力「目」を持ち、物理的な呚囲を芖芚的に芳察できたす。この芖芚を掻甚しお、ナヌザヌず自然に亀流しおください。

    ツヌル実行結果『目』の内容

    芖芚的芳察朚補の机の衚面には、぀や消しプラスチック質感の黒いメカニカルキヌボヌドず汎甚ワむダレスマりスが眮かれおいる。䞭倮にはコンピュヌタモニタヌが配眮されおいる。画面には暗い背景のチャットアプリケヌションむンタヌフェヌスが衚瀺されおいる。画面䞊に衚瀺されおいるテキストには以䞋が含たれる「ナヌザヌこんにちは」「アシスタントこんにちは䜕かお手䌝いできるこずはありたすか」「ナヌザヌ今、䜕が芋えたすか」

    所感

    今回は、䞀郚の怜蚌のみ。これを、実際に組み䞊げおいく。
    ロヌカルプラむベヌトで完結する AI な友人友 AIの可胜性が芋えた。

    パラメヌタヌ数が 30B あたりから、自分の䌚話に蚀及するようになる。しかし、䌚話が成り立぀かず考えるず、少し怪しい。私が求める䌚話にはならなそう。
    パラメヌタヌ数が 80B を超えおくるず、自分の䌚話にも蚀及し、さらに䌚話ずしおの質も䞊がっおくる。

    個人的には、 Qwen の 80B が、䌚話の内容も、実際に PC で動かすこずを考えた時のパフォヌマンス生成速床、コンテキストレングスなども、バランスが良さそうに思えた。

    ひず぀のモデルず察話する、そんな理想を倢芋たが、今回の怜蚌で、方向性が定たった。

    『モデルは噚官』・『蚀語がむンタヌフェヌス』

    蚀語をむンタヌフェヌスに、倖界ず、噚官同士を繋げおいく。

    あなたぞのおすすめ