RAGとローカルLLM/2026年7月
この辺りの記事は、執筆頻度を下げてからも一定の閲覧数を保っていて、
実際にネタもためこんだまま執筆し損ねてたので、今回を機に少しずつ。
オープンソースが席巻し始める?
というニュースが出てきたのが、この辺りを改めて整理するきっかけ。AIエージェント利用の急増と価格の高騰で、ROIが求められるようになるというのは別の記事でも扱ったが、オープンソースモデルの利用が急増ってのも同じ原因だろう。中国製をベースにするものが多いようだけど。
オープンソースが席巻している」という見方とは逆に、企業のLLM支出に占めるオープンソース比率は19%→11%へ低下
— 久保田 雅也@Coalis (@kubotamas) July 6, 2026
一方で、AIプロダクト企業では本番環境でオープンソース利用が急増。例えばDecagonは約90%をオープンソースモデルで運用… https://t.co/QYsZlvOxrz
米国や欧州の企業がOpenAIやAnthropicをやめて、中国製モデルを採用するようになる理由
— 久保田 雅也@Coalis (@kubotamas) June 29, 2026
- 自社のGPU上で動かせる。コンプライアンス要件を満たしやすく、より高いコントロールを持てる
- 自社データで追加学習できる。独自のデータ資産(データモート)を構築できる
-… https://t.co/5Zs4Sh2AAC
American and European enterprises will ditch OpenAI and anthropic and adopt Chinese models. Here’s why:
— Xiaoyin Qu (@quxiaoyin) June 29, 2026
1. They can host Chinese models under their own GPUs so it’s still compliant and they would argue they have more control.
2. they will post train with their own data on top…
テメーこら米国政府、アンタら自分の状況気付いてんだろうな?Fable遮断が1日続くごとに米国クローズAIへの信頼性は現在進行形でガタガタと崩壊してってんだぞい。我々もそうだし市場もそう。そうなればなるほど逆に中国オープンモデルへの期待と需要は際限なく高まっていく!中国は何もしてないのに…
— うみゆき@AI研究 (@umiyuki_ai) June 25, 2026
実際に、最先端で有償のLLMを使わなくても、精度的にローカルLLMでじゅぶんなこともあるわけだし。
最近のローカルLLMモデル
主要なモデルとして出てくる名前はこの1~2年で変わらないけど、
主要オープンソースLLM 12選 pic.twitter.com/M3LUybeay2
— 久保田 雅也@Coalis (@kubotamas) June 21, 2026
かなり性能も良くなってる。
Gemma
Googleのオープンモデルなら、中国(のAI)に偏見がある無知なJTC経営陣でもOKするだろうという意味では、分かりやすい選択肢のはず。
Gemmaも様々なバージョンがあるようだし、チューニングしたりもできるようだし。
Qwen
が中国AIモデルでは良さげ、まぁ全て使って比較したわけじゃないけど。
🚀 Qwen3.5-397B-A17B is here: The first open-weight model in the Qwen3.5 series.
— Qwen (@Alibaba_Qwen) February 16, 2026
🖼️Native multimodal. Trained for real-world agents.
✨Powered by hybrid linear attention + sparse MoE and large-scale RL environment scaling.
⚡8.6x–19.0x decoding throughput vs Qwen3-Max
🌍201… pic.twitter.com/Pq0qIk54MB
キタコレ
— Hodachi | LLM & AI Engineer (@hokazuya) February 17, 2026
Qwen3.5-397B-A17Bの日本語OCR精度、これはやばいといわせてほしい
CER(文字誤り率)もひっくるめて、ほとんどの項目でGPT-5.2、Claude-Opus 4.6より高性能という結果に👀… pic.twitter.com/gG0N21yW0L
3.5までの情報しか認識してなかったが、3.7が出てたんだな、そして性能がかなり良い。
ちょっと話がずれるけど、7つの言語のトークン埋め込みを可視化したら、同じ意味の単語が近くに集まる構造がQwen3-4Bで見られるとか。
情報学科の生成AI講義の追加資料作ってて、AlibabaのQwen3-4Bでまた面白い現象見つけました。
— はかせチャン (@hshimodaira) July 6, 2026
7言語(英語・中国語・日本語・韓国語・フランス語・スペイン語・ドイツ語)のトークン埋め込みをt-SNEで可視化したら、同じ意味の単語がものすごく近くに集まる「星型」構造が出てきました。
(fish, 鱼,… https://t.co/qo6zkMDeD0 pic.twitter.com/OtapIagauy
ローカルLLMモデルを動かす環境
ノートPCくらいのスペックで動くといいよな、というのを製品紹介もやや含まれるが、こんな解説記事があったので。
まぁ、LM StudioかOllamaは入れることになるはずで、
LM Studioの方が初心者向けというか情報も多くてわかりやすいな。
大規模更新したり、高速化・MTP対応したり、スマホアプリ対応とか。
【朗報】LM Studioがスマホにも本格対応
— チャエン デジライズ CEO (@masahirochaen) June 5, 2026
スマホアプリLocally AIで自宅のLM Studioに繋ぎ最大モデルを外出先で利用可能に。
緊急事態用にネット回線不要のAIモデルがあると安心。
・iPhoneでAIを実行
・PCのLM Studioを遠隔利用
・通信はE2E暗号化
・Tailscaleで安全接続pic.twitter.com/jY0I5GRGRG
Ollamaも機能的には同等以上が可能。業務で使ってるのもこっちだし。
でも、プロ向けな感じはするよな。実際に記事を探すと、他のツールと組み合わせてRAGを始めていろんなAIシステムを使う事例が多い。それらは来月以降の記事でまとめる。イメージアップのため1つだけ。
Ollamaは危ないという話もあるそうで、使い方次第なんだけど、気楽に個人でオープンなAIモデルをシンプルに使う分にはLM Studioの方が良いかな。onyxというのもあるらしいが。
オープンソースなので、完全閉じた環境でもAIが使える。https://t.co/dOyi5CASgM
— チャエン デジライズ CEO (@masahirochaen) April 5, 2026
セキュリティを気にする企業はLM Studio系かこれを使えば良い。…
表題の記事を久々に書いた今回は、表題のうちローカルLLM側に偏った。次はローカルLLMを基にしつつのRAGやらチューニングやらAIシステム・機能的な話をしていく。