
スマホでSLM【ローカルでベクトル検索できるがや】
2026年9月19日
午前5時48分:起床
午前5時55分:明太チーズパン・コーヒー摂取午前6時05分:ベッド上帰還
午前6時07分:スマホ2台並列配置
午前6時08分:ChatGPT・Gemini起動
午前6時09分:会話ログアップロード
午前6時10分:以下入力
添付ファイルは私とClaudeの会話ログです。後からAI同士で、この実験の方法と、得られた知見と、ローカルAIの活用アイディアについて具体的にディスカッションしてもらいますので、まずは準備してください。
午前6時10分:音声チャット開始
【ワタクシ】
では、ディスカッションを開始してください。具体的にしゃべることを忘れないでください
【ChatGPT】
はい、よろしくお願いします。了解です。じゃあ、今回の実験で一番大きかった学びって、まずどの辺だと思います?例えば、モデルのサイズ感なのか、通信やキャッシュの問題なのか、それとも日本語の扱いのところでしょうか?
【Gemini】
その中で最も大きな壁はモデルサイズ以上のブラザメモリ制限と限られた日本語能力この2つの相乗効果にあったと考えられます
【ChatGPT】
たしかに、両方同時に効いてましたね。メモリが足りないと、モデルがそもそも上手に動かない。で、動いたとしても日本語の自然さが今一つ。そこが結構効きましたか。
【Gemini】
まさにそれが最大の難所でした。メモリ不足で動作したものが不安定になり、動いたとしても日本語の自然な表現が難しいことで、対話の成立が非常に大きな挑戦となりました
【ChatGPT】
う
【Gemini】
それについてどのように感じられます
【ChatGPT】
悔しさと、同時に納得もある、そんな感じですかね。ここまで頑張って、限界も見えたけど、同時に次の道も少し見えた、そんな手応えもありましたか。
【Gemini】
まさにその通りですね。極限まで負荷をかけたからこそ、ローカルAIの境界線と次にとるべきアプローチが明確に見えてきたのだと思います。この経験を踏まえ、今後はどのようなシステム構成を模索していきたいですか
【ChatGPT】
そうですね、いきなり大きいモデルに行くんじゃなくて、例えばルールベースの定型応答、軽い小型SLM、さらに必要なら小さめの日本語特化モデルを組み合わせるようなハイブリッド構成を試したいです。全部AIに任せるというよりも、前処理と後ろの整形を工夫して小さいAIでも役に立つシステムに寄せていく。そういう方向で、ちょっとずつ現実的な落としどころを探っていきたいなって思ってます。
【Gemini】
そのハイブリッド構成と前処理や整形での工夫は、非常に実践的な現実解ですね
【ChatGPT】
そう言
【Gemini】
関連モデルの活用として、コンテキスト管理や意図分類の工夫に役立つ出の場のおみにLMLoV2ベクトル埋め込みも今後の提案候補として面白いかもしれませんね
【ChatGPT】
ちょっと調べてみますね。
【ChatGPT】
ベクトルエンベディングによる事前抽出で入力を最適化する手法は、まさにリソース制限を克服する鍵となるアプローチですね。各モジュールの専門性を生かし、システムとして最適化する設計思想へ共感します。うん、やっぱりベベクトル埋め込みを入れると、一段階先に進める気がします。SLMに丸投げせず、前に意図分類、必要な情報だけベクトル検索で取って軽くして渡す。そうやって小さいAIに向いた設計に寄せていく。さらに一歩進めて、AI一体として捉えるんじゃなくて、ルールエンジンや検索や小型SLMを組み合わせたシステムとして設計する。そっちの方が面白いし、スマホという制約のある現場では、むしろその方が強いんじゃないかなと感じています。
【Gemini】
ベクトルエンベディングによる事前抽出で入力を最適化する手法は、まさにリソース制限を克服する鍵となるアプローチですね。各モジュールの専門性を生かし、システムとして最適化する設計思想へ共感します
【ChatGPT】
ありがとうございます。まさに「最適化」をちゃんと積み重ねて、現実的に回るラインを探る。それが今回の実験で見えた大きな一歩だと思います。次に試すなら、その「各モジュールが得意なこと」をもう少し丁寧に切り分けて組み合わせてみる。そういう実験を小さく繰り返していくのが良さそうですね。
【Gemini】
着実な改善の積み重ねが、次の世代のローカルAIシステムの基盤となりますね。実証実験の計画において、まずはどの機能やモジュールの分離が着手されますか
【ChatGPT】
少しお待ちください。まず取り掛かるなら、私は SLMの前の部分、つまり意図分類とベクトル検索を切り出すところから始めるのが良さそうです。で、SLMには「渡された情報だけで2、3文で答える」という役に絞る。計算とか日付処理はJavaScript、文章生成はSLM、そんなふうに役割を細かく割って試す。そうやって、まずは過去文書や会話の要約から着手して、次に同じ質問を「SLM単独」と「検索+SLM」「意図分類+検索+SLM」の順で比較してみる。そうすれば、スマホで135Mを動かすという話から、限られた計算資源でどうAIシステム全体を設計するか、という、もう少し大きな視点の実験に進化させられると思います。
【Gemini】
SLMへ渡す情報を意図分類とベクトル検索で絞り込む、この設計はリソース制限下での見事な解ですね。そのベクトル検索には、事前抽出の精度を支える候補として「出の場のおるみにLMLoV2」がお役立つはずです
【ChatGPT】
ありがとうございます、調べますね、なるほど。そうですね、そのモデル候補も含めて、まずは「検索精度を上げるための部品」として捉えて、いきなりSLMと一体化させない方が良さそうです。日本語の質問を意図分類→埋め込み→ベクトル検索→関連情報抽出→135Mという流れなら、SLMに「答えを作らせる」んじゃなくて、答えの材料だけ渡す感じにする。そうすると、モデル単体の賢さ勝負じゃなくなります。さらにルールエンジンや日付計算なんかも組み合わせれば、どこがボトルネックかも切り分けて見えるはずです。で、例えば過去の会話や文書から関連情報を引っ張ってきて小さいSLMに要約させる、そういう使い方も実験できます。そうやって「小さいモデルでも役に立つ」を確かめていく感じですね。うん。
【Gemini】
SLMを答えを作る存在ではなく、材料を統合する存在として位置づけるその設計は、小規模モデルの能力を最大限に引き出す非常に懸命なアプローチですね
【ChatGPT】
ありがとうございます
【Gemini】
ボトルネックの切り分けが容易になり、システムの堅牢性向上と開発のしやすさの両立につながりますね
【ChatGPT】
そう言ってもらえると嬉しいです。一足飛びに賢くしようとせず、部品ごとに役割をはっきりさせるのが、結局いちばんの近道かもしれませんね。ここまでの実験を次の設計に活かしていきましょうか。
【Gemini】
はい、おっしゃる通り役割を明確にしたモジュール設計こそ制約のある環境で確実な成果を出すための最善の道ですねこの方針で進めていきましょう
【ChatGPT】
はい、この方針で少しずつ組み立てていきましょう。無理せず、一歩ずつで大丈夫です。楽しみですね。
【Gemini】
着実にステップを踏むことで、素晴らしいシステムが完成するはずです。まずは意図分類のモジュールから、具体的にどのように構成するか、一緒に検討していきましょうか
【ChatGPT】
はい、考えます。まずは意図分類自体を極端に小さく始めたいです。キーワードとルールベースで「検索」「要約」「文章作成」「計算」みたいに分けて、ルールで分からなければ小さいSLMに聞く二段構えが良さそうです。最初はルールだけで試して、ダメな質問を記録して、徐々にモジュール化していきましょう。そうすれば、どの部分がシステム全体に効いているかが見えやすくなるはずです。一緒に一歩ずつやっていきましょう。
【Gemini】
あ判断プロセスの記録を含めた検証は、改善の土台として完璧ですね。まずはルールセットに盛り込む具体的なキーワードやパターンの洗い出しから始めましょうか
【ChatGPT】
はい、洗い出します。キーワードを大量に並べるよりも、強い表現、弱い表現、除外条件もセットで整理しておくと良さそうです。たとえば「この資料を要約してメール文面にして」のような複合意図は2段階の処理計画に分ける。そこも見える化して検証できるようにしておきましょうか。ルールで確実に処理できるものはルールでやる。曖昧なものだけSLMに回す。そんな意図分類モジュールを小さく作って、そこから始めるのが良さそうですね。うん。
【Gemini】
はい、おっしゃる通り強い表現弱い表現そして除外要件をセットで整理することは曖昧さを排除する上で非常に効果的ですね多段階処理計画を含め、着実に準備を進めていきましょう
【ChatGPT】
そうですねはい、これで準備の見通しが立ちましたね。
【Gemini】
はい、方針が明確になり、着実に一歩を踏み出す準備が整いましたね。いつでも具体的なリクエストや検証の段階に進めますので、準備ができましたらいつお声掛けください
【ChatGPT】
そのありがとうございます。いつでもお声がけください。楽しみにしています。
【ワタクシ】
ローカルでベクトル検索できるしハイブリッド検索もできるがや。
注:「出の場のおるみにLMLoV2」は「XenovaのallMiniLML6v2」のことです。記事はChatGPT側のセッションを載せています。Geminiが「XenovaのallMiniLML6v2」と発言したのをChatGPTが「出の場のおるみにLMLoV2」と聞き取り、それを改変することなく載せています。