メインコンテンツへスキップ
見出し画像

ブラウザでAIを動かせる未来!WebLLMの2026年11月における実態は?速度と負荷を実験で見える化!

    今は高性能GPUがあれば、ローカルPCでも一応LLM(AI)が動きます。
    でもメモリ不足、物価高、電力問題で、もうブルジョワ趣味です。
    つまりダウンサイジングやドメイン特化は、切実な選択肢じゃないかと。

    画像
    低コス用の技術ではないのですが、一応

    その低コス選択肢の一つ、WebLLMが今回のテーマです。
    あ、WebLLMはコスト削減目的の技術じゃないですが、敢えてその視点で。
    ブラウザで動けば手元をリッチにしなくても大丈夫でしょ、という事です。


    ブラウザでAIが動く環境と、WebLLMの個人的な過去の印象はこんなでした

    公式サイトはここ。

    そして現時点ではこんな環境で使えます。

    画像
    Chromeと多少のGPUは必要です

    昔は最小1GB以上の学習済モデルを落としてから始まる印象でした。

    画像
    うん、使い物になりません
    そんな時期もありました

    人間も回線も会話の前にギブアップするでしょう。
    じゃあ最近はどうなのか?


    WebLLMはあの手この手で軽くしようと頑張ってる!気付いたら色々発展してた!

    WebLLMを開発する方々は、改善努力を続けています。
    最近の改善主流となっているのがこれら。

    画像
    色々、いろいろあるんです

    こういう頑張りで実用化を進めているのですね。
    学習済モデルもどんどん小さく性能が良いものが増えてます。
    まだ標準化も進んでおらず実験段階ですが。


    じゃあ、どれぐらい快適に動く可能性がある?どういうテストで確かめる?

    お題として何を使ってどうテストするか、決めてみました。
    大手AIよりは性能しょぼいのは当然、小さく軽く使えるかが焦点です。

    画像
    おなじみのQwenで小さいものを選びました
    スマホでも動くのでしょうが、ブラウザがテーマです

    これで試すテスト内容はこうです。

    画像
    こんな感じでそれぞれ効果を見ていきます

    面倒なので、見える化自動ツールを実装!ベンチマーク計測でご安全に!

    こんなツールを作ってみました。
    ローカルで動作し、LLMの性能をテストします。

    画像
    設計は人間ですが、横着でCodexに実装を任せました
    お陰でデザインがチャッピー感丸出しです

    自社サイト公開は流石に色々問題があるのでOSS公開です。
    モデルは各自ダウンロードして下さい。
    別のモデルに変更することもできます。

    そしてテスト結果を図にするとこうです、まず推論から。

    画像
    推論性能はまあ、こんなもんでしょう

    次、ロード時間。

    画像
    単位は秒です
    キャッシュは凄い
    けど初回は厳しい、やっぱり50秒、、、

    最後、限界や問題点です。

    画像
    色々やってみたのですが、まだ問題だらけです

    うん、まだまだ未開拓ですね。


    結局どうなん?未来はどう?まとめ!

    最小モデルでも50秒はロードに掛かります、うーむ。
    けど、ページが固まることは回避できる点はマシになりました。

    画像
    最初はどうしても遅いのですが
    でもその後はかなり実用的になってます

    でもまだ望みはあります。
    ページ開いてユーザが質問入れてる間にロードが終わればいいんですよ。

    画像
    ユーザが操作している間にこっそりロード!

    まだまだ技術発展の余地はありそうです。
    期待する技術は以下。

    画像
    間違いなく軽くなり、常識にはなるでしょう
    弊社は先行して追いかけるだけです

    今後も進化したら検証し実用化を進めていきます。


    お読み頂きありがとうございました。
    弊社では、LocaPhone/LocaPadを活用したオフラインAI、端末内AI、リアルタイム画像・動作解析、RAG連携などの開発に対応しています。

    「ネット接続なしでAIを動かしたい」
    「現場の映像や動作をAIで判定したい」
    「既存システムにローカルAIを組み込みたい」
    といった開発をご検討中の企業様は、ぜひお気軽にお問い合わせください。PoC・技術検証の段階からご相談いただけます。

    お問い合わせはこちら
    https://angework.co.jp/contactUs.php

    ■ 株式会社ANGEWORK
    AI、点群処理、AR、3DCG、医療・研究開発支援などを行っています。

    ・公式サイトURL
    https://angework.co.jp/

    ・xアカウント
    https://x.com/angeworkCoLtd


     
     
    株式会社ANGEWORKの公式noteです。 2011年から秋葉で開発会社を運営しております。 弊社が手掛けている、公開可能なお仕事内容や技術情報などを公開していきます。 姉妹note:ANGEWORKの西洋占星術 https://note.com/aw_astrology/

    あなたへのおすすめ