メインコンテンツへスキップ
見出し画像

【LLM】Ollama利用のCopilot Page Assist機能拡張を使ってみた話【ブラウザ機能拡張】

    はじめに

    Firefoxのアドオン「Page Assist」を利用したレビューです。Ollamaをバックエンドとして、ローカルLLMを利用したブラウザ用AI Copilot機能として利用できます。

    Microsoft Edge Copilotのローカル動作版と考えると分かりやすいかもしれません。

    以前から使ってチェックしていたのですが、動作が不安定だった事と、ローカルLLMの日本語環境が整っていなかったので実用性は皆無でした。しかし、LLM日本語環境が充実してきた事で、ローカルの強みが生かせるようになっています。

    ※ Chrome版もありますが、現在・脱Chrome中ですのでFirefoxでのレビューです。

    ※ ローカルでLLMを実行しますので、ゲーミングPCクラスのパソコンスペックが必要になります。筆者のGPUはRTX3060です

    導入方法

    Page Assist機能拡張のページはこちら、

    もちろん、ローカルでLLMを動作させるためのOllamaのインストールも必要です。※ Release欄からOllamaSetup.exeをダウンロードして実行するだけです

    Ollamaのデフォルトモデルとして推奨されているllama3.2をダウンロードするには、次のコマンドで可能です。

    ollama pull llama3.2

    日本語RAGを利用するために、次の日本語対応embeddingモデルも導入しておきます。※ kun432氏がOllamaライブラリにアップしているモデルです

    ollama pull kun432/cl-nagoya-ruri-large

    llama3.2は一応マルチリンガル対応モデルですが、筆者はさらに日本語に強いこちらのモデルllama3.1 swallowを利用します。

    GGUFに変換するとOllamaで利用できるようになります。

    最近はHuggingfaceやollamaライブラリにもGGUFファイルが登録されているので、たぶん自分で変換する必要はないと思います。

    Page Assist動作確認

    通常のAIチャットフロントエンドとしても利用可能です。

    画像
    Page Assistチャット画面

    Copilotとして利用

    先にRAG設定を行っておきます。(Web記事はRAG参照として扱われます)

    画像
    Page Assist RAG設定

    基本的にMicrosoft Edge Copilotと似たような使い方が可能です。

    画像
    サイドバーにPage Assistのページがあります。
    ※ 説明してと言ってるのに、そのまま書き出したおバカさんですが

    選択文字に対して右クリックでの処理も可能です。←たぶんコレが一番便利です

    画像
    選択文字に対する処理も可能

    ただし、翻訳機能を利用する場合は、プロンプトを修正する必要があります。デフォルトでは「英語へ」翻訳しますので。

    画像
    プロンプトを管理

    たとえば、

    次の文章を日本語に翻訳してください。

    Text:
    ---------
    {text}
    ---------

    Response:

    Copilotプロンプト:翻訳

    とすれば、日本語へ翻訳してくれます。

    まとめ

    Firefox公式でも(ベータ機能として)ChatGPTやGeminiをCopilotとして利用する機能も追加されていますが、無料枠だと、使いすぎるとしばらくブロックされ、長文ははねられます。

    筆者のRTX 3060(12GB)上で、32Kトークン(約3万〜4万文字)利用できますので、ページ翻訳や要約用途として非常に便利です。

    動作速度はChatGPT-4oと同程度ですが、サーバー側の状態によらず、常に安定した速度で気兼ねなくAIを利用できる点は、ローカルの強みです。



    以下、関連する記事の【PR】です。


     
     
    3Dアート作品や3Dモデルデータも扱っています。最近は専らAIを利用した作品が多いです。 ※ BOOTHにて各種販売も行なっております。 https://lit.link/catappart3d

    あなたへのおすすめ