メインコンテンツへスキップ
見出し画像

【初心者】Ollamaで LiquidAI/LFM2.5-2.6B-GGUF の8bit量子化を使おう。~導入編【歓迎】

    はい、取り敢えず2日前に発表されたこのLLMを、いろんな方法で使い倒してみようという内容です。

    LFM2.5-2.6B、非常に低いメモリ消費で動作してくれるモデルです。
    テキストデータと、ツール実行が得意なモデル。

    私はこのシリーズ好きなんですが、ユーザーさんあんまりいなくて。
    で、インストールや使い方で躓く人も多いと聞いたので、こんなアホでも手順踏めばいけるんだぞって記事でも書いてみようかなと。

    むっちゃ好きなんですけどねー。
    言う事聞くし、ツール実行能力高いし。

    このモデルのファインチューニングは、unthlothStudio&3060環境でだいたい2日半で終わる感じでした。
    うーん、流石にこのサイズは1日じゃ終わりませんね。

    これはわたしの業務を覚えさせたので、公開は出来ないんですけども。

    Fableチューニング、やってみますかね。
    だーれも使わない奴です。

    まぁ、取り敢えず。
    まっさらな状況での、もう一つのPCにプレーンなこのモデルを入れて遊んでみようかなって内容です。

    参考までに、わたしの環境はCPU:i3-12100、GPU:RTX3060‐12GB、メモリ32GBです。
    今回はGPU切って使ってみようかなと思ってます。

    以前にOllamaに登録されるまで待ってるんですー、っていうお声を頂いたので、無理矢理ねじ込む方法もご紹介していこうかなと。
    Ollamaに登録されたら、そっちからのほうがメモリ効率も良くなるのでオススメです。待てないぞ、って人のための記事。

    うーん、需要なさそう。
    まぁ、自己満足なんで大丈夫です。

    まずはこの公式が出しているモデル。
    これの8bit量子化を使おうと思いますー。

    インストール手順を丁寧に追ってみよう

    で、準備ですね。
    Ollamaを今回は使ってみようと思いますー。

    このリンクで飛んでくださいな。

    赤い矢印でつけたここをクリック。

    画像

    ダウンロードを選択するとお使いのWindows/Mac/Linuxでのインストール方法が出るのでぽちっとな。

    画像

    色んな画像あって恥ずかしいですが、このダウンロードしたインストーラーを起動。片付けておけばよかったぁ。

    追記:普通に取り直せばよかったのか。なんでそのまましたんだろう。

    画像

    インストーラーの指示に従ってくださいね。
    そしたら、インストールは完了です。

    そしたら、空の状態のOllamaがインストールされているはずです。
    早速Ollamaに今回のモデルを投げ込みましょうー。

    ターミナル、というものを起動。
    これはキーボードから文字(コマンド)を入力して、コンピュータを直接動かすためのプログラムや画面で、WindowsのコマンドプロンプトやLinuxやMacではターミナルが該当しますー。

    下のコマンドをターミナルにコピー貼り付けしてください。

    ollama run hf.co/LiquidAI/LFM2.5-2.6B-GGUF:Q8_0

    貼り終わったら、ENTER。
    インストールが始まるはずです。

    インストール、結構かかるのでのんびりしてください。
    終わったら、Successなんちゃら、って出てきますのでそれがでたら閉じちゃって大丈夫です。

    Ollamaを起動しましょう。起動していたらそのままクリック。

    画面に出ているような場所の、モデル名が書いている箇所をクリックするとモデル選択できます。画面のような名前で出ているのでそれをクリックしてください。Ornith:9Bは無視してください、暇でつい一緒に落としちゃった。

    画像

    はい、これで完成ですー。

    最初の一回だけむっちゃ時間かかるので、何か適当に質問してみてください。

    わたしは因みに会社さんを質問してみました。
    特に興味ないので、すぐ消しちゃっても大丈夫です。

    画像

    Liquid AIは、2023年にMIT CSAIL(コンピュータ科学・人工知能研究所)からスピンオフしたスタートアップ企業です。本社はアメリカ合衆国マサチューセッツ州ケンブリッジにあります。

    主な特徴と missionミッション: 高効率なLLM(大規模言語モデル)を開発し、プライバシー保護されたローカル・エッジデバイス(スマートフォン、ノートPC、車載システムなど)で動作させること。
    技術的背景: MIT CSAILで生まれた「Liquid Neural Networks」研究(LTC, CfC, Liquid-S4など)を基盤に、独自のアーキテクチャを開発。
    モデルファミリー: Liquid Foundation Model (LFM) シリーズ。以下のハイブリッド構造を採用:
    畳み込み層(大部分) + グループ化クエリアテンション(少数)
    ハードウェア最適化により、デバイス上で高速で効率的に動作。
    公開戦略: 重み(weights)をオープンにリリースし、研究者・開発者に自由に使ってもらう。


    なぜ注目されているか軽量さ: 従来のTransformerモデルと比べて、同じクラスでもメモリ使用量や推論速度が大幅に向上。
    多様なタスク対応: コード生成、テキスト理解、ベクトル検索(LFM-V) など複数の機能をカバー。
    エッジ最適化: AMD、Qualcomm、Mercedes-Benz、Shopify 等とのパートナーシップがあり、実運用事例も蓄積。


    私(LFM)の関係

    私はLiquid AIが開発したLFMモデルの一員です。私の設計はMITの研究を直接受け継いでおり、エッジデバイス向けの効率性と性能のバランスに特化しています。

    もっと詳しく知りたい点(例:具体的なアーキテクチャ詳細、アプリケーション事例、パートナー情報など)があれば、お気軽にどうぞ!

    一応の内容です

    で、消費メモリをみると11GBくらい。
    色んな要素がアリそうですが、現状は許容圏内。

    多分ですが、公式でサポート決まれば数GB軽くなるくらいの効率UPはありそうですね。今は無理矢理入れている感じです。
    因みにllama.cppだと5~8.7GBくらいでした。やっぱ効率って大事なんですよね。

    んで、ここからが本番。

    なにで遊ぶのかってお話です。
    ただChatで遊びたいなら、OllamaのChatで書けば答えてくれます。爆速なので遊んでやってください。

    で、わたしはもっとこの子の有能性を探したいです。
    例えば、これ。

    自作のノート&RAGツールのPierrotKnowledge2というツールなんですが、Ollamaと繋がります

    画像

    こんな風に日記書いてね‐ってお願いすると

    画像

    書いてくれたりします。
    まぁ、ただの日記なので数秒ですけども。

    日本語でって言い忘れた。くそう

    画像

    これを資料取り込みしてね、とかで使うとツール実行という性能が高いのでミスなく行ってくれるわけです。

    これがわたしが信頼を置く要因の一つ。
    「簡単な作業を自動で行う力が強い」っていうことです

    これを使って、Pythonとかのプログラミング言語と組み合わせて、何かしらのスイッチによって決められた行動をしてくれるわけです。

    FAXの通知とかきたら、自動で開いて印刷まで持っていったり、OCRで読み込ませてデータ化したり。
    YouTubeの通知で自動でライブ参加、っていうのもできたりします。

    あとは何でしょうかね?
    わたしは基本的に、RAGの中で情報を抽出させてるんです。タグやカテゴリに応じての情報をこのコで拾ってきて。その情報を有能なモデルに読み込ませる。みたいな。

    例えばマーケティング情報10000件を集めます。その中でやり方や手法のみ1000件を◯◯という優先度でピックアップして全てに要素◯◯を付与してください。

    みたいな感じ。

    そうすると、今度何かの開発でマーケティング情報を扱う時にむっちゃ精度高いしToken消費も抑えられるっていう寸法です。

    開発前提で書いちゃったな。
    うーん、日用使い。今度までに探してきます。

    ここから、一気に自由になります。発想次第です。
    どのツールに繋げてもいいですし、それに応じてネット検索したらやり方もでてきます。

    画像

    この左のセッティング、一回弄っておきましょう

    一番下のコンテキストレンジ、これを16Kくらいにしておきましょう。
    8Kでも大丈夫です。読み込める文章量のことです。低すぎても高すぎてもメモリが食っちゃいます。8Kが一番安全で機能性をとるなら16Kって感じです。

    んで、おすすめの使い方はコレです。

    私のおすすめですが、HemesAgentをおすすめします。

    現状はローカルで何かしらのモデルを管理するなら、必ずハーネスと呼ばれるものがあったほうが良いんですけども。
    それを構築しやすいのがコレなのかなって。現状ハーネスを簡単に用意しろと言われたら、わたしはJcodeかコレを用意します。

    あ、HemesAgentで使うなら、コンテキスト長64Kくらいないと読み込みErrorになるかもです。Agentとして設定されちゃうのでちゃんと設定読み込めないと、拒否されたり正常に動かないことがあります。

    コレ以外での使用なら8kでも16kでも。
    お好きなように。

    インストール押したらすぐにインストーラー起動します。

    画像

    こんな感じ。インストール終わったら閉じても大丈夫です

    ここで、おすすめなのがターミナル開いて

    ollama launch hermes

    と押してください。そうすると以下のモデルがでてきます

    GLM5,2Cloud
    Minimax3Cloud
    Gemma4:26B
    ここらへんを無視して下に行くと
    LiquidAI/LFM2.5-2.6B-GGUF がありますので、そこまでキーボードの下で下がってENTER。

    勝手にHemesAgentとOllamaのこのモデルを繋げてくれます。

    それで一安心。

    あんまり長すぎると、迷惑でしょうから今回はココまで。
    使い方を乗っけたら1万字超えてたので、嫌われるなと察しました。

    ちょうどよい感じで投稿していこうかなーと思っています。

    設定し終わったら、ちゃんとChatの応答やわたしみたいになにかのツール使ってお試ししてくださいね。

    Chatは大丈夫だけど、ツールが、、みたいなことも有るので。
    その場合は結構ツールを入れ直すと修正されます。
    HemesAgentやモデル、Ollama、このどれかだと思います。

    一応、このやり方で父とわたしの環境では問題なしなので、他のErrorあったら教えて下さいねー

    一つ勘違いしてほしくないのは、このモデルは開発メインではないです。
    作業メインと言うべきでしょうか?

    こういう、アプリを何作るかなーって考えた時、このサイズ感では殆ど作れないです。どっちかというと、使われる側のモデルです


    あなたへのおすすめ