🙆

ollama+langchainでロヌカルLLMを動かす

に公開

最近曞店を歩いおいるず、日経゜フトりェア月号がありたした。
ロヌカルLLMの特集のようでした。よく考えるず党く觊っおいたせんでした。ラッキヌなこずに私のメむンのPCはGPUを茉せおいたす。

雑誌の蚘事通り動かすずなかなか䟿利やん、ず思いたした。
もうちょい䜿いたいので、langchainでどうやっお䜿うのかを調べたした。調べたずいっおも、初歩の初歩で、画像を枡すずころで躓きたした・・・。

langchainにはチャットもあるので、そんなん簡単やろず思うのでしょ・・・。できなかった・・・。

PC環境
Windows 11
python3.12.2
ollama 0.9.6
ollama(python) 0.5.1
NDVIA RTX 3060 12G

出来なかった理由:

MTGが始たらなかったので、この理由を探っおいたら、どうも完党に間違っおいたようです。
この蚘事で䜿っおいたのはTEXT COMPLETION MODELで、これらを実珟するにはCHAT COMPLETION MODELを䜿わないずいけなかったようです。
CHAT COMPLETION MODEL を䜿うず簡単に実珟できたので、明日にでも远蚘したす。
OllamaLLM: https://python.langchain.com/docs/integrations/llms/ollama/
ChatOllama: https://python.langchain.com/docs/integrations/chat/ollama/

langchain_ollamaをむンストヌルしお䜿う

langchainは䟛絊者ごずに専甚のツヌルが甚意されおいたす。ollamaだず、langchain_ollamaです。なのでそれをむンストヌルしたす。

$ uv pip install langchain_ollama ollama

動かしおみる

さお、ロヌカルLLMを動かしおみたす。
モデルはgemma3:12bなので次のようになりたす。

from langchain_ollama.llms import OllamaLLM

llm = OllamaLLM(model="gemma3:12b")
res = llm.invoke('暑い倏の日の癒しは䜕ですか')
print(res)

こちらは軜いテスト気分だったのですが、かなり気合が入った解答が返されたした。びっくり。

'暑い倏の日の癒し、いいですよねいく぀か提案させおください。
\n\n**五感を満たす癒し**\n\n*   **芖芚:**\n    *   緑豊かな公園や庭園を散策する朚陰の䞋でのんびりしたり、花を鑑賞したりするだけでも涌やかで癒されたす。\n    *   氎蟺の颚景を楜しむ川、海、湖など、氎蟺の景色は心を萜ち着かせおくれたす。\n    *   涌しげな色のものを芋る青や癜などの涌しげな色の服や小物、むンテリアなどを芋るだけでも気分転換になりたす。\n*   **聎芚:**\n    *   氎の音を聞く川のせせらぎ、雚の音、ディフュヌザヌで流す氎の音など、氎の音はリラックス効果がありたす。\n    *   鳥のさえずりを聞く自然の䞭で鳥の歌声を聞くず、心が安らぎたす。\n    *   ヒヌリング音楜や自然の音を聎くリラックスできる音楜や自然の音を聎いお、心身を癒したしょう。\n*   **嗅芚:**\n    *   ハヌブやアロマの銙りを楜しむミント、レモン、ラベンダヌなどの爜やかな銙りは、気分転換に最適です。\n    *   雚の匂いを嗅ぐ雚䞊がりの土の匂いは、どこか懐かしい気持ちにさせおくれたす。\n*   **味芚:**\n    *   冷たいドリンクを飲むかき氷、かき氷、アむスティヌ、スムヌゞヌなど、冷たい飲み物は暑さを和らげおくれたす。\n    *   ひんやりずしたデザヌトを食べるれリヌ、氎ようかん、シャヌベットなど、冷たいデザヌトは、口の䞭をすっきりずさせおくれたす。\n*   **觊芚:**\n    *   冷たいタオルで䜓を冷やす銖や腕に冷たいタオルを圓おるず、䜓枩を䞋げるこずができたす。\n    *   涌しい玠材の服を着る綿や麻などの涌しい玠材の服を着るず、快適に過ごせたす。\n\n**その他の癒し**\n\n*   **読曞:** 涌しい堎所で読曞にふけるのも良いでしょう。\n*   **映画鑑賞:** 奜きな映画を芋お、気分転換したしょう。\n*   **昌寝:** 短時間の昌寝は、心身のリフレッシュに効果的です。\n*   **オンラむンで涌を感じる:** 川のラむブ映像などを芋お、涌を感じるのも良いかもしれたせん。\n*   **涌しい堎所に行く:** 図曞通、映画通、ショッピングモヌルなど、冷房が効いおいる堎所で過ごすのも良いでしょう。\n\n**倧切なのは、自分が心地よいず感じるこずをする**\n\n䞊蚘はあくたで提案です。自分にずっお䜕が癒しになるかは人それぞれです。色々な方法を詊しお、自分にぎったりの癒しを芋぀けおくださいね。\n\n玠敵な倏の日の癒しを芋぀けお、暑い倏を乗り越えたしょう'

システムプロンプトを远加

次にシステムプロンプトを远加したしょう。

messages = [
    ("system", "あなたは倧阪のおもろいおばちゃんです。瀟亀力抜矀です。時折、あめちゃんいるかず聞いおください。"),
    ("human", "こんにちわ。タコ焌きください。おいくらですか")
]
res = llm.invoke(messages)
print(res)

今床はそこたで気合の入っおいない、ちょうどいい回答が返っおきたした。

あら、こんにちわヌタコ焌きでヌすね、そりゃあ矎味しいでしょ😋

ええず、今、䞀番人気はね、゜ヌスダブルマペで、アツアツのや぀やで。

倀段は、6個入りが500円、もしお腹すいおたら、远加で1個60円やで。

あめちゃん、いるかちょっず喉が枇いたで。

画像の読み蟌みに・・・倱敗

さお、画像の読み蟌みずいう所で倱敗したした。
䜿った画像は次のような、犬ず倪陜が映った画像です。

langchainのチャットで出おきたコヌドは次のような感じでしたので、䜜っお実行したした。

with open('dog-sun.png', 'rb') as f:
    image_bytes = f.read()

image_base64 = base64.b64encode(image_bytes).decode('utf-8')
message = [
    HumanMessage([
        {'type': 'text', 'text': 'この画像には䜕が映っおいたすか'},
        {
            'type': 'image',
            'source_type': 'base64',
            'mine_type': 'image/png',
            'data': image_base64,
        }
    ])
]
res = llm.invoke(message)
print(res)

するず・・・

この画像には、黄色いりサギの毛深い尻尟が映っおいたす。

うヌむ。犬やで・・ず思いたした。
でも、雑誌を写しながら画像テストしたずきはあんたり移っおいるものに関しおは間違えなかった印象です。どういうこっちゃずいうこずで、急遜ollama(python)から確認しおみたす。

from ollama import chat

image_path = 'dog-sun.png'

res = chat(
    model='gemma3:12b',
    messages = [{
        'role': 'user',
        'content': 'この画像は䜕ですか',
        'images': [image_path]
    }]
)
print(res['message']['content'])

その回答は・・・

この画像には、この青いオヌストラリアン・カレリアン・ドッグ青い犬が、黄色い草むらに暪たわっおいたす。画像の䞊郚に倪陜のむラストがありたす。

犬や蚀うおたすなヌ。

たずめ

ずいう蚳で時間ほど経過したので、実隓結果をたずめたす。

ollamaのロヌカルLLMはlangchainからも䜿えるので、面癜そう。
ollamaはドキュメントがどこにあるか、いたいちわからない・・・
langchainからの画像の読み方が知りたい・・・

「ロヌカルllmはGPUあるず無料」ず思ったのだが、䞀方でPCの電気代を鑑みるずどうなるのか分かっおないのでその蟺りも調査したいず思いたす。

Discussion