
LLM-jpには種類があった
非力WindowsでローカルLLMを動かそう!!シリーズです。
そんなシリーズありません🤣
という事で、まともな日本語を話させたい!それも私のWindowsで使いたい。という雑な考えからQwenを最初に触りつつ、LLM-jpへきました。これ、「大規模言語モデル研究開発センターが主宰する、研究者のコミュニティ名であり、かつ、日本発LLM開発プロジェクトの名称」だそうです。
国産の日本語のためのLLMがあるなんて・・・。LLM-JP 4が出たという事で知ったこのLLMですが、3にいくつか面白い奴が眠ってました。掘り起こし、さっそく量子化!!!!
ダウンロード
LLM-JP 3 3.7B 量子化 | サラトナ Saratna inc. ~茶~
これ、p-cloudにデータをまたもや置いてあります。なんでか・・・・。あまり目立ちたくないんです。この量子化、まあまあコストかかりますwww
要望多いと私の財布が瘦せていくんです。私はQ5使ってみてます。inputとoutput触ってみてください!