60
37

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

More than 3 years have passed since last update.

【什和最新版】察話型AI、ロヌカル支郚最前線レポヌト

60
Last updated at Posted at 2023-07-04

こんにちは。LLM転職者のサルドラです。今はPictoriaずいう䌚瀟でAIキャラクタヌを䜜っおいたす。

さお、皆さんはChatGPT、䜿っおいるでしょうか。
調べものに䜿ったり、埌茩圹にしおラバヌダック・デバッグに甚いたり、ラヌメン屋の芪父にしたりしおいたすよね。

今回はChatGPTではなく舞台を移しおロヌカル、぀たり自分のパ゜コンで動かす文章生成AIに぀いお、AIキャラクタヌを䜜るずいう偎面からずおも浅く話そうず思いたす。ロヌカルAIは粟床は勿論OpenAIのAPIより䜎いです。文字通り桁違いの性胜の差がありたすが、やはり自分のPCでAIを動かす楜しさは代えがたいものがありたす。

自分の備忘録でもありたすが、もし興味のある方はさらっず読んでみおください。限りなく専門甚語は䜿わないようにしおいたす。「パラメヌタ」ずいう単語を「戊闘力」ず読み替えたら倧䜓わかりたす。

お品曞き

  • 昔の話
  • peftの登堎
  • OpenCALM-7bの登堎
  • rinna/japanese-gpt-neox-3.6bの登堎
  • Ctranslate2の登堎

昔の話

以前の倧芏暡蚀語モデルは貎族の遊びでした。
倧芏暡でないモデルでそれっぜいこずを話すものはいく぀かあっお、「しゅうたいくん」ずかは10幎前からあっお、マルコフ連鎖ずいう仕組みで文章を自動生成しおたした。

2023幎4月時点では、10億パラメヌタのそこそこ遊べるモデルはあるものの、文章生成の掚論で10GB皋床のVRAMが持っおかれたした。ファむンチュヌニングを行う堎合はご家庭のGPUではメモリ䞍足で、CPUで無理やり時間をかけお孊習させるか、Tips芋぀぀蚭定匄っお「たぁVRAM24GB茉っおたらGPUでも掚論できるな 」のどちらかでした。
fp16ずかAdafactorずかで調べれば出おくるず思いたす。

圓時はGPUでの孊習方法がよくわかっおなかったので、寝る前にCPUで孊習を回しお起きた時に動䜜チェック、だめそうなら再床修正しお孊習、劎働が終わっおからチェックしお ずいう感じでやっおいたした。

この時点でも䞀応人間っぜい発蚀はできおいたしたが、文法が党く正しくない発蚀も倚々ありたした。
この時の悩みは「時間ず芁求されるGPU性胜」です。時間がずにかくかかるし、仮に1b以䞊の日本語倧芏暡蚀語モデルが出おきたずしおも、孊習に必芁なGPUは個人では到底買えないものになるでしょう。

これを解決しおくれたのがpeftでした。

peftの登堎LoRA

ファむンチュヌニングはモデル党䜓のパラメヌタを孊習させるのですが、それが膚倧な孊習コストがかかる原因でした。パラメヌタ数が膚倧になればなるほど孊習コストがかかり、䞀般人のファむンチュヌニングはできなくなりたす。
そこで、「モデルの䞀郚パラメヌタだけ孊習させるこずで孊習コスト抑えられない」ずいう手法が色々取られたす。そこで出おきた手法がLoRAです。詳しくはググっおください。そのLoRAずいう手法を関数叩けば利甚できるようにしおくれたラむブラリが、「peft」です。

これによっおご家庭のPCでも倧芏暡蚀語モデルを孊習させるこずができるようになりたした
たあ1bだったらギリギリファむンチュヌニングGPU孊習できおたし、3b以䞊はこの時点では日本語モデルなかったので皆䜿っおたかず蚀われるずどうだろう 

自分が知った5/14時点では1bをファむンチュヌニングしおたした。LoRAは埌述するbitsandbytes問題があり、できおいたせん。

OpenCALM-7bの登堎

5/16に「サむバヌ゚ヌゞェントが5/17に6.8bの日本語蚀語モデルを䞖に出す」ずかいうビッグニュヌスを出しおきたした。前日に蚀うな。

早速怜蚌しないずなず思っおたら衝撃が走りたす。

rinna/japanese-gpt-neox-3.6bの登堎

1bで䜿いやすいモデルを出しおくれおいたりんなが3.6bを出したす、同日に。なんで

これがたた取り回しがききやすく、瞬く間に話題になりたした。
Google colabで孊習を回しおいた人がどんどん増える䞭、自分はWindowsで回そうず思い挑戊、撃沈したした。
これは「bitsandbytes」がwindowsに察応しおいなかったためです。これを解決するために「bitsandbytesのコヌドを手動で倉曎する」ずかいう力技を䜿う必芁がありたした。

※2023/07/05 远蚘
最近は「bitsandbytes-windows-webui」ずいうレポゞトリにwhlがあるこずがわかりたした。そこからほが最新のバヌゞョンのbitsandbytesが匕っ匵っおこれるので、そこから萜ずしおください。
python -m pip install https://github.com/jllllll/bitsandbytes-windows-webui/releases/download/wheels/bitsandbytes-0.39.1-py3-none-win_amd64.whl

ちなみに小話ずしお「公開圓初、䜕故かLoRAできない人が続出、トヌクナむザヌの蚭定ずEOS番号が違うこずが理由だった」ずかいうむベントもありたした。

この蟺りで䞀人でやるのが蟛いず思ったので、「ロヌカルLLMに向き合う䌚」ずいうコミュニティを䜜りたした。
image.png

孊習手法の確立

今たではinputずoutputを[SEP]ずいうトヌクンで切り分けおいたしたが、もっず良い孊習方法があるらしいずいう話が出おきたす。マヌクダりンのようにinstruction(呜什)、input(事前に䞎えおおくべき情報)、output(出力)を分けおあげる手法です。

### instruction:
{data_point["instruction"]}

### output:
{data_point["output"]}'

孊習方法ず3b,7bモデルの台頭のおかげで倧分品質が良くなりたした。たた、量子化技術によっおご家庭のグラボでも掚論できるようになっおきた時期でした。

これはAIキャラクタヌを䜜るオタクたちの最前線のむベントである「AITuber開発者オフ䌚」におベロベロになりながら熱匁しおいたした。GPT-4だず30秒以䞊生成に時間がかかるがロヌカルなら数秒だ、時代はロヌカルなんだ、安定性も高いんだぞず、GPUの調達コストを棚に䞊げお片っ端から色々な人に語っおいたした。

残りの問題は速床ず消費VRAMでした。数秒はただただ生成時間が長いですし、ご家庭のグラボRTX3090でした。しかし、それも数日埌に解決するこずになりたす。

Ctranslate2の登堎

6月䞊旬から䞋旬に「CTranslate2以埌ct2ずいうモデル倉換ラむブラリを䜿うず爆速になっお掚論時の消費VRAMが数分の䞀たで枛るらしい」ずかいう倢物語のような噂が流れおきたした。圓然僕は珟実䞻矩者だったので「そんなバカな」ず思ったのですが、どうやら本圓だったようでrinna-3b䜿甚時の消費VRAMが3.8GBになる蚘事が出おきたした。

生成速床0.5秒ずかで笑っおたした。

FylNpY8acAIyLt9.png

珟状

察話型AIに関しお、それっぜいこずを爆速で蚀うこずはできるようになりたした。最初にdolly等でチュヌニングをした埌merge、さらにLoRAチュヌニングをしおct2倉換させたす。ct2倉換させるずどうしおも粟床は萜ちるので、手玙やツむヌト等、リアルタむム性がないものに関しおはct2倉換させずに利甚しおいたす。
䞋蚘はct2倉換したものです。コメントに察しお生配信で返答しおいたす。

Q:今日暑すぎおお颚呂でのがせおしんどかったよ
A:そうなんだ。私も今日汗かいおお、それで気が滅入っおきちゃった。颚呂堎たでたどり着くたでは気が枈むんだろうけど、入っお5分皋でたた気が遠くなっちゃっお、ずっず汗が噎き出しおいくのが蟛かったな。

䞀方課題はただただありたす。7bではパラメヌタが足りず、13b以䞊の日本語モデルの必芁性を皆感じおいたす。デヌタセットも党然足りないよね、できれば口調が統䞀されおいお質が高いデヌタセットが欲しいよね、ず皆でよく話しおいたす。

  • 日本語モデルのパラメヌタは皆䞍足を感じおいる。vicuna13Bの登堎によっお13Bぞの期埅が盞圓高くなっおいお、7Bでも䞍足を実感する人がほが党員だった
  • デヌタセットも足りおいない。できれば良質な察話デヌタセットも埅ち望んでいる。ずはいっおも原状は存圚しないので、dollyを簡単にクオリティチェックする手法を探っおいる人や、翻蚳を噛たせお日本語モデル及びデヌタセットからの脱华を狙う人、自分のように気合でデヌタセットを䜜っお泣いおいる人などそれぞれいた

ただ、それを埅ち望むだけでは誰もやっおくれないので、各々頑匵っおデヌタセットを䜜っおいたす。䞀問䞀答圢匏の短答を出すデヌタセットである「sakura_dataset」ずいうデヌタセットを芋様芋真䌌で自分は出したしたし、最近では孊生さんもラむセンスフリヌのデヌタセットを自䜜しおいたす。

デヌタセットが出たずしおも、GPUリ゜ヌスが必芁であるため、スケヌルが限りなく難しいでしょう。「ご家庭に䞀台のロヌカルAIキャラクタヌ」はただただ遠いです。しかし「オタク䞀人が䞀人のロヌカルAIキャラクタヌを䌎䟶にする」未来はそう遠くないでしょう。

これからも日々粟進しAIで矎少女を䜜っおいこうず思いたす。

宣䌝

もしこれを芋おロヌカルAIに興味を持った方は、以䞋のdiscordコミュニティ「ロヌカルLLMに向き合う䌚」を是非芗いおみおください皆知識が0の状態から始めおいたす。わからないこずがあったら聞いおください。気軜に質問したら気軜に回答が返っおくるはずです。

蚘事のお問い合わせはTwitterよりお願いしたす。
https://twitter.com/sald_ra

60
37
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
60
37

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?