1: 名無しのメタバースさん 0000/00/00(※) 00:00:00.00 ID:metaversesoku
GPT3.5から蒸留でモデルつくったみたいですね。githubからダウンロードしてローカル環境で遊べそうだな。 https://t.co/kUaa2FPf1y
— はかせチャン (@hshimodaira) March 29, 2023
ソースもモデルも公開されてる言語モデルのgpt4allをmacにダウンロードして、ガンダムのこと聞いてみた。モデルのファイルサイズが4.2GBしかないので高度なことはできないけど、とりあえず動いてる。 pic.twitter.com/UXHiUuszkb
— はかせチャン (@hshimodaira) March 30, 2023
※: 本日のおすすめサイト記事一覧 0000/00/00(※) ID:metaversesoku
— toyxyz (@toyxyz3) March 30, 2023
GPT4All導入の動画チュートリアル →RT
— うみゆき@AI研究 (@umiyuki_ai) March 30, 2023
今までChatGPTが優秀なのでローカルでLLMを動かすモチベーションがあまり湧かなかったけど、真に自由な発言をさせる、AIの発話のレイテンシを極限まで下げる努力ができる、OpenAIの都合に左右されないようになる、などが実現できると嬉しいことがわかってきたのでモチベーションが湧いてきた。
— ねぎぽよし (@CST_negi) March 30, 2023
早速手頃なところでGPT4Allを動かしてみたけど、ちょっとがっかりするレスポンスしか得られなかったので道のりの長さに泣いた;;
— ねぎぽよし (@CST_negi) March 31, 2023
今夜、やります。
— ねぎぽよし (@CST_negi) March 31, 2023
4: 名無しのメタバースさん 0000/00/00(※) 00:00:00.00 ID:metaversesoku
ありがとうございます!了解です!!!
— ねぎぽよし (@CST_negi) March 31, 2023
GPT4ALLはまだ試してないなあ。日曜日にできるかな?
— Shigekazu Ishihara (@shigekzishihara) March 31, 2023
LLaMA30Bまでは、CPUのみでも結構行けたな。65Bはさすがに遅い。13Bはかなり速かったな(MacStudio 128G)
ChatGPTのAPI無料枠が今日までなんだけど、代わりに gpt4all や alpaca.cpp 動かしてみたものの、APIと同じ内容を入力するとどちらも落ちるのでしばらくはChatGPTを使った方がいいかな.GPT-3.5でも十分だし.GPT-4はちょっと高いと思ってるんだけどどうなんでしょうね.
— mebiusbox (@mebiusbox2) March 30, 2023
GPT4ALLがRTX3080付きゲーミングラップトップで動いた。各OSでデモ用の実行ファイルを用意してくれていて、使用感を確認するのによい。日本語は全く喋れないし、英語でも自己紹介させると知らない人が毎回出てくる。使い所を探そう。https://t.co/VHhXdB14Af
— kaeru (@mryo39) March 30, 2023
なおデータセットは公開されているが、Alpaka LoRAで学習したcheckpointは公開しないとテクニカルレポートに明記されていたので、Alpakaは自前で用意する必要がある。
— kaeru (@mryo39) March 30, 2023
レポートには80GBのA100を8台使って8時間位で4epoch学習できたと書いてあった。そんなに計算資源要るのか。読み間違えたかもしれない。#gpt4 #GPT4All
— kaeru (@mryo39) March 30, 2023
5: 名無しのメタバースさん 0000/00/00(※) 00:00:00.00 ID:metaversesoku
学習済みのAlpaka LoRAを求めていたら日本語版Alpaka LoRAを公開してくださっている方がいたのでラップトップで動作確認した。使用メモリは7Bモデルで14.89GB位で、RTX3080なら動く。gradio付きのデモコードもあり勉強になる。https://t.co/4Ef2E1xImm
— kaeru (@mryo39) March 30, 2023
ただ、instructとinputを与えたときのoutputが支離滅裂で、これは使えるレベルではない…というのが率直な感想だった。GPT4ALLは英語でまだ疎通できるレベルで話していたけど、これはそのレベルではない。プロンプトとその出力の量が違うのかな。
— kaeru (@mryo39) March 30, 2023
GPT4ALLはTech reportを読むと、GPT3.5-turboを使って、LIONとstackoverflowとP3から43万プロンプト-出力対だったけど、Japanese alpaka LoRAはどうやってプロンプト選択したんだろう。self-instructかな…。最近論文を読む前にコードを動かして満足するようになってしまっている。あまりよくない…。
— kaeru (@mryo39) March 30, 2023
GPT4ALLのファインチューニングはA100×8枚いるらしい😞
— 競馬AI 広報担当haruka (@haruka_umajou) March 30, 2023
やっぱり最初は試しだしalpaca Loraとかだね。
ファインチューニングじゃないな
— 競馬AI 広報担当haruka (@haruka_umajou) March 30, 2023
Loraチューニング。
gpt4all、なるほど、すごいな。ローカルで動いてる気配がある
— terrierscript (@terrierscript) March 30, 2023
gpt4all、英会話ならなんとかって感じか(日本語は全然ダメだった)。しかしローカルで動くのが出てくるまでのスピードがすごい
— kota matsui (@matsui_kota) March 30, 2023
“GPT4AllはGPT-3.5-Turboから取得した80万件の会話ログでLLaMAをLoRAで再学習、量子化してPCで動くサイズにしたもの。” / “Kazunori Sato on Twitter: "GPT4Allのプロンプトとレスポンスのembedding空間をt-SNEで可視化。GPT4AllはGPT-3.5-Turboから取得した80万件の会話ロ…” https://t.co/0gaTRLo3ku
— misshiki_bkmk (@misshiki_bkmk) March 30, 2023
GPT4All日本語ファインチューン済みモデル、誰か作って公開して
— 石鹸 (@trgmeip) March 30, 2023
_________________________________________________________________________________
コメントする