1: 名無しのメタバースさん 0000/00/00(※) 00:00:00.00 ID:metaversesoku
スタンフォード大が70億パラメータの言語モデル「アルパカ🦙」を発表。デモ+学習レシピ+データ公開。モデルは公開予定
— 小猫遊りょう(たかにゃし・りょう) (@jaguring1) March 13, 2023
OpenAIの「text-davinci-003(ChatGPT開発に用いたGPT-3.5群の一つ)」に匹敵。自動生成した指示文で「LLaMA」を微調整(クラウドでは100ドル(約1.3万円)以下https://t.co/TzYvsX9WAU
指示データは言語モデル「text-davinci-003」を用いて自動生成(ここではOpenAI APIの利用で500ドル以下(約6万7000円以下)の費用がかかったらしい)。学術研究での利用が目的で、商業利用は禁止されてる。今後、より多くのデータを用いたり、強化学習を利用することでさらに改善される可能性がある
— 小猫遊りょう(たかにゃし・りょう) (@jaguring1) March 13, 2023
※: 本日のおすすめサイト記事一覧 0000/00/00(※) ID:metaversesoku
リャマ(LLaMA🦙)が改良されてアルパカ(Alpaca🦙)になった🤔
— 小猫遊りょう(たかにゃし・りょう) (@jaguring1) March 13, 2023
Alpacaの作者の1人による紹介ツイート↓ https://t.co/yM9JiWah0B
— 小猫遊りょう(たかにゃし・りょう) (@jaguring1) March 14, 2023
Alpacaの作者による紹介ツイート↓ https://t.co/qGtZyPMmb5
— 小猫遊りょう(たかにゃし・りょう) (@jaguring1) March 14, 2023
GPT-3.5 1750億パラメータ!!!
— ハラリハット (@Haruto_QU) March 14, 2023
アルパカ 70億パラメータ…!
これで、同等なんて信じられん。
何かの間違いだろ…
何が起こってるのか…
Metaが作ったかなりコスパ良いモデルをさらにスタンフォード大学が調整して、こうなっちゃったらしい。
こっからは小規模でさらなる改良ができそう。 https://t.co/1sXFCpL4vN
名前が素敵 https://t.co/lqfKZEF2AC
— 実名アカウント (@i0akaten) March 13, 2023
へ~、スタンフォード大がメタのLLaMAを弄くって遊んでみたらメッチャ性能上がったAlpaca-7Bができちゃったらしい。Davinciに先生やらせてLLaMA7BモデルにDavinciの賢い入出力例を見せまくった(命令チューニング)ら、かなり賢くなってDavinci並みになったら https://t.co/3tjfGyYIjf… https://t.co/yxrXzlIaFG
— うみゆき@AI研究 (@umiyuki_ai) March 14, 2023
スタンフォードが公開した言語モデルのAlpaca、試してみたけど軽いのに精度が高くてすごい
— やなぎ (@Yanagi_aiai) March 14, 2023
以前ローカルでOPT-6.7b動かしてみたけど、応答精度が比べ物にならない
トレーニングはA100 80GB×8台で3時間とのこと
大規模言語モデルの軽量化、すごいスピードで進むな…
デモはここhttps://t.co/BzuCrfcsOg pic.twitter.com/z7eH8IkyKd
4: 名無しのメタバースさん 0000/00/00(※) 00:00:00.00 ID:metaversesoku
以前に試したOPT-6.7bとの会話がこれ
— やなぎ (@Yanagi_aiai) March 14, 2023
Alpacaのパラメータは7Bで近いのに、精度が全然違うhttps://t.co/tlDmYybGjq
A100 8台で3時間なら3090x1で48+a時間くらい?
— Taiga Takano (@tg3517) March 14, 2023
それなら革命的すぎる https://t.co/t20EKINIMd
Alpaca 商用利用OKという話を聞いてたけど規約変えたのかResearch Use Only にされてますね https://t.co/GRGzCCjIAX
— John K.Happy (@manjiroukeigo) March 14, 2023
大規模言語モデル、LLaMA(リャマ)の次はAlpaca(アルパカ)と来た。ネーミング楽しんでるだろw
— Kenji Iguchi (@needle) March 14, 2023
しかし7Bサイズ(LLaMAではラズパイやスマホですら動いた報告がある)で更に頭良くなるのか、熱いな。 https://t.co/N9zIGIRwn1
LLaMA 7BをGPT-3ライクに微調整したAlpacaのデモを試してみたけどかなり賢い
— LangLang (@Langx02) March 13, 2023
ローカルで動かせる規模で賢いLLMがこんなに早く出てくるとは
5: 名無しのメタバースさん 0000/00/00(※) 00:00:00.00 ID:metaversesoku
Alpaca7Bは、現状すごく遅いらしい(Huging faceのデモで実行か)。
— posi_posi (@posi_posi8) March 13, 2023
OSSが公開されたら、かなり盛り上がりそう。 https://t.co/T4ulG5Qsfo
たった52kインスタンス,それもモデルからの生成データでalpaca出来ちゃうの正直信じられないんだけどこの程度でいいならクラファンのノリでデータ作ればオープンで制約もないChatGPTライクなやつすぐできるんじゃ
— yufuin (@yufuinian) March 14, 2023
どこぞのpaper-challengeで論文読む代わりにデータセット作ってくれないかな(他力本願
alpaca賢い pic.twitter.com/4YnAGwglvX
— あるふ (@alfredplpl) March 14, 2023
今度はAlpaca! https://t.co/YpHxCAYQaH
— 走れ!櫻木さん (@sakuragi_zero) March 14, 2023
LLaMA 7BをファインチューニングしたAlpaca 7Bが、GPT-3 (text-davinci-003)と同等の性能を発揮。
— posi_posi (@posi_posi8) March 13, 2023
このAlpaca 7Bのモデルは軽く、シングルGPUでも動くので、ChatGPTは終わったとのリプライあり。 https://t.co/DDjl2vzjmK
LLaMA 7BをGPT-3ライクに微調整したAlpacaのデモを試してみたけどかなり賢い
— LangLang (@Langx02) March 13, 2023
ローカルで動かせる規模で賢いLLMがこんなに早く出てくるとは
_________________________________________________________________________________
コメントする