1: 名無しのメタバースさん 0000/00/00(※) 00:00:00.00 ID:metaversesoku
Alpacaデータで学習されたRWKVのデモ。この速さは反則でしょ!!😂https://t.co/4MBOvpltIp
— クニえもん.inc🤗 (@kun1em0n) March 27, 2023
You can check here !!https://t.co/BKFHN8UD9a
— クニえもん.inc🤗 (@kun1em0n) March 28, 2023
※: 本日のおすすめサイト記事一覧 0000/00/00(※) ID:metaversesoku
日本語は喋ってくれないけど理解してるっぽいですね https://t.co/CzxAQhlhdB pic.twitter.com/oLse1uuVmp
— John K.Happy (@manjiroukeigo) March 27, 2023
Instruction に日本語で回答せよってつけたらちゃんと日本語で答えてくれました https://t.co/m6G8Azzl3x pic.twitter.com/mRoMFJqyjK
— John K.Happy (@manjiroukeigo) March 27, 2023
実験いただきありがとうございます!日本語もいけるとはスペック高いですね....見たところファインチューニングのコードは見当たらないですがコードが出てきたら日本語Alpacaデータでもファインチューニング試してみたいですね😳
— クニえもん.inc🤗 (@kun1em0n) March 27, 2023
データの学習は楽しいらしい https://t.co/owkDMK0Ei9
— John K.Happy (@manjiroukeigo) March 27, 2023
RWKV賢いな
— Nero@AI画像コンテスト主催✊ (@neromeron1014) March 28, 2023
GPT-2と3の間くらいの体感 pic.twitter.com/lfXYGVfLvN
4: 名無しのメタバースさん 0000/00/00(※) 00:00:00.00 ID:metaversesoku
完全フリー、という意味ではBLOOMも…と思ったけどあれは366Bとデカいので少VRAM環境では動かしにくい。そしてLLaMA/Alpacaは研究用途専用という制約があるので、確かに利用制約が無い+少VRAM環境というのは貴重か
— Kenji Iguchi (@needle) March 26, 2023
ChatRWKVでも試してみた。同じモデルなのにこっちのほうが賢い。「プロンプトがとても大事」と書いてあるので、サンプルで与えられている会話例により賢くなってるのかもしれない。しかし空が青い理由を聞いたのに「先生に聞いてみようか。先生好きなんだよね、親切で~」と大脱線したのは笑った pic.twitter.com/b9rRJc8KnK
— Kenji Iguchi (@needle) March 26, 2023
俺「芋、トマト、鶏肉でできるレシピ書いて。計量単位はメートル法で」
— Kenji Iguchi (@needle) March 26, 2023
RWKV「まず1kgの芋を~」
俺「多くね?でもちゃんと指定した材料を使うレシピは出てきたな、食べられる代物かはわからないけど」
RWKV「なおこのレシピはC#で表現する事もできます。using System;~」
俺「おい」 pic.twitter.com/vf3z4HTNO0
RWKV、「14BモデルがVRAM3GBでも動く」というのはどうやったら出来るんだ?そもそも記述どこだ?と思ったけど、どうやらここのExtreme STREAMとある設定の事のようだ。遅いとは書いてある。試してみたけどロード中にKilledで落ちて実行できず。 https://t.co/d9KvyLvibq pic.twitter.com/Y5mNXSuZZH
— Kenji Iguchi (@needle) March 26, 2023
Raven (RWKV+Alpaca)、前と同じ「芋、トマト、鶏肉のレシピ」を聞いてみたら前よりそれっぽいものを出してきた。ちゃんと材料一覧と手順を分けてるし、分量も1kgとか無茶言わないし、C#も吐かないw pic.twitter.com/IektY06kEs
— Kenji Iguchi (@needle) March 28, 2023
日本語でもそこそこ(材料一覧と手順は分かれてないけど) pic.twitter.com/rurF1Uxpck
— Kenji Iguchi (@needle) March 28, 2023
えっしかもこれ14Bじゃなくて7Bモデル?強いな!
— Kenji Iguchi (@needle) March 28, 2023
5: 名無しのメタバースさん 0000/00/00(※) 00:00:00.00 ID:metaversesoku
Raven、ローカルでも試す。コード生成できる。すらすらと出てくる、めちゃ反応速い。 pic.twitter.com/azB1t6YtZl
— Kenji Iguchi (@needle) March 28, 2023
PythonじゃなくてPHPとかでも出来る。「キーを押した時」というのはしたがってない気がするけど、Slack APIを叩くのとかはそれっぽいのが出てる。 pic.twitter.com/OBMuoIUVL3
— Kenji Iguchi (@needle) March 28, 2023
話題のRWKVやAlpaca-LoRAを試してみたけど、体感ではGPT-4どころかrinna社の japanese-gpt-1b (GPT-2ベース) の方が性能が良いと感じた。
— 2f6i (@2feet6inches) March 28, 2023
現時点でChatGPTのライバル的な扱いをするのは言い過ぎなのでは pic.twitter.com/bO4tIuhOfa
!?!?
— 逆瀬川 (@gyakuse) March 27, 2023
ChatGPTが現在日時を知ることができるようになってる!! (GPT-3.5) pic.twitter.com/8MCGtkutWT
所与のプロンプトとして現在日時が渡されているんだろうけれど、いままでの挙動と変わっててびっくりした
— 逆瀬川 (@gyakuse) March 27, 2023
https://t.co/9kDPMo7RAy
— 逆瀬川 (@gyakuse) March 27, 2023
たしかにこれでしたね!
Legacyモデルでは文脈から時期を想定しているが、Defaultモデルではきちんと質問が行われた日時からそれを読み取っているように見える pic.twitter.com/NbGWoZMZb9
— 白月めぐり (@alice_diffusion) March 27, 2023
_________________________________________________________________________________
コメントする