1: 名無しのメタバースさん 0000/00/00(※) 00:00:00.00 ID:metaversesoku
MacのCPUのみで動く14B大規模言語モデルRWKVを試す|shi3z @shi3z #note https://t.co/2v5PdVSi3Y
— shi3z (@shi3z) March 26, 2023
Windows でも動くかな。Transformerじゃなく RNNってのが衝撃。 https://t.co/ktJHb4eqgS
— ogs (@featherogs) March 26, 2023
※: 本日のおすすめサイト記事一覧 0000/00/00(※) ID:metaversesoku
どうしても動かしてみたく、こちらの記事を参考にRWKVをGoogle Colabで動かしてみました!
— Prompt Engineering Lab (プロンプトエンジニアリング研究所) (@PromptEngLab) March 26, 2023
こちらはColabで実験した録画になります。
最強スペックの環境では、かなり機敏に動作しています。
標準的な環境ではうまく動かず、結局Colab… https://t.co/djfF05v1eI pic.twitter.com/BebXEDBrUB
RNNでもGPTレベルの能力まで到達できるのか。 https://t.co/BkopvCSQuj
— tyoko010 (@tyoko010) March 26, 2023
完全フリーで3GBのVRAMでも超高速に動く14B大規模言語モデルRWKVを試す|shi3z @shi3z #note https://t.co/roV1r7tvgJ
— Rootport💰🍹🍑 (@rootport) March 26, 2023
QT「なんと、GPT3並の性能を持つ、しかも完全にオープンな大規模言語モデルが公開されていた。」
!?!?!?
話題のRWKV-v4neo、7Bがローカルでも動きました。CPUで毎秒1語くらい。最近GPT-4相当の~ という見出しで釣っておいて、ただ動いたよレベルのものが多いですが、スピードはともかく内容はちょっと楽しめそうです。https://t.co/3boXl6WylI pic.twitter.com/iS8aTXngmg
— WindVoice (@WindVoice_jp) March 26, 2023
さすがに14Bはだめかな…… swapを目一杯増やしてみるけど、メインメモリ64GBでは無理かな…… がんばれがんばれ。
— WindVoice (@WindVoice_jp) March 26, 2023
4: 名無しのメタバースさん 0000/00/00(※) 00:00:00.00 ID:metaversesoku
後で試すか > 完全フリーで3GBのVRAMでも超高速に動く14B大規模言語モデルRWKVを試す|shi3z @shi3z #note https://t.co/v98KR8Ed52
— からあげ (@karaage0703) March 26, 2023
これはまたすごいのが出てきたな…
— Torishima (@izutorishima) March 26, 2023
完全フリーで3GBのVRAMでも超高速に動く14B大規模言語モデルRWKVを試す|shi3z @shi3z #note https://t.co/tq91IIXYoU
ちょっと前にこんなこと言いましたがRWKVhttps://t.co/naYMzKYFKb
— 田口善弘 (@Yh_Taguchi) March 26, 2023
は”it's 100% attention-free”なのでアテンションを全く使っていないらしい。やっぱり今のLLMと同じ性能の非線形非平衡多自由度系は無数にあると思った方がいいのだろう。そしてRNNとTransformerの動作原理が同じという保証もない。 https://t.co/qlslQs3neo
RWKVはええー!🏎️#ChatRWKV 向けのLLM
— forasteran (@forasteran) March 26, 2023
🔧https://t.co/tUqDqfxFsL
「ご家庭のパソコンでこの勢いっすよ」
(→ええ、A6000ですw)
貧者のヒョロコンでも動く時代くるね♪
いや、#RWKV 14Bですら3G VRAMでもう動くw
日本語もいけてるの凄い!
🤗https://t.co/CnJ0VFA2YC https://t.co/sD1vBtOQBg
「ちなみにすでにLoRAとかもある」
— forasteran (@forasteran) March 26, 2023
「あとINT8版もある」→RWKVSTIC
git lfs installやっちゃダメとか参考なるw
M2 MAX(32GB)でも遅いかー
やっぱヒョロコンより早いGPUほすぃ
何でRNNでも性能高いん?
完全フリーで3GBのVRAMでも超高速に動く14B大規模言語モデルRWKVを試すhttps://t.co/AcMFKnbump
無料で使えるChatRWKVは、家庭のローカル環境でも動く大規模言語モデルです。性能の良いゲームマシンをお持ちの方は是非お試しください😊 GPT-3くらいの性能を発揮するようです(容量は30GBくらい😳)
— 旅人 (@Tomoto1234567) March 26, 2023
■ #ChatRWKV is like ChatGPT but powered by RWKV (100% RNN) language model, and open source. https://t.co/fAqGxKhwSC
5: 名無しのメタバースさん 0000/00/00(※) 00:00:00.00 ID:metaversesoku
なるほど、組み合わせ選べるんですね☺️ pic.twitter.com/DhbJVoqUby
— 旅人 (@Tomoto1234567) March 26, 2023
モデル7Bで半分GPU半分CPUで動きました。全部GPUにはギリギリのらない感じ。14Bは8GB GPUでは無理そう。
— きしだൠ(K1S) (@kis) March 26, 2023
こーゆーの触り始めると、もーちょっと超弩級のMacが欲しくなるな / “完全フリーで3GBのVRAMでも超高速に動く14B大規模言語モデルRWKVを試す|shi3z|note” https://t.co/w7Q8FRfAq8
— Masanori Kusunoki / 楠 正憲 (@masanork) March 26, 2023
すげ~~、ggerganov さんが rwkv.cpp を作る展開に期待だ
— Torishima (@izutorishima) March 26, 2023
ChatRWKVでRWKVの7Bモデルを動かせました。ストラテジーはcuda fp16i8 *15+にしました。自分の環境(rtx3070ti vram8gb)ではvram8gb環境の設定例としてあげられていたcuda fp16i8 *30 -> cuda fp16ではメモリが足りませんでした。 pic.twitter.com/s5sT58irVD
— 山茶花 (@sazankaimoto) March 26, 2023
RWKV試してみた。一応日本語も通るっぽい。 pic.twitter.com/dBkeRuJOBH
— Yusuke Ishikawa (@yusukei) March 26, 2023
rwkvってやつはローカルのpcでも大規模言語モデルが動かせるくらいの技術なのか。よく分からないけど。
— Pooh3 🥶 (@Pooh3Mobi) March 26, 2023
よしRWKVすんぞ
— utabi (@utabi) March 26, 2023
_________________________________________________________________________________
コメントする