1: 名無しのメタバースさん 0000/00/00(※) 00:00:00.00 ID:metaversesoku
Command R plusにコード書いてもらいました
— AI𝕏サトシ⏩ (@AiXsatoshi) April 6, 2024
わかりやすいです pic.twitter.com/IGwmtzExWk
command-rっていうLLM 大規模言語モデルをローカルで動かして会話してみたんだが、やみのま理解できるのか・・・。すごいな。 pic.twitter.com/J8PV0Xq30D
— おれおん (@oron1208) April 7, 2024
※: 本日のおすすめサイト記事一覧 0000/00/00(※) ID:metaversesoku
3: 名無しのメタバースさん 0000/00/00(※) 00:00:00.00 ID:metaversesoku
Plusは流石にローカルで動かそうとしたら、メモリがパンクしそうですねぇ。
— おれおん (@oron1208) April 7, 2024
command-rもどうせ動かないと思ってたんですが、4bit量子化版がOllamaにあるならダメ元で試してみようか、って思い立ちました（VRAM 24GB勢）
— かいりん (@ckrunch) April 7, 2024
Command R+ はRAGに強いと言うだけあって、APIがけっこう豪華？
— ユキ@バーチャルAIエージェント・アメ開発中 (@senju_ame) April 7, 2024
document用パラメータとか検索クエリ出力用オプションとかありそう。
出力も引用元を示しながらインライン表示できるように返してくれるなら便利。
このあたりはOpenAIモデルとかClaudeにはない強みかもhttps://t.co/Y003qMLEXn
Command-R+の衝撃! 100Bモデルで本当にこんなことできんの!?ダウンロードしてローカルで実行可能｜shi3z @shi3z #note https://t.co/fvUQegaxFY
— shi3z (@shi3z) April 5, 2024
ローカルで動かせるGPT4超えクラスのAIがついに実現したのでしょうか https://t.co/oTQAJWsFrO
— John K.Happy (@manjiroukeigo) April 6, 2024
ほんと、私の中で、Command R+、今のところ追いかけるものナンバーワンに上がってる。
— ホーダチ | AI✖️Cloud✖️Dev | 外資×ひとり法人 (@hokazuya) April 6, 2024
記事中にある、MLXを今今使おうとしてるけど、残念ながら、何かしらの理由でエラーが出る。(cohereにモデル見つからん、MLXバージョン不一致などなど、問題多数… https://t.co/QwJgru3bfu
— からあげ (@karaage0703) April 6, 2024
4: 名無しのメタバースさん 0000/00/00(※) 00:00:00.00 ID:metaversesoku
Command-R plus、pmysl/c4ai-command-r-plus-GGUFの2bit量子化モデルを、fork版llama.cppで-ngl 31 -c 256にすると超遅いけど24GB VRAMで動くみたいだ。
— Kohya Tech (@kohya_tech) April 6, 2024
chat templateを変えれば返答は改善しそうだけど、変え方がわからないので諦める(;･∀･) llama.cppの正式対応を待とう。 pic.twitter.com/jNcgeJdYYj
Command-R-plusはCohereアーキテクチャっぽいけど、これコード見た感じLLaMAのレイヤー正規化がRMSNormじゃなくてLayerNormになっただけっぽい
— すでぃー (@sudy_super) April 6, 2024
つまりMistralとかLLaMAで100Bモデルを作ったらあれより精度いいモデルが作れる...ってコト！？
もちろんデータの質とか量とかもあるんだろうけど
— すでぃー (@sudy_super) April 6, 2024
やっばいの見つけた！
— ホーダチ | AI✖️Cloud✖️Dev | 外資×ひとり法人 (@hokazuya) April 6, 2024
Azureで、Command R+サポート発表されとる！
これ、局面きてる。 pic.twitter.com/5iBg48Y45e
Command R の 概要｜npaka @npaka123 #note https://t.co/v3WatFouNy
— 内田政俊【ウチダマサトシ】 𝕏 UCHIDA Masatoshi (@S_Ishimaru) April 6, 2024
RAGに特化してんのね。
ビジネス的な用途だとRAG使う例が大半だろうからなー。
5: 名無しのメタバースさん 0000/00/00(※) 00:00:00.00 ID:metaversesoku
Command-R+ 4bitをローカルで無限に動かせられるのでメモリ80GB以上のMacがほしいモチベが出てきた
— erukiti (@erukiti) April 6, 2024
Mac Studioなら448,800円でメモリ96GB。GPUコアが少ないから性能面で物足りないってなるかもしれないが、M2Ultraで128GBにすると868,800円
NVIDIA GPUでやるにしても高い pic.twitter.com/9AOqwV2zq6
4090でやった方が性能もいいとは思いますが4台は必要な計算になるので、値段と消費電力が跳ね上がりますよね
— erukiti (@erukiti) April 6, 2024
僕もCommand R+がローカルで動かせる環境が欲しいわな。まあでもLlama .cppでCPU+GPUで動かした時に何t/s出るか見てから考えてようと思ってる。はよ対応しないかな →RT
— うみゆき@AI研究 (@umiyuki_ai) April 6, 2024
MLX で Command R plus を お試し中。
— 布留川英一 / Hidekazu Furukawa (@npaka123) April 6, 2024
M3(128GB)
Prompt: 16.245 tokens-per-sec
Generation: 4.788 tokens-per-sechttps://t.co/RXOj5vKiNq pic.twitter.com/71RwfjRWS4
memGPT + command-r 35Bの日本語対応化補足:
— ユカリャフカ (@Yukaryavka) April 6, 2024
プロンプトを1キャラクターにかなり特化させた状態に改良しましたが、それだけではなく先日公開されたばかりのjapanese-instructチューニングが行われたAratako氏の派生モデルをEXL2 3.8b量子化して使用してます。大変感謝!https://t.co/2YpsqZS9XX
Command Rは非商用ライセンスだけど、それでもウエイトがあると微調整版作ってくれる人とかいていいね →RT
— うみゆき@AI研究 (@umiyuki_ai) April 6, 2024
🤔
— Kohya Tech (@kohya_tech) April 6, 2024
Noeda氏のforkをビルドしたら動いてはいるんだけどllama.cppの設定がすべてデフォルトだからかな……。 pic.twitter.com/GfESp3tJ8l
2bit版、chat templateが変えられないので、プロンプトっぽい文章（「アシスタント：」まで）を与えてCompletionモードで動かしてみた。 pic.twitter.com/lnZibuDuzs
— Kohya Tech (@kohya_tech) April 6, 2024
2bit版のCommand R+をVRAM24GBでCPU+GPU環境で実行した感じかな。1.22tpsはちょっと遅すぎて魅力ないけどまあ動くだけ大したもんか。2bit量子化って実用性無いと思ってたけど思ったよりちゃんと回答できてるね →RT
— うみゆき@AI研究 (@umiyuki_ai) April 6, 2024
_________________________________________________________________________________
コメントする