1: 名無しのメタバースさん 0000/00/00(※) 00:00:00.00 ID:metaversesoku
今日、AI分野に革命を起こしたtransformer論文の著者のGomez氏が率いる企業「Cohere」が多言語モデル「Command R+」を発表（研究用に重みも公開
— 小猫遊りょう（たかにゃし・りょう） (@jaguring1) April 4, 2024
1040億パラメータ。多言語翻訳（左）、RAG（真ん中）、ツール使用（右）の性能でGPT-4 turboに匹敵。価格も安い
日本語にも対応https://t.co/Gy31hELAFZ pic.twitter.com/J8TXwejrjj
それは今回のポストには関係のない情報だったので、文字数の制限上、「共同筆頭著者の1人」ではなく、「著者」と書きました。その点において間違ったことを言ってないと思いますが、「 transformer論文の著者は8人」というこの分野の常識は人によっては価値があると思います。補足ありがとうございます
— 小猫遊りょう（たかにゃし・りょう） (@jaguring1) April 4, 2024
※: 本日のおすすめサイト記事一覧 0000/00/00(※) ID:metaversesoku
3: 名無しのメタバースさん 0000/00/00(※) 00:00:00.00 ID:metaversesoku
すみません、差し出がましいことを申し上げました。素人の早合点と思ってご容赦をいただければ幸いです
— エネルギー弾 (@megabeam) April 4, 2024
話題の「Command R+」ことCohereForAI/c4ai-command-r-plusを4bitで読み込んでうちのA100 80GBで動かしてみた。64GBくらいGPUを消費。しかし、かなりまともに回答する。これはすごい。https://t.co/goDQGMi3r7 pic.twitter.com/2c5jjQvbHg
— 鎌原淳三(Junzo KAMAHARA) (@jun3k) April 8, 2024
話題のモデルが出ると
— 畠山 歓 Kan Hatakeyama (@kanhatakeyama) April 4, 2024
まずは、利用規約を見て、
出力を商用利用可能なllmの学習に使ってはいけないことを、
念の為、確認するのが、最近の習慣になりました。https://t.co/Pv6UVBPxdv https://t.co/vT3TDCguiI pic.twitter.com/lt8aYUbUma
RAG特化モデルというのに性能はRAGが一番劣るのかとちょっと思ってしまったけど、GPT４-turboとほぼ同性能で、Inが1/3、Outが1/2のコストでAzureで使えるのか
— 玉露 (@gyokuro338) April 4, 2024
処理速度は気になるけど、一回試してみてもいいかも https://t.co/CWggsjuW87
4: 名無しのメタバースさん 0000/00/00(※) 00:00:00.00 ID:metaversesoku
c4ai-command-r-plus-104b-iq2_s.ggufをRTX4090 24GB+RTX3060 12GBに72%:28%でsplitしてllama.cpp PR#6491使ってロードしたらギリギリ全部VRAMに載った
— てんのすけ (@Meteor_Eternal) April 9, 2024
約10tokens/sなので使えるかもしれん。精度確かめるか。 #LLMs pic.twitter.com/qDQpiFUNhB
本当は全部VRAMに乗るけど、command-r-plus-104b-iq2_s.ggufを-ngl 59として意図的にCPUオフロードさせると、i7-12700K DDR4-3733MHzで2.8 tokens/s
— てんのすけ (@Meteor_Eternal) April 9, 2024
意外と速い
Announcing Cohere Command R+, now available on Azurehttps://t.co/sFQIksHN8O#LLM #AI
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) April 7, 2024
https://t.co/0atIFvjjLG
— 高杉 光一🦋 @14:59 (@kuronagirai) April 5, 2024
Command Rが商用不可能だけどモデル公開されてるって
現状どこにも存在しなかった準GPT-4クラスの日本語モデルが突然ポンとお出しされちゃってるってこと…！？
オープンソースにおいて日本語最高性能モデルがこんな形で…！？
確かにしれっとウェイト公開されてて日本語まともに喋れるオープンモデルという時点でめちゃ貴重な気がする
— Torishima / INTP (@izutorishima) April 7, 2024
5: 名無しのメタバースさん 0000/00/00(※) 00:00:00.00 ID:metaversesoku
商用利用不可ですが、研究用として重みが公開されたC4AIのCommand-Rシリーズは評判良さそうですね
— webbigdata (@webbigdata) April 8, 2024
Command Rは35B(350億)パラメータ、ファイルサイズ 69.96 GB
Command R+は104B(1040億)パラメータ、ファイルサイズ207.68 GB
Command R+… pic.twitter.com/WNB2IuEb1K
dranger003/c4ai-command-r-plus-iMat.GGUF
— webbigdata (@webbigdata) April 8, 2024
dranger003さんがリリースしてくれたcommand-r-plusの量子化版です。
モデルダウンロード後、
llama.cppをgithubからclone
git fetch origin pull/6491/head:cr
git checkout cr
make
./llama.cpp/main -m…
c4aiすごすぎる、ラーメン二郎にめちゃくちゃ詳しい pic.twitter.com/KaecwvTh03
— わかりみや (@callisub) April 7, 2024
Command-R 35B ローカルLLM x memGPTを組み合わせ、4090シングルカードで架空のAIキャラクターとチャットで対話した際の精度に関する成果を公表しましたが、注目度が高かったようなので、特別に全てのシステム構築・インテグレーション手順を記した記事を公開しました。https://t.co/eO5gsRBl4c
— ユカリャフカ (@Yukaryavka) April 7, 2024
Command R+については、多分僕のPCだと推論がクッソ遅いと思うけど、それでもコイツはまどマギで一番可愛いキャラを訊くと”暁美ほむら”と一言だけ断言した。この断言力を活かして、ダラダラ長文出す必要無い、真実を一言だけ断言さえしてくれればいいユースケースで使い道があるかもしれない
— うみゆき@AI研究 (@umiyuki_ai) April 7, 2024
plusじゃない方のCommand…
— うみゆき@AI研究 (@umiyuki_ai) April 7, 2024
プロの人による記事
— むらた (@pikarillex) April 8, 2024
Command-R+の衝撃! 100Bモデルで本当にこんなことできんの!?ダウンロードしてローカルで実行可能 https://t.co/EEMkdgdg7B
_________________________________________________________________________________
コメントする