1: 名無しのメタバースさん 0000/00/00(※) 00:00:00.00 ID:metaversesoku
大規模言語モデルのデータセットまとめ|npaka @npaka123 #note https://t.co/dvGcq73Kxi
— 布留川英一 / Hidekazu Furukawa (@npaka123) April 3, 2023
LLMのそれぞれ長所短所あるでしょうから比較が必要ですね https://t.co/fPM8rllrNE
— きょうすけ@AI&VR研究 (@deep_learning01) April 3, 2023
※: 本日のおすすめサイト記事一覧 0000/00/00(※) ID:metaversesoku
Vicuna-13BはChatGPTでのやり取りやプロンプトをシェアできる拡張機能「ShareGPT」のデータ(約7万件の会話)に基づいてLLaMAのベースモデルを微調整することにより、Alpaca 7Bなどの他のオープンソースのLLMよりも高品質なパフォーマンスを実現…
— チャエン| Web3.0×海外テック×AI (@masahirochaen) April 4, 2023
ChatGPT 対抗に出てきた #Vicuna を使った見たんだけど。これ2倍速。デモ環境だからしょうがない。
— kaz | クラウドとAIと英語好きな北国の人 (@hokazuya) April 4, 2023
そんなことより、先端技術は競争があるから成長するんよね。ぎゃんばれー! pic.twitter.com/GNwXVewlqR
Vicuna のウェイト、差分でしか公開されてないので 60MB の GPU RAM 積んでないと変換できないのアレすぎる、誰か変換後のウェイトバラ撒いてくれ〜〜(まあ言わずとも誰かやりそうだけど) pic.twitter.com/bb1z4zfs0M
— Torishima (@izutorishima) April 4, 2023
とか言って Hugging Face 漁ってたら既にあったわ 草https://t.co/cUE9tqwd14
— Torishima (@izutorishima) April 4, 2023
Vicunaの4ビット量子化13B、なんか思ったほど日本語理解してくれないな
— えんどー5501 (@endo_5501) April 4, 2023
VicunaはHFのtrainerを使ってるhttps://t.co/gJhieLvK4D
— Koki Tanaka (@gojiteji) April 4, 2023
分かった。
— 競馬AI 広報担当haruka (@haruka_umajou) April 4, 2023
main -ins だ。
4: 名無しのメタバースさん 0000/00/00(※) 00:00:00.00 ID:metaversesoku
alpaca_cleanedを日本語化して公開しました|shi3z @shi3z #note https://t.co/KXJdXXDw2y
— shi3z (@shi3z) April 4, 2023
ShareGPTの実例チャット履歴を70k使ってfine-tuningしたvicuna-13b、結構賢い。
— Kai INUI (@_kaiinui) April 2, 2023
試した中で日本語でロールプレイプロンプトを理解した蒸留系LLMは初めてで、たった13bでこれが出来るとは驚きです。
(もっと推論系のタスクにするとより分かりやすく出来がいいです) pic.twitter.com/MUC5mSHatf
vicuna-13b の重み、リリースされましたhttps://t.co/SL8RcpucZq https://t.co/oPaDup4Alc
— Kai INUI (@_kaiinui) April 3, 2023
うおおおおおおお!待ってた!!!!!
— とりにく (@tori29umai) April 3, 2023
あとはRTX3060で動いて・・・!動いてくれ・・・!!! https://t.co/hnmv5qYRNA
Llama.cpp — 🦜🔗 LangChain 0.0.129 https://t.co/7VLG0aNwya
— 常務 (@jyomu__) April 3, 2023
おいおいあるやんけ(九時間前にマージされてる
— 常務 (@jyomu__) April 3, 2023
llama.cppにset(BUILD_SHARED_LIBS ON)追記してビルドするとdllができるので、それを依存パッケージ内に入れると途中まで通った。
— 常務 (@jyomu__) April 4, 2023
その後 pic.twitter.com/bIUXtyn1bz
5: 名無しのメタバースさん 0000/00/00(※) 00:00:00.00 ID:metaversesoku
カリフォルニア大学バークレー校のAI研究所「BAIR」が130億パラメータの新しい対話モデル「Koala🐨」を発表!
— 小猫遊りょう(たかにゃし・りょう) (@jaguring1) April 4, 2023
Metaの言語モデル「LLaMA」を微調整したモデル。データは量より質を重視。ChatGPTに近いクオリティで、LLaMAの微調整モデル「Alpaca🦙」よりも好まれることが多いhttps://t.co/oRJcs6RAKn
コアラちゃん爆誕!BAIRから
— forasteran (@forasteran) April 4, 2023
学習データが素晴らしいにゃ#Koala13B: A Dialogue Model for Academic Researchhttps://t.co/6hNxztsn3V
LLaMA-13Bを以下で蒸留♪
ShareGPTの精査・英語以外30k
HC3コーパス87k(人間60k+ChatGPT27k)
LAION OIG 30k
Alpaca 52k
HH-RLHF 160k
WebGPT 20k
OpenAI要約93k pic.twitter.com/B67YINDBnc
🐨デモ応答帰ってコナイw
— forasteran (@forasteran) April 4, 2023
An online interactive demo of Koalahttps://t.co/RwfEWdEZLE
動かせ?
↓
🔧EasyLM: our open source framework we used to train Koalahttps://t.co/5gVkVDqiZd
🐨training datahttps://t.co/cxGuARhQAq
🐨test sethttps://t.co/23ksCt0rlshttps://t.co/IR4v6ctGdU pic.twitter.com/rLIoldtcc8
急いでリスト化したから変なになった!
— forasteran (@forasteran) April 4, 2023
↓ここ間違い
❌ShareGPTの精査・英語以外30k❌
⭕️ShareGPTのデータを精査で重複排除し「英語以外の会話を削除」した残り約30Kです
だから英語データ30kだね…日本語とか無いかも
詳しくは「ChatGPT Distillation Data」のとこ読んでhttps://t.co/6hNxztsn3V
UC Berkeleyが、Koalaを発表🐨
— Sir.AI - AI作ったり使ったり (@sir__AI) April 4, 2023
LLaMAをFineTuningしたもので、Alpacaに似ているが
ユーザの様々な問い合わせに対して答えるという点で、Alpacaよりも好まれたとのこと!https://t.co/J0yIQN9v4a https://t.co/eJaGvBKbKy pic.twitter.com/Kza47YcedN
Vicuna-13Bの、llamaとの差分モデルが公開されたっぽいhttps://t.co/BJZMQs0Y9k
— Stella (@stella221125) April 3, 2023
_________________________________________________________________________________
コメントする