1: 名無しのメタバースさん 0000/00/00(※) 00:00:00.00 ID:metaversesoku
Sakana AIの最初の研究成果である、進化的計算による基盤モデル構築に関する論文を公開しました。多様な既存モデルを自動的に融合し優れた基盤モデルを構築するための方法を提案すると共に、それにより試作したモデルを公開しました。
— Sakana AI (@SakanaAILabs) March 21, 2024
ブログ https://t.co/E4Ao87UXXi
論文 https://t.co/YtH7wEQHf1… pic.twitter.com/JcNabJukOt
Sakana AIで取り組んできたことを発表できました！密かに一部で流行りつつある基盤モデル界の黒魔術「モデルマージ」を、進化的計算によって自動化＆高度化しました。「日本語LLM + 英語VLM → 日本語VLM」のような、今まで見たことのないマージも成功しています。見てね！https://t.co/X0gUZfna6u
— Takuya Akiba (@iwiwi) March 21, 2024
※: 本日のおすすめサイト記事一覧 0000/00/00(※) ID:metaversesoku
3: 名無しのメタバースさん 0000/00/00(※) 00:00:00.00 ID:metaversesoku
モデルの学習に投じられるコスト考えたら、そのマージで性能上がってくのはとても理にかなってる。今後絶対に必要な仕組みだし、特に小さな国や組織にとって重要だと思う。
— kogu (@koguGameDev) March 21, 2024
一方で限界がどの辺にあるのかと、肥大化とかノイズだとかどうしてるのか気になるからもっと調べよう。 https://t.co/HV9nNexaWW
— 深津 貴之 / THE GUILD (@fladdict) March 21, 2024
日本語LLMの救世主になる？ https://t.co/rQJiGnufqK
— IT navi (@itnavi2022) March 21, 2024
「進化的モデルマージ」凄いｗ
— forasteran (@forasteran) March 21, 2024
「日本語LLM + 英語VLM → 日本語VLM」のような、今まで見たことのないマージも成功
異世界モノの複合属性やん🫢
NARUTO の血継淘汰（複数の遁を混ぜ合わせた性質変化）
七つの大罪の付呪（エンチャント）
とか魔法みたいな世界きたね！https://t.co/yX30xOKZmO
4: 名無しのメタバースさん 0000/00/00(※) 00:00:00.00 ID:metaversesoku
Sakana AIにジョインして初となる研究成果が無事にリリースされました！！
— mkshing (@mk1stats) March 21, 2024
paper: https://t.co/abWFQCHDyN
”モデルマージ”は学習が一才必要ないにもかかわらず、驚くべき性能がでることから注目されておりました。しかし、従来のマージの仕方は開発者の直感や経験にかなり依存しております。
1/ https://t.co/EiAc3ou0b3
これらの研究は、あくまで初期段階の成果であり、今後Evolutionary Model Mergeを基盤とした研究が多く行われると予想しております。今後ともSakana AIから革新的な研究成果を発表できるよう尽力してまいります！
— mkshing (@mk1stats) March 21, 2024
3/
Sakana AIの今回の発表は控えめに言って凄すぎる。AIモデルの開発方法を完全に変える可能性あり、世界のAI開発競争をリードする企業が日本にあるということ。これが第一弾に過ぎないしシード調達からたった2ヶ月でこれ。Sakana AIが日本にいることはとてつもない幸運だと思う🔥 https://t.co/7LKLfcCUyB
— 久保田 雅也@元VC→次は未定 (@kubotamas) March 21, 2024
秋葉さん、モデルマージ好きそうだもんなと思ったら、やっぱ秋葉さんだった https://t.co/Oil1zuzOvL
— あるふ (@alfredplpl) March 21, 2024
Parameter Space （PS, weight）のマージで効果があるのはわかっていましたが、Data Flow Space (DFS)のマージ（既存ブロックをレゴのように積み増す）で精度が上がるのは意外でした。
— Tatsuya Shirakawa (@s_tat1204) March 21, 2024
DFSで精度向上した場合にどんなブロックがどう配置されたのかが気になります。 https://t.co/Dj2AwEHz7u pic.twitter.com/EBVXgdiUih
"モデルマージ" ではGPUを使わず新たなモデルを作ります ( Stable diffusionなどで使われています )。
— 有限会社 来栖川電算 (@kurusugawa_) March 21, 2024
これを更に進めて、モデルのマージに進化的計算のアプローチを取り入れたものが開発されたようです。
ほぼ自動で、コストも安く、高性能なモデルが作れるという...😯#生成AI https://t.co/DDXXwvpmsA
5: 名無しのメタバースさん 0000/00/00(※) 00:00:00.00 ID:metaversesoku
【生成AI開発に革新か】生物の進化からヒントを得た技術が発表
— 木内翔大＠SHIFT AI代表「日本をAI先進国に」𝕏 (@shota7180) March 21, 2024
AIスタートアップ企業「Sakana AI」が「進化的モデルマージ」という手法を発表しました。… pic.twitter.com/hrtj8wKys8
🔗- https://t.co/l2ISVhwTsChttps://t.co/JcV1RsAKiC
— 木内翔大＠SHIFT AI代表「日本をAI先進国に」𝕏 (@shota7180) March 21, 2024
Sakana AIが発表したEvoVLM-JPは日本語のLLMと英語のVLM（画像を取り扱えるモデル）をマージしたやつ。何とこいつは普通どう見ても緑色にしか見えない信号機の色を何と青色だと答えることができる pic.twitter.com/IfCKMLcd2c
— 安野貴博 (@takahiroanno) March 21, 2024
SakanaAIさんが公開されているEvoLLM-JP-v1-7Bのggufあります☺️
— ぱぷりか炒め (@WMjjRpISUEt2QZZ) March 21, 2024
こちらはマージmistralモデルで、コンテキストサイズも32kです🔥https://t.co/60DouguSWN
別マージの方
— ぱぷりか炒め (@WMjjRpISUEt2QZZ) March 21, 2024
Shisa Gamma 7B v1
Arithmo2 Mistral 7B
Abel 7B 002
SakanaAI-EvoLLM-JP-A-v1-7B-ggufhttps://t.co/Pvcbw702im
前にも言ったかもしれないけど、Sakana AIが日本にあるという事実、本当に素晴らしいよね
— あき先生 / Aki (@cumulo_autumn) March 21, 2024
Sakana AIが発表した「進化的モデルマージ」について、進化的アルゴリズムで設計すると凄まじい数の淘汰が行われて高性能なものが出来上がるが、人間の直感に反したものになることが多いという話、賢すぎて逆にすんなり頭に入ってくるな...
— goto (@goto_yuta_) March 21, 2024
【モデルをマージして基盤モデル】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) March 21, 2024
Evolutionary Model Mergeは既存のモデルを組み合わせる事によって、ユーザーが期待する能力を持つ新しい基盤モデルを生成できる技術。
画像生成AIのようにマージができるとすると、情勢が大きく変わりそう。
続く>>#生成AI #LLMpic.twitter.com/8G3vNG9cZM
_________________________________________________________________________________
コメントする