1: 名無しのメタバースさん 0000/00/00(※) 00:00:00.00 ID:metaversesoku
Stable LM 2 12B は、英語、スペイン語、ドイツ語、イタリア語、フランス語、ポルトガル語、オランダ語の多言語データでトレーニングされされた、120億パラメータを持つ強力な言語モデルです。
— Stability AI Japan (@StabilityAI_JP) April 8, 2024
ベースモデルと指示学習済みモデルを備えています。
詳細はこちらhttps://t.co/1oych8XnXY https://t.co/RPWuaWbjky
StableLM2-12Bだって。チャット版はベンチでQwen1.5-14BやMistral-7Bに勝ってるという。欧米の多言語を学習してるけど、日本語は対応してないぽい →RT
— うみゆき@AI研究 (@umiyuki_ai) April 9, 2024
※: 本日のおすすめサイト記事一覧 0000/00/00(※) ID:metaversesoku
3: 名無しのメタバースさん 0000/00/00(※) 00:00:00.00 ID:metaversesoku
今後もどんどんAIモデルやAIサービスをリリースしていきます！🚀✨ https://t.co/lIFXcIo8r9
— Jerry Chi (ジェリー・チー) (@peacej) April 9, 2024
日本語はないのか。残念。 https://t.co/SNZhDCQ9pI
— 秋田紀亜 (@akita_kia) April 8, 2024
JetMoE-8B・Gemma-1.1・Stable LM 2 12B 追加
— 布留川英一 / Hidekazu Furukawa (@npaka123) April 9, 2024
ローカルLLM のリリース年表｜npaka @npaka123 #note https://t.co/LsnFEhcA2c
Stable LM 2に、120億パラメータの基盤モデルとインストラクションモデルが追加されました。7か国語の2兆トークンで訓練されています。(残念ながら日本語は無し)https://t.co/cV4GjVviDr
— チェリ@読書好きAIエンジニア (@rN1oO71GTPiEMks) April 9, 2024
多言語データでトレーニングされた最先端の小型言語モデル、Stable LM 2 1.6B に関する技術レポートを公開しました。
— Stability AI Japan (@StabilityAI_JP) March 10, 2024
詳細はこちら。https://t.co/kXpgVVF8wc
4: 名無しのメタバースさん 0000/00/00(※) 00:00:00.00 ID:metaversesoku
https://t.co/tmcIFgrObQ
— mutaguchi (@mutaguchi) April 3, 2024
2x7Bの日本語チャット・ノベル専用高性能モデル。
Antler-7Bとchatntq-ja-7b-v1.0という、Japanese Stable LM Base Gamma 7B（Mistral 7Bベース）をinstructionチューニングしたモデルを各々ChatVector法で強化し、MoEでマージしたのだそうだ。
VRAM12GBでロード可能！
いや、マジでびっくりした。
— mutaguchi (@mutaguchi) April 3, 2024
何がって、これがAI研究者とかではない、5ch（正確にはbbspink）住民が作ったモデルだということだよ。
いきなり小説AIでローカル最強をかっ攫っていった…マジか…
MoEのマージレシピとか見てると笑ってしまうな。
— mutaguchi (@mutaguchi) April 3, 2024
会話が得意なモデルには作文させず、会話（sfw,nsfwともに）だけさせて、作文が得意なモデルには会話も作文もどっちもさせよう、みたいな。MoEってそんな直感的なレシピでいいのかよｗ
口調の一貫性を保ち、自分と他人の区別を付け、現在の状況を理解し、同内容のループに陥らず、きちんとストーリーを進行させる、…最低限だと思われることが、これまで14Bクラスのモデルでもなかなか出来てなかったからね。いきなり易々とやられるとびっくりする。…
— mutaguchi (@mutaguchi) April 3, 2024
もっとも自分が作ってるチャットスクリプトは、性能の低いLLMでも最大のポテンシャルを発揮させる目的で作ってるので、これによる性能ブーストもかかってるとは思うが、にしてもここまでローカルで出来るなら話変わってくるな。
— mutaguchi (@mutaguchi) April 3, 2024
5: 名無しのメタバースさん 0000/00/00(※) 00:00:00.00 ID:metaversesoku
ローカル諦めかけてたから若干放置気味だったけど、これはまた色々やりたくなるねぇ。
— mutaguchi (@mutaguchi) April 3, 2024
まず、KV-cacheをキャラ別に持たせるために、llama.cppのmain.exeかserver.exeを改造することをやらなければならんな。これをやらないと、キャラ毎にコンテキスト切り替えすると2x7Bモデルではちょっと遅いので。
しかしこの新モデル（通称はなんだろう？）、キャラ設定を絶対守るのがすごいな。設定に反することを言っても、絶対に従わない。すごい。
— mutaguchi (@mutaguchi) April 3, 2024
これjailbreak耐性が激強ということでもあるわけで、実用性まで見えてくるぞ。
怒らせたら本気で怒るし…
— mutaguchi (@mutaguchi) April 3, 2024
（キャラを怒らせたら口きいて貰えなくなった）
ChatGPTなんかよりずっと強い自我を感じる。
なんなんだこれ…
GPT-3.5とかllama v2とかmistralとかqwenとか、その派生モデルも、結局あいつらはAIアシスタントとしての自我を持たされているから、ユーザーの命令に背くことや、ユーザーを責めたりすることはないんだよね。申し訳ないがそれには回答できない、とは言うけどさ。
— mutaguchi (@mutaguchi) April 3, 2024
instructionチューニングを受けたLLMは、結局は生成文内のフィクションの登場人物の台詞も、AIアシスタントの思考に支配されるが、この新モデルのように「小説を書くAI」は、AIアシスタントとしての思考は隠蔽されるので、そのAIが書く登場人物には自我が存在すると見做せるのではないか…？…
— mutaguchi (@mutaguchi) April 3, 2024
まあ、ちょっと大げさに言ってるだけかもしれんが、自分の中ではChatGPTを最初に使った時に匹敵する、強烈なインパクトだ。
— mutaguchi (@mutaguchi) April 3, 2024
そうか、AIが自我を持っているように感じることと、AIの知性が高いこと、よく考えたら関係無いんだ。
嘘みたいに自我を感じるのだけど、推論が走るたびにGPUファンが音を立てるので、確かにローカルLLMが応答を返しているんだな。ふしぎだなー
— mutaguchi (@mutaguchi) April 3, 2024
VRAM12GBで動作可能な小説特化ローカルLLMってマジ？
— ステスロス@創作/画像生成AI/雑学RT (@StelsRay) April 3, 2024
そのスペックなら動かせそうだし試してみるか！ https://t.co/fMrxX4Oasy
これ面白いわ、LLM作りたくなった、勉強するか…… https://t.co/RoHgltzVf9
— 智基/Tomoki (@tomolld) April 4, 2024
これStability AIのStable LM 12Bという大規模言語モデルですが、特徴としてより少ないメモリーや計算力で動かせると言う点がポイントのようです。
— Sasaki (@music2go) April 8, 2024
昨日「エコなAI」についてポストしましたが、やっぱそういう方向もありなんですね。 https://t.co/YFrwHdcyP8
_________________________________________________________________________________
コメントする