127: 名無しのメタバースさん 2023/11/14(火) 01:54:01.24 ID:A5EV2ECz0

たまには投下、
長文になったので分割、ごめん
https://15.gigafile.nu/1117-cb9816dd9584a36c16653bf923d2d2221
画像がどの程度promptに忠実なのかと
破綻の少なさを数値評価するAI学習セット

promptと画像の
整合性評価をする仕組みなので
画像評価系ではより生成AI向け
詳しい使い方とかは同梱説明書みて、
最低限の使い方わかる程度のサンプルデータも
付属させてるのでそれを参考にすればわかるはず

・これだけで可能なこと

評価用モデル学習
整合性評価を用いて評価値毎に画像の自動選別
整合性評価を用いたモデル自体の定量的評価
(promptにどの程度忠実かつ破綻が少ない出力が
 できるかを定量的に評価できるのでマージ試行錯誤で
 よくなってるのかどうかわからないとき等に便利
・あと客観的な相対的指標にも使える)

任意のpromptを用いての自動分類
(例:キャラクターを用いて学習すれば
 キャラクター再現度とキャラクターごとの
 自動分類器の作成が可能)

128: 名無しのメタバースさん 2023/11/14(火) 01:54:26.95 ID:A5EV2ECz0

>>127

続き
・サンプルとして以下の学習済みモデル同梱
汎用的にpromptと画像の整合性と
破綻度合いを評価可能なモデル
(学習セットの規模はまだ1K程度だけど最低限の信頼度)
クオリティタグ分類特化モデル
(学習セットがまだ200枚程度なので信頼度は4割程度)
表情分類特化モデル
(学習セットがまだ20枚程度で
 表情網羅すらできてないので信頼度は1割程度)

あとデータセット共有とか
分類モデル共有してくれる人いたら嬉しい、
一人での作業だとデータセット作成大変なのと、
あったら便利な分類項目思いつかないので
それと再配自由だから好き勝手使って

※: 本日のおすすめサイト記事一覧 0000/00/00(※) ID:metaversesoku



133: 名無しのメタバースさん 2023/11/14(火) 02:37:15.57 ID:OpyKChtlM

>>128

サンガツこういうのに興味あったから頂くで
やけど興味あるだけで何すれば
良いかもわからんから力にはなれんわスマン

136: 名無しのメタバースさん 2023/11/14(火) 02:54:40.12 ID:A5EV2ECz0

>>133

分類特化の方なら簡単やで
説明書みれば大体わかるはず
例えばキャラ分類用作るなら

charname.txtとか作って
中にキャラ名を1行ごとに記述していく、
キャラ再現精度が低い奴用に
1girlとかも入れておく

python score_run_sel_make_dataset_dir.py --output_dir
"char/pre" --prompt_path "charname.txt"

で教師データ作成用の画像を入れる
char/preフォルダが作成される

"char/true"と"char/false"フォルダを作る

char/preフォルダ下にできたフォルダに
教師用の画像を入れていく

python score_run_sel_make_dataset.py
--img_dir "char/pre" --output_dir "char/true"
python train_rf_score.py --dataset "char"
--prompt_file "charname.txt" --output "score_module/
rf_model_char" --epoch 200

と実行していくだけやること自体は簡単だから
一度やってみればわかるはず

137: 名無しのメタバースさん 2023/11/14(火) 03:04:36.64 ID:OpyKChtlM

>>136

むずそうやが試すだけなら出来そうやから
今夜やってみるわサンガツ面白そうや

139: 名無しのメタバースさん 2023/11/14(火) 03:18:59.96 ID:A5EV2ECz0

>>137

成果でるの楽しみにしとるで
あと学習セット作成コストが高いけど
汎用的評価可能なモデル自分用に作っておけば
自分の好みに合わせた自動マージに使えるから便利やで

135: 名無しのメタバースさん 2023/11/14(火) 02:47:09.81 ID:uLjWUBfZ0

サンイチ!
>>127
つまりどう言うことだってばよ!?
Githubで公開してくれたら手伝えるかもしれん

138: 名無しのメタバースさん 2023/11/14(火) 03:05:25.46 ID:A5EV2ECz0

>>135

匿名の気楽さ捨てたくないんやすまん、
再配自由だから誰かが勝手に
githubにあげてええんやで

仕組み自体は
画像と画像と同名txtに書かれた
promptを見比べて
評価するという簡単なもの
例えば女の子が一人だけ描かれてる画像に対して
3girlsってpromptだった場合は低スコアになる

あと女の子が三人描かれてても
破綻があれば低スコアになる
目立った破綻がなくprompt通りに
3人描かれてれば高スコアになる

これを応用してモデルごとに
seedぶれを無視できる程度の枚数を
ランダムなpromptで出力して
スコア分布を出力すれば
モデルの定量的評価ができる

分類はこの仕組みを利用して、
任意の限定的なpromptのみで
これを行うだけの仕組み

232: 名無しのメタバースさん 2023/11/14(火) 12:53:21.88 ID:V8l6ed8f0

>>138

週末試させてもらうわ!サンガツ

166: 名無しのメタバースさん 2023/11/14(火) 06:41:22.60 ID:Gtl733Osd

>>127

まだ落としてないんやけど
これってキャラ固有のアクセサリーとか
瞳のハイライトとかも細かく評価出来るんかな?
形が違うとかデザインが違うとか
ハイライトの位置が違うとか
そういうめちゃくちゃ細かい系も
判別してくれるなら助かるんやけど

170: 名無しのメタバースさん 2023/11/14(火) 07:08:48.11 ID:A5EV2ECz0

>>166

CLIPのimageEncoderで
取得できる範囲の特徴ならいけるとは思うで
マルチアス比対応考えなければ
その辺の精度をさらに上げられなくはないけど

いまから機能拡張するなら
マルチアス比対応欲しいし
でもゼロからアーキテクチャ作ると
ゼロショット性能上げるには開発コスト高くなるのと
学習のお手軽さがなくなる問題あるんで
その辺解消できるアイデア思いつけば
さらに高性能版作るつもりはあるで

CLIPのimageEncoderをMUSIQって
マルチアス比対応のモデルに変更する手もあるけど
Vision & Languageモデルではなかったはずだから
ゼロショット性能の問題がでるんよ
でもマルチアス比対応なくても需要あるなら
4倍解像度程度の性能なら学習コストも
ある程度低めでいけるやろし作ってみるで

407: 名無しのメタバースさん 2023/11/14(火) 22:01:16.52 ID:Gtl733Osd

>>170

すまん
ワイの知識不足で
何を言ってるのかチンプンカンプンや…
ここの人間は何を言ってるか分かるんか…?

184: 名無しのメタバースさん 2023/11/14(火) 08:13:14.85 ID:CxMbUm/u0

>>127

まだ寝ぼけてる頭で見ただけやが
これで評価しながら
ファインチューンなりマージなりすれば
NAIモデルから大きくは進化してない
プロンプトの理解力(Tencの性能?)を
上げられるって事なんかな
どうしてもデータセットの作成が
ネックになりそうやが面白そうや

186: 名無しのメタバースさん 2023/11/14(火) 08:28:10.27 ID:A5EV2ECz0

>>184

一応スコア評価の平均値が
約2倍になるくらいには高精度化できたで
(ベースに使ったモデルの精度が低すぎたのもあるが)
ただ手持ちのデータセット規模が
2K弱やから絶対とはいえんけど、
規模拡張しないデータセットのままだと

234: 名無しのメタバースさん 2023/11/14(火) 13:16:05.87 ID:CxUriq5G0

>>186

ニキがまだいたら聞きたいんやけど
モデル学習の流れとして
①事前に評価モデル作成
②LoRAを拡張して学習実施
③生成LoRAで出した画像を評価モデルを
 使用して評価し最適比でマージ
④②に戻ってくり返す
って流れでええんかな?
wikiにもあまり乗ってない作業やから
新規に覚えること多いわ

301: 名無しのメタバースさん 2023/11/14(火) 17:41:42.40 ID:A5EV2ECz0

>>234

2,3,4の部分はもっと簡略化して
2,LoRA学習
3,base_weights使って2で学習したLoRAを
   あらかじめマージしてLoRA学習
(2,3を適当に繰り返す)
4,作成したLoRAをまとめて自動マージ
5,完成したモデルを評価して性能がどの程度向上してるか確認
6,まだ向上余地ありそうならこの流れもう一回、
   ここで評価モデル用の学習セット更新したりを挟んだりしてる

310: 名無しのメタバースさん 2023/11/14(火) 17:59:21.86 ID:ZxgPio3G0

>>301

すまんが横からなんやが
自動マージについて詳しく知りたいんや
調べてもよくわからんかった

322: 名無しのメタバースさん 2023/11/14(火) 18:12:47.79 ID:CxUriq5G0

>>301

サンガツ
自動マージとか他の関係ファイルも
アップロードしてくれて助かる
試してみるわ

415: 名無しのメタバースさん 2023/11/14(火) 22:12:37.16 ID:CxMbUm/u0

>>186

亀やがレスサンガツやで
目で見てるとどっちがええんやって
なってくること多いし
定量評価できるとやっぱ品質上げやすいんやろうな
lora学習させてる時も常々キャプションニングの精度は
重要やなと感じるし、そこの高精度な自動化は
どうにかしたいけど現状どうにもならんのよな
上げてくれた改良版で色々試してみるやで

185: 名無しのメタバースさん 2023/11/14(火) 08:23:33.40 ID:JVHE2p36r

>>127

なんか凄い便利そうやけど
自分に使いこなせる気がしないでぇ……
しかし今のタイミングこそ、
こういう手段の引き出し蓄積する時期よな
家帰ったら使ってみるでー

255: 名無しのメタバースさん 2023/11/14(火) 14:45:11.98 ID:4N9+hEjN0

海外のニキたちは
LCMの2, 3Stepとかで
リアルタイム映像からの
生成を楽しんでるわね

256: 名無しのメタバースさん 2023/11/14(火) 14:46:24.56 ID:u4AIZHzi0

LCMは今のところどうしても
塗りや細部が簡素になるんやねぇ
小物わちゃわちゃや刺繍が
好きなワイには向いてないと感じた
あと画風が変わる都合上
画風LoRAやキャラLoRAはかなりあかん

とはいえまだまだスタートきったばっかりやし
これからに期待や

259: 名無しのメタバースさん 2023/11/14(火) 15:00:47.87 ID:lYj6/bAL0

ふと思ったが
LCMとflatマイナスかけ合わせたら
どうなるんやろな

334: 名無しのメタバースさん 2023/11/14(火) 18:48:02.60 ID:2TLs2Pxm0

>>259

flatとboldline入れて試しとるで 
ほどほどによさげ

380: 名無しのメタバースさん 2023/11/14(火) 21:03:30.41 ID:lYj6/bAL0

>>334

サンガツ
効果あるならワイも導入してみよっかな

261: 名無しのメタバースさん 2023/11/14(火) 15:27:31.53 ID:Jy5mw17t0

破綻を検知するのはそれはそれですごい

269: 名無しのメタバースさん 2023/11/14(火) 15:43:01.96 ID:dSaC96ky0

2秒ちょいから生成するのにも
四苦八苦してるからanimatediffでは
使わないといけないところまで
追い込まれると思うわ

333: 名無しのメタバースさん 2023/11/14(火) 18:44:26.24 ID:eJjYEG0c0

LCMってやつ収束が爆速だけど
画風が変わるわhires.fixの
品質ブレまくりでダメだな
しかしなぜかキャラLoRAの目の色が安定する

442: 名無しのメタバースさん 2023/11/14(火) 22:53:57.05 ID:D0eCVzPi0

キムタカ作画LoraがCivitaiに上がってるけど、
このスレのキムタカニキじゃないよね?
サムネの塗りが随分違うから同じニキには思えないけど、
あえて原作の塗りに寄せすぎないサムネを
アップロードしてたりとか・・・無いよね。

446: 名無しのメタバースさん 2023/11/14(火) 23:06:37.58 ID:gihBPsID0

>>442

よかったら検索ワード教えて欲しいやで

482: 名無しのメタバースさん 2023/11/15(水) 00:53:53.32 ID:Q1iWXswS0

>>446

多分ヴァリアブル・ジオの
Lora上げてる人の事やないの
それと別に画風Loraがあるんなら知りたい

515: 名無しのメタバースさん 2023/11/15(水) 09:05:17.06 ID:9RIRg+vda

>>442

キムタカニキやったら
何日か前にとしあきのとこの
雑談スレでVGのloraとか公開しとったで
まだ残っとるかは知らん

553: 名無しのメタバースさん 2023/11/15(水) 12:10:01.18 ID:f+THXhvQ0

>>515

リンク見っけたけど
削除されとったわ、残念。

682: 名無しのメタバースさん 2023/11/16(木) 00:24:00.36 ID:EDunH1DS0

>>553

よければ何日のスレやったか
教えて貰えると嬉しいやで

562: 名無しのメタバースさん 2023/11/15(水) 13:08:05.10 ID:vXt+cypZ0

>>515

サンガツ!
としあきの「雑談」とか
全然ウォッチしてなかった・・・
検索では見つからないから
地道に遡ってみるかな・・・

453: 名無しのメタバースさん 2023/11/14(火) 23:29:45.40 ID:iLkub3jOd

埼玉県民の日でした
https://i.imgur.com/gtp7wXM.jpg 
https://i.imgur.com/ymdNGP6.jpg

455: 名無しのメタバースさん 2023/11/14(火) 23:35:49.28 ID:cLWDTC4y0

>>453

サイタマが認識されてるの笑うわw
https://i.imgur.com/xU6lQr4.jpg

456: 名無しのメタバースさん 2023/11/14(火) 23:36:45.62 ID:PGyb8WhA0

>>455

これは草不可避

460: 名無しのメタバースさん 2023/11/14(火) 23:40:24.99 ID:lxy5izR80

>>455

うーん、これは確かにサイタマの休日

474: 名無しのメタバースさん 2023/11/15(水) 00:17:36.25 ID:PGBN/X4Q0

>>453

サイタマサイタマサイタマ~

引用元:https://nozomi.2ch.sc/test/read.cgi/liveuranus/1699876562
_________________________________________________________________________________