名無しのメタバースさん 0000/00/00(※) 00:00:00.00 ID:metaversesoku

AI画像「プロンプトを数値評価するAI学習セット」
呪文と画像の整合性評価する仕組み!
「生成画像の女の子1人で3girlsは低スコア」解説あり
https://metaversesokuhou.blog.jp/archives/23773241.html

312: 名無しのメタバースさん 2023/11/14(火) 18:01:26.28 ID:A5EV2ECz0

https://38.gigafile.nu/1119-l79721e75f569f7718f08763aa374673b
画像がどの程度promptに忠実なのかと
破綻の少なさを数値評価するAI学習セット

画像サイズ2倍の精度で
特徴認識できるバージョン追加しといたで
--version 2 --version 3で画像サイズ2倍に
それぞれ75トークンまでと225トークンまで

あとついでに自動マージもいれといたで
自動マージの大本は
https://github.com/s1dlx/sd-webui-bayesian-merger
promptと画像の整合性評価AI対応以外にも
LoRA/Lycoris対応はじめいろいろ機能追加してあるやつ

さらについでに余計なデータ混入して
肥大化してるモデルが多いので余計なデータを
削除するためのスクリプトもいれといた
再配自由にしていいから好き勝手使ってええで

326: 名無しのメタバースさん 2023/11/14(火) 18:19:21.95 ID:pnry8kXx0

>>312

サンガツおもろい

※: 本日のおすすめサイト記事一覧 0000/00/00(※) ID:metaversesoku



407: 名無しのメタバースさん 2023/11/14(火) 22:01:16.52 ID:Gtl733Osd

とりあえず>>312の改良版試してみるわ
こういうすぐ知識豊富で
すぐ実装できる人ほんま尊敬するわ
さんがつやで🙏

142: 名無しのメタバースさん 2023/11/14(火) 03:34:37.87 ID:IbCSAMdL0

素人考えやけど高評価の生成だけを
集めまくれば評価の高いモデルとかできるんやろか
高評価だけど破綻している部分も学習して
上手くいかない気はしとるんやが

145: 名無しのメタバースさん 2023/11/14(火) 03:53:43.68 ID:dzIGUhvu0

>>142

人力で指やアナトミーに絞って
good/badを付けるサイトで
データ蓄積とかやれるとええんかもな

149: 名無しのメタバースさん 2023/11/14(火) 04:28:39.85 ID:A5EV2ECz0

>>142

元論文がそれに近い仕組みやで
で画像がその仕組みを使って
手動ReLoRA方式で学習して
自動マージした結果のスコア分布図

あとmatryoshka diffusionの考え方
取り入れたLoRA学習も途中から使ってる
赤線で囲ってるところが
スコア平均値なんで精度向上はみられるで

参考論文として説明書に書いたけど
一応ここで張っておく
https://arxiv.org/abs/2302.12192

手元でファインチューニングしてるモデルは
ベースモデル自体が実験用にずっと使ってる
ごちゃごちゃモデルなんで
精度が高いモデルのスコアも入れての比較
https://files.catbox.moe/yzdpbs.jpg

182: 名無しのメタバースさん 2023/11/14(火) 07:54:41.35 ID:F5mbpjRy0

>>149

モデルをファインチューンしてる人初めて見た…
すまんけどどうやってるか教えてくれんか?
kohyaニキの説明文見ながらやっても
エラーばっかりなんや

183: 名無しのメタバースさん 2023/11/14(火) 08:10:23.96 ID:A5EV2ECz0

>>182

前はfine_tune.pyも使ってたけど
最近はReLoRA方式が学習コスト抑えられて
色々追加した仕組み使いやすいうえに
自動マージと相性いいんで

普通にLoRAモジュール拡張作って
norm層学習の仕組み追加と対象に入ってない層を
学習対象にできるようにするだけやで
あとtoml使ってデータセットの設定して
学習設定もtoml記述が管理が楽やで

Lycorisはsd-scriptsとの互換性いまいちだったから
sd-scripts付属のモジュールベースにして
互換性保っておけば使い勝手がいいで
biasの値が更新されないのが気になるなら
fine_tune.pyだと思うけどbiasの値は
そこまで重要視せんでええと思うで
どうしても気になるならLoRAモジュール少し弄って
biasも対応させればええんや

193: 名無しのメタバースさん 2023/11/14(火) 08:55:29.18 ID:F5mbpjRy0

>>183

なるほど分からん…
赤ちゃんワイは人が作ってくれた
GUIを触るくらいしか出来へんみたいや

186: 名無しのメタバースさん 2023/11/14(火) 08:28:10.27 ID:A5EV2ECz0

>>149

の画像比較の通り[004]から[005]への
モデルの精度上昇幅がさほど
大きくないようにどうしても限界があるから
Dalleの論文で精度には高精度なキャプショニングが
重要ってのも考慮しないと厳しい気はしてるで

評価AIに分類特化型を入れたのも
このキャプションの高精度化のための前準備としてやね
miniGPTだと思ったほど
キャプショニング性能高くないし
かといってtaggerとかBLIP、BLIP2も
Dalleの論文に書かれた精度には届かへんし
一番はdalle開発に用いたキャプショニングAI
公開してくれたらええんやけどな

190: 名無しのメタバースさん 2023/11/14(火) 08:48:01.20 ID:4U5LBQU40

ガチ技術層の言ってること
チンプンカンプンでワロタ・・・

504: 名無しのメタバースさん 2023/11/15(水) 04:30:56.21 ID:hfig0LOHd

taggerするときいつも適当にポン押しして
あとで編集してるんだけど
何か触ったほうがいい設定とかある?

506: 名無しのメタバースさん 2023/11/15(水) 05:21:12.00 ID:CYvIqCWd0

>>504

taggar自体に面倒な設定はないやろ、
せいぜいトリガーワード使う時は
Additional tagsに書いておくくらいで
それよりCaptioning Helperで重複する
概念・タグを消すとかするといいかもな
これも必要ない派もいるみたいやが

508: 名無しのメタバースさん 2023/11/15(水) 07:22:22.83 ID:IC84WhY7M

ネットで調べるとMBWで顔に影響ある層とか
言われてる所その通りにしても全然思った通りの
効果は無いしインターネットは嘘ばっかりや!

510: 名無しのメタバースさん 2023/11/15(水) 08:12:40.94 ID:vZBnwWQu0

>>508

究極的にはlbwのXYZとかBIMOとかで
探ってくしかない希ガス

512: 名無しのメタバースさん 2023/11/15(水) 08:34:18.05 ID:uMZfypBr0

>>508

その嘘ノウハウドヤ顔で
公開してる人多くて笑うわ

513: 名無しのメタバースさん 2023/11/15(水) 08:48:25.05 ID:48+BooI4M

>>508

プリセットからある程度良さそうなのを
見つけたらあとは総当たりや
単一のseedでやってるとたまたま良いseedの場合も
あるから良さそうなweight見つけたあと
ランダムseedで生成するのを忘れるなよ
適宜promptも調整やぞ

lora作成はこの辺の出荷作業が一番しんどいんよな
civitaiに載せるなら使い方はちゃんとしたい

519: 名無しのメタバースさん 2023/11/15(水) 09:31:48.96 ID:7aLSAl660

>>508

前スレから流行ってるドット絵風も
NAI以来の革命やって歓喜してる人もいれば
何がええんやこれ?ってピンとこない人もおるし
良さに共通認識なんてないからな
それを公開してる人的にはそれが自分の中の
最強テンプレ設定なのは嘘ではないのだと思うで

514: 名無しのメタバースさん 2023/11/15(水) 09:03:28.06 ID:IXIDOT9lH

層別の特徴量系の話は頑張って
検証してる熱意だけは伝わってくるから
なんとも言いにくい気持ちはある
特徴量はチャネル方向にあるから
層別のマージじゃ無理なんだよね
ここにたまに来る意識高いマージ手法使う人が
その特徴量いじれるけど人間には扱えない

520: 名無しのメタバースさん 2023/11/15(水) 09:33:47.58 ID:ud8P/T9e0

mergeは層別の加重平均するより
tensor弄って隠れ層の入れ替えしたほうが
おもしろいけどね

522: 名無しのメタバースさん 2023/11/15(水) 09:41:09.50 ID:sXfbcnUe0

層別マージまでは許せるけど
エレメンタルだけはキツイっす

551: 名無しのメタバースさん 2023/11/15(水) 12:08:06.20 ID:/QFVP4fk0

これ自分の思い込みかもしれんけど
アニメ調モデル使うときのプロンプトは
日本語だけの方が作画いい気がするんよな
んで、ネガティブにはbad,low,miss
みたいなアメリカ語を敷き詰める
作画崩壊の原因はアメリカ語が9割悪いという考え

554: 名無しのメタバースさん 2023/11/15(水) 12:25:51.70 ID:vZBnwWQu0

laugh lineはネガに入れとるわ
make-up, mascara, rougeも
入れとかんとケバくなりがち
あとは顔立ち用のage sliderとか
ちびたいにあったけどtoddler:-1.6とかで済ませがち

557: 名無しのメタバースさん 2023/11/15(水) 12:40:09.59 ID:MAL40WEf0

日本語のプロンプトも効くもんがあるとは聞くが
本格的にそれでやってる人おるんか

564: 名無しのメタバースさん 2023/11/15(水) 13:14:17.74 ID:ThVo1gmg0

>>557

平仮名の「うさぎ」だけで出した
かわいいウサちゃんみせたろか?
https://i.imgur.com/Tv3pvGU.png
https://i.imgur.com/YyNhRQd.png
https://i.imgur.com/A1NzlRk.png

558: 名無しのメタバースさん 2023/11/15(水) 12:48:00.73 ID:r9E/5Mhr0

いい成果が出てるんなら
まじないに貼って欲しいで
画像もなしに改善したわはふーんで流されがち

568: 名無しのメタバースさん 2023/11/15(水) 13:34:12.06 ID:+hrVAsn10

ネコとかは日本語プロンプトのみでも
結構出るんやで
一から日本語学ばせて描かせて出そうとしたとき
そのせいで面倒くさかった記憶あるわ

559: 名無しのメタバースさん 2023/11/15(水) 12:49:29.67 ID:1iqeE+fs0

最近寒くなってきたから6月辺りから
休職してたグラボくんに
また頑張ってもらおうかと考えてるんやが
とりあえず最新のwebui入れてanimateddiffと
XLは試してみたけど他にこれやっとけっていうのある?

561: 名無しのメタバースさん 2023/11/15(水) 13:08:01.43 ID:MAL40WEf0

ツイッターの人が上げてた
hyper denoiserとhyper refinerがええ感じや

563: 名無しのメタバースさん 2023/11/15(水) 13:11:50.95 ID:QHpXyyWV0

hotaruニキのやつかな
ワイも使ってみるか

560: 名無しのメタバースさん 2023/11/15(水) 12:53:40.81 ID:+jRotyKd0

Kohyaニキのdeep shrink試したニキおる?

572: 名無しのメタバースさん 2023/11/15(水) 13:52:08.82 ID:tn4VDJD50

>>560

今見たけど内部層でLatentのサイズを
一時的に小さくして構図の崩壊防ぎつつ
高解像度一発出し狙っとるんかこれ
アクロバティックやな

565: 名無しのメタバースさん 2023/11/15(水) 13:20:41.27 ID:dxk4blp80

civbrowserの検索結果を
まとめてダウンロードしたいんやけど、
そういう機能ある?サーバに負荷かかるから
無理なんやろか?

576: 名無しのメタバースさん 2023/11/15(水) 13:55:09.87 ID:A7i5pYE90

hotaruニキのお目目Lora
ワイルドカードするの楽しい

621: 名無しのメタバースさん 2023/11/15(水) 18:41:35.37 ID:c/OlSZkk0

数か月前に生成した画像を同条件で
再生成しようとしたら再現しなくてビビる
過去にもxformersのバージョンで
再現しなかったから覚悟はしていたけど辛い
アプデしていると生成画像の出会いは一期一会だぜ

624: 名無しのメタバースさん 2023/11/15(水) 19:01:09.60 ID:iVsZJSci0

546.01にしてからただ生成してるだけで
やたらブルスクが出るもんで
最近出た546.17にしたけど変わらず
諸々の設定を変えても特に状況が変わらず
ついに電源でもイカれたか?と思ったけど
537.58にしたら今のところ問題ないわ
ワイが共有メモリの速度低下から解放されるのは
もうしばらく先になりそうや・・・

627: 名無しのメタバースさん 2023/11/15(水) 19:24:48.32 ID:j++CoFn40

最近、WebUIの
ブラウザ表示が異様に重いと思ったら
あれってチェックポイントやLoRAに適用してある
サムネイルを、全部ロードしてんのな
チェックポイントやLoRAのタブを開いてない時でも

ページ使われてる画像を列挙するアドオンで見てわかったわ

636: 名無しのメタバースさん 2023/11/15(水) 20:20:45.74 ID:c/OlSZkk0

>>627

でも今更サムネ無しで
lora管理とかムリゲー過ぎますわ
解決策が使わないloraやチェックポイントは
他に移すぐらいしか思いつかん

644: 名無しのメタバースさん 2023/11/15(水) 20:44:42.66 ID:j++CoFn40

>>636

それは本当にそう。
でもこういう構造だと、
無制限に増やしていく事は出来ないみたいだね
ただLoRAだけで、画像がなければそこまで重くないと思う
俺の場合、自作LoRAのエポック違いで
千枚くらいのサムネイルを適用してたから
度を超さなければ支障は出ないかと

779: 名無しのメタバースさん 2023/11/16(木) 11:18:19.22 ID:0Kznwiza0

>>636

抵抗ないならStabilityMatrixに
デフォで付いてるModel全般の管理ツール便利やで
サムネ見えるし他のアプリとも共用できて容量節約できる
環境作り直さなきゃならないけど導入やアプデは楽ちん

引用元:https://nozomi.2ch.sc/test/read.cgi/liveuranus/1699876562
_________________________________________________________________________________