: 名無しのメタバースさん 0000/00/00(※) 00:00:00.00 ID:metaversesoku
AI画像「プロンプトを数値評価するAI学習セット」
呪文と画像の整合性評価する仕組み!
「生成画像の女の子1人で3girlsは低スコア」解説あり
https://metaversesokuhou.blog.jp/archives/23773241.html
312: 名無しのメタバースさん 2023/11/14(火) 18:01:26.28 ID:A5EV2ECz0
https://38.gigafile.nu/1119-l79721e75f569f7718f08763aa374673b
画像がどの程度promptに忠実なのかと
破綻の少なさを数値評価するAI学習セット
画像サイズ2倍の精度で
特徴認識できるバージョン追加しといたで
--version 2 --version 3で画像サイズ2倍に
それぞれ75トークンまでと225トークンまで
あとついでに自動マージもいれといたで
自動マージの大本は
https://github.com/s1dlx/sd-webui-bayesian-merger
promptと画像の整合性評価AI対応以外にも
LoRA/Lycoris対応はじめいろいろ機能追加してあるやつ
さらについでに余計なデータ混入して
肥大化してるモデルが多いので余計なデータを
削除するためのスクリプトもいれといた
再配自由にしていいから好き勝手使ってええで
326: 名無しのメタバースさん 2023/11/14(火) 18:19:21.95 ID:pnry8kXx0
>>312
サンガツおもろい
※: 本日のおすすめサイト記事一覧 0000/00/00(※) ID:metaversesoku
407: 名無しのメタバースさん 2023/11/14(火) 22:01:16.52 ID:Gtl733Osd
とりあえず>>312の改良版試してみるわ
こういうすぐ知識豊富で
すぐ実装できる人ほんま尊敬するわ
さんがつやで🙏
142: 名無しのメタバースさん 2023/11/14(火) 03:34:37.87 ID:IbCSAMdL0
素人考えやけど高評価の生成だけを
集めまくれば評価の高いモデルとかできるんやろか
高評価だけど破綻している部分も学習して
上手くいかない気はしとるんやが
145: 名無しのメタバースさん 2023/11/14(火) 03:53:43.68 ID:dzIGUhvu0
>>142
人力で指やアナトミーに絞って
good/badを付けるサイトで
データ蓄積とかやれるとええんかもな
149: 名無しのメタバースさん 2023/11/14(火) 04:28:39.85 ID:A5EV2ECz0
>>142
元論文がそれに近い仕組みやで
で画像がその仕組みを使って
手動ReLoRA方式で学習して
自動マージした結果のスコア分布図
あとmatryoshka diffusionの考え方
取り入れたLoRA学習も途中から使ってる
赤線で囲ってるところが
スコア平均値なんで精度向上はみられるで
参考論文として説明書に書いたけど
一応ここで張っておく
https://arxiv.org/abs/2302.12192
手元でファインチューニングしてるモデルは
ベースモデル自体が実験用にずっと使ってる
ごちゃごちゃモデルなんで
精度が高いモデルのスコアも入れての比較
https://files.catbox.moe/yzdpbs.jpg
182: 名無しのメタバースさん 2023/11/14(火) 07:54:41.35 ID:F5mbpjRy0
>>149
モデルをファインチューンしてる人初めて見た…
すまんけどどうやってるか教えてくれんか?
kohyaニキの説明文見ながらやっても
エラーばっかりなんや
183: 名無しのメタバースさん 2023/11/14(火) 08:10:23.96 ID:A5EV2ECz0
>>182
前はfine_tune.pyも使ってたけど
最近はReLoRA方式が学習コスト抑えられて
色々追加した仕組み使いやすいうえに
自動マージと相性いいんで
普通にLoRAモジュール拡張作って
norm層学習の仕組み追加と対象に入ってない層を
学習対象にできるようにするだけやで
あとtoml使ってデータセットの設定して
学習設定もtoml記述が管理が楽やで
Lycorisはsd-scriptsとの互換性いまいちだったから
sd-scripts付属のモジュールベースにして
互換性保っておけば使い勝手がいいで
biasの値が更新されないのが気になるなら
fine_tune.pyだと思うけどbiasの値は
そこまで重要視せんでええと思うで
どうしても気になるならLoRAモジュール少し弄って
biasも対応させればええんや
193: 名無しのメタバースさん 2023/11/14(火) 08:55:29.18 ID:F5mbpjRy0
>>183
なるほど分からん…
赤ちゃんワイは人が作ってくれた
GUIを触るくらいしか出来へんみたいや
186: 名無しのメタバースさん 2023/11/14(火) 08:28:10.27 ID:A5EV2ECz0
>>149
の画像比較の通り[004]から[005]への
モデルの精度上昇幅がさほど
大きくないようにどうしても限界があるから
Dalleの論文で精度には高精度なキャプショニングが
重要ってのも考慮しないと厳しい気はしてるで
評価AIに分類特化型を入れたのも
このキャプションの高精度化のための前準備としてやね
miniGPTだと思ったほど
キャプショニング性能高くないし
かといってtaggerとかBLIP、BLIP2も
Dalleの論文に書かれた精度には届かへんし
一番はdalle開発に用いたキャプショニングAI
公開してくれたらええんやけどな
190: 名無しのメタバースさん 2023/11/14(火) 08:48:01.20 ID:4U5LBQU40
ガチ技術層の言ってること
チンプンカンプンでワロタ・・・
504: 名無しのメタバースさん 2023/11/15(水) 04:30:56.21 ID:hfig0LOHd
taggerするときいつも適当にポン押しして
あとで編集してるんだけど
何か触ったほうがいい設定とかある?
506: 名無しのメタバースさん 2023/11/15(水) 05:21:12.00 ID:CYvIqCWd0
>>504
taggar自体に面倒な設定はないやろ、
せいぜいトリガーワード使う時は
Additional tagsに書いておくくらいで
それよりCaptioning Helperで重複する
概念・タグを消すとかするといいかもな
これも必要ない派もいるみたいやが
508: 名無しのメタバースさん 2023/11/15(水) 07:22:22.83 ID:IC84WhY7M
ネットで調べるとMBWで顔に影響ある層とか
言われてる所その通りにしても全然思った通りの
効果は無いしインターネットは嘘ばっかりや!
510: 名無しのメタバースさん 2023/11/15(水) 08:12:40.94 ID:vZBnwWQu0
>>508
究極的にはlbwのXYZとかBIMOとかで
探ってくしかない希ガス
512: 名無しのメタバースさん 2023/11/15(水) 08:34:18.05 ID:uMZfypBr0
>>508
その嘘ノウハウドヤ顔で
公開してる人多くて笑うわ
513: 名無しのメタバースさん 2023/11/15(水) 08:48:25.05 ID:48+BooI4M
>>508
プリセットからある程度良さそうなのを
見つけたらあとは総当たりや
単一のseedでやってるとたまたま良いseedの場合も
あるから良さそうなweight見つけたあと
ランダムseedで生成するのを忘れるなよ
適宜promptも調整やぞ
lora作成はこの辺の出荷作業が一番しんどいんよな
civitaiに載せるなら使い方はちゃんとしたい
519: 名無しのメタバースさん 2023/11/15(水) 09:31:48.96 ID:7aLSAl660
>>508
前スレから流行ってるドット絵風も
NAI以来の革命やって歓喜してる人もいれば
何がええんやこれ?ってピンとこない人もおるし
良さに共通認識なんてないからな
それを公開してる人的にはそれが自分の中の
最強テンプレ設定なのは嘘ではないのだと思うで
514: 名無しのメタバースさん 2023/11/15(水) 09:03:28.06 ID:IXIDOT9lH
層別の特徴量系の話は頑張って
検証してる熱意だけは伝わってくるから
なんとも言いにくい気持ちはある
特徴量はチャネル方向にあるから
層別のマージじゃ無理なんだよね
ここにたまに来る意識高いマージ手法使う人が
その特徴量いじれるけど人間には扱えない
520: 名無しのメタバースさん 2023/11/15(水) 09:33:47.58 ID:ud8P/T9e0
mergeは層別の加重平均するより
tensor弄って隠れ層の入れ替えしたほうが
おもしろいけどね
522: 名無しのメタバースさん 2023/11/15(水) 09:41:09.50 ID:sXfbcnUe0
層別マージまでは許せるけど
エレメンタルだけはキツイっす
551: 名無しのメタバースさん 2023/11/15(水) 12:08:06.20 ID:/QFVP4fk0
これ自分の思い込みかもしれんけど
アニメ調モデル使うときのプロンプトは
日本語だけの方が作画いい気がするんよな
んで、ネガティブにはbad,low,miss
みたいなアメリカ語を敷き詰める
作画崩壊の原因はアメリカ語が9割悪いという考え
554: 名無しのメタバースさん 2023/11/15(水) 12:25:51.70 ID:vZBnwWQu0
laugh lineはネガに入れとるわ
make-up, mascara, rougeも
入れとかんとケバくなりがち
あとは顔立ち用のage sliderとか
ちびたいにあったけどtoddler:-1.6とかで済ませがち
557: 名無しのメタバースさん 2023/11/15(水) 12:40:09.59 ID:MAL40WEf0
日本語のプロンプトも効くもんがあるとは聞くが
本格的にそれでやってる人おるんか
564: 名無しのメタバースさん 2023/11/15(水) 13:14:17.74 ID:ThVo1gmg0
>>557
平仮名の「うさぎ」だけで出した
かわいいウサちゃんみせたろか?
https://i.imgur.com/Tv3pvGU.png
https://i.imgur.com/YyNhRQd.png
https://i.imgur.com/A1NzlRk.png
558: 名無しのメタバースさん 2023/11/15(水) 12:48:00.73 ID:r9E/5Mhr0
いい成果が出てるんなら
まじないに貼って欲しいで
画像もなしに改善したわはふーんで流されがち
568: 名無しのメタバースさん 2023/11/15(水) 13:34:12.06 ID:+hrVAsn10
ネコとかは日本語プロンプトのみでも
結構出るんやで
一から日本語学ばせて描かせて出そうとしたとき
そのせいで面倒くさかった記憶あるわ
559: 名無しのメタバースさん 2023/11/15(水) 12:49:29.67 ID:1iqeE+fs0
最近寒くなってきたから6月辺りから
休職してたグラボくんに
また頑張ってもらおうかと考えてるんやが
とりあえず最新のwebui入れてanimateddiffと
XLは試してみたけど他にこれやっとけっていうのある?
561: 名無しのメタバースさん 2023/11/15(水) 13:08:01.43 ID:MAL40WEf0
ツイッターの人が上げてた
hyper denoiserとhyper refinerがええ感じや
563: 名無しのメタバースさん 2023/11/15(水) 13:11:50.95 ID:QHpXyyWV0
hotaruニキのやつかな
ワイも使ってみるか
560: 名無しのメタバースさん 2023/11/15(水) 12:53:40.81 ID:+jRotyKd0
Kohyaニキのdeep shrink試したニキおる?
572: 名無しのメタバースさん 2023/11/15(水) 13:52:08.82 ID:tn4VDJD50
>>560
今見たけど内部層でLatentのサイズを
一時的に小さくして構図の崩壊防ぎつつ
高解像度一発出し狙っとるんかこれ
アクロバティックやな
565: 名無しのメタバースさん 2023/11/15(水) 13:20:41.27 ID:dxk4blp80
civbrowserの検索結果を
まとめてダウンロードしたいんやけど、
そういう機能ある?サーバに負荷かかるから
無理なんやろか?
576: 名無しのメタバースさん 2023/11/15(水) 13:55:09.87 ID:A7i5pYE90
hotaruニキのお目目Lora
ワイルドカードするの楽しい
621: 名無しのメタバースさん 2023/11/15(水) 18:41:35.37 ID:c/OlSZkk0
数か月前に生成した画像を同条件で
再生成しようとしたら再現しなくてビビる
過去にもxformersのバージョンで
再現しなかったから覚悟はしていたけど辛い
アプデしていると生成画像の出会いは一期一会だぜ
624: 名無しのメタバースさん 2023/11/15(水) 19:01:09.60 ID:iVsZJSci0
546.01にしてからただ生成してるだけで
やたらブルスクが出るもんで
最近出た546.17にしたけど変わらず
諸々の設定を変えても特に状況が変わらず
ついに電源でもイカれたか?と思ったけど
537.58にしたら今のところ問題ないわ
ワイが共有メモリの速度低下から解放されるのは
もうしばらく先になりそうや・・・
627: 名無しのメタバースさん 2023/11/15(水) 19:24:48.32 ID:j++CoFn40
最近、WebUIの
ブラウザ表示が異様に重いと思ったら
あれってチェックポイントやLoRAに適用してある
サムネイルを、全部ロードしてんのな
チェックポイントやLoRAのタブを開いてない時でも
ページ使われてる画像を列挙するアドオンで見てわかったわ
636: 名無しのメタバースさん 2023/11/15(水) 20:20:45.74 ID:c/OlSZkk0
>>627
でも今更サムネ無しで
lora管理とかムリゲー過ぎますわ
解決策が使わないloraやチェックポイントは
他に移すぐらいしか思いつかん
644: 名無しのメタバースさん 2023/11/15(水) 20:44:42.66 ID:j++CoFn40
>>636
それは本当にそう。
でもこういう構造だと、
無制限に増やしていく事は出来ないみたいだね
ただLoRAだけで、画像がなければそこまで重くないと思う
俺の場合、自作LoRAのエポック違いで
千枚くらいのサムネイルを適用してたから
度を超さなければ支障は出ないかと
779: 名無しのメタバースさん 2023/11/16(木) 11:18:19.22 ID:0Kznwiza0
>>636
抵抗ないならStabilityMatrixに
デフォで付いてるModel全般の管理ツール便利やで
サムネ見えるし他のアプリとも共用できて容量節約できる
環境作り直さなきゃならないけど導入やアプデは楽ちん
引用元:https://nozomi.2ch.sc/test/read.cgi/liveuranus/1699876562
_________________________________________________________________________________
コメントする