AI画像「LoRA学習」最新の追加学習でAIウマ娘！複雑な衣装をウマ娘系モデル使って再現！過学習になると絵が壊れるので要注意！ : メタバース速報　メタバースまとめ

1: 名無しのメタバースさん 0000/00/00(※) 00:00:00.00 ID:metaversesoku

dimは削ったほうが変なもの覚えないかな？
程よい調整が難しい…
各モデルの学習元に含まれる衣装の概念からも影響受けてるしなぁ pic.twitter.com/OjpkbtCt9P
— ぬいぐるみ (@nuigurumi1_KR) February 3, 2023

1: 名無しのメタバースさん 0000/00/00(※) 00:00:00.00 ID:metaversesoku

ウマ娘にトレセン制服を着せる研究者が神すぎる。

これウマ娘系のマージモデルをベースに、LoRA使ってTextual Inversionしてるのかなあーーー？？？

ここまで上手く衣装再現できてる例を観たことない、すごすぎる。 https://t.co/8lU8alcijo
— ぼっちの髪留め (@save_the_cat__) February 3, 2023

※: 本日のおすすめサイト記事一覧 0000/00/00(※) ID:metaversesoku
1: 名無しのメタバースさん 0000/00/00(※) 00:00:00.00 ID:metaversesoku

オリキャラのLoRA作ろうとすると、服装を完全再現できるくらいバチバチに学習させると過学習になって絵が壊れがちだな。最初にtxt2imgで、多少絵が壊れてもLoRAガッツリ効かせて生成してから、LoRAを無効か薄くしてimg2imgするのがいいかもしれない（LoRAを弱くする代わりにTaggerでタグを付けるとか）
— うみゆき@AI研究 (@umiyuki_ai) February 2, 2023

rank (dim)近似の比較。某アニメ画風LoRA、1枚目rank=128（学習したもの）、2枚目rank=4（近似したもの）。効果が弱くなってモデル（ACertainty）の素が出てくる感じ。 pic.twitter.com/4dmFIVlDWE
— Kohya Tech (@kohya_tech) February 4, 2023

どうやらTensorRTでLoRAとi2iに対応できるらしく
爆速Stablediffusionまあまあ使い物になるかもしれない
— だだっこぱんだ🍞 (@ddPn08) February 4, 2023

あとFくんがWindowsでのビルド頑張ってくれてる
— だだっこぱんだ🍞 (@ddPn08) February 4, 2023

同じ設定でもモデルによって上昇負荷耐性もLoraの影響度合いも結構違ってくる
Basil_Mix/7th_anime_v3_C/Cinnamon_mix_fixed/Counterfeit-V2.5_fp16 pic.twitter.com/LoAoyJoUpp
— morisato (@swingwings) February 4, 2023

学習させた前提モデルとは違うモデルだから効きが変わって当然。でも使うモデルに合わせて調整すればそのまま結構使えそうな感じはする。
— morisato (@swingwings) February 4, 2023

LoRAなんとか作れたけどピーキーで、HNでやってたような再現性と汎用性の両立が難しいなこれ…
あと体感できる程度に生成速度が遅くなるね。
— skinaflint @ci-en (@skinaflint) February 3, 2023

1: 名無しのメタバースさん 0000/00/00(※) 00:00:00.00 ID:metaversesoku

わかったわかった。たぶんだけど
汎用性：Hypernetwork
再現性：LoRA
これで間違いないわ。同じ学習素材でいろいろやってみたけど、LoRAの方が再現性高いことがわかった。
でもLoRAはちんちんが消えやすくなったりするしHypernetworkはモデルを問わないところも汎用性の高さに繋がってる感じね。
— skinaflint @ci-en (@skinaflint) February 4, 2023

んで次の課題はこれらの共存なんだけども…おそらく出回っているLoRAじゃ無理くさい。
階層別とか正規化画像の工夫でうまくいくかも？もう少し検証して顔とか絵柄だけとかの移植をしてみたいね。
— skinaflint @ci-en (@skinaflint) February 4, 2023

追加DBって概念（LoRA）と、生成結果を変形させるって概念（HN）っておそらく全然違うんだろうけど結果は似ているからLoRAが人気になるのはわかる。
HNなんて自分くらいしか研究してなかったしね…一応そのノウハウはLoRAにも使えたっぽいけど。
— skinaflint @ci-en (@skinaflint) February 4, 2023

いよいよって感じだな～
— skinaflint @ci-en (@skinaflint) February 4, 2023

再インスト再クローンして環境作り直したらPython3.10がうまく入ったみたいだ。LoRaも動いてるように見えてうれしい。xformersは有効にするとエラー吐くから使えないけど。インストール版？のやつならちゃんと動くのだろうか #StableDiffusion #AIArt
— しやく (@Shiyaku) February 2, 2023

LoRa動くようになったんだけどこれヤバいな。まるっきりそのままってくらいなのが出てくる。けど構図が全部一緒になってしまうのが悩み。学習のさせ方に問題があるんだろうけど直し方がわからぬ。タグ付のテキストで変わるのかな。それとも素材画像の種類？ #AIart https://t.co/9D6xuvQSWD
— しやく (@Shiyaku) February 2, 2023

これでLORAで作ったオリキャラ同士を一緒に画像に出せるやつじゃん https://t.co/Fs7Oec16CR
— osa1002 (@osa1000000002) February 3, 2023

1: 名無しのメタバースさん 0000/00/00(※) 00:00:00.00 ID:metaversesoku

よくNovelAIで流れてくるイラストがマスピ顔、正面向き無背景のレベルが多いから、AIイラストはあのレベルだと思われてるかもだけど、モデルマージやらloraだの使ってるやつは結構いける
— タカヤ (@noel_phelt) February 2, 2023

・クロスアテンションにv_(i - 1)とv_(i + 1)を参照させることで、中割v_(i)を生成
・t2iの追加学習手法(ti, db, hn, lora)などがtavにも効くか
・あえて過学習させてプロンプトで絵柄のみの調整
・v2v特化の学習（ステップを絞る）
・クロスアテンションの参照フレームをvramの限界まで増やす
— Izumi Satoshi (@izumisatoshi05) February 2, 2023

udonさんおおありがとうございます！
インスタの写真…なるほどです！
udonさんのホロメンとかのクオリティめちゃ高いのも基本は同じでモデルが違うって感じのPCのなんですか？
ソフトなのかなんなのかイマイチわからなくて…
— いちか🍃AIイラスト専門 (@polox_ai) February 2, 2023

私の場合はhypernetworkを使って追加学習をしてホロメン再現をしています。
学習元の素体はanythingv3です。
でも今始めるならLORAのほうがユーザーが多いし、制作者が日本人のため日本語文献も豊富なのでやるならそっちがおすすめです！
— udon markII (@udon_markii) February 2, 2023

わわったくさん教えていただいて感謝感謝です！
もっとたくさん調べないと自分の知識が全然ついていけてないです
LORA調べてみますね！また嘆くと思いますが…笑

神絵ばかり投稿していて実は陰ながら尊敬しているので教えてもらえて嬉しいです💛
やってみますね！
— いちか🍃AIイラスト専門 (@polox_ai) February 2, 2023