976: 名無しのメタバースさん 2023/03/09(木) 21:52:35.53 ID:CSbvwE3G0
LyCORISのreadmeを見てもわけがわからん
なんで--network_dimの後に文字列なんや、
そこは数字を書くところやろ
978: 名無しのメタバースさん 2023/03/09(木) 21:53:53.08 ID:DBVBr00U0
>>976
あれ分かりにくいけど
ここにdimの数字書いて!ってサインや
982: 名無しのメタバースさん 2023/03/09(木) 21:57:38.73 ID:CSbvwE3G0
>>978
……わかりにくいわ
※: 本日のおすすめサイト記事一覧 0000/00/00(※) ID:metaversesoku
983: 名無しのメタバースさん 2023/03/09(木) 22:00:05.03 ID:xk8ukXgJM
>>978
お?なんかこの文字列を書くと
勝手にいい感じの数字に置き換えて調整くれたりするのか?
と思って試してみたけど別にそんなことはなかったぜ(1敗)
882: 名無しのメタバースさん 2023/03/09(木) 20:14:02.50 ID:ikK3jEbI0
ワイも入れただけで放置してたLocon使わないまま
リコリスリコイルきてしまった
直打ち勢だがとりあえず--network_module=networks.lora を --network_module=lycoris.kohya にすれば
学習通ったからおわったらLoRAと何が違うのか検証するゾ~
https://majinai.art/i/24r-s7z.png
887: 名無しのメタバースさん 2023/03/09(木) 20:21:30.50 ID:ikK3jEbI0
https://files.catbox.moe/77mi1m.webp
と書き込むの忘れてて
今Lycoris+Adfactorのやつができたから検証した
ガルパンの西住みほで、←Lycoris|ふつうのLora→
結果、なにが違うのかわかりませんでした。いかがでしたか?
設定ミスってるかもなぁ
895: 名無しのメタバースさん 2023/03/09(木) 20:31:01.95 ID:rTV4WX/X0
>>887
左のほうは"algo=loha"に設定変えた?
964: 名無しのメタバースさん 2023/03/09(木) 21:34:16.63 ID:ikK3jEbI0
>>895
Readmeを読み返したけどalgo=LORA にすると
拡張して学習するいわゆるLoConになるっぽいな?
とすると左はたぶんLoConに相当する学習になると思う
Lohaでもやるわ
897: 名無しのメタバースさん 2023/03/09(木) 20:32:51.98 ID:u7Ju7ycb0
>>887
検証サンガツ
しばらくは互換持たせたり様子見ってことで
loconじゃなくて普通のlora使うか
916: 名無しのメタバースさん 2023/03/09(木) 20:45:27.54 ID:tNzkVFtO0
AI生成の性能比較してたサイトの
url貼られてなかったっけ
928: 名無しのメタバースさん 2023/03/09(木) 20:53:42.45 ID:mXNxOLEE0
LoHaの説明読んだんやけど
・LoRaにConvolutional層を
イジるのを加えてLoConができたで
・覚える量増えて品質も上がってええんやけど
過学習すると特にファイルサイズケチった
低dimの場合えらいことになるで
・そこでLoHaを提案するで
・行列を数学的に圧縮して同じファイルサイズで
もっと覚えられるようになるんやで
・具体的にはdim16のLoConとdim8のLoHaは
ファイルサイズが同じになるんやけどdim8のLoHaは
理論値が出るとdim64のLoConに匹敵するで
・一番下の大量に画像が並んでる画像は検証者お手製の、
キャラと画風をまとめて覚えさせる謎のデータセットで
学習させた時の画像やで
・LoConやとdimが足りなくてキャラに画風を適用するのに
失敗しとるけどLoHaは成功しとるどやすごいやろ
ファイルサイズ重視派のためのLoConって感じやな
10~30MBという配布に適しとるサイズで
実用的な成果物を作るというのが主眼らしい
もしくはdimを上げられるだけ上げてみたい変態向けか
931: 名無しのメタバースさん 2023/03/09(木) 21:00:57.23 ID:KA6pTPvs0
>>928
解説助かる
dim下げてる奴のほとんどの動機って
容量じゃなくて過学習防止だよな🤔
むしろdim上げたほうがええってことなんやろか…
954: 名無しのメタバースさん 2023/03/09(木) 21:23:22.15 ID:vIOguixz0
>>928
噛み砕いた翻訳サンガツ!
955: 名無しのメタバースさん 2023/03/09(木) 21:25:20.85 ID:xk8ukXgJM
>>928
はえー
とりあえずdim64で1e-3でやった
ワイのLoha成果貼っとくわ
https://i.imgur.com/x28VdlC.jpg
dim8で1e-4やってみるか
958: 名無しのメタバースさん 2023/03/09(木) 21:27:56.39 ID:jxekWI+k0
>>955
おーええやん
未来感じるわ
959: 名無しのメタバースさん 2023/03/09(木) 21:28:30.18 ID:VPQmwQJ70
>>955
ここまで荒ぶるのはなかなか強烈やね
検証サンガツ
966: 名無しのメタバースさん 2023/03/09(木) 21:36:50.59 ID:icf/Yk5s0
>>955
マジかぁ……検証サンガツ
969: 名無しのメタバースさん 2023/03/09(木) 21:44:29.96 ID:mXNxOLEE0
ちなみにこれがLoHaのdimと、
その時のLoCon換算値や
dim LoCon換算
4 16
8 64
16 256
32 1024
64 4096
128 16384
>>955のdim64は
LoConで言うとdim4096相当やから
そら崩壊するわな
971: 名無しのメタバースさん 2023/03/09(木) 21:46:41.56 ID:MSNuym0H0
>>969
めちゃくちゃ重要な情報やんけ
973: 名無しのメタバースさん 2023/03/09(木) 21:47:06.81 ID:icf/Yk5s0
>>969
………もしかしてサクッと過学習させるのに
便利だったりするんかこれ?
981: 名無しのメタバースさん 2023/03/09(木) 21:55:34.93 ID:xk8ukXgJM
>>969
1e-3が悪者かとおもったけどdimの方やったか
956: 名無しのメタバースさん 2023/03/09(木) 21:25:54.47 ID:rTV4WX/X0
>>928
解説サンガツ
今までdim128でサイズが140MBぐらいやったのが
LoConでやると300MBになって微妙やなって
思ってたからこれは助かる
961: 名無しのメタバースさん 2023/03/09(木) 21:29:09.93 ID:4xa9PD2Z0
>>928
LoRaとかもVRAM食ってるわけやろ
それ圧縮出来るんかな
995: 名無しのメタバースさん 2023/03/09(木) 22:19:43.41 ID:ikK3jEbI0
>>928
低dim教低容量ストレージにやさしい
LoRA学派のワイには
もしかしたら福音かもしれんなぁ
https://i.imgur.com/RZzfRDm.png
929: 名無しのメタバースさん 2023/03/09(木) 20:57:30.77 ID:PqT238qM0
ロハにしろリコリスにしろ、
ロコンの時みたいに使用者側も
エクステンション追加する必要があるんか?
933: 名無しのメタバースさん 2023/03/09(木) 21:01:38.56 ID:VPQmwQJ70
作るときに行列1こかまして
使うときに1こまた行列かますだけか
そんなに効かんなら急いで追いかけんでもええか
934: 名無しのメタバースさん 2023/03/09(木) 21:04:27.91 ID:qxmzTwEI0
配布するにも144MBのLoRAは
十分小さいと思うんやが
阿部寛のHPクラスを求める訳じゃないし
948: 名無しのメタバースさん 2023/03/09(木) 21:16:38.92 ID:mXNxOLEE0
>>934
ワイもそう思うが一部界隈に
小さいサイズで作りたい層がおるらしいで
Demoの画像からして画風5パターンと
キャラ1人をまとめて覚えさせたものを
30MBで出したいんやという謎の要件やら
同じファイルサイズでどれだけ
精度上がるかという比較ばかりやし
953: 名無しのメタバースさん 2023/03/09(木) 21:22:33.12 ID:qxmzTwEI0
サイズ大きくすると
DB(7ギガ)になっちゃうで
それはそれで配布には煩雑や
>>948
小さいに越したことはないけど
そこまでシビアなんか
940: 名無しのメタバースさん 2023/03/09(木) 21:11:18.09 ID:MSNuym0H0
dimサイズの扱いについては
「作者が勝手に言ってるだけ」状態やから
自分で試行錯誤していくしかないで
946: 名無しのメタバースさん 2023/03/09(木) 21:15:04.77 ID:K+NCfMcN0
locon拡張で昨日からlohaは使えるけど
block weightの対応がまだだから様子見やな
947: 名無しのメタバースさん 2023/03/09(木) 21:15:17.32 ID:jxekWI+k0
キャラLoRA衣装LoRA画風LoRAとか
複数被せ出すともう訳分からんちん
層別使う場合の最適値探るのって
どうやるのが正解なんだろ
950: 名無しのメタバースさん 2023/03/09(木) 21:17:24.77 ID:vT64QYcs0
コマンド直打ちで適当にloha回った
何が出来上がるんだろ
952: 名無しのメタバースさん 2023/03/09(木) 21:19:56.52 ID:u7Ju7ycb0
サイズ大きくなってもいいから
精度高いのがええな
技術的にサイズ小さくして精度は
そのままって方が現実的なんやろうか
963: 名無しのメタバースさん 2023/03/09(木) 21:32:25.91 ID:icf/Yk5s0
>>952
https://github.com/kohya-ss/sd-scripts/pull/243
それが既存のを1/6くらいのサイズにできる
可能性のあるPRがもうあるんよ
lohaきてしまったからそっちでどうなるかはしらん
loha、locon以上にVRAM食ってるいう話も聞いたでな……
957: 名無しのメタバースさん 2023/03/09(木) 21:27:37.21 ID:P/1OvJp50
学習データの元画像よりファイルサイズが
数十倍も大きいとか問題が
あるっちゃ問題があるけどな
962: 名無しのメタバースさん 2023/03/09(木) 21:31:47.45 ID:xk8ukXgJM
loraだとbatch8がギリギリできてた
ワイの環境がlocon(ltcoryslora)だと
7でないと走らなくてlohaだと6じゃないとコケる
微妙にメモリの要求増えてくな
そもそも本当にそんなbatchギリでやるの逆
に遅くしてるんだろうけど
968: 名無しのメタバースさん 2023/03/09(木) 21:39:30.16 ID:AzTFI51O0
ありゃ?
エクステンションアップデートして
BlockWeight指定したら、
AttributeError: 'LoraUpDownModule'
object has no attribute 'dim'
なんてエラーが出るようになっちゃったよん。。。。
何が原因なんやろか。
974: 名無しのメタバースさん 2023/03/09(木) 21:49:26.71 ID:qxmzTwEI0
dim8で十分なんか
980: 名無しのメタバースさん 2023/03/09(木) 21:54:36.89 ID:K+NCfMcN0
2倍どころじゃなくて2乗なのがエグいな
自分のモデル的にdim上げた方がクオリティ上がるから
loha dim20にしてlocon換算400でやるわ
引用元:https://nozomi.2ch.sc/test/read.cgi/liveuranus/1678282967/
_________________________________________________________________________________
コメントする