976: 名無しのメタバースさん 2023/03/09(木) 21:52:35.53 ID:CSbvwE3G0

LyCORISのreadmeを見てもわけがわからん
なんで--network_dimの後に文字列なんや、
そこは数字を書くところやろ

978: 名無しのメタバースさん 2023/03/09(木) 21:53:53.08 ID:DBVBr00U0

>>976

あれ分かりにくいけど
ここにdimの数字書いて!ってサインや

982: 名無しのメタバースさん 2023/03/09(木) 21:57:38.73 ID:CSbvwE3G0

>>978

……わかりにくいわ

※: 本日のおすすめサイト記事一覧 0000/00/00(※) ID:metaversesoku


983: 名無しのメタバースさん 2023/03/09(木) 22:00:05.03 ID:xk8ukXgJM

>>978

お?なんかこの文字列を書くと
勝手にいい感じの数字に置き換えて調整くれたりするのか?
と思って試してみたけど別にそんなことはなかったぜ(1敗)

882: 名無しのメタバースさん 2023/03/09(木) 20:14:02.50 ID:ikK3jEbI0

ワイも入れただけで放置してたLocon使わないまま
リコリスリコイルきてしまった
直打ち勢だがとりあえず--network_module=networks.lora を --network_module=lycoris.kohya にすれば
学習通ったからおわったらLoRAと何が違うのか検証するゾ~
https://majinai.art/i/24r-s7z.png

887: 名無しのメタバースさん 2023/03/09(木) 20:21:30.50 ID:ikK3jEbI0

https://files.catbox.moe/77mi1m.webp
と書き込むの忘れてて
今Lycoris+Adfactorのやつができたから検証した
ガルパンの西住みほで、←Lycoris|ふつうのLora→
結果、なにが違うのかわかりませんでした。いかがでしたか?
設定ミスってるかもなぁ

895: 名無しのメタバースさん 2023/03/09(木) 20:31:01.95 ID:rTV4WX/X0

>>887

左のほうは"algo=loha"に設定変えた?

964: 名無しのメタバースさん 2023/03/09(木) 21:34:16.63 ID:ikK3jEbI0

>>895

Readmeを読み返したけどalgo=LORA にすると
拡張して学習するいわゆるLoConになるっぽいな?
とすると左はたぶんLoConに相当する学習になると思う
Lohaでもやるわ

897: 名無しのメタバースさん 2023/03/09(木) 20:32:51.98 ID:u7Ju7ycb0

>>887

検証サンガツ
しばらくは互換持たせたり様子見ってことで
loconじゃなくて普通のlora使うか

916: 名無しのメタバースさん 2023/03/09(木) 20:45:27.54 ID:tNzkVFtO0

AI生成の性能比較してたサイトの
url貼られてなかったっけ

928: 名無しのメタバースさん 2023/03/09(木) 20:53:42.45 ID:mXNxOLEE0

LoHaの説明読んだんやけど

・LoRaにConvolutional層を
 イジるのを加えてLoConができたで
・覚える量増えて品質も上がってええんやけど
 過学習すると特にファイルサイズケチった
 低dimの場合えらいことになるで

・そこでLoHaを提案するで
・行列を数学的に圧縮して同じファイルサイズで
 もっと覚えられるようになるんやで
・具体的にはdim16のLoConとdim8のLoHaは
 ファイルサイズが同じになるんやけどdim8のLoHaは
 理論値が出るとdim64のLoConに匹敵するで

・一番下の大量に画像が並んでる画像は検証者お手製の、
 キャラと画風をまとめて覚えさせる謎のデータセットで
 学習させた時の画像やで
・LoConやとdimが足りなくてキャラに画風を適用するのに
 失敗しとるけどLoHaは成功しとるどやすごいやろ

ファイルサイズ重視派のためのLoConって感じやな
10~30MBという配布に適しとるサイズで
実用的な成果物を作るというのが主眼らしい
もしくはdimを上げられるだけ上げてみたい変態向けか

931: 名無しのメタバースさん 2023/03/09(木) 21:00:57.23 ID:KA6pTPvs0

>>928

解説助かる

dim下げてる奴のほとんどの動機って
容量じゃなくて過学習防止だよな🤔
むしろdim上げたほうがええってことなんやろか…

954: 名無しのメタバースさん 2023/03/09(木) 21:23:22.15 ID:vIOguixz0

>>928

噛み砕いた翻訳サンガツ!

955: 名無しのメタバースさん 2023/03/09(木) 21:25:20.85 ID:xk8ukXgJM

>>928

はえー
とりあえずdim64で1e-3でやった
ワイのLoha成果貼っとくわ
https://i.imgur.com/x28VdlC.jpg

dim8で1e-4やってみるか

958: 名無しのメタバースさん 2023/03/09(木) 21:27:56.39 ID:jxekWI+k0

>>955

おーええやん
未来感じるわ

959: 名無しのメタバースさん 2023/03/09(木) 21:28:30.18 ID:VPQmwQJ70

>>955

ここまで荒ぶるのはなかなか強烈やね
検証サンガツ

966: 名無しのメタバースさん 2023/03/09(木) 21:36:50.59 ID:icf/Yk5s0

>>955

マジかぁ……検証サンガツ

969: 名無しのメタバースさん 2023/03/09(木) 21:44:29.96 ID:mXNxOLEE0

ちなみにこれがLoHaのdimと、
その時のLoCon換算値や

dim LoCon換算
4   16
8   64
16  256
32  1024
64  4096
128 16384

>>955のdim64は
LoConで言うとdim4096相当やから
そら崩壊するわな

971: 名無しのメタバースさん 2023/03/09(木) 21:46:41.56 ID:MSNuym0H0

>>969

めちゃくちゃ重要な情報やんけ

973: 名無しのメタバースさん 2023/03/09(木) 21:47:06.81 ID:icf/Yk5s0

>>969

………もしかしてサクッと過学習させるのに
便利だったりするんかこれ?

981: 名無しのメタバースさん 2023/03/09(木) 21:55:34.93 ID:xk8ukXgJM

>>969

1e-3が悪者かとおもったけどdimの方やったか

956: 名無しのメタバースさん 2023/03/09(木) 21:25:54.47 ID:rTV4WX/X0

>>928

解説サンガツ
今までdim128でサイズが140MBぐらいやったのが
LoConでやると300MBになって微妙やなって
思ってたからこれは助かる

961: 名無しのメタバースさん 2023/03/09(木) 21:29:09.93 ID:4xa9PD2Z0

>>928

LoRaとかもVRAM食ってるわけやろ
それ圧縮出来るんかな

995: 名無しのメタバースさん 2023/03/09(木) 22:19:43.41 ID:ikK3jEbI0

>>928

低dim教低容量ストレージにやさしい
LoRA学派のワイには
もしかしたら福音かもしれんなぁ
https://i.imgur.com/RZzfRDm.png

929: 名無しのメタバースさん 2023/03/09(木) 20:57:30.77 ID:PqT238qM0

ロハにしろリコリスにしろ、
ロコンの時みたいに使用者側も
エクステンション追加する必要があるんか?

933: 名無しのメタバースさん 2023/03/09(木) 21:01:38.56 ID:VPQmwQJ70

作るときに行列1こかまして
使うときに1こまた行列かますだけか
そんなに効かんなら急いで追いかけんでもええか

934: 名無しのメタバースさん 2023/03/09(木) 21:04:27.91 ID:qxmzTwEI0

配布するにも144MBのLoRAは
十分小さいと思うんやが
阿部寛のHPクラスを求める訳じゃないし

948: 名無しのメタバースさん 2023/03/09(木) 21:16:38.92 ID:mXNxOLEE0

>>934

ワイもそう思うが一部界隈に
小さいサイズで作りたい層がおるらしいで
Demoの画像からして画風5パターンと
キャラ1人をまとめて覚えさせたものを
30MBで出したいんやという謎の要件やら
同じファイルサイズでどれだけ
精度上がるかという比較ばかりやし

953: 名無しのメタバースさん 2023/03/09(木) 21:22:33.12 ID:qxmzTwEI0

サイズ大きくすると
DB(7ギガ)になっちゃうで
それはそれで配布には煩雑や
>>948
小さいに越したことはないけど
そこまでシビアなんか

940: 名無しのメタバースさん 2023/03/09(木) 21:11:18.09 ID:MSNuym0H0

dimサイズの扱いについては
「作者が勝手に言ってるだけ」状態やから
自分で試行錯誤していくしかないで

946: 名無しのメタバースさん 2023/03/09(木) 21:15:04.77 ID:K+NCfMcN0

locon拡張で昨日からlohaは使えるけど
block weightの対応がまだだから様子見やな

947: 名無しのメタバースさん 2023/03/09(木) 21:15:17.32 ID:jxekWI+k0

キャラLoRA衣装LoRA画風LoRAとか
複数被せ出すともう訳分からんちん
層別使う場合の最適値探るのって
どうやるのが正解なんだろ

950: 名無しのメタバースさん 2023/03/09(木) 21:17:24.77 ID:vT64QYcs0

コマンド直打ちで適当にloha回った
何が出来上がるんだろ

952: 名無しのメタバースさん 2023/03/09(木) 21:19:56.52 ID:u7Ju7ycb0

サイズ大きくなってもいいから
精度高いのがええな
技術的にサイズ小さくして精度は
そのままって方が現実的なんやろうか

963: 名無しのメタバースさん 2023/03/09(木) 21:32:25.91 ID:icf/Yk5s0

>>952

https://github.com/kohya-ss/sd-scripts/pull/243
それが既存のを1/6くらいのサイズにできる
可能性のあるPRがもうあるんよ
lohaきてしまったからそっちでどうなるかはしらん

loha、locon以上にVRAM食ってるいう話も聞いたでな……

957: 名無しのメタバースさん 2023/03/09(木) 21:27:37.21 ID:P/1OvJp50

学習データの元画像よりファイルサイズが
数十倍も大きいとか問題が
あるっちゃ問題があるけどな

962: 名無しのメタバースさん 2023/03/09(木) 21:31:47.45 ID:xk8ukXgJM

loraだとbatch8がギリギリできてた
ワイの環境がlocon(ltcoryslora)だと
7でないと走らなくてlohaだと6じゃないとコケる
微妙にメモリの要求増えてくな
そもそも本当にそんなbatchギリでやるの逆
に遅くしてるんだろうけど

968: 名無しのメタバースさん 2023/03/09(木) 21:39:30.16 ID:AzTFI51O0

ありゃ?
エクステンションアップデートして
BlockWeight指定したら、
AttributeError: 'LoraUpDownModule'
object has no attribute 'dim'
なんてエラーが出るようになっちゃったよん。。。。

何が原因なんやろか。

974: 名無しのメタバースさん 2023/03/09(木) 21:49:26.71 ID:qxmzTwEI0

dim8で十分なんか

980: 名無しのメタバースさん 2023/03/09(木) 21:54:36.89 ID:K+NCfMcN0

2倍どころじゃなくて2乗なのがエグいな
自分のモデル的にdim上げた方がクオリティ上がるから
loha dim20にしてlocon換算400でやるわ

引用元:https://nozomi.2ch.sc/test/read.cgi/liveuranus/1678282967/
_________________________________________________________________________________