97: 名無しのメタバースさん 2023/03/21(火) 04:06:51.69 ID:Q3Ebs5/G0

こちら、MultiDiffusionのi2iでdenoisingを
何段階か変えて出力したものを貼り合わせて
妖精さんを抹消した完成品となります。
MultiDiffusionの高画質化すげえや……
https://i.imgur.com/ejdNKRK.jpg

104: 名無しのメタバースさん 2023/03/21(火) 04:43:31.68 ID:06FirhO+0

>>97

multidiffusionってどう使うんや
なんか簡単なチュートリアルあるとこしらんか

106: 名無しのメタバースさん 2023/03/21(火) 04:51:06.68 ID:Q3Ebs5/G0

>>104

とりあえずi2iのアップスケールだけ
Tiled DiffusionでEnableにチェックして
MethodをMultiDiffusionに、Scale Factorで拡大率、
Upscalerを好きなものに設定して後は
デフォルト値でとりあえずよし。

Keep input image sizeもチェックかな。
CFG Scaleは10くらい、Denoising strengthは0.5辺りにしておく。
たいていVRAMが足りないので、Tiled VAEもEnableにチェック。
後はGenerateを押せばおっけー
他の使い方はまだ知らない

110: 名無しのメタバースさん 2023/03/21(火) 04:54:42.85 ID:06FirhO+0

>>106
 >>108
サンガツ!
めっちゃ助かるわ

※: 本日のおすすめサイト記事一覧 0000/00/00(※) ID:metaversesoku


108: 名無しのメタバースさん 2023/03/21(火) 04:53:16.77 ID:Q3Ebs5/G0

>>104

CFGとdenoisingでアップスケール後の
書き込み量が変わるので、適当に調整してくだされ

111: 名無しのメタバースさん 2023/03/21(火) 04:57:38.36 ID:Q3Ebs5/G0

>>104

あー、t2iのhires.fix時に
一緒にTiled VAEをオンにしておくと
out of memoryになるサイズでも
実行可能になるらしいっすよ

112: 名無しのメタバースさん 2023/03/21(火) 05:00:30.32 ID:06FirhO+0

>>111

なんやて・・・
今試して見とるけど、
3060の12Gでも結構いけそう

99: 名無しのメタバースさん 2023/03/21(火) 04:33:57.43 ID:q7gyJJTm0

MultiDiffusionええな
でもワイは新しいことをする気力がないので
webuiエクステンションの実装待つわ…

100: 名無しのメタバースさん 2023/03/21(火) 04:34:45.02 ID:Q3Ebs5/G0

>>99

multidiffusionはwebuiのextensionやで

102: 名無しのメタバースさん 2023/03/21(火) 04:37:24.25 ID:q7gyJJTm0

>>100

探したらあったわ、サンガツ

103: 名無しのメタバースさん 2023/03/21(火) 04:42:38.62 ID:q7gyJJTm0

剪定してないモデルの方が
クオリティが高くなるとか書いてあるやんけ
2GBで保存してきたのに…これは終わったか

105: 名無しのメタバースさん 2023/03/21(火) 04:50:35.90 ID:FlVOzLYE0

>>103

32bitでも16bitでも細部以外ほとんど変わらない
(どちらの結果が良いとも言い難いレベルの差しかつかない)し、
prunedにするのはプロンプトから呼び出されることのなさそうな
残骸を捨てるだけなので問題ないぞ。

114: 名無しのメタバースさん 2023/03/21(火) 05:30:18.61 ID:q7gyJJTm0

>>105
>>113
普通の生成は比較した結果
prunedfp16で全然満足してるんやが
MultiDiffusionのreadmeにフル版は剪定版よりも
遥かに細かくなるって書いてあったんや
まあとりあえず試して比較してみるしかないな

113: 名無しのメタバースさん 2023/03/21(火) 05:16:40.61 ID:98CeH7xq0

>>103

フォトリアルの
金属質とか瞳のハイライトとか比べれば
FP32の方がいい場合もあるけど、
Punedはお気持ちって方が強いかな

2Dやごちゃ混ぜのマージモデルなら
今はほとんどPunedFP16だらけだし
気にしなくていいと思う

CDだってみんな気づかないレベルだから
これでいいと言って作られた規格だけど
よりオリジナルに近いハイレゾを求める人が居るようなもので、
それなりのモニタが無いとマジで差なんてわからんからね
実写学習やるなら少しでもデータ取りこぼさずに
反映させたい訳でオカルト追いたくなるけど、
差が出るほどの比較画像見たことないから

115: 名無しのメタバースさん 2023/03/21(火) 05:35:03.74 ID:u/Po7pPi0

FP32とFP32(Puned)と
FP16とFP16(Puned)があるんだっけ

121: 名無しのメタバースさん 2023/03/21(火) 07:05:57.88 ID:FlVOzLYE0

>>115

FP32とFP16は
データの精度が16ビットか32ビットか。
これはビット精度で、円周率とかを
小数点以下何桁まで扱うかみたいなイメージ。

16bitだと32bitほど細かい桁まで計算しないんだけど、
そんな下の方の桁は切り捨てても対して影響ない。
FP16にすれば計算は高速化、メモリ使用料も
ファイルサイズも半減する。

なお、NVIDIAは新しいAI処理向け
データセンター用GPU「Hopper」H100にて
FP8という8bitの浮動小数点フォーマットを追加した。

Prunedというのは学習したデータの一部を剪定、
つまりいらないデータを消したもの。
プロンプトの単語と結びつかなかった
データなどを捨てることで軽量化できる。
ただしマージや追加学習を行うといらないと
思っていた部分を使う可能性は否定できない。

それをふまえて、マージや学習元につかう
checkpointは prunedでない方がいい。
マージしたあとの使用するcheckpointは
FP16 Prunedで妥協していい。

116: 名無しのメタバースさん 2023/03/21(火) 05:38:10.04 ID:G8Gv0Rdj0

質問させて下さい
t2iで512x768画像を出力した後、
それをCNのdepthかけてポーズ保ったまま
服色違いの画像を生成したんやけど、
その画像のseedを使ってHiresかけたところ、
全然別モンの絵になってしもうた
CNで出した絵をHiresにかける場合って
通常とは異なる設定とかあるんでしょうか?

117: 名無しのメタバースさん 2023/03/21(火) 06:35:34.58 ID:IWPEqW6t0

multidiffusion使ったけど、児が生まれた
これは、VRAM少ない人がクソデカ画像生成できるのが
メリット?効率が上がるとかそういう話ではないのか?

142: 名無しのメタバースさん 2023/03/21(火) 09:32:20.93 ID:ThxZ8LIx0

>>117

プロンプトに
クオリティ系のキーワード以外を
入れてはいけないてREADMEに
書いてあったがそれはやっとるか?
そういうワイも試行錯誤しとるが
なかなか安定せぇへんな、
元絵によって向き不向きがあるんかもしれん…

READMEに書いてあるmultidiffusionの
メリットデメリットはこういうことらしい

メリット
・2k〜8kサイズの画像を
 txt2imgとimg2imgで描画できるようになる
・後処理を必要としない

デメリット
・最適化が十分にできていないため、
 特に非常に大きな画像(8k)やControlNetを使用する場合は
 遅くなることがある
・プロンプト制御が弱い
・gradient calculation まわりの互換性がなく、
 backward()やtorch.autograd.grad()を壊してしまう

137: 名無しのメタバースさん 2023/03/21(火) 08:43:32.11 ID:zQewvZxP0

ワイも新技術やlora追うより
hiresやアプスケ沼に嵌まってでてこれんわ

182: 名無しのメタバースさん 2023/03/21(火) 11:45:39.27 ID:Q3Ebs5/G0

MultiDiffusionのアップスケール、
3060だと1280x640の4倍アップスケール
25ステップで13分かかるのツライ……
上位グラボに乗り換えたくなるw

206: 名無しのメタバースさん 2023/03/21(火) 12:31:37.56 ID:ISWRSSCJ0

MultiDiffusionのt2iの
正しい使い方把握ニキはおらんかの…?
hires切ってt2iしたやつをi2iでMultiDiffusionでdenoiseで
補正しながらクソデカにするのが多分正解よな

213: 名無しのメタバースさん 2023/03/21(火) 12:39:25.87 ID:Q3Ebs5/G0

>>206

hiresは入れても切ってもどっちでもいい感じよ
hiresで細かく描き込みされた状態から更に描き込みするか、
hires前のすっきりした状態から描き込みするか、
好きな方を選べばいい

207: 名無しのメタバースさん 2023/03/21(火) 12:33:00.59 ID:QHmSzAr40

なんでお前らMultiDiffusionをt2iで使おうとするの……

210: 名無しのメタバースさん 2023/03/21(火) 12:36:11.70 ID:ISWRSSCJ0

>>207

githubにt2i出来ますって書いてあるから…

209: 名無しのメタバースさん 2023/03/21(火) 12:35:57.39 ID:Q3Ebs5/G0

1280x640でt2i:https://i.imgur.com/LM1vTpx.png

Tiled Diffusionでi2i(CFG 10, denoising 0.5, Scale 4):https://i.imgur.com/LEBABqI.jpg

denoising 0.4, 0,3の出力を貼り合わせて完成:
https://i.imgur.com/hDUIVrA.jpg

nostalgiaClearの廃墟ガールだと
MultiDiffusionのアップスケールで破綻知らずよ
湧き出る妖精さんを消すのにめっちゃ手間がかかるけどw

211: 名無しのメタバースさん 2023/03/21(火) 12:38:38.12 ID:QHmSzAr40

>>209

CFG上げてDenoise下げたほうが面倒ないで

214: 名無しのメタバースさん 2023/03/21(火) 12:40:25.47 ID:Q3Ebs5/G0

>>211

む、CFG上げるのも試してみるか

221: 名無しのメタバースさん 2023/03/21(火) 12:55:15.41 ID:QHmSzAr40

>>214

画像勝手に借りて悪いけど
CFG15Denoising0.3でこうなった
https://i.imgur.com/xGk9Swx.jpg
妖精さんは多分でにくい...はず

224: 名無しのメタバースさん 2023/03/21(火) 13:09:43.49 ID:Q3Ebs5/G0

>>221

さんきゅー、こっちでも試してみたで。
……CFGが10でも18でもほぼ変わらん??
これはやはり手間がかかってもdenoising 0.5の描き込みは魅力よな
CFG 10, denoising 0.3:https://i.imgur.com/YLKxOjm.jpg
CFG 18, denoising 0.3:https://i.imgur.com/yqg5nSq.jpg

212: 名無しのメタバースさん 2023/03/21(火) 12:38:39.48 ID:Z8H5F4gg0

MultiDiffusionのt2iは背景系プロンプトで使うか
プロンプトほぼ無しのControlNetで
モデル任せにするかの2択で使えるって
ReadMeに書いてあるやんな?
i2iもクオリティタグ以外いれるなってあるけど
背景系モデルじゃないならクオリティタグも
人を出そうとするはずやから
CNだけにしといた方が良いかもな
ワイはまだ入れてないからわからんけど

230: 名無しのメタバースさん 2023/03/21(火) 13:25:34.30 ID:WK+diBnP0

MultiDiffusionはどう設定しても
OutOfMemoryになって死ぬわ
1024*1536の2倍でVRAM16GBでも24GBでも
足りんってどういうことや

232: 名無しのメタバースさん 2023/03/21(火) 13:28:13.75 ID:Q3Ebs5/G0

>>230

Tiled VAEもenableにしないと
大抵out of memoryになるで

233: 名無しのメタバースさん 2023/03/21(火) 13:30:06.76 ID:WK+diBnP0

>>232

さんがつ
これセットなんか、じゃあ片方Enableにしたら
両方Enableにしてくれたらええのに…

234: 名無しのメタバースさん 2023/03/21(火) 13:31:20.23 ID:Q3Ebs5/G0

>>230

というか24GBでもダメなのか……

300: 名無しのメタバースさん 2023/03/21(火) 15:17:50.23 ID:Ml+QHvaS0

multidiffusion沼やな
4090ですら門前払いされるくらい深い沼や

338: 名無しのメタバースさん 2023/03/21(火) 16:27:32.01 ID:50J7t7ZK0

MultiDiffusionはタイルサイズ上げると
すぐエラー出たりするしそもそも
タイルサイズの上限が小さいから
img2imgでUltimate SD Upscale使ってタイルサイズ
大きくすれば妖精とか出さずに超解像できてええんちゃう
倍くらい時間かかるけどVRAM消費も控えめやし

339: 名無しのメタバースさん 2023/03/21(火) 16:32:02.25 ID:Q3Ebs5/G0

>>338

Ultimate SD upscaleもdenoising上げると
やっぱり妖精さん湧くんよね……
https://i.imgur.com/AsZtpeL.jpg

344: 名無しのメタバースさん 2023/03/21(火) 16:42:16.50 ID:50J7t7ZK0

>>339

プロンプトにキャラとか入れずに背景だけアプスケして
作って後からキャラだけ合成とかはダメなんかな?

349: 名無しのメタバースさん 2023/03/21(火) 16:48:09.05 ID:Q3Ebs5/G0

>>344

その手は普通のSD upscaleで時々使ってた
あとはdenoising高いのと低いので貼り合わせるとか

引用元:https://nozomi.2ch.sc/test/read.cgi/liveuranus/1679326948/
_________________________________________________________________________________