AI画像「sd-webui-depth-lib」画像生成AIの最大の弱点克服「手の深度マップライブラリ」手を綺麗に修正できる神ツール！画像あり : メタバース速報　メタバースまとめ

1: 名無しのメタバースさん 0000/00/00(※) 00:00:00.00 ID:metaversesoku

sd-webui-depth-libについて

・どんなもの？
主目的は手の深度マップ（Depth）をリサイズ・配置し、手の位置調整や修正を簡単に出来ます
※CannyなどDepth以外でKontrolNetで使う画像も後で追加出来ます

簡単に言うと1枚目から2枚目にt2iで出来ます
3・4枚目は操作画面#KontrolNet #Automatic1111 pic.twitter.com/RYF8kfoHnu
— Lu:Na:Clock（AI術師） (@clock_luna) March 3, 2023

2: 名無しのメタバースさん 0000/00/00(※) 00:00:00.00 ID:metaversesoku

・インストール方法は？
URLからCode→赤線のコピーアイコンをクリック→Extention（拡張機能）の赤線にURLコピーしてインストールをクリック→Apply～（適用してUIを再起動）で完了ですhttps://t.co/ZqYQdjf8fP pic.twitter.com/hUH6cW4yfg
— Lu:Na:Clock（AI術師） (@clock_luna) March 3, 2023

※: 本日のおすすめサイト記事一覧 0000/00/00(※) ID:metaversesoku3: 名無しのメタバースさん 0000/00/00(※) 00:00:00.00 ID:metaversesoku

・インストール出来た。次はどうすればいい？
今回は例として1枚目の画像を使います（生成情報はAltに記載）

2枚目のように設定し、赤線のボタンを押して1枚目の画像を選択するとガイドとして背景に表示され3枚目の画面になります pic.twitter.com/ncFNzW5Fzk
— Lu:Na:Clock（AI術師） (@clock_luna) March 3, 2023

左下のDepth Mapsから、修正したい手の形を選択します

今回はオレンジ枠のパーの手にします

出来たら2枚目の赤線にあるAddを押すと、3枚目のように大きな手が出てきます

手の周りにある青線をドラッグするとサイズを変えたり、青丸をドラッグすると回転させることが出来ます pic.twitter.com/5OsfmA3Rri
— Lu:Na:Clock（AI術師） (@clock_luna) March 3, 2023

後は手首の位置に適当に合わせて調整します
とりあえず斜めの青線をドラッグして小さくして、真上に伸びてる■を軽く左右にずらせばいい感じになります（青丸とか言ったのは誤字なので忘れてください）

分かりづらいかもなので動画にしてみました
カーソルないですがイメージは掴みやすいと思います pic.twitter.com/XUvr26iEAA
— Lu:Na:Clock（AI術師） (@clock_luna) March 3, 2023

出来たら赤線のをクリックして、t2iのControlNetに送ります（SavePNGで手の画像だけ保存も出来ます）
すると2枚目のようにt2iの画面に移動します

後は3枚目のように調整しますPreprocessorは「none」で問題ありません
調整した数値などは後で解説します pic.twitter.com/Ga0FEfubqi
— Lu:Na:Clock（AI術師） (@clock_luna) March 3, 2023

後は画像生成時と全く同じ条件に設定し、生成します
この時シード値は「固定」しておきます
※ここを忘れると違う画像になってしまいます

さっき抜けてましたが2枚目のようにControlNetのEnableにチェックが入ってるかは確認しといてください（色々試してると忘れがちです） pic.twitter.com/pWcgLoIv42
— Lu:Na:Clock（AI術師） (@clock_luna) March 3, 2023

4: 名無しのメタバースさん 0000/00/00(※) 00:00:00.00 ID:metaversesoku

これは生成開始時すぐだとKontrolNetの情報が、プロンプトの重要な部分が読まれるより先に適用されているからだと思われます

確か、toyxyz（@toyxyz3）さんの記事かツイートにその旨の説明があったのですが、見つからないので見つかり次第リプに貼っておきます
— Lu:Na:Clock（AI術師） (@clock_luna) March 3, 2023

前述の理由から手だけが生成されないよう、Guidance Startのタイミングを遅らせます
今回は0.19にしてます（Steps全体の19％経過から適用されます）

今回は28Stepsなので5.51Stepsくらいから適用されてるはずです、そこで切り捨てがあるのかなどは知らないので計算上の話ですが・・・ｗ pic.twitter.com/0ORgmPiAgz
— Lu:Na:Clock（AI術師） (@clock_luna) March 3, 2023

すると手はしっかり反映されてますね
が、よく見ると手のひらに何か残ってます

ということで次はweightを1.2にしてみます（意味合いとしてはプロンプトで強調する係数と近いらしいです） pic.twitter.com/PxXFwB7TLI
— Lu:Na:Clock（AI術師） (@clock_luna) March 3, 2023

これで問題なく生成されました
このようにちょっとパラメータ変えないと、上手くいかないのでご注意ください

ついでと言ってはなんですが、openposeとの併用にも触れてみます pic.twitter.com/xflWRxGfQH
— Lu:Na:Clock（AI術師） (@clock_luna) March 3, 2023

先に言っときますがこの方法はあまりお勧めしないです

では、超雑ですがこんな感じにopenpose（棒人間くん）に手の画像を合わせていきます

手順は説明したの意外だとMultiControlNet機能を使うので、3・4枚目のように設定します pic.twitter.com/S85EDLPwfQ
— Lu:Na:Clock（AI術師） (@clock_luna) March 3, 2023

あまりお勧めはしないだけで、慣れてる人は絵を描いてて感覚掴んでる人は一度に処理しても大丈夫だと思います（自分はそうではないので・・・）

書き忘れてましたが、このExtentionにDepth（初期画像）以外を追加する方法も置いときます
— Lu:Na:Clock（AI術師） (@clock_luna) March 3, 2023

5: 名無しのメタバースさん 0000/00/00(※) 00:00:00.00 ID:metaversesoku

WebUI直下→Extention→sd-webui-depth-lib→Mapsに、画像を入れればOKです（反映にはUIの再起動が必要）

3枚目のように初期で入っているDepth以外の画像も、サイズ調整なども含めて同様に調整出来ます
この例だとCannyの画像を入れてます pic.twitter.com/Ok2psrk6JJ
— Lu:Na:Clock（AI術師） (@clock_luna) March 3, 2023

現状での問題点として画像比率が指定のサイズよりも大きくなる現象があるようです

openpose-editorのExtentionも含めて発生しているようなので、一応注意が必要です
（自分は指定の1.25倍の指定サイズになってました。多分共通の要因が被ってるのかなぁと）https://t.co/YrOPHgljCe
— Lu:Na:Clock（AI術師） (@clock_luna) March 3, 2023

補足通り手の向きおかしいのは途中気づきましたが遅すぎました
今回は例ということでﾕﾙｼﾃ！（多分今後同じ事何回も飛んでくると思うのでスルーします
— Lu:Na:Clock（AI術師） (@clock_luna) March 4, 2023

補足情報
URL通りCLIPの重みをファイル書き換えでやっていると、ControlNetの結果が著しく悪化していました（重みを変えること自体は悪い事じゃないです）

該当者は少数だと思いますがその場合は元に戻せば直ると思います、自分が該当していたので備忘録として置いときますhttps://t.co/DSDKSdFBJ2
— Lu:Na:Clock（AI術師） (@clock_luna) March 3, 2023