AI画像「ControlNet」AI絵や実写画像を読み込んでポーズ指定する方法「i2iを使って仕上げる」実際に画像生成しながら使い方を解説！ : メタバース速報　メタバースまとめ

1: 名無しのメタバースさん 0000/00/00(※) 00:00:00.00 ID:metaversesoku

導入方法は？

下記URLのCloneからURLをコピー（1枚目）→WebUIのExtentionのInstall from URL張り付け（2枚目）インストールし、Apply and restart UIをします（3枚目）
まだあるので次リプに続けますhttps://t.co/KwYfmI1UJG pic.twitter.com/Md07TCFrTn
— Lu:Na:Clock（AI術師） (@clock_luna) February 13, 2023

2: 名無しのメタバースさん 0000/00/00(※) 00:00:00.00 ID:metaversesoku

これでようやく導入は終わりです
ちなみに英語ですが導入方法はサイトに記載してあるので、詳しく見たい方はそちらをどうぞです（自分はブラウザの日本語翻訳噛ましながら確認してました）

次からは使用方法ですhttps://t.co/KwYfmI1UJG
— Lu:Na:Clock（AI術師） (@clock_luna) February 13, 2023

※: 本日のおすすめサイト記事一覧 0000/00/00(※) ID:metaversesoku3: 名無しのメタバースさん 0000/00/00(※) 00:00:00.00 ID:metaversesoku

・やっと導入出来た・・・使用方法は？
先ほどの画面からちょっと下を見ると画像参照できる場所があるので、赤枠内をクリックするかドラッグ＆ドロップして参照させたい画像を選択します

出来たら2枚目のようにその画像が表示されます
（Open drawing canvas!で1から描けますが今回は触れません） pic.twitter.com/mbfmHGYv0K
— Lu:Na:Clock（AI術師） (@clock_luna) February 13, 2023

出来たら普段通りt2iで生成します
プロンプトはポーズ指定が無い方が効果が分かりやすいと思います

Canvas Widthなどサイズが気になりますが、そのままでも特におかしなことなく動きました（もしかしたらちゃんと指定した方が良いかもです。Open drawing canvas!で手描きするなら指定した方が良い？） pic.twitter.com/eiKKY08yzx
— Lu:Na:Clock（AI術師） (@clock_luna) February 13, 2023

するとある程度参照元画像と似たような構図が出てくると思います

また、認識されたものの画像（2枚目）も一緒に出てきますがこちらは自動的に保存「されません」
※WebUIの設定も確認しましたが保存するような項目は見当たりませんでした pic.twitter.com/K8hyeQOjFp
— Lu:Na:Clock（AI術師） (@clock_luna) February 13, 2023

後はt2iしたものをサイズ引き上げしながらi2iします
サイズは元画像の1.8倍の806×1382、ノイズ除去強度は0.75にしました

i2iはもう好みでやっちゃって大丈夫です pic.twitter.com/1VHiJqiUUX
— Lu:Na:Clock（AI術師） (@clock_luna) February 13, 2023

（念のため2:31現在アプデしたらまた新しい項目増えたりしてるので挙動確認します、少しお待ちください）
— Lu:Na:Clock（AI術師） (@clock_luna) February 13, 2023

生成過程自体は以上です
・・・がアプデが入ったので確認したところ、項目が増えていました

Low VRAMはVRAM容量少ない方向けの設定なので一回チェックなしでやってダメな人は試すと良さそうです

Resize MpdeはひとまずScale to fitを使ってます（ここは今後変わるかもしれません） pic.twitter.com/doL6velxGM
— Lu:Na:Clock（AI術師） (@clock_luna) February 13, 2023

また、アプデ前はHires. fixが出来なかったのですが修正されて出来るようになっていました（t2i→i2iで解説してたのはこのためです）

試しにstrengthを0.55でHires. fixしてみたところ、普通にいい感じになりました

ポーズがずれ始めてますが、この辺りはプロンプトで補強すれば良いかと思います pic.twitter.com/k9Qy91ElkI
— Lu:Na:Clock（AI術師） (@clock_luna) February 13, 2023

4: 名無しのメタバースさん 0000/00/00(※) 00:00:00.00 ID:metaversesoku

長くなりましたが以上になります
長文でしたが読んでもらいありがとうございました
今回はopenposeで解説しましたが、他にも使用できる学習モデルはあります（人によってはこちらが本題かも）

試しにhedを例にしたものもあるのでよければ下記ツイートも参考にしてくださいなhttps://t.co/eV2JPkihW0
— Lu:Na:Clock（AI術師） (@clock_luna) February 13, 2023

openposeの利点を書いていませんでした
実写からでもポーズのみ参照できる点が利点です（i2iだと違う要素ももってきてしまう、何よりt2iで出来るのが差別点）

ただものによっては満足に再現できない可能性もあるので、そういう場合は直前のリプの例のように違う学習モデルを使うのが良さそうです
— Lu:Na:Clock（AI術師） (@clock_luna) February 13, 2023

これで本当の最後です

各学習モデルの違いなどは別GitHubのURLなのでモデルが存在しなかったり指定出来ないかもしれませんが、こちらが参考になると思います

翻訳噛ませれば雰囲気は分かると思いますhttps://t.co/IUMj3T1U8N
— Lu:Na:Clock（AI術師） (@clock_luna) February 13, 2023

そういえば普通にi2iの後の仕上げ載せるの忘れてました

AIピクターズさんに投稿したのでよければどうぞ～https://t.co/Fd70k884B1
— Lu:Na:Clock（AI術師） (@clock_luna) February 13, 2023

ちょっと試しましたが猫やモビルスーツの画像からopenposeの手法は上手く検出できませんでした（しきい値の調整は試し済）

やはり実写や3Dモデルなど検出しやすそうなものと、出来ないものはあるようです

・・・まぁ人体構造でトレーニングしていると思うので、そりゃそうだろうという感じでした
— Lu:Na:Clock（AI術師） (@clock_luna) February 14, 2023

何回かExtentionをアップデートしているうちに tensorsとcudaに関するエラーが出て困っていました
それから以下の事をすれば動きました

・WebUIの再起動
・モデルの変更繰り返し
・参照元画像をドロップでなく、ファイル選択から選んだ
・プロンプトを1 girl,　のみの最小構成にした pic.twitter.com/HpGebsxJVC
— Lu:Na:Clock（AI術師） (@clock_luna) February 14, 2023

こちら再現性取るためには試行回数少なすぎるので詳細は不明です
この後普段通りのプロンプトにしたら普通に動作するようになりました・・・
一旦このまま様子見したいと思います

ちなみに当該エラーはGithubにあるこちらと類似していると思われますhttps://t.co/FLdenp0R2s
— Lu:Na:Clock（AI術師） (@clock_luna) February 14, 2023

いや、直前にWebUIも更新してました
1ファイルしか影響無かったので関連してるかは不明ですが…
— Lu:Na:Clock（AI術師） (@clock_luna) February 14, 2023

また、segmentation（セマンティックセグメンテーション）normal_map（法線マップ）も追加されました
どんなものかはURL先を翻訳すれば何となく分かると思います

とりあえずnormal_mapを使ってみたものの、作例のように上手くいかなった画像との相性差は結構あるかもですhttps://t.co/IUMj3T1U8N pic.twitter.com/jMkWrbMEPE
— Lu:Na:Clock（AI術師） (@clock_luna) February 14, 2023

5: 名無しのメタバースさん 0000/00/00(※) 00:00:00.00 ID:metaversesoku

本日は1位でした～
解説記事の力もあると思いますが嬉しいです～！ https://t.co/iTlK7qzqFM
— Lu:Na:Clock（AI術師） (@clock_luna) February 14, 2023

ControlNet、文字列以外で人物のいる画像のポーズやカメラアングルを指定できるの画像生成AIの壁がまた一つ崩れた感あるな。
— myrmecoleon (@myrmecoleon) February 14, 2023

現状は画像からポーズ推定や深度推定を噛ませたものを反映させてるのかなと思うけれど、ポーズも深度もモーションキャプチャなりLiDARなりで直接入力できると思うので、画像を介さないで取ったポーズに合わせてとか目の前の物体に合わせてとかで画像生成もいけそう。
— myrmecoleon (@myrmecoleon) February 14, 2023

すでに実装として降りてきてるとなると、動画や3Dモデルを介さないで人物が動き回るアニメーションを作るとか、動的にプロジェクションマッピングを生成・投影するとか、メディアアート的に落とし込めるアイディアの幅がかなり広がりそうね。
— myrmecoleon (@myrmecoleon) February 14, 2023

#stablediffusion #AIart #AIイラスト今流行りのControlNetの導入方法出来るだけわかりやす～く解説したよ！よかったら参考にしてね！これはAIArtの超革命だとおもう！！ジェネレーティブAI元年しゅごいぃぃ！https://t.co/mZcIMC7ETV pic.twitter.com/OxYwClaeDl
— AWB工房@AIアイドルちはる活動中。 (@AlternaAssets) February 14, 2023