AI画像「Prompt Free Diffusion」最新の画像生成AI「プロンプト不要」呪文入力なし生成方法は画像読み込むだけ！画像あり : メタバース速報　メタバースまとめ

1: 名無しのメタバースさん 0000/00/00(※) 00:00:00.00 ID:metaversesoku

Prompt-Free Diffusion: Taking "Text" out of t2i Diffusion Models
📃https://t.co/K5OG3r34ju

呪文なしで参照画像だけで生成する奴(事前学習モデル)
CLIP埋込みをSeeCoderに置換

参考絵を入れControlNetで構図指示すれば無詠唱で2枚めできる🧙‍♀️
ref-onlyより一貫性維持?
🔧https://t.co/bAB4clm1Sb pic.twitter.com/qnPFsd3V76
— forasteran (@forasteran) May 26, 2023

2: 名無しのメタバースさん 0000/00/00(※) 00:00:00.00 ID:metaversesoku

Prompt-Free Diffusionは結構、面白そう。 https://t.co/VIlXzuUyrA pic.twitter.com/Ko3Oq5e8Nl
— IT navi (@itnavi2022) May 27, 2023

※: 本日のおすすめサイト記事一覧 0000/00/00(※) ID:metaversesoku3: 名無しのメタバースさん 0000/00/00(※) 00:00:00.00 ID:metaversesoku

Uni-ControlNetとPrompt-Free Diffusion、実質同じものではないのか感があるが、仕組みが違うのかも。（論文とソース読めば分かるだろうけど…）
— mutaguchi (@mutaguchi) May 26, 2023

Uni-ControlNetはプロンプトを省略することはできない感じか。
逆に、これはmulti-ControlNetと何が違うのかな。
— mutaguchi (@mutaguchi) May 26, 2023

Uni-ControlNetなんなのかちょっとわかんない。識者の解説待とう
— mutaguchi (@mutaguchi) May 26, 2023

ローカルコントロールとグローバルコントロールってなんのことだろ
— mutaguchi (@mutaguchi) May 26, 2023

https://t.co/xFHryXqSGT
redditのスレでも、multi-ControlNetとの違いはなんなん？というもっともな疑問が出てた。
— mutaguchi (@mutaguchi) May 26, 2023

ローカルコントロールは、ControlNetに元々ある、CannyとかMLSDとかOpenPoseとかのことを指しているっぽい。
グローバルコントロールとは、プロンプトと参照絵から得られる、「この絵は何か」という抽象概念を"Extended Prompt"として出力するコントロール？
— mutaguchi (@mutaguchi) May 26, 2023

4: 名無しのメタバースさん 0000/00/00(※) 00:00:00.00 ID:metaversesoku

Extended Promptがなんだか分からんが、Textual Inversionと似たようなもんなのか？
— mutaguchi (@mutaguchi) May 26, 2023

Uni-ControlNetって、ニュアンス的には、multi-ControlNetの1つ目にreference-only、2つ目以降にCanny、MLSD、OpenPoseなんかを適用したもの、なのかなぁ。実際にはそれはできないと思うが、あくまでニュアンスね。
— mutaguchi (@mutaguchi) May 26, 2023

実際にはできないといったけど出来るなこれ。しらんかった。
— mutaguchi (@mutaguchi) May 26, 2023

うーん、reference_only含むmulti-ControlNet、普通に動くじゃん。
プロンプトは必要だけど、Interrogate CLIPやDeepBooru併用で自動化もできなくはないな。
合成画像を無限に自動生成ｗ
— mutaguchi (@mutaguchi) May 26, 2023

プロンプトは一切書かずに、元絵+Control inputで、元絵の性質は保ちながら指定した構図に変換できる「Prompt-Free Diffusion」元絵が、かなり忠実に再現されている。様々なPreprocess Typeに対応しています。https://t.co/BilKpNzOzN #生成AI #3D #AI pic.twitter.com/zmkOi9zMOJ
— 田中義弘 / taziku CEO クリエイティブ×AI (@taziku_co) May 26, 2023

5: 名無しのメタバースさん 0000/00/00(※) 00:00:00.00 ID:metaversesoku

「SD2.x系のモデルは自然言語に強いぞ」というウワサを聞いたのでテスト。1枚目は俺が適当に書いた情景描写を、2枚目は島崎藤村『夜明け前』の冒頭の文章をそれぞれChatGPTで英訳してそのまま突っ込んでみた。#StableDiffusion #AIart #AI呪文研究部 pic.twitter.com/8mPvzsP7Ol
— Rootport💰🍹🍑 (@rootport) May 25, 2023

木曽路なのにあまり日本っぽくない風景になってしまったことはご愛敬。すごく主観的な感想だけど、たしかにタグを連打するタイプのプロンプトよりも、狙った「情景」を出しやすい肌感覚はある。
— Rootport💰🍹🍑 (@rootport) May 25, 2023

ちなみにIFはもっと自然言語に強いです。試してみてください。https://t.co/Rffqnk3CtZ https://t.co/1PDzP8WzRn
— あるふ (@alfredplpl) May 25, 2023

LoRAで遊ぼう！フィギュアLoRA編を公開しました。

シリーズになるかはまだわかりませんが、使って楽しかったLoRAを紹介する記事第一弾です。
シンプルに楽しいのでぜひみんなも試してみてね！https://t.co/CTDUuw4m1K
— ユーニャルーラ (@yunyalula) May 25, 2023