1: 名無しのメタバースさん 0000/00/00(※) 00:00:00.00 ID:metaversesoku
toyxyzさんが、自作のComfyUI用のリアルタイムLCMのWorkflowを公開してくださっている！これで気軽にComfyUIでも動かせるかも。 https://t.co/F7FgN5OgBi
— 新清士@(生成AI)インディゲーム開発者 (@kiyoshi_shin) November 22, 2023
これもやりたいのよーー！！
— Maki@Sunwood AI Labs. (@hAru_mAki_ch) November 23, 2023
やはり時代はcomfyuiか！ https://t.co/5FVWV3Z5TV
※: 本日のおすすめサイト記事一覧 0000/00/00(※) ID:metaversesoku
toyxyzさん @toyxyz3 のComfyUIでのリアルタイムLCM+ウェブカメラの環境が動いた。さすがにローカルは4090の分、HuggingFaceのデモよりも速い。一貫性はともかく、どんどん画像が変わっていく。 https://t.co/Y7bpCjUdK2 pic.twitter.com/tfFhFYIKNj
— 新清士@(生成AI)インディゲーム開発者 (@kiyoshi_shin) November 23, 2023
画面の一部を撮影してくれるPythonがあれば、そのまま、Webカメラの部分を任意の画面を撮影できるんだろうなと、ChatGPTに投げてみたのですが、修正したコードは出してくれるものの、そのままでは動かないですね…知識不足でお手上げです…。
— 新清士@(生成AI)インディゲーム開発者 (@kiyoshi_shin) November 23, 2023
LCM使ったリアルタイムi2iは、kritaで試してみたけれど…別にこれ今まで通りに普通にラフ描いてCNにぶっこんで生成したほうが効率良いのでは？ という気がしてしまった。描いた端から生成されるのは見てて面白いけど、別に実利的という感触が無いので
— Atmy (@atsumi_y) November 23, 2023
Kritaでリアルタイム生成する環境の作り方書いてきた。レイヤー単位でControlNet弄れるの凄く強い。（本来はClipStudioが居たであろう世界線だけど……）#Krita #ComfyUI #LCMhttps://t.co/AHosz8STKV
— 青猫 (@AonekoSS) November 23, 2023
4: 名無しのメタバースさん 0000/00/00(※) 00:00:00.00 ID:metaversesoku
LCM-LoRA、モデルによってLoRAの適用度合を1にしないと質が落ちたり、逆に0.5にしないと質が落ちたりと、モデルとの相性問題があるなあ
— Kenji Iguchi (@needle) November 23, 2023
diffusersのupscaler、lcm scheduler効くんだけどなんで効くんだ？？？？
— 抹茶もなか (@GianMattya) November 23, 2023
【ComfyUIのv2vでの実写→アニメ】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) November 22, 2023
LCM LoRA+Batch Prompt(wd14-tagger)+CN(openpose,inpainting)+IP-Adapter
↓
Upscale(openpose,lineart)+Face detailer
まだまだ自分は、勉強とトライアンドエラーが足りない。。。#生成AI #ComfyUI #AI https://t.co/RAy6tRkY9T
ありがとうございます。ただこれは低VRAM+LCM LoRA使用(step4,cfg1.9)でのアウトプットですので、強いGPUを使えばもっとキレイになると思います
— Asaki (@Morning_wood17) November 22, 2023
安定してきてるなぁ。すごい。 https://t.co/5jERDEH31t
— たら (@taranohonnaka) November 22, 2023
5: 名無しのメタバースさん 0000/00/00(※) 00:00:00.00 ID:metaversesoku
LCM-LoRA、色々と改造して20fps近くでリアルタイムアニメーション生成出来るようにしてみた！
— あき先生 | AI Vtuber『しずく』開発中 (@cumulo_autumn) November 22, 2023
下のデモ動画では、左のVroidの画面キャプチャからリアルタイムに右の画像を生成。
髪のなびきとかのダイナミックな動きとかもちゃんと再現されてたのなかなかに感動 pic.twitter.com/btzQtYcuMu
せっかくなので宣伝です！ 普段AITuber (AI Vtuber)のしずくを開発しています。LLMや他の様々なAI技術を研究・活用しつつAGIを目指して配信しています。しずくの成長、よかったら是非一緒に見守ってあげてください♪#AIしずく #AITuber
— あき先生 | AI Vtuber『しずく』開発中 (@cumulo_autumn) November 22, 2023
Youtube: https://t.co/DO8dNDnnub
Twitter: @Shizuku_AItuber
今回の実装で手伝っていただいた皆様！ https://t.co/bPWNso2lpF
— あき先生 | AI Vtuber『しずく』開発中 (@cumulo_autumn) November 22, 2023
流石のLCM-Loraでも、 20FPSは凄すぎる😳
— 山田 (Takato YAMADA) (@takatoymd) November 22, 2023
- 良いGPU(100系、4090, 6000位？)
- LCMステップ数を抑える(2~4位？)
- 条件は最低限(CNなし？)
- Unet 等はTensorRTとかで高速化
みたいな工夫をしてるのだろうか？？👀 https://t.co/1242oPxrgo
20fps これはすごい！ https://t.co/DlHjjT0OYJ
— 新清士@(生成AI)インディゲーム開発者 (@kiyoshi_shin) November 22, 2023
3Dモデルをリアルタイムにイラスト化する表現、まだ10年くらいは時間必要と思ってたんだけどLCM凄いな…。
— りんてる (@fafi2345) November 22, 2023
これ実用化されると3DゲームとVtuverの表現がかなり変わる https://t.co/woyoB5zW0a
20fpsでリアルタイム画像生成か、いよいよ来る所まで来たね →RT
— うみゆき@AI研究 (@umiyuki_ai) November 22, 2023
_________________________________________________________________________________
コメントする