1: 名無しのメタバースさん 0000/00/00(※) 00:00:00.00 ID:metaversesoku
ウレピコ👏
— ゆずき (@uzuki425) December 29, 2023
朗報：streamオブジェクトでTensorRT使えるようになりました！チームの皆さんありがとう
src/streamdiffusion/acceleration/tensorrt/__init__.pyの最新パッチ
5fps→8.7fps
models of devices is not recommended 出てるけど効果あるのでOKです。記事修正しておきます。#streamdiffusion
RT希望！
— ゆずき (@uzuki425) December 29, 2023
朗報：streamオブジェクトでTensorRT使えるようになりました！チームの皆さんありがとう
src/streamdiffusion/acceleration/tensorrt/__init__.pyの最新パッチ 5fps→8.7fps README通りです。効果あるのでOKです。記事修正しておきます。 #streamdiffusion https://t.co/T33Qhd1sqY
※: 本日のおすすめサイト記事一覧 0000/00/00(※) ID:metaversesoku
理解できました。"engines"は生成するenginの名前で、パラメータ変えたりしたらここのenginを変えなきゃいけない。例えばengines01とか。デモのengines名は名称がちゃんと変えて作成されてるんです。
— ゆずき (@uzuki425) December 29, 2023
結果
t_index_list=[40],
で1STEPのときに
27fps
まで高速化出来て、画像も正常です。
よかった。
ちょっと違うかも。t2iのエラーは
— ゆずき (@uzuki425) December 29, 2023
exceed min ~ max range at index 0, maximum dimension in profile is 2, minimum dimension in profile is 1, but supplied dimension is 3
で、 t_index_listを2要素以下にすると通りますね。"engines"は名称じゃなくてフォルダ名みたい。
TensorRTがstreamで使えるようになったので記事もアップデートしました。#streamDiffusionhttps://t.co/fErFLYQukE https://t.co/KqBBUTs6RZ
— ゆずき (@uzuki425) December 29, 2023
streamでTensorRTを使って解ったこと。"engines”はengine生成先フォルダー名なので、設定変えたらフォルダー名変える。影響のある設定変更は不明
— ゆずき (@uzuki425) December 29, 2023
t2i t_index_list 2stepまで
i2i t_index_list 3stepまで
max_batch_sizeとの関連はない。
4070で25~30fps@ 1step#StreamDiffusion
Windows PCでStreamDiffusionを利用する手順 #note #StreamDiffusion #SDTurbo #LCMLoRA https://t.co/dcfp0H11r3
— まゆひらa (@riddi0908) December 29, 2023
4: 名無しのメタバースさん 0000/00/00(※) 00:00:00.00 ID:metaversesoku
It is so cool!!
— あき先生 / Aki (@cumulo_autumn) December 29, 2023
Realtime audio reactive image generation! Mind blowing 🤯 #StreamDiffusion https://t.co/ptqcwgiJHm
READMEでは物足りなかったor十分に良い性能が出なかった方は是非こちらの記事もご参照ください！
— あき先生 / Aki (@cumulo_autumn) December 28, 2023
現状、StreamDiffusionの性能を引き出すにはかなり必読かもです。t_index_listやRCFGのパラメータの設定に関してはwrapperを使う場合でも応用出来るので、どちらのパターンの使い方でもおすすめです！
可能性の空間探索のテスト。複数のembedding空間を同時に動かすことで、シームレスになんかバリエーション探索できるようになった。この辺は、応用が色々とききそう#StreamDiffusion pic.twitter.com/fuHRRJlXWd
— 深津 貴之 / THE GUILD / note (@fladdict) December 26, 2023
もうちょい研究すれば、VTuberとかの素体なしにスライダーだけでキャラ制御できそうな気がするな。エンタングルメントしている空間をどう整理するかがポイントやな。ムズイ。
— 深津 貴之 / THE GUILD / note (@fladdict) December 26, 2023
ちょっとコードがクソバッチいのと、作りたいものの基礎検証パートなので、公開まではだいぶ時間がかかっちゃうかもしれないです。
— 深津 貴之 / THE GUILD / note (@fladdict) December 26, 2023
なるほどです。
— くろたんく (@black_tank_top) December 26, 2023
完成までは一旦保留な感じですね。ありがとうございます。楽しみに待っております✨
私も同じようなことを少し確認したかったので、時間ができたら自分で実装してみようと思います💯
これをきっかけにハード買おうかなぁとか思っていますが多分すぐ飽きる気もするのでGCPでやります🤣
5: 名無しのメタバースさん 0000/00/00(※) 00:00:00.00 ID:metaversesoku
これを楽器の鍵盤と結び付けて、和音で生成AIを制御したいんだな https://t.co/3QtVQK2lyb
— 深津 貴之 / THE GUILD / note (@fladdict) December 26, 2023
DrノヴァのDNAオルガンみたいな感じをイメージしてる。
— 深津 貴之 / THE GUILD / note (@fladdict) December 26, 2023
楽しそう！
— Tsuyoshi.M【ChatGPTとOpenAI API】SEO・BtoBマーケティング (@dl_tsuyoshi_m) December 27, 2023
人物は和音で制御。
背景画像を別レイヤーにして、ドラムのトラックと組み合わせて制御したらより面白そう。 https://t.co/rIyH77N0po
確か、Concept Sliderと海外の方がこの手の技術の概念に名前付けていらっしゃいました。
— 元木大介@生成AIとCursorConnect (@ai_syacho) December 27, 2023
embedding 空間の概念（コンセプト）そのものをスライダーでぐりぐりいじる。
抽象概念を手元で弄れるとか神の所業だと思う。 https://t.co/YDswPlVpFA
Concept Sliderとは似てるけどちょっと概念が違う感じですね。Concept SliderはLoRAのトレーニングでやる感じですが、StreamDiffusionでリアルタイムにLoRAウェイトを切り替えるのは重そうなので、違う手段で実装してますです。
— 深津 貴之 / THE GUILD / note (@fladdict) December 27, 2023
ありがとうございます。大変勉強になります。
— 元木大介@生成AIとCursorConnect (@ai_syacho) December 27, 2023
日本発のStreamDiffuionアプローチで実装されていて、さらに軽量高速という事ですね。
実際にここまでスムーズかつリアルタイム性があるものは見た事が無かったので深津さんの創造性と実装力に言葉が出ません。。
— あき先生 / Aki (@cumulo_autumn) December 26, 2023
_________________________________________________________________________________
コメントする