1: 名無しのメタバースさん 0000/00/00(※) 00:00:00.00 ID:metaversesoku
LoRAで学習画像ごとにキャプション付けて学習させる時に便利なタグマネージャ。学習画像が100枚あるとキャプションファイルも100個あるわけだが、全てのキャプションに共通のタグを追加しよう!と思ったら地獄の作業になるわけだがこれ使うと一括でタグ追加、削除できる https://t.co/NXoLbu6mDM
— うみゆき@AI研究 (@umiyuki_ai) January 28, 2023
https://t.co/goh70EATEO
— ₿ え̤̮み̤̮ゅ̤̮ふ̤̮ぇ̤̮ず̤̮ ₿ 🌎 (@EmilyPhase) January 29, 2023
ローカルにLora導入方法
本格的に学習に触れるならマジでGTX10k番台は遅いし
買い替えかな〜
※: 本日のおすすめサイト記事一覧 0000/00/00(※) ID:metaversesoku
データセットの集め方が適当だと一部のキャラクターは過学習で一部のキャラクターは未学習ということがあるけどLoRAならその辺を倍率でうまく調整できるというメリットはあるかもしれない
— furusu (@gcem156) January 29, 2023
組み合わせ方は無限大
— furusu (@gcem156) January 29, 2023
あなただけのSDモデルを作ろう!
みたいな世界になるのかな
LoRA、起動はできたけど学習がうまくいかん
— さぶみっといっと (@it_submit) January 28, 2023
Stable Diffusion (SD)は素人なのだが微調整できないかと思ってこの動画を視聴した
— Yoshinari Fujinuma (@akkikiki) January 28, 2023
Dreambooth: SDモデル自体を微調整
Textual Inversion: Word embeddingsを微調整
LoRA: モデルの元の重みは凍結させて低ランク近似行列を微調整
Hypernetworks: この人曰くLoRAの劣化版。https://t.co/RHUIz5wSEs
Dreamboothはモデルの重み自体を微調整するため、微調整されたモデル全体を保存する必要があるが、Textual Inversionは微調整されたWord embedding(ベクトル)を保存するだけで良いから、ストレージを食わずに済む。一番ポピュラーなのはDreambooth。レビューはDreamboothとText Inversionが同程度
— Yoshinari Fujinuma (@akkikiki) January 28, 2023
あと、LoRAの元論文をちらっと見たら元々LLM用に提案された手法なのか。比較的省メモリでも動くが、使用した人達のレビューは比較的良くない
— Yoshinari Fujinuma (@akkikiki) January 28, 2023
まあ動画の説明がざっくりしすぎて実際何やっているかは元論文読まないとよくわからん
https://t.co/oF8B2fzAzl
LoRAはざっくり推論がより早いAdapterのalternativeとして見れるか。あとTextual Inversionだと特定のtoken embeddingを微調整するから一つの概念(例:ポケモン)に特化することを想定して学習するが、LoRAだと特定の概念を学習することをだけを想定していない感じかな。 https://t.co/5hYZnlS2z2
— Yoshinari Fujinuma (@akkikiki) January 28, 2023
4: 名無しのメタバースさん 0000/00/00(※) 00:00:00.00 ID:metaversesoku
ローカルでLoRAやDreamboothを学習してる間、Chromeで動画を観てるとえぐいくらいピタッ!と学習止まってしまう。しかも動画も読み込みで一時停止頻発する。だから学習中は動画我慢してた。でもChromeのハードウェアアクセラレーション切ればいいって言ってる人いて試したら動画観ても止まらなくなった
— うみゆき@AI研究 (@umiyuki_ai) January 28, 2023
LoRAでスタイル学習を試してるけど、なかなかすごい。やっぱLoRAは複数重ね掛けできるのがおもろいわ
— うみゆき@AI研究 (@umiyuki_ai) January 28, 2023
分かりやすい記事あったので初のLoraで追加学習実行中。VRAMギリギリまで使うとドスパラのパネルのせいかパキパキ聞こえてきて怖い。
— ドブ金ツェリードニヒ (@fIowgdd) January 28, 2023
20000steps、2時間ちょいで追加学習終了。仕組みは分からんけど金髪美少女をインスタンスプロンプトとLoraだけで呼べるようになった。50枚ぐらい元画像準備したけどポーズが偏っとる。 pic.twitter.com/TPeUJENMfq
— ドブ金ツェリードニヒ (@fIowgdd) January 28, 2023
顔の安定感は増えたけどプロンプトの効きが弱くなって服変えたり構図変えるのが難しくなった。無限に右手で頭触ってる。元画像のポーズも重要そうだな pic.twitter.com/lJ08zof7oo
— ドブ金ツェリードニヒ (@fIowgdd) January 28, 2023
追加学習手法のDream boothは一般的なFine tuningと基本的には同じで、単に学習内容が限定的な感じなのかな
— TCみんぺい (@cucscspr) January 27, 2023
Loraはその高速&軽量版、hypernetworkはLoraの改造?版、で、textual inversionは入力特徴の学習と
— TCみんぺい (@cucscspr) January 27, 2023
LoRA って何かと思ってたんだけど学習か。
— 呉 春華 (@ShunkaCule) January 27, 2023
学習か。
学習かっ!
5: 名無しのメタバースさん 0000/00/00(※) 00:00:00.00 ID:metaversesoku
LoRA同士でマージができるとか何とかで、圧倒的に自由度が高そうですねえ…。
— ssoll (@ssoll412) January 27, 2023
マージができるなんてまj・・・本当ですか・・・!
— 呉 春華 (@ShunkaCule) January 27, 2023
それまたすごいですねぇ。。。
今日はやめておきますが・・・いずれは・・・!
情報が出そろっていなさそうなのがネックですね…。まあDBとかHNも情報はほとんど出回ってませんけど…w
— ssoll (@ssoll412) January 27, 2023
モデルマージもなんやかんやで私にはブラックボックスすぎました・・・ww
— 呉 春華 (@ShunkaCule) January 27, 2023
マージを理解するには膨大な睡眠時間を代償にする必要があります…。
— ssoll (@ssoll412) January 27, 2023
わたしは、今の呉さんモデルV3でもう満足しそうです・・!
— 呉 春華 (@ShunkaCule) January 27, 2023
追加学習ってやつの1つですね!
— かけうどん (@Yoshi_kake0712) January 27, 2023
これ未来が詰まってるんですが、ちょっと心が折れますね・・・!
— 呉 春華 (@ShunkaCule) January 27, 2023
今までできなかったあんなことやこんなことが・・・!
_________________________________________________________________________________
コメントする