![[ComfyMaster28] 落書きが画像に！ControlNet Scribble入門](https://ja.aicu.ai/wp-content/uploads/2024/11/n8f82a5f619f1.png)
頭の中のイメージを、絵心がなくても、まるで魔法のように高品質な画像に変換できるとしたら？
最新のAI技術、ControlNetの「Scribble」がそれを可能にします！
シンプルな線画を描くだけで、あとはAIがあなたの意図を読み取り、驚くほどリアルで美しい画像を生成してくれるのです。
こんにちわ、AICU media編集部です。
「ComfyUI マスターガイド」第28回目になります。
本記事では、この革新的なScribble機能の使い方を、具体的な手順と豊富な作例を交えて分かりやすく解説します。AIによる画像生成の世界を、あなたも体験してみませんか？
[ComfyMaster27] 写真もイラストも線画に！ComfyUIとControlNetによる線画抽出ワークフロー #ComfyUI
1. 概要
この記事では、ControlNetのScribble機能を使って、簡単な線画から高品質な画像を生成するワークフローを解説します。具体的な手順、使用したモデルやパラメータ、そして異なる強度設定による生成結果の違いなどを示し、Scribbleの効果と活用方法を理解することを目的とします。
以前の記事で解説したControlNetの基本設定を前提に、今回は「scribble_01.png」というサンプル線画を用いて、人物画像を生成する例を紹介します。生成にはSDXL、RealVisXlモデル、controlnet-union-sdxl-1.0モデルを使用し、プロンプトによる調整も行います。最終的には、ControlNetの強度パラメータを調整することで、線画の反映度合いを制御し、思い通りの画像生成を実現する方法を学びます。
2. ワークフローの使用準備
ControlNet
ControlNetの使用準備については、以下の記事をご覧ください。
今回は、ControlNetのScribbleを使用します。Scribbleは、線画を元に、画像の内容を推定し、その内容に沿った画像を生成します。
画像素材
今回は、以下の画像をScribbleに使用します。
画像ファイルは、以下よりダウンロードしてください。
- 画像ファイル (右クリックで保存)
3. ワークフロー解説
以下がワークフローの全体構成になります。
ワークフローのファイルは文末のリンクよりダウンロードしてください。
以下にワークフローの主要な部分とその機能を図示し、詳細に説明します。
- 入力画像の読み込みと前処理
- Load Image ノード: 「scribble_01.png」というスケッチ画像を読み込みます。
- Scribble ノード: 入力スケッチを処理し、ControlNetに適した形式に変換します。
- 出力解像度: 1024×1024
- モデルとControlNetの読み込み
- Load Checkpoint ノード: 「RealVisXl.safetensors」モデルを読み込みます。
- Load ControlNet Model ノード: 「controlnet-union-sdxl-1.0.safetensors」を読み込みます。
- プロンプト処理 (CLIP Text Encode (Prompt) ノード x2)
- ポジティブプロンプト: 「realistic, photorealistic, 1girl, t-shirt, black_hair, long_hair,」
- ネガティブプロンプト: 「bad hand, bad anatomy, worst quality, ai generated images, low quality, average quality, nsfw, nude, naked,」
- ControlNetの適用 (Apply ControlNet (Advanced) ノード)
- 前処理されたスケッチ画像を使用してControlNetを適用します。
- 強度: 0.4 (中程度の影響力)
- 潜在画像の準備 (EmptyLatentImage ノード)
- サイズ: 1024×1024
- バッチサイズ: 1
- 画像生成 (KSampler ノード)
- Seed: 860227022998597
- Steps: 20
- CFG Scale: 7
- Sampler: dpmpp_2m
- Scheduler: karras
- Denoise: 1.0 (完全に新しい画像を生成)
- 画像のデコードと保存
- VAEDecode ノード: 生成された潜在表現を実際の画像にデコードします。
- SaveImage ノード: 最終的に生成された画像を「controlnet_scribble」という名前で保存します。
4. 生成結果
以下がScribbleの生成結果です。ControlNetの強度を0.10〜0.80まで変化させながら生成を行い、その違いを一覧化しました。
まず、0.10は、ほとんどScribbleが効いていないようです。0.20から少し効果が出てきているようで、0.30-0.40で良い具合で効いているように見えます。0.50からは、反対に効果が出過ぎていて、形状が崩れていっています。0.70からは落書きが強く反映されてしまっています。
強度を0.40にし、プロンプトを変更して色々と画像を生成してみました。
5. まとめ
Scribbleは、落書きやラフ絵をプロンプトで指定した画像に変換してくれる、特に絵を描きたい人に有効なControlNetです。今回は、私の適当な落書きで試しましたが、もう少ししっかりしたラフ絵であれば、より良い画像を生成できると思います。ぜひ色々なラフ絵でお試しください！
次回は、IPAdapterでの生成画像のコントロールの方法を紹介します。乞うご期待！
X(Twitter)@AICUai もフォローよろしくお願いいたします！
画像生成AI「ComfyUI」マスターPlan
画像生成AI「Stable Diffusion」特に「ComfyUI」を中心としたプロ向け映像制作・次世代の画像生成を学びたい方に向けたプランです。最新・実用的な記事を優先して、ゼロから学ぶ「ComfyUI」マガジンからまとめて購読できます。 メンバーシップ掲示板を使った質問も歓迎です。
- メンバー限定の会員証が発行されます
- 活動期間に応じたバッジを表示
- メンバー限定掲示板を閲覧できます
- メンバー特典記事を閲覧できます
- メンバー特典マガジンを閲覧できます
- 動画資料やworkflowといった資料への優先アクセスも予定
ゼロから学ぶ「ComfyUI」マガジン
https://note.com/aicu/m/md2f2e57c0f3c
マガジン単体の販売は1件あたり500円を予定しております。
2件以上読むのであればメンバーシップ参加のほうがお得です！というのもメンバーシップ参加者にはもれなく「AICU Creator Union」へのDiscordリンクをお伝えし、メンバーオンリー掲示板の利用が可能になります。
https://note.com/aicu/membership/boards/61ab0aa9374e/posts/db2f06cd3487?from=self
もちろん、初月は無料でお試しいただけます！
毎日新鮮で確かな情報が配信されるAICUメンバーシップ。
退会率はとても低く、みなさまにご満足いただいております。
✨️オトクなメンバーシップについての詳細はこちら
ワークフローのファイルは以下のリンクよりダウンロードしてください。
この記事の続きはこちらから https://note.com/aicu/n/n8f82a5f619f1
Originally published at https://note.com on Nov 1, 2024.
Comments