AICU

[ComfyMaster27] 写真もイラストも線画に！ComfyUIとControlNetによる線画抽出ワークフロー

作成者: AICU Japan｜2024/10/28 0:11:55 Z

デジタルアート制作において、画像から線画を抽出する技術は、イラストのトレースや3Dモデル作成の下準備など、様々な用途で重要性を増しています。特に、AI技術を活用した自動線画抽出は、作業効率の大幅な向上に貢献します。今回は、線画抽出をComfyUIで実現します。

こんにちわ、AICU media編集部です。
「ComfyUI マスターガイド」第27回目になります。
本記事では、ComfyUI、ControlNet、そしてLoRAを組み合わせることで、高品質かつ詳細な線画を効率的に生成するワークフローを紹介します。

本連載の初回はこちら。前回はこちら、目次はこちらです。

[ComfyMaster26] ControlNetでイラストを精密に実写化！ #ComfyUI

https://note.com/aicu/n/n4fafc970da0a

1. 概要

今回は、ComfyUIを用いて画像から高品質な線画を抽出するワークフローを紹介します。ControlNetとLineartを用いて画像から線画を生成し、LoRAを用いて漫画スタイルの線画に仕上げます。
具体的には、「AnyLine LineArt」ノードで画像から粗い線画を抽出し、それを「controlnet-union-sdxl-1.0」と「LineAniRedmond」LoRAを用いて、より洗練された線画へと変換します。
このワークフローを使用することで、元の画像の構図を維持しながら、アーティスティックで高精細な線画を生成することが可能です。 様々な画像（アニメ風、実写、建物）を用いた作例も提示し、ワークフローの有効性を示します。

2. ワークフローの使用準備

ControlNet

ControlNetの使用準備については、以下の記事をご覧ください。

https://note.com/aicu/n/n151f019bcc92

今回は、ControlNetのLineartを使用します。Lineartで粗い線画を抽出し、その後にその線画を低ノイズでサンプリングし、補正をかけます。

LoRA

今回は、LoRAに「LineAniRedmond」を使用します。このLoRAは、漫画スタイルの画像を生成してくれるLoRAで、線画の質を上げるために使用します。以下のリンクよりダウンロードし、「ComfyUI/models/loras」フォルダに格納してください。

https://civitai.com/models/127018/lineaniredmond-linear-manga-style-for-sd-xl-anime-style

使用素材

今回は、以下の画像を線画にします。

以下のリンクから画像をダウンロードしてください。

https://note.com/api/v2/attachments/download/54a45213199b43c2255a1c5713f59ba7

3. ワークフローの解説

以下がワークフローの全体構成になります。このワークフローは、入力画像から高品質な線画を抽出し、それを基に新しい、より詳細で洗練された線画を生成します。ControlNetとLoRAの使用により、元の画像の構造を維持しながら、高度にスタイライズされた線画が作成されます。結果として、元の画像の本質的な特徴を保持しつつ、より洗練された、アーティスティックな線画表現が得られることが期待されます。

ワークフローは、文末のリンクよりダウンロードしてください。
以下に、このワークフローの主要な部分とその機能を図示し、詳細に説明します。

  1. 入力画像の読み込みと線画抽出
    • Load Imageノード: 「girl_anime_02.jpeg」を読み込みます。
    • AnyLine LineArtノード: 入力画像から線画を抽出します。
      • モード: lineart_standard
      • 解像度: 1280
      • 詳細度: 0.1
    • Image Invertノード: 抽出された線画を反転させます。
  2. モデルとLoRAの読み込み
    • Load Checkpointノード: 「RealVisXl.safetensors」モデルを読み込みます。
    • Load LoRAノード: 「LineAniRedmondV2-Lineart-LineAniAF.safetensors」LoRAを適用します。
      • 強度: 1.0 (モデルとCLIP両方に適用)
  3. ControlNetの設定
    • Load ControlNet Modelノード: “controlnet-union-sdxl-1.0-pro.safetensors” を読み込みます。
    • Apply ControlNet (Advanced)ノード: 抽出された線画を使用してControlNetを適用します。
      • 強度: 0.5
  4. プロンプト処理 (CLIP Text Encode(Prompt)ノード x2)
    • ポジティブプロンプト: 「8k, best quality, masterpiece, ultra detailed, ultra high res, extremely detailed, finely detail, lineart,」
      • 線画が細かくなるように品質向上のタグを設定する
      • 「lineart」は、
    • ネガティブプロンプト: 「colorful, monochrome,」
      • 線画のみになるように、色が付くようなタグを設定しておく
  5. 画像生成 (KSamplerノード)
    • Seed: 474030329745381
    • Steps: 20
    • CFG Scale: 7
    • Sampler: dpmpp_2m
    • Scheduler: karras
    • Denoise: 0.8
  6. 画像のデコードと後処理
    • VAE Decodeノード: 生成された潜在表現を実際の画像にデコードします。
    • Color To Maskノード: デコードされた画像から白色部分をマスクとして抽出します。
    • Save Image With Alphaノード: 最終的に生成された画像をアルファチャンネル付きで保存します。

AnyLine LineArtの詳細

AnyLine LineArtノードは、複数の線画検出モデルを使用して入力画像を線画に変換します。このノードの各ウィジェットの意味は以下の通りです。

  • merge_with_lineart: 線画抽出を行う解像度を設定します。以下のモデルから選択可能です。
    • lineart_standard: 標準的な線画用の汎用モデル。
    • lineart_realistic: リアルな画像に特化し、細部を捉えるモデル。
    • lineart_anime: アニメスタイルの画像に最適化され、特徴的な要素を強調します。
    • manga_line: マンガスタイルのイラストに特化したモデル。
  • resolution: 線画抽出を行う解像度を設定します。デフォルトは512ですが、必要に応じて高解像度や低解像度に調整可能です。高解像度はより詳細な線画を提供しますが、計算資源を多く消費します。
  • lineart_lower_boundとlineart_upper_bound: 線検出プロセスの感度を制御するためのパラメータです。これらの値を調整することで、線画の細かさや強調具合を微調整できます。
  • object_min_size: 抽出時に考慮されるオブジェクトの最小サイズを指定し、小さなノイズやアーティファクトをフィルタリングします。デフォルト値は36です。
  • object_connectivity: 抽出中に接続されたコンポーネントの識別方法を定義します。デフォルト値は1で、オブジェクト間の接続性を決定します。例えば、複数のオブジェクトが接触している画像で、それらを一つの連続した形状として扱いたい場合、このパラメータを調整します。デフォルト値は1で、接続されたピクセルがどのようにグループ化されるかを制御します。（具体的に抽出される線画にどのような影響があるのか不明）

4. 生成結果の確認

以下が生成結果になります。背景は抽出できていないですが、前面の人物は線画に変換できています。

出力される画像は、背景が透過画像となっているので、抽出元画像と重ねて表示してみました。元画像に比較的忠実に抽出されていることが分かります。

他の画像でも試してみました。

実写からの線画抽出例です。こちらも綺麗に抽出できています。

建物から線画を抽出してみました。かなり細かいところまで線画として抽出できています。

5. まとめ

本記事で紹介したワークフローを用いることで、ComfyUI、ControlNet、LoRAの連携による高品質な線画抽出が可能になります。AnyLine LineArtノードによる柔軟な線画抽出、ControlNetによる精密な制御、そしてLineAniRedmond LoRAによる画風調整といった各要素が組み合わさり、様々な画像に対して精緻でアーティスティックな線画生成を実現します。アニメ風、実写、建物といった多様な画像例からも分かるように、このワークフローは幅広い用途に応用できる強力なツールとなります。今後のデジタルアート制作において、本記事で紹介したワークフローが、より効率的で創造的な作品制作の一助となることを期待します。

次回は、ラフ画から画像生成の方法を紹介します。乞うご期待！
X(Twitter)@AICUai もフォローよろしくお願いいたします！

画像生成AI「ComfyUI」マスターPlan

画像生成AI「Stable Diffusion」特に「ComfyUI」を中心としたプロ向け映像制作・次世代の画像生成を学びたい方に向けたプランです。最新・実用的な記事を優先して、ゼロから学ぶ「ComfyUI」マガジンからまとめて購読できます。 メンバーシップ掲示板を使った質問も歓迎です。

  • メンバー限定の会員証が発行されます
  • 活動期間に応じたバッジを表示
  • メンバー限定掲示板を閲覧できます
  • メンバー特典記事を閲覧できます
  • メンバー特典マガジンを閲覧できます
  • 動画資料やworkflowといった資料への優先アクセスも予定

ゼロから学ぶ「ComfyUI」マガジン

https://note.com/aicu/m/md2f2e57c0f3c

マガジン単体の販売は1件あたり500円を予定しております。
2件以上読むのであればメンバーシップ参加のほうがお得です！というのもメンバーシップ参加者にはもれなく「AICU Creator Union」へのDiscordリンクをお伝えし、メンバーオンリー掲示板の利用が可能になります。

https://note.com/aicu/membership/boards/61ab0aa9374e/posts/db2f06cd3487?from=self

もちろん、初月は無料でお試しいただけます！
毎日新鮮で確かな情報が配信されるAICUメンバーシップ。
退会率はとても低く、みなさまにご満足いただいております。
✨️オトクなメンバーシップについての詳細はこちら

https://note.com/aicu/n/n876fab5a0736

そして本講座の内容は各種有料メディアでも展開準備中です！
■「ComfyUIマスター：カスタムノードとアプリ開発」

https://j.aicu.ai/Coloso3

この記事の続きはこちらから https://note.com/aicu/n/n74e7edf56832

Originally published at https://note.com on Oct 25, 2024.
完全な記事を表示