[ComfyMaster16] ComfyUIでImage-to-Image(i2i)を始めよう

作成者: AICU Japan｜2024/09/16 23:12:37 Z

「写真の表情を変えたい」、「イラストをリアルな絵画風にしたい」…
それ、i2iで実現できます！

こんにちわ、AICU media編集部です。
「ComfyUI マスターガイド」、いよいよ今回から「Image-to-Image(i2i)編」に突入します。
この記事では、ComfyUIを使用したi2iの基本から応用まで、実践的なステップを踏んで解説していきます。

前回はこちら。初回はこちら。

1. Image-to-Image（i2i）とは

Image-to-Image（i2i）とは、既存の画像を入力として使用し、新しい画像を生成する技術です。元の画像の構造や特徴を保持しながら、新しい要素を追加したり、スタイルを変更したりすることができます。

ComfyUIでのi2iは、通常の画像生成と同じノードの多くを使用しますが、主な違いは入力に既存の画像を使用することです。この技術は、写真の編集や修正、アートスタイルの変換、キャラクターデザインの変更、風景画の変更や拡張など、幅広い用途に活用できます。

今回は、インペインティングによる表情の変更と、アニメ調からリアル調へのスタイル変換を解説します。

では、実際にComfyUIでi2iのワークフローを構築してみましょう。今回は、以下の画像の表情を変えたいと思います。

ワークフローが埋め込まれたPNG画像(webp形式ではなく)とGoogle Colabでの ComfyUI i2i編ノートブックは文末にて提供しています
メニューの「Load Default」をクリックし、標準のワークフローをロードした状態にします。モデルは「stable-diffusion-xl-base-1.0」を使用します。

次に、「VAE Encode (for inpainting)」ノードを追加します。
「Load Image」の出力「IMAGE」と「MASK」を、それぞれ「VAE Encode (for inpainting)」ノードの入力「pixels」と「mask」に接続します。
「Load Checkpoint」ノードの出力「VAE」を「VAE Encode (for inpainting)」ノードの入力「vae」に接続します。

「VAE Encode (for inpainting)」ノードの出力「LATENT」を「KSampler」ノードの入力「latent_image」に接続します。

生成結果を調整する際は、「KSampler」ノードの「denoise」の値を調整してください。この値を 1.0から 0.9, 0.8,…と下げていくことで、変化の度合いを調整できます。

denoise = 0.8

denoise = 0.75

※このパラメーターを 0.8 以下にすると、破綻しやすくなるので段階を踏みながら設定していくことをおすすめします。

細かな制御をしたい場合はVAE Encode (for Inpainting) のパラメータ「grow_mask_by」も操作するとよいでしょう。

「grow_mask_by」を小さい値にすると、境界線が目立つようになります。

逆に、「grow_mask_by」を大きな値にすると境界が曖昧になります。なお最大値は64です。大きくすると処理時間が長くなります。

denoise = 0.9, grow_mask_by = 64, seed = 1

バッチ生成してみましょう。
denoise = 0.9, grow_mask_by = 64, seed = 5

先ほどのワークフローを利用し、アニメ調からリアル調へのスタイル変換をします。ワークフローの変更点としては、以下になります。

顔に掛けていたマスクを外します。今回はスタイルを変えるので、画像全体を対象とするためです。マスクの外し方は、「Open in MaskEditor」でマスク用のキャンバスを開き、左下の「Clear」をクリックし、マスクを削除後、「Save to node」をクリックします。

「VAE Encode (for inpainting)」ノードを「VAE Encode」ノードに変更します。「VAE Encode」ノードは、「VAE Encode (for inpainting)」ノードからマスクの入力が削除されたバージョンです。

使用するモデルを「RealVisXL_V4.0.safetensors」に変更します。RealVisXLは、実写の描写が得意なモデルで、これを利用することでリアル調のスタイルに変換します。以下のリンクからRealVisXLをダウンロードし、「ComfyUI/models/checkpoints」フォルダに格納してください。

※ダウンロード済みの場合は選択するだけになります。