記念すべき50回を迎えた「ComfyUIマスターガイド」、今回はComfyUIによる動画をつくるワークフローの総まとめ解説です。しかもテキストからの画像生成ではなく、実写動画からの動画生成です。実写動画はそのリアルさゆえにプライバシー保護や著作権の観点から匿名化が求められるケースがあります。今回はAnimateDiffを活用して実写動画をアニメスタイルに変換することで、顔や背景などの個人情報を効果的に匿名化する革新的なワークフローを自分で構築して理解を深めていきましょう。
本記事では、AnimateDiffを中心とした一連のプロセスの中で、どのようにして実写のリアルな表現をアニメーション特有の柔らかさと抽象性に転換し、同時に匿名化を実現していくのかを具体的に解説します。すでにComfyUIや画像生成の基本を理解されている読者の皆さんに向けて、実践的な事例とともに、ワークフローの各ポイントの調整方法や効果を深掘りしていくので、ぜひしっかりついてきてください。
今回のワークフローでは、実写動画をアニメ調の映像へ変換する総合的で高度な画像生成パイプラインを実装しました。具体的には、入力された実写動画をまず個々のフレームに分割し、それぞれに対してリサイズや前処理（深度マップや線画の抽出）を行い、ガイド情報を生成します。その後、アニメ生成に特化したAAM XL (Anime Mix) のTurboタイプモデルと、FreeUの技術、AnimateDiffのモーション制御（Hotshot-XL）を組み合わせ、各フレームをアニメ風に変換します。さらに、Advanced ControlNetやVideo Helper Suiteといったカスタムノードを活用することで、ディテールの強調やフレーム間の連続性を実現し、最終的に高品質なアニメ調動画として出力します。
以下のカスタムノードを使用するため、ComfyUI Managerからインストールしてください。
[Install Missing Custom Nodes]からインストールできます。
左上のチェックを入れてInstall、終わったらRestartを選んで再起動します。
ComfyUI-AnimateDiff-Evolvedは、Stable Diffusionモデルを拡張して動画生成を可能にするカスタムノードです。元のAnimateDiffを進化させたバージョンで、動画生成のためのモーションモジュールと高度なサンプリング技術を組み込んでいます。
https://github.com/Kosinkadink/ComfyUI-AnimateDiff-Evolved
ComfyUI-VideoHelperSuiteは、動画生成を支援するためのカスタムノードです。動画の編集や加工を容易にする機能を提供します。今回は、一連の画像を動画にして保存するノードを使用するために必要となります。
https://github.com/Kosinkadink/ComfyUI-VideoHelperSuite
ComfyUI-Advanced-ControlNetは、ControlNetの機能を強化するカスタムノードです。ControlNetの強度をタイムステップやバッチ化された潜在変数にわたってスケジュールする機能を提供します。
https://github.com/Kosinkadink/ComfyUI-Advanced-ControlNet
動画サイズのリサイズのためにComfyUI-KJNodesを導入します。ComfyUI-KJNodesは様々な便利なノードを格納しています。
https://github.com/kijai/ComfyUI-KJNodes
画像生成モデルとして、AAM XLを使用します。このモデルは、特に日本アニメらしい画風を再現するために細かい調整がなされており、キャラクターの表情やポーズ、衣装デザインなど、アニメならではのディテールを豊かに表現できます。今回は、このモデルのTurboタイプを使用し、8stepでの生成を実現します。以下のリンクよりダウンロードし、「ComfyUI/models/checkpoints」に格納してください。
https://civitai.com/models/269232?modelVersionId=330157
controlnet-union-sdxl-1.0は、SDXLで使用できる様々なControlNetを一つにまとめたプリプロセッサーモデルです。以下のリンクよりダウンロードし、「ComfyUI/models/controlnet」フォルダに格納してください。
今回は、SDXLのモデルで動画生成するため、SDXLのモーションモジュールをダウンロードします。使用するモデルは「Hotshot-XL」です。以下のリンクからモデルをダウンロードし、「ComfyUI/custom_nodes/ComfyUI-AnimateDiff-Evolved/models」フォルダに格納してください。
https://huggingface.co/hotshotco/Hotshot-XL/blob/main/hsxl_temporal_layers.f16.safetensors
v2vで使用する参照元動画を用意します。以下の動画をControlNetで参照します。
この動画は、以下のリンクより無料でダウンロードできます。
動画素材 (右クリックで保存)
以下がワークフローの全体図になります。とても広大です！
このワークフローは、実写動画をアニメ調の動画に変換する高度な画像生成パイプラインです。入力された実写動画の各フレームを解析し、それらをガイドとして使用しながら、一貫性のあるアニメーション映像を生成します。
処理の流れをフローチャートで以下に示します。
モデルのロード
Load Checkpoint
AAM XLをロード
FreeU
AnimateDiffと連携させることで、フレーム間の安定性を実現する
https://github.com/ChenyangSi/FreeU
https://github.com/ChenyangSi/FreeUFreeUについて
FreeU (Free Lunch in Diffusion U-Net)は、画像生成AI、特に「Stable Diffusion」などの拡散モデルの画質を追加学習やパラメータ調整なしに向上させる画期的な手法です。2024年のコンピュータビジョンの国際会議で提案された手法です。まるで「無料のランチ」のように、手軽に画質を改善できることから"FreeU"と名付けられました。FreeUは、画像生成過程において２つの主要な経路、すなわちバックボーンとスキップ接続に対して異なるスケーリング効果を加えるために設計されています。
b1, b2：これらはバックボーン経路に適用されるスケーリングパラメータです。バックボーンは生成画像の基本的な構造や全体の特徴を反映する経路で、b1は初期段階での構造調整に使われ、b2はその後の補正的なスケーリング効果を与える役割があります。
たとえば、b1の値を上げると画像全体に立体感が生まれ、より表情豊かな描写に変化するという報告もあります。b1の数値は実際の試行において0〜2の範囲で調整され、調整ステップは約0.5であることが多いです。
b2の値を上げると、バックボーン経路が後半で行う「補正的」なスケーリングが強化されます。これにより、画像の大局的な構造や細部のエッジ・テクスチャがより明確になり、立体感やシャープさが強調される傾向があります。一方、b2の値を下げると、バックボーン経路の影響力が弱まり、画像全体が若干ソフトで均一な印象になりやすいです。
s1, s2：これらはスキップ接続に対するパラメータです。スキップ接続は、バックボーンから抽出された情報を画像生成の後半で直接反映させ、ディテールや微細な部分を保持する役割を担います。s1は初期のディテールの保持や滑らかさに寄与し、s2は生成プロセスの後半での微調整に利用され、全体のバランスを整える効果があります。
s1の値を上げると、初期に抽出された微細なディテールやテクスチャがより強調され、結果として画像全体にクリアでシャープな印象が加わります。ただし、あまりにも高い値に設定すると、場合によってはディテールが過剰に目立ち、不自然な印象やノイズ感が増す可能性もあります。逆にs1の値を下げると、初期段階からのディテールの影響が抑えられ、生成画像がよりソフトで滑らかな仕上がりになります。これは、初期のスキップ接続からの情報が弱まるため、画像全体のテクスチャが控えめになり、落ち着いた印象を与える一方で、細部がややぼやける可能性があります。
これら４つのパラメータは、時間経過や層ごとに異なるスケーリングが適用されるように設計されており、ユーザーは各数値を調整することで、自身の望むスタイルや質感を得ることが可能です。各パラメータの組み合わせにより、画像の構造的な表現と緻密なディテール表現の両面をコントロールできるため、実験的な調整が推奨されます
入力動画の処理
Load Video (Upload)
このノードを介して動画素材をアップロードすることが可能
フレーム数: 48フレーム
1フレームごとに抽出（select_every_nth: 1）
Resize Image
入力フレームを720×480にリサイズ
処理を軽くするためにサイズ変更している
プロンプトの設定
ポジティブプロンプトには、品質向上のワードと、この動画の内容を示すワードを入力
masterpiece, best quality, amazing quality, very aesthetic, high resolution, ultra-detailed, absurdres, newest, scenery, anime, smiling girl, brown hair, medium-length hair, light blue shirt, selfie, holding smartphone, indoors, natural lighting, warm atmosphere, close-up, cheerful expression
(傑作、最高品質、素晴らしい品質、非常に美的、高解像度、超詳細、不条理、最新、風景、アニメ、笑顔の女の子、茶色の髪、ミディアムヘア、水色のシャツ、自撮り、スマートフォンを持っている、屋内、自然光、暖かい雰囲気、クローズアップ、明るい表情)
ネガティブプロンプトには、品質低下や不適切コンテンツ生成防止用のワードを入力
(worst quality, bad quality:1.2), nsfw, bad anatomy, bad hands, missing fingers, extra digit, fewer digits, jpeg artifacts,
前処理とガイド画像の生成
Depth Anything V2 - Relative
各フレームから深度マップを生成し、奥行き情報を白黒グラデーションで表現
AnyLine Lineart
各フレームから線画を抽出
AnimateDiffの設定初期化
AnimateDiff Loader
HotshotXLモデルのロード
View Options◇Standard Uniform
このノードは、各フレーム生成時の視点や構図に関するパラメータを提供します。
パラメータは以下の通り
view_lengh（フレーム数）: 8フレーム
view_overlap（オーバーラップするフレーム数）: 4フレーム
fuse_method（処理種別）: pyramid
pyramidは、入力画像を複数の解像度階層（ピラミッド構造）に分解し、各レベルで特徴を抽出する方法であり、これにより、高解像度での細部と低解像度での大局的な構造がバランス良く取り込まれ、視点の変化や遠近感などがより自然に反映されます。
Sample Settings
AnimateDiffのサンプリング設定を行うノード
noise_typeをFreeNoiseにし、FreeInitを適用するように設定
FreeInit Iteration Options
FreeInitの設定
iterations（イテレーション回数）を2回に設定
ControlNetによる制御
Load Advanced ControlNet Model
ControlNet Union SDXLモデルをロード
Apply Advanced ControlNet（画面左側）
ControlNetのLineartを適用するノード
ウィジェットの値は以下の通り
strength（強度）: 0.20
start_percent（適用開始位置）: 0.000
end_percent（適用終了位置）: 0.500
Apply Advanced ControlNet（画面右側）
ControlNetのDepthを適用するノード
ウィジェットの値は以下の通り
strength（強度）: 0.50
start_percent（適用開始位置）: 0.000
end_percent（適用終了位置）: 0.500
Linart から線画、Depthから奥行き画像が生成されています。
画像生成処理
KSampler
ウィジェットの値は、AAM XLモデルが推奨する値を使用
CFG 5-7 (8 より高くない)、20-30 ステップの Euler a を使用
アップスケーラーの提案は、なし (ComfyuUI のバイキュービック アップスケーリング)、アニメ用の適切な GAN、または Latent
Turbo の場合は、CFG 3-4 と 8 ステップの Euler a または 15 ステップの LCM を使用することをお勧めします。
denoiseは、少し抑えめの0.80に設定
それでは、ワークフローを実行してみましょう。以下が実行結果です。しっかり元の特徴を反映しながらアニメに変換されています。
プロンプトを変えることで、生成後の動画をさらに変化させることが可能です。例えば、ポジティブプロンプトの「brown hair」を「pink hair」に変えてみます。そうすると、以下のように髪色がピンク色に変わります。このように、プロンプトを工夫することで、生成後の動画にさらに変化を加えることができます。
今回の実装により、実写映像をアニメーション映像へ変換するための一連の流れを学ぶことができる高度な処理パイプラインが構築されました。動画のフレーム分解、リサイズ、前処理（深度マップおよび線画の抽出）から、AAM XL TurboモデルとFreeU、AnimateDiffによる画像生成、さらにAdvanced ControlNetによる細部の補正に至るまで、各工程が連携して動作することで、元の映像の特徴を保持しつつアニメーション独自の表現を実現しています。
また、プロンプト調整の自由度の高さにより、たとえばキャラクターの髪色など特定の属性を個別に変更することが可能であり、クリエイターにとって幅広い表現の選択肢を提供します。このパイプラインは、技術的な確実性とユーザビリティを両立した仕組みとして、今後の映像制作の現場での応用やさらなる改良に大きく貢献することが期待されます。
AICUは「つくる人をつくる」をビジョンに掲げ、最新の生成AI、クリエイティブAI技術を皆さまにお届けしています。
📝noteでは、生成AIに関する最新情報や使い方の解説を発信しています。ぜひフォローして、最新情報をチェックしてください！
https://note.com/aicu
📩メールマガジン「週刊AICU通信」では、AI関連のニュースやトレンド、イベント情報などを毎週お届けしています。購読登録はこちらから！
https://corp.aicu.ai/ja
【月刊AICUマガジン】「つくる人をつくる」クリエイティブAI専門誌、毎月魅力的な特集や深掘りお送りします[Kindle Unlimitedで無料]
【書籍化】「ComfyUIマスターガイド」2025年4月18日発売
Xでも情報発信中！フォローしてね😉
https://x.com/AICUai
こちらのフォーム、もしくは下のURLでウェイトリストに登録することができます。
https://share.hsforms.com/2IfeHZPwASyin8_6BuJyHwAq3r78
2025年2月17日まで利用可能な無償招待コードをお送りします。
既にお試しいただいている方も、遠慮なく申し込んでください！
このラインより上のエリアが無料で表示されます。
※noteのComfyUIマスタープランと、上記の「共有ComfyUI」はしばらく並列に運営していきます。他にもたくさんサービスを開発していきますので応援よろしくお願いいたします！
【書籍化】「ComfyUIマスターガイド」
http://j.aicu.ai/comfysb
【今すぐ使えるComfyUI】
https://aicu.jp/comfyui
【月刊AICUマガジン】「つくる人をつくる」クリエイティブAI専門誌、毎月魅力的な特集や深掘りお送りします[Kindle Unlimitedで無料]
https://j.aicu.ai/kindle
この記事の続きはこちらから https://note.com/aicu/n/n46519c9c7a51
Originally published at https://note.com on Feb 17, 2025.
