---
title: [ComfyMaster36] 動画から新しい動画を生成しよう！
description: この記事では、AnimateDiffとControlNetを使用して、既存の動画から新しい動画を生成する方法を紹介しています。具体的には、参照元動画の動きを抽出し、それを基に異なる動画を作成する「video-to-video」技術を解説。詳細なステップバイステップガイドを提供しています。
image: https://ja.aicu.ai/wp-content/uploads/2024/11/rectangle_large_type_2_ddd07a5d96c7ebbf0ecfe217a16ba50d-3.png
---

[![AICU-LogoWT](https://corp.aicu.ai/hs-fs/hubfs/Logo/AICU-LogoWT.png?width=200&height=512&name=AICU-LogoWT.png "AICU-LogoWT")](https://aicu.ai)

Search toggle

- [AICU](https://aicu.ai/)
  
  AICU 
  
  
  
    - [Blog \[English\]](https://corp.aicu.ai/en)
    - [Blog \[Japanese\]](https://corp.aicu.ai/ja/)
    - [note](https://note.com/aicu)
    - [medium](https://medium.com/@aicu)
- [Products](https://corp.aicu.ai/ja/products)
  
  Products 
  
  
  
    - [AICU media](https://note.com/aicu/)
    - [X(Twitter)@AICUai](https://twitter.com/AICUai)
    - [日本市場向け製品](https://corp.aicu.ai/ja/products)
      
      日本市場向け製品 
      
      
      
          - [特定商取引法](https://corp.aicu.ai/jp-commercial-transactions-act)
    - [AI market dev solutions](https://corp.aicu.ai/products)
    - [LINE Chatbot \[LuC4\] 全力肯定彼氏くん](https://corp.aicu.ai/ja/tag/luc4%E5%85%A8%E5%8A%9B%E8%82%AF%E5%AE%9A%E5%BD%BC%E6%B0%8F%E3%81%8F%E3%82%93)
    - [AICuty](https://corp.aicu.ai/aicuty)
    - [Lecture](https://bit.ly/AICUCEO)
    - [AICU Creator Union Membership](https://note.com/aicu/membership/info)
    - [Pricing](https://corp.aicu.ai/ja/pricing)
- [AICU Japan](https://aicu.jp/)
- [About Us](https://corp.aicu.ai/about)
  
  About Us 
  
  
  
    - [Vision](https://corp.aicu.ai/vision)
    - [Privacy Policy](https://corp.aicu.ai/ja/privacy)
    - [Media Policy](https://corp.aicu.ai/media-policy)
    - [PRTIMES](https://prtimes.jp/main/html/searchrlp/company_id/133647)
    - [Become a partner](https://j.aicu.ai/Creg)
    - [Contact](https://corp.aicu.ai/contact)

[Follow us on Facebook](https://m.me/118997804638852?ref=klE9gy8WjnrE) [Follow us on Twitter](https://www.youtube.com/@AICuty) [Follow us on Instagram](https://twitter.com/AICUai)

[![AICU-LogoWT](https://corp.aicu.ai/hs-fs/hubfs/Logo/AICU-LogoWT.png?width=200&height=512&name=AICU-LogoWT.png "AICU-LogoWT")](https://aicu.ai)

- [AICU](https://aicu.ai/)
  
  AICU 
  
  
  
    - [Blog \[English\]](https://corp.aicu.ai/en)
    - [Blog \[Japanese\]](https://corp.aicu.ai/ja/)
    - [note](https://note.com/aicu)
    - [medium](https://medium.com/@aicu)
- [Products](https://corp.aicu.ai/ja/products)
  
  Products 
  
  
  
    - [AICU media](https://note.com/aicu/)
    - [X(Twitter)@AICUai](https://twitter.com/AICUai)
    - [日本市場向け製品](https://corp.aicu.ai/ja/products)
      
      日本市場向け製品 
      
      
      
          - [特定商取引法](https://corp.aicu.ai/jp-commercial-transactions-act)
    - [AI market dev solutions](https://corp.aicu.ai/products)
    - [LINE Chatbot \[LuC4\] 全力肯定彼氏くん](https://corp.aicu.ai/ja/tag/luc4%E5%85%A8%E5%8A%9B%E8%82%AF%E5%AE%9A%E5%BD%BC%E6%B0%8F%E3%81%8F%E3%82%93)
    - [AICuty](https://corp.aicu.ai/aicuty)
    - [Lecture](https://bit.ly/AICUCEO)
    - [AICU Creator Union Membership](https://note.com/aicu/membership/info)
    - [Pricing](https://corp.aicu.ai/ja/pricing)
- [AICU Japan](https://aicu.jp/)
- [About Us](https://corp.aicu.ai/about)
  
  About Us 
  
  
  
    - [Vision](https://corp.aicu.ai/vision)
    - [Privacy Policy](https://corp.aicu.ai/ja/privacy)
    - [Media Policy](https://corp.aicu.ai/media-policy)
    - [PRTIMES](https://prtimes.jp/main/html/searchrlp/company_id/133647)
    - [Become a partner](https://j.aicu.ai/Creg)
    - [Contact](https://corp.aicu.ai/contact)

Search toggle

[![AICU-LogoWT](https://corp.aicu.ai/hs-fs/hubfs/Logo/AICU-LogoWT.png?width=200&height=512&name=AICU-LogoWT.png "AICU-LogoWT")](https://aicu.ai)

- [AICU](https://aicu.ai/)
  
  AICU 
  
  
  
    - [Blog \[English\]](https://corp.aicu.ai/en)
    - [Blog \[Japanese\]](https://corp.aicu.ai/ja/)
    - [note](https://note.com/aicu)
    - [medium](https://medium.com/@aicu)
- [Products](https://corp.aicu.ai/ja/products)
  
  Products 
  
  
  
    - [AICU media](https://note.com/aicu/)
    - [X(Twitter)@AICUai](https://twitter.com/AICUai)
    - [日本市場向け製品](https://corp.aicu.ai/ja/products)
      
      日本市場向け製品 
      
      
      
          - [特定商取引法](https://corp.aicu.ai/jp-commercial-transactions-act)
    - [AI market dev solutions](https://corp.aicu.ai/products)
    - [LINE Chatbot \[LuC4\] 全力肯定彼氏くん](https://corp.aicu.ai/ja/tag/luc4%E5%85%A8%E5%8A%9B%E8%82%AF%E5%AE%9A%E5%BD%BC%E6%B0%8F%E3%81%8F%E3%82%93)
    - [AICuty](https://corp.aicu.ai/aicuty)
    - [Lecture](https://bit.ly/AICUCEO)
    - [AICU Creator Union Membership](https://note.com/aicu/membership/info)
    - [Pricing](https://corp.aicu.ai/ja/pricing)
- [AICU Japan](https://aicu.jp/)
- [About Us](https://corp.aicu.ai/about)
  
  About Us 
  
  
  
    - [Vision](https://corp.aicu.ai/vision)
    - [Privacy Policy](https://corp.aicu.ai/ja/privacy)
    - [Media Policy](https://corp.aicu.ai/media-policy)
    - [PRTIMES](https://prtimes.jp/main/html/searchrlp/company_id/133647)
    - [Become a partner](https://j.aicu.ai/Creg)
    - [Contact](https://corp.aicu.ai/contact)

[Follow us on Facebook](https://m.me/118997804638852?ref=klE9gy8WjnrE) [Follow us on Twitter](https://www.youtube.com/@AICuty) [Follow us on Instagram](https://twitter.com/AICUai)

Search toggle

What are you looking for?

Search

# \[ComfyMaster36\] 動画から新しい動画を生成しよう！

 2024/11/30

![Picture of AICU Japan](https://corp.aicu.ai/hs-fs/hubfs/2023-09-20_062230-3.png?width=40&name=2023-09-20_062230-3.png) [AICU Japan](https://corp.aicu.ai/ja/author/aidx-lab) 

![\[ComfyMaster36\] 動画から新しい動画を生成しよう！](https://ja.aicu.ai/wp-content/uploads/2024/11/rectangle_large_type_2_ddd07a5d96c7ebbf0ecfe217a16ba50d-3.png)

**既存の動画をトレースして、新しい動画を作る方法、知りたくないですか？**  
本記事では、そんな期待に応えるべく、AnimateDiffとControlNetを使って参照動画から動きを抽出し、それを基に新しい動画を生成する方法を解説します。

こんにちわ、AICU media編集部です。  
「[ComfyUI マスターガイド](https://ja.aicu.ai/comfyui20240731/)」第36回目になります。  
本記事では、前回ご紹介したAnimateDiffとControlNetを組み合わせて、動画から異なる動画を生成する「video-to-video (v2v)」を行う方法を解説します。  
「どんなクリエイティブなことができるのか？」と想像を膨らませながら、ぜひ最後まで読み進めてください。きっと新しい発見やアイデアが得られるはずです。

★本内容については著作権侵害の可能性がある技術を取り扱います。実験、研究目的とする場合も、参照元にする画像との依拠性・類似性については十分に配慮し、業務的な製作においては所属機関の法務部や担当弁護士などに法的見解を確認してから実施することをおすすめします。

本連載の初回は[こちら](https://ja.aicu.ai/comfyui20240731/)。前回は[こちら](https://ja.aicu.ai/comfymaster35-20241120/)、目次は[こちら](https://note.com/aicu/m/md2f2e57c0f3c)です。

**\[ComfyMaster35\] ここから始める動画編！SDXL＋AnimateDiffでテキストから動画を生成しよう！ [#ComfyUI](https://note.com/hashtag/ComfyUI) \[無料\]**

## 1. 概要

前回は、AnimateDiff＋IP Adapterでテキストから動画の生成を行いました。AnimateDiffに関しては、前回の記事で解説していますので、前回の記事と合わせてご覧ください。

今回は、動画を参照し、その動画と同じ動きで別の動画を作成します。作成にはControlNetを使用し、参照元動画の動きをトレースし、それを動画生成に適用します。

## 2. カスタムノードのインストール

**★復習\[ComfyMaster4\]ComfyUIカスタムノード導入ガイド! 初心者でも安心のステップバイステップ解説**

Google ColabでのComfyUI環境設定から学びたい方はこちら  
**★復習\[ComfyMaster1\] Google ColabでComfyUIを動かしてみよう！**

準備ができたら、以下のカスタムノードを使用するため、ComfyUI Managerからインストールしてください。

### ComfyUI-AnimateDiff-Evolved

ComfyUI-AnimateDiff-Evolvedは、Stable Diffusionモデルを拡張して動画生成を可能にするカスタムノードです。元のAnimateDiffを進化させたバージョンで、動画生成のためのモーションモジュールと高度なサンプリング技術を組み込んでいます。

[https://github.com/Kosinkadink/ComfyUI-AnimateDiff-Evolved](https://github.com/Kosinkadink/ComfyUI-AnimateDiff-Evolved)

### ComfyUI-VideoHelperSuite

ComfyUI-VideoHelperSuiteは、動画生成を支援するためのカスタムノードです。動画の編集や加工を容易にする機能を提供します。今回は、一連の画像を動画にして保存するノードを使用するために必要となります。

[https://github.com/Kosinkadink/ComfyUI-VideoHelperSuite](https://github.com/Kosinkadink/ComfyUI-VideoHelperSuite)

ここまでが、前回の「Text to Video」を実現するカスタムノードのインストールと共通部分になります。

ここから先は、ControlNet環境を作っていきます。

### ComfyUI-Advanced-ControlNet

ComfyUI-Advanced-ControlNetは、ControlNetの機能を強化するカスタムノードです。ControlNetの強度をタイムステップやバッチ化された潜在変数にわたってスケジュールする機能を提供します。

[https://github.com/Kosinkadink/ComfyUI-Advanced-ControlNet](https://github.com/Kosinkadink/ComfyUI-Advanced-ControlNet)

### ComfyUI’s ControlNet Auxiliary Preprocessors

ComfyUI’s ControlNet Auxiliary Preprocessorsは、ControlNetの前処理を支援するカスタムノードです。高度なヒント画像を生成し、画像の質と正確さを向上させる機能を提供します。

[https://github.com/Fannovel16/comfyui\_controlnet\_aux](https://github.com/Fannovel16/comfyui_controlnet_aux)

### ComfyUI-KJNodes

動画サイズのリサイズのために**ComfyUI-KJNodes**を導入します。**ComfyUI-KJNodes**は様々な便利なノードを格納しています。

[https://github.com/kijai/ComfyUI-KJNodes](https://github.com/kijai/ComfyUI-KJNodes)

## [![ComfyUI 知らないの？](https://no-cache.hubspot.com/cta/default/43845236/interactive-185006873759.png)](https://corp.aicu.ai/hs/cta/wi/redirect?encryptedPayload=AVxigLLRGL1RWlDFWVzig9n8Qi%2BkjuNXDjfOz%2FaqHxdDnlDXjmHy0bSexfpoN2xQqIJXGqns0SincLY015y6vftTJ7ictd4oZurFFtTbE8rQ6mgChFMjCIOFgQC6URnMFf%2B9AK4L8k6y7fSbaKBa3DdY5OQPCADof6e2hdPCCFc%3D&webInteractiveContentId=185006873759&portalId=43845236&hsLang=ja) [![画像生成 お困りですか？](https://no-cache.hubspot.com/cta/default/43845236/interactive-185263496576.png)](https://corp.aicu.ai/hs/cta/wi/redirect?encryptedPayload=AVxigLK06nUuUN0GSExo6W%2F%2F5JYwY6fot3iKnJfbMqgPoEI2UM3BW78bBU2rGo17TZpOLdw7crAf8MiroOx1fK06smlvAbHX7M1VERONa3vMtaahCzLtfOhwIyi9Lb%2B76whM4GxdQPiLbV95DUZ1rqlsocDkCd0vnHoN%2FWIDY1U%3D&webInteractiveContentId=185263496576&portalId=43845236&hsLang=ja)

## 3. モデルのインストール

### RealVisXL V5.0 Lightning

今回は、RealVisXLのLightningバージョンを使用します。Lightningバージョンでは、サンプリングのステップ数を4-6回に抑えることができます。生成量の多いAnimateDiffでは、TurboやLightningなどの数ステップで生成完了するモデルを選ぶと良いでしょう。  
以下のリンクよりモデルをダウンロードし、「ComfyUI/models/checkpoints」フォルダに格納してください。

[https://huggingface.co/SG161222/RealVisXL\_V5.0\_Lightning/blob/main/RealVisXL\_V5.0\_Lightning\_fp16.safetensors](https://huggingface.co/SG161222/RealVisXL_V5.0_Lightning/blob/main/RealVisXL_V5.0_Lightning_fp16.safetensors)

### SDXL Motion Module

今回は、SDXLのモーションモジュールとして、**「Hotshot-XL」**を使用します。Hotshot-XLは、コンテクスト長が8フレームしかありませんが、AnimateDiff-SDXLより品質が良いためです。以下のモデルをダウンロードし、「ComfyUI/custom\_nodes/ComfyUI-AnimateDiff-Evolved/models」フォルダに格納してください。

[https://huggingface.co/hotshotco/Hotshot-XL/blob/main/hsxl\_temporal\_layers.f16.safetensors](https://huggingface.co/hotshotco/Hotshot-XL/blob/main/hsxl_temporal_layers.f16.safetensors)

### ControlNet Union SDXL

video-to-video (v2v)にControlNetを使用します。以下のControlNetをダウンロードし、「ComfyUI/models/controlnet」フォルダに格納してください。

[https://huggingface.co/xinsir/controlnet-union-sdxl-1.0/blob/main/diffusion\_pytorch\_model\_promax.safetensors](https://huggingface.co/xinsir/controlnet-union-sdxl-1.0/blob/main/diffusion_pytorch_model_promax.safetensors)

## 4. 素材

v2vで使用する参照元動画を用意します。以下の動画を利用し、DWPoseとDepthで動きを抽出し、ControlNetでこの動きを再現します。

[![画像](https://assets.st-note.com/production/uploads/images/159701549/picture_pc_f813bf06a023a6db10dfccf7029c3337.gif)](https://assets.st-note.com/production/uploads/images/159701549/picture_pc_f813bf06a023a6db10dfccf7029c3337.gif?width=2000&height=2000&fit=bounds&quality=85)

以下のリンクより無料でダウンロードできます。

[https://www.pexels.com/ja-jp/video/2795746](https://www.pexels.com/ja-jp/video/2795746)

## 5. ワークフローの解説

このワークフローは、AnimateDiffを使用して動画を生成する高度な例です。入力動画を基に、AIモデルを使用してスタイライズされたアニメーション動画を作成します。

[![画像](https://ja.aicu.ai/wp-content/uploads/2024/11/1730124106-fQ0Dqc32jKAaWbRGdPeNmYZt.png)](https://assets.st-note.com/img/1730124106-fQ0Dqc32jKAaWbRGdPeNmYZt.png?width=2000&height=2000&fit=bounds&quality=85)

---

[![最新情報はメールニュース  ](https://no-cache.hubspot.com/cta/default/43845236/interactive-185006873894.png)](https://corp.aicu.ai/hs/cta/wi/redirect?encryptedPayload=AVxigLIA4xv98p4F%2FwfuZ6c0f4dmhYDcHd7iu9n3teW%2BU0V1cXABf5uuQMJPMpe9zV6X9fI3Zu3nJ7EEA1VY%2F1%2F%2BVpwic%2B91zRVJWbq%2FYmq3%2FiM7X2OI4jZt13ZTwUXhWDVDI7ZYum4MSuAqRaTd%2BdVqNQXwGoMlvpjy&webInteractiveContentId=185006873894&portalId=43845236&hsLang=ja)

この記事の続きはこちらから [https://note.com/aicu/n/n54988052abb7](https://note.com/aicu/n/n54988052abb7)

Originally published at [https://note.com](https://note.com/aicu/n/n54988052abb7) on Nov 28, 2024.

### Share:

[Share on Facebook](http://www.facebook.com/share.php?u=https://corp.aicu.ai/ja/comfymaster36-20241128&utm_medium=social&utm_source=facebook) [Share on LinkedIn](http://www.linkedin.com/shareArticle?mini=true&url=https://corp.aicu.ai/ja/comfymaster36-20241128&utm_medium=social&utm_source=linkedin) [Share on X](https://twitter.com/intent/tweet?original_referer=https://corp.aicu.ai/ja/comfymaster36-20241128&utm_medium=social&utm_source=twitter&url=https://corp.aicu.ai/ja/comfymaster36-20241128&utm_medium=social&utm_source=twitter&source=tweetbutton&text=[ComfyMaster36]%20動画から新しい動画を生成しよう！)

[ComfyUI](https://corp.aicu.ai/ja/tag/comfyui), [AnimateDiff](https://corp.aicu.ai/ja/tag/animatediff)

## AICU Japan

AICU Inc. AIDX Lab - Koto

[info@aicu.ai](mailto:info@aicu.ai)

## Comments

## Related posts

Search [SIGGRAPH Asia 2024特集(1) 最先端のCG研究を3時間で！【Technical Papers Fast-Forward】全ジャンル予習リスト](https://corp.aicu.ai/ja/siggraph-asia-20241124?hsLang=ja)

[AIアートバトル「AIBATO」にて優勝! 作品とAICU開発技術を公開解説](https://corp.aicu.ai/ja/aicu-aiart-20241126?hsLang=ja) Search

![AICU-LogoWT](https://corp.aicu.ai/hs-fs/hubfs/Logo/AICU-LogoWT.png?width=210&name=AICU-LogoWT.png "AICU-LogoWT")

AICU Inc. is AIDX company.

[Follow us on Facebook](https://m.me/118997804638852?ref=klE9gy8WjnrE) [Follow us on Twitter](https://twitter.com/AICUai) [Follow us on Instagram](https://www.youtube.com/@AICuty)

Main Office: 830 STWART DR STE277 SUNNYVALE, CA 94085-4513

```json
{
  "@context" : "https://schema.org",
  "@type" : "BlogPosting",
  "author" : {
    "@type" : "Person",
    "name" : "AICU Japan",
    "url" : "https://corp.aicu.ai/ja/author/aidx-lab"
  },
  "dateModified" : "2025-01-31T21:51:55.467Z",
  "datePublished" : "2024-11-30T20:18:40.000Z",
  "headline" : "[ComfyMaster36] 動画から新しい動画を生成しよう！",
  "image" : [ "https://ja.aicu.ai/wp-content/uploads/2024/11/rectangle_large_type_2_ddd07a5d96c7ebbf0ecfe217a16ba50d-3.png" ],
  "mainEntityOfPage" : {
    "@id" : "https://corp.aicu.ai/ja/comfymaster36-20241128",
    "@type" : "WebPage"
  },
  "publisher" : {
    "@type" : "Organization",
    "logo" : {
      "@type" : "ImageObject",
      "url" : "https://corp.aicu.ai/hubfs/android-chrome-512x512.png"
    },
    "name" : "AICU Inc."
  }
}
```