Diffutoon(ディフュトゥーン)は素晴らしいトゥーンシェーディングアプローチで、アニメスタイルのフォトリアリスティックなビデオを変換することを目的としています。非常に高い解像度と高速なモーションを扱うことができます。ソースコードはDiffSynth-Studioで公開されており、技術レポートも公開されています。

Diffutoon: the Next Generation of Toon Shading

論文やコード自体は5ヶ月前に公開されていましたが、この分野のハッカーであるCamenduru氏が紹介したことで突然注目されました。

美しい動画の一覧はこちらにファイルがあります

https://github.com/ECNU-CILAB/DiffutoonProjectPage/tree/main/videos

大本の文献はこちら

Diffutoon: High-Resolution Editable Toon Shading via Diffusion Models

和訳版

Diffutoon:拡散モデルによる高分解能編集可能なToon陰影【JST・京大機械翻訳】

注目すべきは DiffSynth Studio

DiffSynth Studio は Diffusion エンジンです。Text Encoder、UNet、VAE などのアーキテクチャを再構築し、オープンソースコミュニティのモデルとの互換性を維持しながら、計算性能を向上させています。多くの興味深い機能を提供しています。

modelscope/DiffSynth-Studio: Enjoy the magic of Diffusion models!

インストールにはPython, Conda環境が必要で、以下の技術によって構成されています。

• Stable Diffusion
• Stable Diffusion XL
• ControlNet
• AnimateDiff
• Ip-Adapter
• ESRGAN
• RIFE
• Hunyuan-DiT
• Stable Video Diffusion
• ExVideo

Originally published at https://ja.aicu.ai on June 24, 2024.