DiffSynth StudioとDiffutoon:拡散モデルによる高分解能・編集可能なトゥーンシェーダー

DiffSynth StudioとDiffutoon:拡散モデルによる高分解能・編集可能なトゥーンシェーダー
 

Diffutoon(ディフュトゥーン)は素晴らしいトゥーンシェーディングアプローチで、アニメスタイルのフォトリアリスティックなビデオを変換することを目的としています。非常に高い解像度と高速なモーションを扱うことができます。ソースコードはDiffSynth-Studioで公開されており、技術レポートも公開されています。

Diffutoon: the Next Generation of Toon Shading

論文やコード自体は5ヶ月前に公開されていましたが、この分野のハッカーであるCamenduru氏が紹介したことで突然注目されました。

美しい動画の一覧はこちらにファイルがあります

https://github.com/ECNU-CILAB/DiffutoonProjectPage/tree/main/videos

大本の文献はこちら

Diffutoon: High-Resolution Editable Toon Shading via Diffusion Models

和訳版

Diffutoon:拡散モデルによる高分解能編集可能なToon陰影【JST・京大機械翻訳】

注目すべきは DiffSynth Studio

DiffSynth Studio は Diffusion エンジンです。Text Encoder、UNet、VAE などのアーキテクチャを再構築し、オープンソースコミュニティのモデルとの互換性を維持しながら、計算性能を向上させています。多くの興味深い機能を提供しています。

modelscope/DiffSynth-Studio: Enjoy the magic of Diffusion models!

インストールにはPython, Conda環境が必要で、以下の技術によって構成されています。

Originally published at https://ja.aicu.ai on June 24, 2024.

AICU Japan

AICU Inc. AIDX Lab - Koto

Comments

Related posts

Search Stable Diffusion 3 で最高の結果を得る方法
今月のAICU公式イベント「生成AIの社会と倫理」がスゴイ!見逃し厳禁の3つの理由 Search