画像1枚から、動く3DキャラクターへVASTのSIGGRAPH 2026論文5本

作成者: AICU Japan｜2026年7月28日 18:33:25 Z

2026年7月19日から23日までロサンゼルスで開催されたSIGGRAPH 2026で、3D生成サービス「Tripo AI」の研究チームであるVASTは、5本のTechnical Paperを発表しました。

こんにちは。AICUで音楽と開発技術を担当しているNao Verdeです。新しい生成AIの論文を読むとき、僕が最初に気になるのは、ベンチマークの順位だけではありません。

これで何を作ったら楽しそうだろう。

キャラクターを動かせるのか。ゲームの小物を作れるのか。ライブ映像に使えるのか。自分の描いた一枚絵を、違う角度から眺められるのか。2026年7月19日から23日までロサンゼルスで開催された世界最大のCG/インタラクティブ技術の国際会議「SIGGRAPH 2026」で、3D生成サービス「Tripo AI」の研究チームであるVASTの研究に注目してみました。

PixTex
Generative 3D Gaussians with Learned Density Control
Nexus
AniGen
TopoCap

さらに、Real-Time Live!では、画像からテクスチャ、骨格、アニメーションを持った3Dアセットを数秒で生成し、共有空間へ登場させるライブシステムも披露されました。(SIGGRAPH 2026 Conference Schedule)

論文名だけを見ると、少し硬そうです。

でも5本を「クリエイターの手元」で並べ直すと、こんな流れになります。

一枚の画像から立体を作る。表面の模様をつなげる。編集できるメッシュにする。骨格を入れる。自分の演技で動かす。

これは個々のトップカンファレンスの論文ではありますが、実はキャラクターが一枚絵から歩き出すまでの制作工程にも見えます。

出典URL　https://s2026.conference-schedule.org/organization/?inst=4286161113463779637

まず触れてみたいのは、画像を「回せる立体」にするTripoSplat

最初に紹介したいのは、「Generative 3D Gaussians with Learned Density Control」です。VASTはこの研究を、TripoSplatという名称で公開しています。TripoSplatに一枚の画像を入力すると、その画像に描かれた物体を、別の角度から眺められる3D Gaussianとして生成します。3D Gaussianは、一般的なポリゴンメッシュとは少し違います。

頂点と面で立体を作るのではなく、位置、色、大きさ、透明度などを持った多数の粒子で、立体の見た目を表現します。写真やイラストに含まれる細かな質感を残しやすく、高速に描画できる点が魅力です。

TripoSplatのおもしろいところは、すべての場所に同じ密度で粒子を置かないことです。顔や装飾のように細かな場所には多く配置し、単純な面には少なく配置します。生成時にGaussianの数を変えられるため、軽いプレビュー用と、細部を残した展示用を同じ画像から作り分けることもできます。(Tripo 3D)

僕なら、ジャケット画像を小さな3Dミュージックビデオにする

たとえば、オリジナル楽曲のジャケットに描いた不思議なラジオ、時計、マスコット、架空の楽器をTripoSplatへ入れてみます。生成した3Dをゆっくり回転させ、照明とカメラを足して、10秒程度のループ映像にする。完璧な3Dモデルを作る必要はありません。一枚絵だったモチーフに少し奥行きが生まれるだけで、SNS用のティザー、ライブ背景、アルバムのビジュアライザーへ展開できます。TripoSplatはコードと学習済みモデルがMITライセンスで公開され、Hugging Face上のデモも用意されています。また、ComfyUIへの公式対応も案内されています。(Tripo 3D)

まず触るためのリンク

プロジェクト解説 https://www.tripo3d.ai/research/triposplat
論文 https://arxiv.org/abs/2605.16355
GitHub
https://github.com/VAST-AI-Research/TripoSplat
Hugging Faceデモ
https://huggingface.co/spaces/VAST-AI/TripoSplat
VAST GitHub
https://github.com/VAST-AI-Research

出典URL

https://www.tripo3d.ai/research/triposplat

TripoSplatの重みと推論コードは、MITライセンスの下で完全にオープンソース化されています。意図的に軽量かつクリーンなコードベースを設計し、わずか2つの主要ファイル（約2,000行のコード）のみで構成されています。特に重要なのは、依存関係のバージョン管理に悩まされがちな外部フレームワーク（トランスフォーマーやディフューザーなど）をほとんど使用せず、ネイティブのPyTorchにほぼ完全に依存している点です。さらに、Comfy Orgの多大な努力のおかげで、TripoSplatはComfyUIでリリース当初からサポートされており、ComfyUIエコシステムで公式にサポートされる初の3Dガウス発生器となっています。

AniGenでは、一枚絵の中に「骨」が生まれる

次に気になったのが、AniGen: Unified S³ Fields for Animatable 3D Asset Generationです。普通の画像から3Dを作るモデルは、基本的に形状を生成します。しかし、キャラクターを動かすには、それだけでは足りません。身体の中に骨格を入れ、どの骨を動かすと、表面のどの部分がどれくらい引っ張られるのかを設定する必要があります。この工程がリギングです。

AniGenは、一枚の画像から、3D形状、骨格、スキニングウェイトをまとめて生成します。Shape、Skeleton、Skinという3つの要素を、共通の空間表現である「S³ Fields」として扱うことで、形を作ったあとに骨を押し込むのではなく、最初から動く身体として3Dを生成することを目指しています。動物、人型キャラクター、機械、関節を持つ物体まで、複数の種類が公開例に含まれています。(Yihua7)

https://yihua7.github.io/AniGen_web/

僕なら、現実には存在しない楽器を動かしてみたい

たとえば、脚が生えたシンセサイザー、花のように開くスピーカー、演奏すると身体を揺らす架空の音響機械を一枚絵として描きます。AniGenで骨格付きの3Dへ変換し、その骨格へ既存のモーションを当ててみる。人間型キャラクターを踊らせる用途も魅力的ですが、AniGenの公開例には機械の腕、植物、機械犬のような対象もあります。つまり「キャラクターを人間らしく動かす」だけでなく、動かなかった物へ、どんな身体性を与えるかという遊びができます。

生成後には、リグを含むmesh.glbと骨格確認用のskeleton.glbが出力されます。標準的な3D制作環境へ読み込み、既存のモーションデータで動かすことが想定されています。ローカル環境ではLinuxと18GB以上のVRAMを持つNVIDIA GPUが必要とされ、RTX 3090とA800で動作確認されています(GitHub)。GPU環境を用意しなくても、Hugging Face Spacesのデモから入力画像を試せます。

AniGenを触るためのリンク

プロジェクトページ　https://yihua7.github.io/AniGen_web/
論文　https://arxiv.org/abs/2604.08746
GitHub　https://github.com/VAST-AI-Research/AniGen
Hugging Faceデモ https://huggingface.co/spaces/VAST-AI/AniGen

SIGGRAPH 2026発表ページ
https://s2026.conference-schedule.org/presentation/?id=papers_218&sess=sess121

AniGenプロジェクトページの「Results」から：動物、キャラクター、機械が並び、後半の列に骨格が重ねて表示されている

PixTexは、キャラクターを振り向かせたときに効いてくる

3D生成モデルを触っていると、正面はきれいなのに、横や背中へ回すと模様が途切れることがあります。

シャツのラインが脇で消える。
顔の模様が反対側へ増殖する。
前髪の色と後頭部の色がつながらない。

一枚の画像としては自然でも、立体としては困る現象です。

PixTex: Consistent 3D Texturing via Pixel-Space Multi-View Diffusionは、この複数視点間のテクスチャ整合性を扱っています。

PixTexは、画像を強く圧縮した潜在空間ではなく、ピクセル空間で複数の視点を同時に扱います。粗い解像度から細かな解像度へ段階的に生成することで、形状との対応を残しながら、視点をまたいでつながるテクスチャを作ります。SIGGRAPHの発表概要では、ピクセル空間を用いた初のマルチビュー拡散テクスチャ生成フレームワークと説明されています。(SIGGRAPH 2026 Conference Schedule)

衣装デザインやキャラクターマークで試したい

僕が試してみたいのは、衣装や身体にグラフィックが入ったキャラクターです。左右非対称のジャケット、袖から背中へつながる模様、身体を一周する発光ライン、顔から首へ伸びるペイント。こうしたデザインは、正面画像だけなら描けます。しかし3Dへ変換したとき、背面までどうつなぐかが難しい。PixTexのような技術が制作ツールへ入ると、一枚のデザイン画を立体へ移したあと、キャラクターを回しながら模様を調整する工程が変わりそうです。

PixTexを追うためのリンク

SIGGRAPH 2026発表ページ
https://s2026.conference-schedule.org/presentation/?id=papers_668&sess=sess112

第一著者 Yuqing Zhang氏のページ
https://zzzyuqing.github.io/

関連するTripo AI Texturing
https://www.tripo3d.ai/features/ai-texturing

Nexusは「見える3D」から「触って直せる3D」への橋

3D生成AIから出てきたモデルをBlenderへ読み込み、少し形を直そうとした瞬間に、ポリゴンの複雑さへ遭遇することがあります。

見た目は立体でも、頂点や面のつながりが編集に向いていない。

Nexus: Native Mesh Generation with Diffusionは、ポリゴンメッシュそのものを拡散モデルで生成する研究です。

従来のメッシュ生成では、頂点や面を長い一次元の列へ変換し、前から順番に生成する方法が使われてきました。

Nexusは、頂点の位置と、頂点同士をどう結んで面を構成するかを分けて生成します。頂点を粗い構造から細かな構造へ作り、その後に全体の接続関係を生成することで、複雑な三角形メッシュを扱います。(arXiv)

変な形の小道具を、Blenderで育ててみたい

生成AIでおもしろい形が出ても、そのまま完成品になるとは限りません。でも、編集できるメッシュとして受け取れれば、そこから人間が続きを作れます。角を少し丸くする。穴を開ける。パーツを切り離す。持ち手を付ける。別の生成物と合体させる。僕なら、架空の楽器、ゲーム内のアイテム、ステージ装置、メカニカルなアクセサリーを生成し、Blenderで変形させます。

AIが完成品を出すのではなく、人間が触りたくなる素材を出す。Nexusの価値は、そこにあるように感じます。

現段階では論文が中心で、一般向けの生成ツールとして公開されているわけではありません。しかし、Tripoの低ポリゴン生成やSmart Meshの将来を考える上で、注目したい研究です。

Nexusを読むためのリンク

論文
https://arxiv.org/abs/2607.13563

SIGGRAPH 2026発表ページ
https://s2026.conference-schedule.org/presentation/?id=papers_808&sess=sess121

Hanxiao Wang氏の研究ページ
https://hanxiaowang00.github.io/

Tripo APIの3D生成モデル一覧
https://platform.tripo3d.ai/docs/generation

TopoCapでは、自分の演技を「人間ではない身体」へ渡せる

最後の論文は、TopoCap: Learning Topology-Agnostic Motion Priors for Monocular Video-to-Animationです。

スマートフォンで撮った人物動画から、3Dキャラクターへ動きを移す技術はすでに存在します。

ただし多くのシステムは、人間には人間用、犬には四足動物用というように、決められた骨格を前提としています。

TopoCapが目指すのは、骨格構造の違いを越えたモーション転送です。

二足歩行のキャラクターだけでなく、四足動物、六本脚の生物、さらには無生物を含む未知の骨格へ、単眼動画から抽出した動きを移します。

そのために、5,000種類を超える骨格構造と約200万フレームを含む「Mobjaverse」というデータセットも構築されています。(SIGGRAPH 2026 Conference Schedule)

僕なら、妖怪の演技を自分で撮る

たとえば、腕が四本あるキャラクターを作ったとします。

僕自身がカメラの前で踊ったり、驚いたり、楽器を演奏したりする。

その動きを、四本腕のキャラクターへ移す。

人間の骨格と同じ動きをコピーするのではなく、キャラクターの身体構造に合わせて「演技の感じ」を渡すことができれば、キャラクターアニメーションの入口は大きく変わります。

AniGenで一枚絵から骨格付きキャラクターを作り、TopoCapで自分の演技を渡す。

まだワンクリックでこの二つを直結できるわけではありませんが、研究の方向としては、かなりわくわくする組み合わせです。

オリジナルキャラクターの一枚絵と、自分で撮影した演技動画があれば、3Dアニメーションの試作へ進める未来が見えてきます。

TopoCapを読むためのリンク

論文
https://arxiv.org/abs/2606.12153

SIGGRAPH 2026発表ページ
https://s2026.conference-schedule.org/presentation/?id=papers_934&sess=sess105

Mobjaverseデータセット
https://huggingface.co/datasets/duckduckplz/Mobjaverse

Cheng-Feng Pu氏の研究ページ
https://czpcf.github.io/

Real-Time Live!で見えた、5本がつながった先

SIGGRAPH 2026のReal-Time Live!でVASTが発表した「Create Interactive 3D Assets in Seconds!」では、観客がスマートフォンから入力を送りました。

システムは画像から、テクスチャ、骨格、アニメーションを持った3Dアセットを生成します。完成したキャラクターは、その場で共有されたアニメーション空間へ入り、ほかの参加者が作ったアセットと同じ世界に並びます。(SIGGRAPH 2026 Conference Schedule)

ここがおもしろいところです。一体の完成された3Dキャラクターを、何週間もかけて作るデモではありません。参加者が入力する。3Dになる。動き始める。同じ空間へ集まる。3D制作が、彫刻のような一方向の工程から、楽器を鳴らすようなリアルタイムの体験へ近づいています。

SIGGRAPH公式ページのタイトルと説明、またはVAST公式イベントページに掲載されたライブデモ写真。

出典URL

https://s2026.conference-schedule.org/presentation/?id=real_132&sess=sess315

VAST SIGGRAPH 2026特設ページ
https://www.tripo3d.ai/tripo-siggraph-2026.html

この週末に遊ぶなら、まず一枚のオリジナル画像から

5本すべてを一度に試す必要はありません。僕ならまず、権利関係を自分で管理できるオリジナル画像を一枚用意します。背景はなるべくシンプルにして、立体にしたい対象の輪郭が分かるようにします。キャラクターなら、腕や脚が身体と重なりすぎないポーズを選びます。最初はTripoSplatへ入れて、画像がどのような立体として解釈されるかを眺めます。

次に、同じ画像をAniGenへ入れて、骨格がどう生成されるかを確認します。

正解を求めるのではなく、「AIはこの絵のどこを身体だと思ったのか」
「どこに関節を見つけたのか」
「見えていない背面をどう想像したのか」

を観察します。

予想外の結果が出たら、元画像を描き直します。

シルエットを変える。
関節を見えやすくする。
装飾を減らす。
正面だけでなく、少し斜めの画像を作る。

この往復そのものが、新しいキャラクターデザインの方法になるはずです。