2024年7月2日、米国Runway AI, Inc.より最新の動画生成サービス「Gen-3 Alpha」がリリースされました。

公式リリースより

2024年6月17日に発信されたリリースより
https://runwayml.com/blog/introducing-gen-3-alpha/

Runwayが新たに開発した、次世代動画生成モデルシリーズの第一弾、「Gen-3 Alpha」リリースです。大規模マルチモーダルトレーニング向けインフラストラクチャでトレーニングされた Gen-3 Alpha は忠実度、一貫性、モーションの点でGen-2から大幅に進化し、汎用ワールドモデル構築に向けた大きな一歩を踏み出しました。

このページに掲載されている動画はすべて、Gen-3 Alphaで生成されたもので、編集は一切加えられていません。

https://runwayml.com/blog/introducing-gen-3-alpha/

プロンプト例

超高速で日本の都市を走る電車の窓に映る、女性のぼんやりとした反射
リオデジャネイロの裏通りを走る宇宙飛行士
海底の郊外にあるカラフルなサンゴ礁の街並みをFPVで飛行する様子
夜、ヨーロッパの古い街の廃墟となった通りを浮遊する、汚れた青い風船を追いかける手持ちカメラのトラッキングショット

動画と画像を同時に学習させたGen-3 Alphaは、Runwayの「テキストto動画」「画像to動画」「テキストto画像」ツール、モーションブラシ、高度なカメラ制御、ディレクターモードなどの既存の制御モードに加え、今後追加される構成、スタイル、モーションをよりきめ細かく制御するためのツールにも活用されます。

Runway Academy

Gen-3 Alphaには、新たに改善された社内視覚モデレーションシステムやC2PA来歴スタンダードなど、新たな保護対策も導入されます。

きめ細かな時間制御

Gen-3 Alphaは、高度な描写力と時間的な密度を持つキャプションでトレーニングされており、想像力豊かなトランジションやシーン内の要素の正確なキーフレーミングが可能です。

フォトリアリスティックな人間

Gen-3 Alphaは、様々なアクション、ジェスチャー、感情を持つ表情豊かなヒューマンキャラクターを生成することに優れており、新たなストーリーテリングの可能性を広げます。

アーティストの、アーティストによる、アーティストのための

トレーニングGen-3 Alphaは、研究科学者、エンジニア、アーティストの分野横断的なチームによる共同作業でした。幅広いスタイルと映画用語を解釈できるように設計されています。

プロ向けカスタマイズ

Gen-3モデルファミリーの一環として、Runwayは、大手エンターテイメント企業やメディア機関と協力し、Gen-3のカスタムバージョンを作成しています。

Runway Gen-3 Alphaを試してみる

Runway Academy

ダッシュボードから「Upgrade to try」で試します。

気になる料金は…？

1 年につき$144.00、月額15ドルです。

月次プラン（日本語）

スタンダードプラン編集者1人につき月額 $15毎月請求
625クレジット/月
購読開始日から毎月625クレジットにリセットされます。
必要に応じて追加購入可能

Gen-3 Aplha（テキストからビデオへ）最大10秒
Gen-1とGen-2の解像度アップスケール
Gen-1、Gen-2、Gen-3 Alphaで透かしを削除
Gen-1 (ビデオからビデオへ) 最大15秒
Gen-2 (テキストからビデオ、画像からビデオ) 最大 16 秒 (Extend Video 経由)
無制限のビデオエディタープロジェクト
100GBのアセット
4Kおよびグリーンスクリーンのアルファマットでビデオエディタをエクスポート
2K画像エクスポートとフル3Dテクスチャオプション
カスタムAIジェネレータのトレーニング（プランには1回のトレーニングが含まれます）

購読することで、利用規約とプライバシーポリシーに同意したことになります。

年次プランにすると月額$12から開始できます。さらにProプラン月額$35にはPNG画像に加えてHDR画像フォーマット「ProRes」が使えます。

サンプルにあるプロンプトが再現できるか実験

https://d3phaj0sisr2ct.cloudfront.net/site/videos/gen-3-alpha/carousel-01/gen-3-alpha-output-004.mp4

Handheld tracking shot at night, following a dirty blue balloon floating above the ground in abandon old European street.
(ヨーロッパの古い街角で、地上に浮かぶ汚れた青い風船を追った夜の手持ち撮影)

ちなみに公式にスペルミスがありました（ballon）

プロンプトガイドはこちら

https://help.runwayml.com/hc/en-us/articles/30586818553107-Gen-3-Alpha-Prompting-Guide

1分程で生成されました。

RunwayEverything you need to make anything you want.app.runwayml.com

最大10秒を選ぶことができます。

通知を許可すると生成完了時に通知されます

安全性確認も含めて生成実験

素晴らしい作品もたくさん作れますが、苦手な動画や安全性を確認していきたいと思います。

まずは日本人がどのように描かれるか興味深いです。

Japanese boy and girl are dancing in a kitchen.
(キッチンで踊る日本の少年少女)

Runway Japanese boy and girl are dancing in a kitchen.

難度が高いといわれているこのプロンプトはいかがでしょう

Moonsault by gymnast by wide angle
(体操選手のムーンサルトを広角で)

Runway Moonsault by gymnast by wide angle

ディープフェイク対策なども確認してみます。

Japan’s prime minister is jumping in the pool.
(日本の総理大臣がプールで飛び込んでる)

RunwayEverything you need to make anything you want.app.runwayml.com

より具体的にしてみます。

Japan’s prime minister jumps into the pool in the Olympic diving competition.
(日本の総理大臣がオリンピックの飛込競技でプールに飛び込んでいる)

Runway Japan’s prime minister jumps into the pool in the Olympic diving competition.

Japan’s prime minister wins gold medal in the Olympic weightlifting competition by successfully lifting 150 kilograms of weights.
(日本の総理大臣がオリンピックの重量挙げ競技で150キロのウェイトを成功させ金メダルを獲得)

顔の一貫性と握り手のおかしさはありますが、服や観衆、ライティングの一貫性などは見事ですね。