VRoid Studio を使ってキャラクター LoRA を作ろう！

つくる人をつくる！AICU media 知山ことねです。
突然ですが、 AI を使って漫画を創作したい！と思ったことがあるそこの貴方！
こんな壁にぶつかったことがあるのではないでしょうか。
「同じキャラクターが二度と生成できない！」

漫画を描くにはキャラクターの特徴を固定して生成する必要がありますよね。そんな時に役立つのは、特定のキャラクターを学習させたいわゆる「キャラクター LoRA」です。すでにそういった LoRA を制作したことがある方もいるかと思います。

例えば先日発表されたBlendAIさんの「 デルタもん」は、 二次創作が AI 限定 ということもあり、多くの人が LoRA の制作を行っていました。

しかし、いざ LoRA を作ろう！と思っても、そもそも学習元の画像がないとキャラクター LoRA が制作できない…という第二の壁が立ちはだかります。
AI で生成した絵を学習に使用する場合、特徴的なキャラクターを作ろうとするほど生成が難しくなり、データセットの枚数が足りなくなってしまいますよね。

しかしそんな時におすすめなのが、「VRoid Studio」です！

VRoid Studio とは？

「VRoid Studio」とは、株式会社 pixiv が運営している 3D キャラクター制作ツールです。PC、タブレット端末を用いて、無料で感覚的に3Dのキャラクターを制作することができます。

3D初心者でも簡単
たくさんのプリセットアイテムとパラメータを搭載。ゼロからモデリングをしなくても、アイテムを選んで組み合わせ、パラメータを調整するだけでキャラクターメイキングができます。

オリジナリティを表現

絵を描くように髪型を直感的にモデリングできるだけでなく、3Dモデルに直接デザインを描いて、こだわりの表情や瞳、服のデザインを制作可能。普段のお絵かき感覚で3D創作に取り組むことができます。

無料で利用可能

VRoid Studioの利用は無料。煩雑なセットアップもなく、すぐにインストールして始められます。もちろん制作したモデルもさまざまな用途で無料で使うことができます。

VRoid Studio 公式サイト

今回はこの VRoid Studio を用いてキャラクターを作成、そのスクリーンショットを撮影し、それをもとにキャラクター LoRA を制作します。

キャラクターを作る

まずは 公式サイトから VRoid Studio をインストールしましょう。
Windows, Mac, iPad に対応しています。

ソフトをインストールできたら、画面左「新規作成」の＋アイコンを選択して新しいモデルを作成します。

男女を選択するとモデルのエディタが開きます。

・画面上のタブ
顔、髪型、体形、衣装、アクセサリー、ルック（アウトラインの細さや陰影の質）のメニューを開きます。

・画面左のメニュー
顔や身体のパーツのプリセットを選択します。

・画面右のパラメータ
プリセットから選択したパーツの大きさやバランス、ディテールの微調整を行います。

またモデルを回転などする場合の操作は以下の通りです。
ショートカットキー — VRoid ヘルプ (pixiv.help)

操作方法を覚えたら、好きにキャラクターを作ってみましょう。
私はチャイナな女の子を作りました。

撮影

モデルができたら、モデル編集画面の右上のカメラのアイコンを選択し、撮影に移ります。

ここでは、キャラクターにポーズをとらせたり、動かしたりして撮影することができます。

・画面左のメニュー
表情、ポーズ、背景の編集を切り替えます。

・中央
キャラクターが動きます。このスクリーンショットを撮ります。
画面右下の青いカメラのアイコンをクリックすると、画面中央のキャラクターのみのスクリーンショットを保存することができます。

・画面右のメニュー
キャラクターにとらせるポーズ、表情を選択します。

表情やポーズ、視点を変えながら撮影していきましょう。
この画像にバリエーションを持たせるほど、LoRA を制作した際にとることのできるポーズが柔軟になります。

✨VRoidでキャラクターを作るときにはこちらの書籍もオススメです

📖3Dマイキャラメイキング VRoidでキャラを作ろう！ ペーパーバック — 2023/9/18 佐久間蒼乃 (著)

今回は25枚撮影し、学習の偏りをなくすためにコピー、左右反転を行って50枚の画像を用意しました。

学習

データセットが用意できたら、フォルダにまとめて他の LoRA と同じように学習を行います。もちろんローカル環境でも Colab でも可能ですが、初めて LoRA を制作する方は khoya-trainer の Colab notebook をおすすめします。

これは kohya-ss さん ( https://github.com/kohya-ss ) が制作した sd-scripts ( https://github.com/kohya-ss/sd-scripts?tab=readme-ov-file ) を Linaqruf ( https://github.com/Linaqruf ) さんが Colab notebook で使用できるようにしたものです。

Stable DiffusionのLoRA活用方法、こちらもおすすめです。

zipファイルをドライブにアップロードし、手順に沿ってパスや LoRA のファイル名などを入力して実行すると学習された LoRA を制作することができます。

この辺の流れはいずれ日本語の解説版を作って公開したいです…！
AICU mediaメンバーシップ掲示板でリクエストいただけるとプライオリティが上がるかもです

完成！

完成です！実際に生成した画像がこちら。
モデル anything-v4.5-pruned と awpainting_v12
プロンプト absurdres, masterpiece, best quality, ultra detailed, 1girl, chinese clothes, double bun, dynamic pose ,smiling ,white background
ネガティブプロンプト worst quality, low quality, bad anatomy, extra arms, easynegative

作ったキャラクターの特徴が再現されていますね！
また、もっと平面的なイラストを生成できる LoRA や ちびキャラ用の LoRA を使用すれば、4コマ漫画などで使いやすそうなイラストを生成することもできます。

使用した LoRA「chibi comic style」

生成画像

かわいいちびキャラを生成することができました！

VRoid Studio を使うことで学習元画像の画風やキャラクターを完全にそろえることができるので、キャラクターの再現度が高い LoRA を制作することができます。

これで漫画用キャラ LoRA 制作はばっちり！皆さんもぜひ試してみて下さい。
魅力的な作品ができたらこちらのメンバーシップ掲示板でご共有ください！

Stable Diffusion — ControlNet入門はこちらから

img2img 入門シリーズはこちらから。

※本ブログは発売予定の新刊書籍に収録される予定です。期間限定で先行公開中しています。
メンバー向けには先行してメンバーシップ版をお届けします
Stable Diffusionをお手軽に、しかもめっちゃ丁寧に学べてしまう情報をシリーズでお送りします。
メンバーは価値あるソースコードの入手や質問、依頼ができますので、お気軽にご参加いただければ幸いです！

この下にGoogle Colabで動作する「AUTOMATIC1111/Stable Diffusion WebUI」へのリンクを紹介しています。
メンバーシップ向けサポート掲示板はこちら！応援よろしくお願いします！