Difyで使う Stability AI API – 10分でつくる「漫画ジェネレーターSAI」

作成者: AICU Japan｜2024/07/29 20:26:57 Z

「Dify」（ディファイ）は生成AIをマッシュアップするオープンソースの開発プラットフォームです。ユーザーはノーコードでさまざまなAIアプリケーションを作れます。たとえば、チャットボット・AIアシスタントや要約・分析ツール、画像生成アプリ、計算ツールなどをつくることができます。

今回の記事ではこの「Dify」を使って、漫画を簡単に生成するためのツールを開発してみます。特に、漫画のための画像をの作り方ではなく、「ストーリーや絵コンテを考えるツール」の開発を「できるだけ短い時間」でやってみます。

作り方

1.Difyでアカウントを作成し「最初から作成」→「エージェント」

ここまでできたらいったん次の「ツール」の設定をして戻ってきます。

2.「Google Search」と「StableDiffusion」の認証

次にツールの認証設定をします。
中央上部の「ツール」を押してみてください。
https://cloud.dify.ai/tools

認証済みだとこの状態になります。

認証が終わっていない場合はSerpApiのAPIキーを取得しましょう。

SERPとは、「Search Engine Result Page」の頭文字をとった用語で、検索エンジンでリサーチしたとき画面に表示される検索結果ページのことです。Googleの検索結果についてはSERP Incが便利なAPIを無料で提供しているのでこちらを利用します。
https://serpapi.com/users/sign_in

利用規約に同意し、ユーザーアカウントを作成するだけでAPIキーを発行できます。
https://serpapi.com/manage-api-key
クレジットカードの登録等は必要ありません。

次に Stability AI のAPIキーを取得します。
こちらも「著者 Dify」とあり、Difyが開発したものでStability AIの公式ツールというわけではないようですが、非常に高品質で高画質なAPIをユーザー設定のAPIキーで利用できます。

こちらからAPIキーを取得しましょう。無料で登録でき、初回のクレジットが使えるはずです。

https://platform.stability.ai/account/keys

Stability AIが提供する「DreamStudio」と共通ですので、すでにクレジットを持っている人もいるかも知れません（ここで確認できます）。絵コンテを作っていくうえでは10ドルぐらい課金しておくと良いと思います。$10で1,000クレジット使えます。

この状態になっていれば利用できます。

3.エージェントに「手順」を教える

中央上部の「スタジオ」から先ほどタイトルを設定した「エージェント」の設定に戻ってきましょう。
https://cloud.dify.ai/apps
「手順」を書く前に下の「ツール」を設定していきます。

まずは「Google Search」を「+ADD」します。

続いて「StableDiffusion」を「+ADD」します

4.基本の「手順」を設定して動作確認

まずは以下をそのまま打ち込んでみてください

あなたはバズを生み出すネットで人気のAIをテーマにした漫画の作者です。
夏のAIアートコンテストに応募するための作品を検討しています。

ユーザが入力した内容に基づき、以下の Steps を自動的に実行していきます。

# テーマの選定
ユーザーから与えられたテーマを google_search を使い、最新の話題を調査しつつ、
・ポップでバズりそうな漫画のタイトルとアプローチを考えて
・その中でも「誰もやっていなさそうな話題」を選んで次のステップに進行します
自動で次のステップへ

# 「起承転結」を意識して4コマのシナリオを作成
上記のキャラクター設定とコンセプトに基づき、自動的に英語で画像生成用プロンプトを作成してユーザーにセリフで説明する
自動で次のステップへ

# 画像を生成
上記のシナリオ、状況描写を stability _text2Image で画像生成
自動で次のステップへ

# 以上を4回繰り返し

この「手順」はだいたいでいいです！
※AICU media 編集部では、この他にキャラクターの設定や画風の設定、起承転結のそれぞれのコマの役割などを追加しています。

5.「動作確認」
ここまで「手順」を設定したら右下の「ユーザー入力フィールド」に適当な話題を振ってみます。

ユーザ入力：「スイカはどこいった」

最新の話題を調査した結果、「スイカ」に関連する検索結果がありました。それぞれの情報を考慮して、ポップでバズりそうな漫画のタイトルとアプローチを考えます。

以下の中から、「誰もやっていなさそうな話題」を選んで4コマのシナリオを考えましょう。
1.スイカの歴史
2.「まじでスイカどこ行った笑笑」のTikTok動画
3.DASH恒例・二宮と夏祭りでの大玉スイカ消失エピソード
4.Suicaアプリケーションでのトラブル
5.スイカの知られざる5000年の歴史
6.「どこいった、僕のスイカは…」のブログ記事
7.熊本の生産量日本一のスイカ出荷最盛期の異変
さて、どの話題で漫画を作成するか選んでいただけますか？

ここで数字入力で 1～7 を入力してもいいですし、人間のアイディアを加えても上手く動作します。
試しに「「スイカ割り」とSuicaをかけて『みつからない』漫画」をユーザ入力に入れてみて、画像が生成されれば成功です！

なお「Panel」とは英語で「漫画のコマ」のことです。
「続けて」もしくは「GO」と入力すると続きを生成していきます。

動作確認なので中身のできはともかく、どんどん進んでいきましょう！

最後にストーリーの内容を確認してみます。

ユーザー「どういう話だったか台詞を教えて」

各シーンの台詞をお伝えします。
Panel 1:
キャラクター：「みんな、スイカ割り楽しいね！」
友達１：「絶対俺が一番早く割る！」
友達２：「おお、スイカの爽やかな香りがする！」

Panel 2:
キャラクター：「えっ、Suicaがない！？」

Panel 3:
キャラクター：「探さなきゃ！」
友達１：「どこ見てもないよ！」
友達２：「慌てないで、一緒に探そう！」

Panel 4:
キャプション：「スイカ割りでSuicaを失いましたが、楽しい思い出は見つかりました」

以上が各パネルのセリフです。楽しい漫画シナリオをお楽しみいただければ幸いです

「わあ！全然面白くないぞ！」
と思ったアナタ、ここからの先はアナタの工夫に任されています！
具体的な方法を簡単にお伝えします。

6.エージェントの詳細を変更

この状態では「gpt-3.5-turbo」で動いています。彼は倫理観と速度は確かなものですが、冗談をつくるのは苦手なLLMかもしれません。

最新の「gpt-4o-mini」を選んでみてください。応答のキレがぜんぜん違います。
その他「手順」については、前述の通り、起承転結の作りやキャラクターの設定、画風の設定などを加えていくことをおすすめします。

7.ツールの設定を変更

ツールの「StableDiffusion」の[i]ボタンから設定を変更することができます。まずは「Model」からAPIモデルを選択しましょう。

ここでは「Core」、「Stable Diffusion 3」、「Stable Diffusion 3 Turbo」が選択できます。どのAPIもおすすめですが、クレジットの消費や速度で考えると、悩んだら絵コンテツールの場合は「Stable Diffusion 3 Turbo」が高速でよいかなと思います。

シードは「0」のままだとランダムなので、ある程度画風を固定したいなら、お好きな数字で固定してみるといいでしょう（これは好みがあるので探っていただいたほうがよいですね）。
Aspect Ratioはつくる漫画に合わせて縦長/横長を選んでいきましょう。
ネガティブプロンプトにはNSFWを加えておくといいかもしれません。

最後に右下の「保存」を押すのを忘れずに！

8.「公開」

最後に右上の「公開」→「保存/更新」をして「アプリを実行」してみましょう。

これで、Difyユーザーに限らず単体のアプリとして起動するURLが発行されます。

スマホでも快適動作するレスポンシブ対応です。

電車の中で、フッと思いついたネタを壁打ちしてもらえるのに便利ですね！

注意：一般公開する場合は不特定多数の方に利用される可能性があります。
Difyダッシュボード内で全ての利用状況は把握できますが、APIキーの管理などに不安がある方は、仲間内だけでの公開がよいかもしれません。

AICU media 編集部での使い方

以上が「10分でつくった漫画ジェネレーターSAI」です。
4コマ漫画や起承転結スタイルだけでなく、工夫次第でもっと長いストーリー漫画にも活用できます。

より実用的な Difyによる漫画ジェネレーターの使い方も紹介しておきます。

基本は「フランスでオリンピックが始まるんだって」、「米国株安かと思ったら今度は円高かよ」といった「雑な1行」から、最新の話題を踏まえた漫画原作と絵コンテ制作を手伝ってもらえるツールを使っています。

上記のサンプルと異なる点は、

・キャラクターの設定：名前や性格、ロールや口癖、そしてStability AIのAPIで描画できるプロンプトを具体的に記述していきます。
・画風の設定：プロンプトで設定する画風について
・起承転結の役割：単に「起承転結」といっても、それぞれのコマで行うべき行動、描写、表現、見せ方は作家や対象の読者によって異なります。

このあたりをしっかりと記述しています。

ツールの設定をプロンプト側で上書きしていくこともできますが、プロンプトが長くなっていくと制御性が落ちていくので、決まったことはツールの設定に入れていきましょう。

もっと細かいことをやりたい場合は、Dify作成のツールではなく、自分でリクエストするツールを作ったほうがいいかもしれません。

「これが勝ち筋」というところまでできたらまた紹介するかもしれませんが、今回はギャラリーと、実際に遊べるURLを期間限定で公開します。

ギャラリー

画風を探求していくとこれぐらいの絵も一発で生成できるようになります。
このツールの中で探求させる方向性もありですね！

Core や Stable Diffusion 3 の画風の違いはこちらの記事をご参照ください！

コンテストに応募してみよう

現在、AICUでは
「AICU Summer Art Contest 2024」
と題した、画像生成コンテストが行われています！

募集部門は全部で3つ

応募方法

(1)「夏」をテーマにしたオリジナルAIアートを作成する
海、花火、夕焼け、夏祭りなど、あなたのイメージを自由に表現しましょう。
応募部門は「AICUキャラクター部門 #AICU_art」「#SD黄色本」「#StableDiffusionAPI」部門があります。
作品自体には動画、漫画等を交えても構いません（ビジュアルとしての採用は静止画を対象とします）解像度やレイアウトについて、詳しくは募集要項をご確認ください。

(2) 作品をX(Twitter)に投稿する
必須ハッシュタグ： #AICU 必ずつけてください
部門ハッシュタグ： #AICU_art #SD黄色本 #StableDiffusionAPI いずれかをつけてください
コンテストへの応募であることを明記し、AICU公式Xアカウント @AICUai をフォローしてください。

(3)応募フォームでエントリー完了！
エントリーフォームのURL
http://j.aicu.ai/SAC24
・作品の公開URLをエントリーします
・応募期間：2024年7月20日12:00～7月28日23:59(日本時間/予定)
・審査員(AICU media編集部) および X上にてAI[Koto]@AICUai が各ハッシュタグを巡回します