クリエイターに訊く生成AIと倫理。シリーズ第3回は生成AIの啓蒙および教育、エキスパート養成に取り組む 合同会社BUNSHIN（https://bnsn.jp/ ）COO 安藤直紀さんに生成AIクリエイティブに潜む「ダークパターン」を数種、ご寄稿いただきました。
おとぎ話「中旅の鏡」～魔法の鏡と城の理髪師
ある王国に「中旅の鏡」と呼ばれる鏡がありました。その鏡は、どんな顔にも美しい髪型を重ねて映し出す不思議な力を持っていて、鏡をのぞき込むと、誰でも美しい御姿を映すのです。ひょんなことから中旅の鏡を手に入れた理髪師は、その鏡を使い、自分の元に訪れた客の仕上がりを見せていました。
鏡を通して見える華やかな髪型は城下町の人々が知るところとなり、理髪師のもとに多くの人々が集まりました。
AI活用における倫理的課題
ChatGPT3.5の登場から生成AIのサービスが乱立し、社会に急激な変化を与えています。人間が脈々と作り上げてきた社会の重要な活動である社会財の生産活動と創作活動の双方において、生成AIのインパクトは様々な恩恵をもたらしています。
しかしながら、その生成AIの性能向上は当初の想定を遥かに超えており、昨日夢見ていたことが今日に実現するといった進化スピードは、適切なリスクアセスメントが間に合わず、社会に害をもたらすのみならず、生成AIの普及を妨げる悪印象を植えつけかねません。
法治国家では、入念な検討と議論を経て法的枠組みを整備しますが、生成AIの進化スピードとポテンシャルを鑑みると到底追い付くことはできないため、まずマナー、エチケットとしての倫理規定が先行して求められるべきです。こうした倫理規定は、技術の発展が人間社会の秩序や信頼関係を損なわないための初期的な「指針」として重要な役割を果たし、また整備される法的枠組みの重要な基盤になります。
法整備前に利用者の思惑が先行したために社会の甚大な影響を与えた例としては、アメリカにおけるオピオイド危機が挙げられます。たった38人の臨床実験によって依存性のない画期的な鎮静剤として販売開始されたオピオイド系鎮静剤オキシコドンは、その処方の手軽さと鎮静効果に加えて、依存性の高さから医療業界全体で簡単に売り上げが上がること、またオキシコドンの転売による副収入の恩恵があるにもかかわらず暴動や犯罪を誘発しない安全な経済合理性によって瞬く間に拡がり、後手に回った法整備では防ぎようのない脅威としてアメリカの社会生活を揺るがしています。
生成AIが非常に強力で今後の社会において重要な技術であるがゆえに、倫理なき導入は社会を後退させます。その取り扱いには慎重であるべきです。
過去にAICUでは「画像生成AIクリエイター仕草」を制定されていますが、社会に資する人間の仕草として、以下の問題点に対応することも必要だと考えます。
(1) プライバシーと個人情報保護の問題
生成AIの学習データには、膨大な個人情報が含まれている場合が多く、それが誤用されるとプライバシー侵害につながるリスクがあります。例えば、ユーザーが意図しない形で個人情報がモデルの生成に使用されたり、データの学習過程で不正に利用された情報が生成されてしまうこともあり得ます。このようなリスクを防ぐためには、個人情報の匿名化やデータの利用における厳格な管理体制が不可欠です。
(2)偏見や差別のリスク
生成AIは収集した学習データの内容と強化学習の方針に基づき出力を生成するため、データに偏見が含まれている場合、それが出力結果にも反映されます。特に、人種や性別、年齢、社会的背景などについては強化学習で是正されるため、不自然な出力結果が生じるリスクがあります。2024年10月時点の主要なLLMはポリティカルコンパスで経済左派、政治的には自由主義にポジショニングされます。これはシリコンバレーの地域的なバイアスを反映していると考えることができ、多様性の元に公平な価値観を持っているとは言えません。
(3)透明性の欠如と説明責任
生成AIの出力は、複雑なアルゴリズムと膨大なデータの処理に基づいて生成されるため、その生成プロセスがブラックボックス化しがちです。最近ではSTaR(STaR: Self-Taught Reasoner)という技術を活用し、理由付けを行う取り組みもありますが、実際の推論プロセスを隠蔽し、出力結果表示用の推論プロセスを生成しているサービスもあります。これにより、なぜ特定の結果が得られたのかを説明することが難しくなり、Pythonを用いた計算に落とし込めるプロンプトならともかく、特に法的や倫理的な問題を扱ったプロンプト入力の場合、説明責任が果たしづらいという課題が浮上します。透明性を向上させ、利用者がその出力を信頼できるようにするには、生成過程やデータの出所について適切に説明できる仕組みが求められます。
(4) 顧客体験の損失や信頼の低下
そして、重要な点が、生成AIに起因するの特性や性質ではなく、それを操作する人間によって顧客体験を損なうケースもあります。
今回のエッセイではこの4つの視点を元に、生成AIを活用するにあたって起こりうる顧客体験の損失や信頼低下について取り上げたいと思います。
生成AIのダークパターン: 顧客体験の損失や信頼の低下
生成AIの幅広い能力から画像や映像の生成に特化したサービスも登場しており、それらは特にデジタルリテラシーの高くない人にとってChatGPTやCopilotのようなサービスよりも馴染みやすい魅力的な能力を持っていると感じます。
当初は文化バイアスが強く出ていたものの、日を追うごとにサービス品質が向上し、MidJourneyやImageFXはアジアから見たアジア人の美しさに合致したイメージが出ることから、日本国内における様々なビジネスをビジュアルで表現するためのツールとして重用されています。
しかし、自身の提供する事業でAIを活用しようとする場合に、顧客体験を損なうケースがあります。 私はこれをAIダークパターンと呼んでいます。
AIダークパターン1: ヘアサロンのAI活用における顧客体験損失の例
ここに表示されている女性は全てMidjourneyで出力しています。個人的な好みを反映したモデルを、使用料や撮影技術を気にせずに無限に出せることはヘアサロンにとって大きなメリットです。見映えがいいしブランド失墜となる不祥事も起こさない理想的な宣伝素材です。
しかしここで問題になるのは「これらのモデルをどのような文脈で使用するか」です。
ヘアサロンでは髪を切るというサービスを提供するのに際し、カウンセリングと実際の施術の2つのフェーズがあります。
これらの画像を「サンプルとして提示」しカウンセリングを行うことは何の問題もありません。数多くのサンプルが整理されていれば、来店者にインスピレーションやアイディアを与えながらカウンセリングができます。細かなニュアンスも伝えやすいでしょう。
しかし、ヘアサロンにとってこれらの画像を使用する理由がもう一つあります。サロンに所属するスタイリストの実績として使用することです。様々な思惑を胸に来店するお客様にとって、担当スタイリストの腕前は一番気にするポイントです。この「スタイリストの実績として提示する」場合はどうでしょうか？ 当然ながらAIで作られた画像はスタイリストの施術能力を反映したものではありません。しかし、現実と見分けがつかないほど品質の上がった画像生成AIでは、そう遠くない将来に、AIだと見分けがつかない段階が訪れます。これらを暗黙的に使用することで、来店者を騙すことになります。 レビューで低評価がついたとしても、情報をよく読まない人、また頻繁に新店舗として評価をリセットしてしまう場合、それらがAI悪用の抑止力にはなりません。たとえサロン側に悪意がなかったとしても、実績とサンプルの明確な線引きをするべきです。これが理容業界におけるダークパターンです。
同じようなダークパターンとして、タトゥースタジオでAIを活用する場面でも同じことが言えるでしょう。また美容整形業界における施術のBefore / Afterでも実績を詐称する悪用が可能だと思います。
(筆者によるMidjourney生成)
AIダークパターン2:アパレルブランドのAI活用における顧客体験損失の例
ファッション・アパレル業界は生成AIによる事業構造転換が大いに期待されている業種の1つです。しまむらがAIモデルLuna（るな）を採用して話題になったことも記憶に新しい。
この業界は視覚的な美しさを扱うため、商品のプロダクションプロセスと合わせて、流通や販売を助けるために大掛かりな商材撮影が必要であり、ビジュアルコミュニケーションが要であるため販促費の中でも削ることが難しかったのです。生成AIを活用すれば、商材を手近な場所で撮影した合成用素材を元に、その背景や顔をAIで生成編集して希望通りの宣材写真を調達することが可能です。
また、昨今のSDG'sを受けて、必要なだけを製造調達するオンデマンド生産がサステナブルファッションの文脈で注目されていますが、この注文フェーズにおいてもAIを活用することが可能でしょう。
(以上2枚 筆者によるMidjourney生成)
しかし、このアパレル業界での活用にもダークパターンが存在します。
アパレス業界ではトレンドを形作るための純粋理論、コンセプト発表の場としてコレクションが存在しますが、そのコレクションの場で提示するコンセプトを検討するために生成AIを用いるのであれば大いに役に立つでしょう。
しかし、画像生成AIで描かれる服イメージは人が着るものとしての実用性、製造可能性を無視した出力結果になる可能性があります。1枚目の画像中央のモデルの着る服は他のモデルとトンマナが同じですが、これはどうやって着るのでしょうか？ツナギにしてはフードが厄介です。背中にジッパーがついていたとしても快適なストリートウェアとは言えなそうです。現状の生成AIの学習範囲では着用可能性や構造などを理解しておらず、到底製品化できないアイテムが登場する可能性があります。
2枚目は仮想コスプレブランドのビジュアルイメージを想定していますが、果たしてその製造者はこのクオリティのコスチュームを作れるのでしょうか？先に述べたヘアサロンと同じ課題がここにも存在します。アパレル業界ではそのアイテムのフォルムを実現するための裁断パターン縫製手法、生地の品質が差別化要因として存在しており、実現可能性を先行して検証していない画像を使ったルックブックには意味がありません。AIで出力した着衣を忠実に再現するプロセスを取り「このプレゼンテーションが、お届けする実物と異なる可能性がある」と明記しても、実際の商品ではないので消費者の落胆は大きいでしょう。これもまたダークパターンと言えます。このケースにおいても生成AIの作り出す画像はオートクチュールのコンセプトすり合わせや完成イメージの把握に留めるべきでしょう。
AIダークパターン3: 不動産、住宅関連業界のAI活用における顧客体験損失の例
次に不動産、住宅関連業界でも考えてみましょう。ユーザーの入力した写真を用いて模様替えをした出力結果を返すAIサービスがどんどん登場しています。様々なスタイルを選ぶことができ、特にリフォーム分野ではこの模様替えAIサービスのニーズが高くなることは容易に予想できます
元画像がこちらです（ぼかしています）。
プリセットを指定することで専門AIがテクスチャを当て模様替えの結果を出力します。
出力結果を見ていただきたいのですが、まだ学習データが少ないという言い訳はできますが、模様替え1枚目の方では、部屋の高さが明らかに日本のものではない。日本では天井高は2.4m、天井板を取っても2.8mが一般的です。この出力結果では3.5m以上あるのは明らかで、4m近い天井高のように見えます。日本ではちょっとした工場と同じ天井高です。天井高は圧迫感に影響を与えて、部屋の快適さをコントロールする重要な要素です。グローバルな住宅事情を学習しているためか、模様替えのレベルを超えた誇張/歪曲表現をしており日本の消費者に大きく誤解を与える結果となっています。
こちらの出力結果では、天井高の歪曲表現はかなり軽減されているものの、この部屋の作りでは実現できない隠しライトがあり、窓の幅を既製品の約1.9mとすると、壁収納とサイドボードのサイズがおかしく見えます。壁収納とサイドボードといった調度品のサイズ感も圧迫感に直接影響し、部屋の快適さをコントロールする要素です。隠しライトは高級感を演出する要素であり躯体から10cm程度の表面位置を変更する必要があります。この場合、躯体のサイズを変更する画像処理か、人間の方で認識を変えることになりますが、エンドユーザーがこの出力結果から隠しライトを抜いた完成形、高級感が落ちるリフォームを想像することは非常に難しいでしょう。この場合、説明するだけでは納得してもらうことは難しいでしょう。
このライティング処理はおそらく中国の近代的な集合住宅のデータを多く学習していて、日本の梁構造が表出した構造特性を理解していないことを出力結果から感じます。
これらの例のように、対価を払うことで手に入れられるサービス/商材について、現実と大きく乖離したイメージを提示し商談を行うこともダークパターンとなりえるでしょう。
AIダークパターン4: 建築業界のAI活用における顧客体験損失の例
生成AIの描画能力は、人間の想像力を超えた素晴らしい出力結果を生むことができます。特に巨大建築という分野では、あのザハ・ハディドの作るアイディアのような美しい造形をも生むことができます。
ですが、ザハの称号である"Unbuild"と同じように、実際に建築が可能かどうかは、生成AIは検討することはありません。1枚目の画像の場合、外経にそって緩やかに描かれる外周構造の形状では天井を支えられないように感じます。スタジアムとしての利用を考えると、内部に支柱を据えるわけにもいかないでしょう。また天井のアーチ構造もどうやって重力に抗って円弧を維持するのか、設計者を悩ませることになりそうです。2枚目の画像もまた。美しいモールでありながら、全体のイメージを大きく左右する開放感のある天井の構造がこのイメージのとおりに実現できるのか。
我々の世界は物理法則が支配しており、夢や理想でその法則が覆るわけではありません。東京オリンピックの新国立競技場を巡るデザインコンペで生じた混乱を繰り返さないこと、メンテナンスの観点からも、AIのもたらす甘美な誘いに流されることは好ましくありません。実現できない構造物をエンドユーザーに提示することはダークパターンと言えます
(以上2枚 筆者によるAI生成)
AIダークパターン5: 飲食店における顧客体験損失の例
飲食店においても、ダークパターンを指摘することができます。
実際に提供しているメニューをより誇張した完成品イメージをAIを活用して調達するといったケースです。実際に提供されることのないクオリティをさも提供できるかのように誤解させることが、顧客体験を失なわせることになります。米国のハンバーガーチェーンで、メニュー写真と実際の提供されるアイテムのクオリティ差で訴訟になっていますが、それと同じ理由でグルメサイトで飲食店の不満を見かけることになるかもしれません。
写真と実際に提供されるものが全く同じになることがないのはお客様も承知です。ですがパティの枚数が違う、トマトの漬け合わせがない、チーズのボリューム、プレートに対するサイズ感など、ごまかしてはいけない点が存在します。
一方で、ドリンクメニューの場合には大きな影響が出ないように感じます。これは見た目に大きな差が出ないからでしょうか?想像してみましたが、フロートまではギリギリOK,パフェだと問題になりそうです。また、カフェオレの模様など、バリスタの技量が出る点については抵抗感があります。
(以上2枚 筆者によるAI生成)
AIダークパターン6: ディープフェイクによる誤情報発信による顧客体験損失の例
このTiktokに映る女性は、ウクライナ在住のYoutuberのOlga Loleikから作られたディープフェイクアイデンティティです。Olgaの顔は中国在住のロシア人Youtuber、Natacshaとして利用され、流暢な中国語を話し中国を称賛していますが、Olga自身は中国に行ったこともなく中国語を話すこともありません。
https://www.tiktok.com/@goufei2/video/7322654139828178209
How AI turned a Ukrainian YouTuber into a Russian
この成果はfofrなどで顔のすげ替えを行ったイメージを用意し、Heygenなどのリップシンク機能を持ったアバターAIに橋渡ししてシナリオを喋らせることで作成が可能になります。
このようにして用意されたディープフェイクアイデンティティがソーシャルメディアでアカウントを作り、さも現実の人間のふりをして虚偽の情報発信を行うことで、情報や事件を捏造したり、サービスや特定の飲食店の評判をコントロールすることが可能になります。これから人由来の情報伝達と動画が広告のスタンダードになっていく中で、自分の抱えるサービスや店舗に有利になるような情報を捏造することが、そのサービスや店舗のみならず、AIによってもたらされる素晴らしい社会自体の信頼を損ねる結果となってしまいます。
おとぎ話「中旅の鏡」の続き
（冒頭のおとぎ話「中旅の鏡」の続きです）
……しかし、実際に理髪師の手で仕上げられた髪型は、鏡が見せた華やかな姿とはどこか違い、理髪所を出た人々は困惑します。人々は鏡に映るのが本物の技術だと信じていたため、鏡の映す「美しさ」と他者からの評価の違いに不満を抱き始めたのです。
「ここを出る時に自分の目で確かめたでしょう、それが真実。他人の言葉なんて気にするんじゃないよ。帰るまでの間に狐に噛まれたり風や埃で崩れたのではないかね」
そうして名を挙げた理髪師の評判はいよいよ王様の耳にも入りました。
王様は理髪師を城へと招き入れこのように命じました。
「理髪師よ、どうやらそなたの技は天下一品のようだな。わしの髪も、その手で仕上げてみせてくれ」
街で一番の理髪師としての成功は目の前。「中旅の鏡」を携えてお城へ向かった理髪師は、自分の全ての能力を使って取りかかりました。仕上がりを鏡で確認した王様は、あまりの素晴らしさに大喜び。王国中に自慢しようと、早速王妃や大臣たちも呼び寄せました。しかし、集まった誰もが困惑していました。理髪師は慌てて言い訳をし、「陛下、この世の美しさは儚いものでございます。鏡で見た美しさこそが真実、誰よりもご自分を信じてください」と言葉を濁しました。
やがて人々は次第に真実に気付き始め、城下町の人々も理髪師が「中旅の鏡」に頼っていたことを知るようになりました。そして、評判はたちまち失墜し、「本当の技術ではない見せかけの美しさ」だと王国中に知れ渡ってしまったのです。
AIの社会実装の本質
さて、ここまで様々なAIダークパターンを提示しましたが、これらの共通項に気づきましたでしょうか？
生成AIの生成物は（少なくとも現時点では）デジタル空間から抜け出すことはありませんが、情報伝達の目的で、飲食、アパレル、建築など、物理世界でタンジブルな生産財を交換・流通させる事業と簡単に融合させることができます。その関係性を利用してAIの高い超現実性がサービス提供者の欲を刺激し、サービス提供者が自身をよりよく見せるために悪用することで最終消費者の正当な権利を侵害するという構造があるといえます。生成AIを使ってコンテンツを生成した人に悪意がある無しに関わらず、そのコンテクストによっては、社会悪となり様々な信頼を損ねることになります。
第二次世界大戦後から拡がり始めたコンピューターによって人間が途方もない計算能力を獲得したことから、インターネットによる情報空間の創出と情報提供が始まり、ソーシャルメディアによって消費者が自分自身を電脳空間へ転写し経済活動の場として揺るぎのない存在となり、VRによってその電脳世界と物理世界との界面が溶け始めている。生成AIはその次の段階を担っていると言えます。
今までのデジタルテクノロジーの進歩は結果として物理的な空間 / 実体と観念的な世界 / 概念の融合に取り組んできたといえます。AIはこの流れの延長上に、画像生成AIがありもしなかった世界を写し、音声AIが存在しない人の言葉を話し、音楽AIが誰も歌ってこなかった歌を作るようになっています。
人間の記憶のいい加減さを利用し、ありもしなかった写真や歌が、人々の思い出を捏造する、電脳世界が幻想以上の何かとなり、こちら側の世界を浸潤する時代が到来しています。
生成AIは、今までの試みとは異なる地平で実体と概念を融合させる極めてユニークなテクノロジーなのです。
その特性故に「存在しない現実」を作り、「達成できない品質」が他の人を惑わし、社会に害悪をもたらすという事実に向き合うことが必要です。少なくともこの技術の可能性に取り組むものはこのリスクに自覚的であるべきです。
AI活用倫理マニフェスト
生成AIはまだその潜在能力の全貌を明らかにしていないでしょう。そして社会/事業への影響も、過去にないスピードで過去にない大きさのインパクトを与えると思います。
この変化と可能性をスポイルさせることなく、社会の発展へと活かすことが何よりも重要なことではないでしょうか。
冒頭にも記しましたが、生成AIの進化スピードが早過ぎて法制化を待つことは非現実的であるため、
誰もがCX(Customer Experience)を扱うものとして、顧客からの信頼を損ねないように、AIの活用の仕方に注意を払うべきです。AICUさんの提唱される「画像生成AIクリエイター仕草」とマージするか別にするかは議論の余地がありますが、
-
公平性と偏見排除
-
透明性と説明責任の確保
-
プライバシーと個人情報保護の保護
-
安全性とセキュリティの維持
-
責任の所在と管理
に加え、「社会信頼の維持」の観点を加えて、ガイドラインを設け信頼できる社会の維持に貢献できるようにしたいですね。
人は簡単にダークサイドに落ちます。自分の生きる糧を得るために他人を騙すことに鈍感になることのないよう、未来の先駆者として、その生成物の取り扱いに自覚的になりましょう。
編集部より
この原稿は2024年10月頃にご寄稿いただいたものですが、最近、本当に美容室カットモデルに生成AIが使われている例が視界に入るようになってきました。むしろ見破る能力のほうが重要になるのかもしれません。
謝辞
合同会社BUNSHINの安藤と申します。生成AI教育とコンサルティングを生業とさせていただいております。このたびご機会をいただき寄稿させていただきました。
BUNSHIN COO(最高執行責任者) 安藤直紀
デジタルハリウッド社で企業研修および産学官連携事業を担当の後、フリーランス”ARCHIT”と独立。デジタルマーケティングの上流から下流までを包括して運用することを生業とし、戦略立案から実商品の企画開発まで手掛けている。現在は自身の事業領域でAIを活用することに情熱を注いでいる。デジハリオンライン講師をはじめ、法人研修講師としての実績も豊富。
https://bnsn.jp/
Originally published at https://aicu.jp on Jan 3, 2025.
Comments