!!! サイト改修中のため表示が乱れる場合があります(1月末頃まで) !!!
画像生成AI / スタイル変換

4-11. StyleGANとFaceSwapで自分と美人を合成したアバターを作ってみた

やること

前回に引き続きStyleGANで遊んでいます。

メタバースだとか言われますが、正直なところ自分をそのままアバター化してもテンションが上りません。現実をそのまま仮想空間に持っていっても第2の現実が待っているだけですから。できることなら広瀬すずや橋本環奈のような美人の力を借りて、「美人ってこんな人生なんだな」という体験をしてみたいわけです。違います。仮想空間において「顔も含めて」自在な表現ができたら、自己表現の幅が広がるなと思うわけです。

今回はStyleGANで自分と広瀬すずと橋本環奈を混ぜた顔写真を生成して、さらに3Dアバター化してみました。

参考文献

StyleGAN3

GitHub - yuval-alaluf/stylegan3-editing: Official Implementation of "Third Time's the Charm? Image and Video Editing with StyleGAN3" (AIM ECCVW 2022) https://arxiv.org/abs/2201.13433
Official Implementation of "Third Time's the Charm? Image and Video Editing with StyleGAN3" (AIM...

Headshot(Character Creatorのプラグイン)

写真や画像から3Dモデル生成 | Headshot 2
Headshot 2は、一枚の写真と画像から3Dモデルとヘアを簡単に作成でき、さらにAIパワーを活用して写真や3Dモデルから高度な3Dリアルタイムデジタルヒューマンを作成できます。

FaceSwap

GitHub - ai-forever/ghost: A new one shot face swap approach for image and video domains
A new one shot face swap approach for image and video domains - ai-forever/ghost

顔写真はぱくたその「メイク前のすっぴん女子」を使用させていただきました。感謝します。

メイク前のすっぴん女子|フリー素材のぱくたそ
メイク前のすっぴん女子の写真は美容・スキンケア・すっぴんに関連する人物のフリー素材です。高解像度(6720px×4480px)の素材を無料でダウンロードできます。

StyleGANで自分と美人を合成する

おっさんの顔でやるとブラウザの戻るボタンに手がかかってしまうので、フリー素材を使用させていただきます。広瀬すずと橋本環奈は適当な5枚をStyleGANで平均しておきました。

StyleGANで混ぜてみました。

変化は小さいですがよく見ると違いがあります。どうなんでしょう。メイクでこれくらいは印象を変えられちゃいますかね。やっぱりおっさんでやったほうが良かったかも…。

合成写真を3Dアバター化する

顔写真から3D頭部モデルを作成するHeadshot(Character Creatorのプラグイン)に入れてみました。

髪を付けて少し輪郭を手修正してみます。元画像に似たような髪がなかったので適当な髪型を選びました。

どうでしょう。目や眉の印象が違いますし、なんかツヤツヤしていかにもアバターという感じがします。

合成写真をFaceSwapで3Dアバターに貼り付ける

別の方法として、FaceSwapで3Dアバターの画像に貼り付けてみました。(画像的に貼っただけで3Dアバター化したわけではありません)

ちょっと小麦色に焼けたままですが、目元はHeadshotより自然な気がします。肌の色と髪型を修正すれば使えるかも…?アバターを喋らせる動画を作成する場合はこの方法でも行けそうです(所謂DeepFake動画)。

さいごに

一応補足しておきますと、美人が良いとか、ルッキズムな主張を持っているわけではありません。これまではファッション等で自己表現したいと思っても、あくまで「生まれ持った顔」という制約の中でしかできませんでした。それが深層学習と3Dモデルの力を借りることで、顔も含めて表現可能になるわけです。制約があるからこそ価値があるという考え方もあれば、無差別級で自由な表現をしたいという価値観もあるということですね。

リアクションのお願い

「参考になった!」「刺激された!」と思ったらぜひリアクションをしましょう。エンジニアの世界はGive and Takeによって成り立っています。これからも無料で良質な情報にアクセスできるよう、Giveする人への感謝をリアクションで示しましょう!

この記事をシェアする

自身のブログ等で使用する場合は引用を忘れずに!

また、寄付も受け付けています。コーヒー1杯でとても喜びます(*˘︶˘*)

 Amazonでギフト券(アマギフ)を贈る

こちらのリンク から金額を指定してお贈りください。(デフォルトで10000円になっているのでご変更ください)

配送:Eメール
受取人:staffあっとvigne-cla.com
贈り主:あなたのお名前やニックネーム
メッセージ:◯◯の記事が参考になりました。など

のようにご入力ください。見返りはありませんのでご了承ください。

 Amazonで食事券(すかいらーく優待券)を贈る

500円 1000円 2000円 5000円 からお贈りください。

配送:Eメール
受取人:staffあっとvigne-cla.com
贈り主:あなたのお名前やニックネーム
メッセージ:◯◯の記事が参考になりました。など

のようにご入力ください。見返りはありませんのでご了承ください。

 その他、ギフト券やクーポン券をメールで贈る

デジタルのギフト券/クーポン券はメールアドレス(staffあっとvigne-cla.com)までお送りください。受領の返信をいたします。
紙のギフト券/クーポン券は 「郵便物はこちらへ」の住所 まで送付してください。名刺やメールアドレスを同封していただければ受領の連絡をいたします。
余った株主優待券等の処理におすすめです。
いずれも見返りはありませんのでご了承ください。

不明点はSNSでお気軽にご連絡ください

ビネクラのTwitter・Youtubeでコメントをください!


Slack・Discordの場合はこちらの公開グループに参加してShoya YasudaまでDMをください!


※当ブログに関することは何でもご相談・ご依頼可能です。

この記事を書いた人
Mizukami

専門は分子生物学とタンパク質工学。Webアプリや画像系・テキスト系の深層学習に強みがある。食べ物は床に落ちても30秒ルール。

タイトルとURLをコピーしました