やること
AIによる画像のスタイル変換を3Dアバターのテクスチャに適用する例も出てきました。
例えば瞳のテクスチャを修正することを考えます。2次元のテクスチャ画像と3次元のボディは厳密に座標で紐付けられており、瞳のテクスチャを変えるときはテクスチャ画像内の瞳の形状（輪郭）を保ったまま修正する必要があります。txt2img（テキストから画像生成）で新規に画像生成すると瞳の形状の指定が困難なため、img2img（画像を元に画像生成）が適していると言えます。
今回は、VRoid Studioで作成したアバターをもっと可愛くするため、img2img による瞳のテクスチャのスタイル変換を試してみます。
元のアバター
できたてほやほや、QUBOアニーリングのSDK「TYTAN」の公式アバターです。
目のテクスチャがこちら
スタイル変換の結果
３つ生成してみました。
Golden star shining blue luster（訳：金色の星の輝き青い光彩）
Yellow swirls in a green glow（訳：緑の光彩の中に黄色い渦巻き）
Golden cat’s eyes（訳：金色の猫の目）
さいごに
瞳の違いだけで大きく印象が変わりました。完全に実用レベルです。
エンジニア界隈では日々 txt2img で可愛い女の子が生成されていますが、ポーズ、顔の輪郭、髪がなびく角度などをプロンプトで厳密に指定するのは非常に困難です。そこで、ポーズ等はアバターを用意しておき、そのテクスチャだけをAI生成するというように分業させればかなり制御が楽になります。
3Dモデリングと生成系AIの技術の融合が楽しみですね。
