やること
ControlNetは、呪文から画像を生成するAIであるStable Diffusionと、写真からポーズを推定するAIであるOpenPoseを組み合わせて、指定したポーズで画像を生成してくれるというとんでもないAIです。
ですが、OpenPoseの姿勢推定がうまくいかず、思うような結果が出ないことが度々あります。OpenPoseによる姿勢推定では、関節の座標情報やそれを可視化した「棒人間」と呼ばれる独特な配色の画像が得られます。ControlNetではこの棒人間を画像情報として使用しているようです。したがってOpenPoseを介さずに棒人間を手描きしてControlNetに入力しても機能します。
そこで、OpenPoseの棒人間を真似たアバターを作成し、アバターにポーズを取らせてレンダリングした画像がControlNetに適用できるか検証します。
棒人間アバターの作成
OpenPoseの棒人間を真似たアバターを作成しました。
踊らせるとこんな感じです。
ControlNetで画像生成
ダンスから切り出したポーズをControlNetに入力して、呪文から画像を生成してみます。
ポーズ１
a cyberpunk hacker pirate captain skeleton with a pirate hat sitting in front of a huge old crt monitor in a dark room, highly detailed, intricate, digital art, trending on artstation, trending on cgsociety
gorgeous awe – inspiring fairy appears from a misty landscape, blowing dandelion flower in a soft breeze, fantasy concept art, mystical, smooth, sharp focus, volumetric lighting, in the style of the lord of the rings, artstation, cinematic color grading
ポーズ２
tan coloured chihuahua Dog, battle armour, Anthropomorphized, casting epic spell, magic the gathering artwork, D&D, fantasy, cinematic lighting, centered, symmetrical, highly detailed, digital painting, artstation, concept art, smooth, sharp focus, illustration, volumetric lighting, epic Composition, art by Akihiko Yoshida and Greg Rutkowski and Craig Mullins, heroic pose, oil painting, cgsociety, magic lab background
character design portrait of an anthropomorphic furry rat girl with cat ears and a tail, concept art, by wlop, ilya kuvshinov, artgerm, krenz cushart, pixiv.
ポーズ３
Full-body portrait of Cillian Murphy in Peaky Blinders standing, arms crossed on chest, dramatic, gloomy, dark, bleak, cheerless, desolate, impressive, tragic, cinematic, dull colors
epic professional digital art of a very attractive female asian lawyer wearing business suit,, painting, by leesha hannigan, iris van herpen, artstation, cgsociety, wlop, epic, much wow, much detail, gorgeous, detailed, cinematic, masterpiece
さいごに
棒人間アバターから作成した画像はControlNetに適用できることが確認できました！