やること
あなたのパーソナルカラーは何ですか？また、あなたの肌は「イエローベース」ですか？「ブルーベース」ですか？
いわゆるイエベ・ブルベ問題です。誰が決めたのでしょうか。ネット上にはイエベ・ブルベ判定サイトがあるのですが、困ったことに「自分には青が似合うと思う？→Yes / No」とか聞いてきます。
それが分かったらお前に聞いてないわ!!
さて、Twitterで次のような情報を見ました。服の色が似合っていれば顔に視線が行き、似合わなければ服に視線が行くとのことです。
もう一つ、深層学習でSaliency Map（顕著性マップ） を推定する技術が公開されています。これを使うと視線がどこに向きやすいかを推定することができます。ぴよりんで試してみましょう。
きちんと注目すべき物体に視線が集中していますね。
今回は、深層学習によるSaliency Map（顕著性マップ） 推定を利用して、「肌の色」と「服の色」の似合う・似合わないの判定を試みます。顔に視線が行けば「似合う色だ」という具合です。イエベ・ブルベ問題の定量的な解決のヒントになれば思います。
参考文献
Saliency Map（顕著性マップ） の推定にはDeepGaze IIを使わせていただきました。
パーソナルカラーとベースカラーについてはこちらのサイトを参考にさせていただきました。
サイトによると、イエローベースには左側のSpring・Autumnタイプ、ブルーベースには右側のSummer・Winterタイプが似合うとのこと。今回は各季節から赤系を２色ずつ用いました。
３体のアバターを作成
まずは肌の色が異なる３人のアバターを用意しました。顔が微妙に違いますが、服の形状はまったく同じにしてあります。
イエベ・ブルベの知識がまったくないのですが、ネット上の判断方法をちらっと見た限りでは白肌＝ブルベ、黄色肌＝イエベが近いのかなと思います。
次に、３人それぞれに８色のTシャツを着せました。
そして、各画像をDeepGazeにかけました。出力は恣意的にしきい値を決めて等高線を表示しています。
例えば、赤肌と黄色肌にSpring①を着せたものが以下です。これを見ると、赤肌×Spring①は顔に視線が集中しているため「似合っている」と解釈できます。一方、黄色肌×Spring①は胸元にまで視線が分散しているため「似合っていない」というわけです。
このような感じで、視線が顔に集中していれば「◯」、胸元まで分散していたら「✕」を書き込みました。
あくまでここでの検証結果の解釈ですが、まずAutumn①はどの肌にも合いませんでした。それを除けば、赤っぽい肌の人にはどんな赤も似合うようです。白っぽい肌の人には暗い赤は似合わないようです。黄色っぽい肌の人は比較的ブルベ寄りの色が似合うことになりましたが、でも肌の色的にはイエベなのでは・・・？
さいごに
DeepGazeは本来もっと様々な物体が写った写真を想定しているため、こんなに似た写真を判定させても差が出ません。はっきり言って誤差です。それを差があるかのように恣意的に拡大したものですので真に受けないようにお願いします。
ただ、AIでもなんでもいいですが客観的な指標によるイエベ・ブルベ判定は必要でしょう。そもそもイエベ・ブルベという分類が妥当かどうかもデータ分析に基づいて判断すべきです。また、イエベだから何の色が似合うという対応付けにも根拠が必要です。「似合う色」って誰が決めているのですか？（脳血流とか測って定量的に決めましょう？）