概要
15-3では、Neural Body Fittingという手法では体型の推定ができないことを確認しました。そこでアプローチを変えます。OpenPoseは高精度で姿勢を推定できます。また、DeepLab v3+は高精度でセグメンテーション(物体の領域抽出)ができます。この2つを組み合わせることで、写真から身体測定ができるのではないでしょうか?
論文とコード
Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation
Spatial pyramid pooling module or encode-decoder structure are used in deep neural networks for semantic segmentation task. The former networks are able to enco...
GitHub - CMU-Perceptual-Computing-Lab/openpose: OpenPose: Real-time multi-person keypoint detection library for body, face, hands, and foot estimation
OpenPose: Real-time multi-person keypoint detection library for body, face, hands, and foot estimation - CMU-Perceptual-Computing-Lab/openpose
結果
入力1
右腕の直径 : 13.9
左腕の直径 : 20.3
右ももの直径 : 45.0
左ももの直径 : 45.0
左から順に入力画像、OpenPoseの出力、DeepLab v3+の出力、独自の処理結果です。腕とふとももの直径に相当する部分が取得できています(完璧に取得できているとは言っていない)。
入力2
右腕の直径 : 0.7
左腕の直径 : 0.0
右ももの直径 : 34.0
左ももの直径 : 37.0
腕の直径が正しく取得できませんでした。線の傾きが0°か90°に近いときの処理が甘かったです。
入力3
右腕の直径 : 186.5
左腕の直径 : 205.0
右ももの直径 : 117.0
左ももの直径 : 114.0
セグメンテーションであちこちが繋がってしまうと、難しいです。
入力4
右腕の直径 : 282.1
左腕の直径 : 43.2
右腕が頭と繋がってしまいました。
結論
アプローチは悪くないと思います。もう少し丁寧にやればあちこちの直径が取得できそうです。