4/14(日) 足・靴・木型研究会「第2回研究集会」を開催します☆彡

15-4. OpenPoseとDeepLab v3+で身体測定してみた

概要

15-3では、Neural Body Fittingという手法では体型の推定ができないことを確認しました。そこでアプローチを変えます。OpenPoseは高精度で姿勢を推定できます。また、DeepLab v3+は高精度でセグメンテーション(物体の領域抽出)ができます。この2つを組み合わせることで、写真から身体測定ができるのではないでしょうか?

論文とコード

Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation
Spatial pyramid pooling module or encode-decoder structure are used in deep neural networks for semantic segmentation task. The former networks are able to enco...
GitHub - CMU-Perceptual-Computing-Lab/openpose: OpenPose: Real-time multi-person keypoint detection library for body, face, hands, and foot estimation
OpenPose: Real-time multi-person keypoint detection library for body, face, hands, and foot estimation - CMU-Perceptual-Computing-Lab/openpose

結果

入力1

右腕の直径 : 13.9
左腕の直径 : 20.3
右ももの直径 : 45.0
左ももの直径 : 45.0

左から順に入力画像、OpenPoseの出力、DeepLab v3+の出力、独自の処理結果です。腕とふとももの直径に相当する部分が取得できています(完璧に取得できているとは言っていない)。

入力2

右腕の直径 : 0.7
左腕の直径 : 0.0
右ももの直径 : 34.0
左ももの直径 : 37.0

腕の直径が正しく取得できませんでした。線の傾きが0°か90°に近いときの処理が甘かったです。

入力3

右腕の直径 : 186.5
左腕の直径 : 205.0
右ももの直径 : 117.0
左ももの直径 : 114.0

セグメンテーションであちこちが繋がってしまうと、難しいです。

入力4

右腕の直径 : 282.1
左腕の直径 : 43.2

右腕が頭と繋がってしまいました。

結論

アプローチは悪くないと思います。もう少し丁寧にやればあちこちの直径が取得できそうです。

タイトルとURLをコピーしました