LINK
[mathjax]
Faster-RCNNの拡張. ひとつのモデルで最小限の変更で物体検出、輪郭検出、人の姿勢の検出まで、それぞれのタスク専用に作られたモデルよりも高い精度を出せるというのがすごい!
Faster-RCNNでは認識されたオブジェクトのクラスとその矩形(Bounding Box)の二つの出力があったとに加えて、Mask R-CNNではマスクの情報を出力する.
学習時のLossは
$$Loss = L_{class} + L_{bounding box} + L_{mask}$$
としているが、$$L_{mask}$$の計算をFCN(Fully Convolutional Network)でやられているようなクラス別のSoftMaxではなく、binary cross entropyにすることで、クラスごとに競合するのを防いでいるのがミソ…だそうです.
Faster-RCNNに加えての計算のオーバーヘッドが少ない上に、人の姿勢の推定などにも比較的簡単に応用可能 (下図)
毎秒5フレームくらいで動くというのもありがたいですね. コードも近い将来に公開されるそうなので期待しましょう.
arXiv(2017.03.20公開)
We present a conceptually simple, flexible, and general framework for object instance segmentation. Our approach efficiently detects objects in an image while simultaneously generating a high-quality segmentation mask for each instance. The method, called Mask R-CNN, extends Faster R-CNN by adding a branch for predicting an object mask in parallel with the existing branch for bounding box recognition. Mask R-CNN is simple to train and adds only a small overhead to Faster R-CNN, running at 5 fps. Moreover, Mask R-CNN is easy to generalize to other tasks, e.g., allowing us to estimate human poses in the same framework. We show top results in all three tracks of the COCO suite of challenges, including instance segmentation, bounding-box object detection, and person keypoint detection. Without tricks, Mask R-CNN outperforms all existing, single-model entries on every task, including the COCO 2016 challenge winners. We hope our simple and effective approach will serve as a solid baseline and help ease future research in instance-level recognition. Code will be made available.