写真の中に複数の人が写っている場合、人はそれらの人たちの「重要度」を推測することができます。今まさにシュートを打とうとしている選手や、記者に囲まれる政治家、壇上でスピーチする人たちは、それ以外の人よりも「その場面において」重要と言えるでしょう (重要人物といっても、社会的あるいは組織における地位のことをさしているわけではないことに注意)。この研究は任意の写真の中から、そういった重要な役割をその場面で担っている人を検索する研究です。
写っている人をそれぞれ「ノード」ととらえ、それらの関係性を数値化することで、PageRankのアルゴリズムを援用してそれぞれの重要度をランキングしていきます (PageRankはGoogleがWebサイトの重要度を算出するのに使っている手法として有名ですね）
記者に囲まれている政治家をイメージしてください。記者の目線は政治家一点にあつまっています。それに対して政治家は特定の記者だけを見ていることでしょう(あるいは嘘がバレないように目線を誰とも合わせないようにしているかもしれませんが…)。政治家に対しての非対称なリンクがたくさん貼られていることに相当します = リンクの入ってくる方向が出て行く方向のリンクに比べて圧倒的に多い。
同様に写真の中の人物の行動や服装、また単純に写真の中にしめる面積(重要な人物は大きくはっきり写っている可能性が高い) なども考慮に入れて最終的なランキングが算出されます。
具体的な実装の方法は論文にゆずりますが、従来手法に比較して圧倒的に精度が上がったことが報告されています。(上記の目線の例ですが、実際は顔認識のアルゴリズムが算出する顔の向きのみを計算にいれていて、視線の方向まではつかっていないようです)
歴史的な写真のアーカイブにあたって、人間の行動を写真から読み解く…なんてときに参考になりそうな論文です。コードも近々公開予定だそうです！
arXiv（2017.09.21公開）
Always, some individuals in images are more important/attractive than others in some events such as presen- tation, basketball game or speech. However, it is challenging to find important people among all individuals in images directly based on their spatial or appearance information due to the existence of diverse variations of pose, action, appearance of persons and various changes of occasions. We overcome this difficulty by constructing a multiple Hyper-Interaction Graph to treat each individual in an image as a node and inferring the most active node referring to interactions estimated by various types of clews.We model pairwise interactions between persons as the edge message communicated between nodes, resulting in a bidirectional pairwise-interaction graph. To enrich the person- person interaction estimation, we further introduce a unidi- rectional hyper-interaction graph that models the consensus of interaction between a focal person and any person in a local re- gion around. Finally, we modify the PageRank algorithm to in- fer the activeness of persons on the multiple Hybrid-Interaction Graph (HIG), the union of the pairwise-interaction and hyper- interaction graphs, and we call our algorithm the PersonRank. In order to provide publicable datasets for evaluation, we have contributed a new dataset called Multi-scene Important People Image Dataset and gathered a NCAA Basketball Image Dataset from sports game sequences. We have demonstrated that the proposed PersonRank outperforms related methods clearly and substantially. Our code and datasets are available at https:// weihonglee.github.io/Projects/PersonRank.htm.
I.