Humans need not label more humans: Occlusion Copy & Paste for Occluded Human Instance Segmentation

要約

最新の物体検出およびインスタンス分割ネットワークは、混雑したシーンやオクルージョンが多いシーンで人間を検出する際につまずくことがある。しかし、これらはしばしば、検出器がうまく機能することを要求されるシナリオである。多くの研究は、モデル中心でこの問題にアプローチしてきた。これらの方法はある程度効果があることが示されているが、これらの教師付き方法は、改善を最大化するために、学習中に十分な関連する例（すなわち、隠蔽された人間）を必要とすることに変わりはない。我々の研究では、オクルージョンコピー＆ペーストという、シンプルかつ効果的なデータ中心アプローチを提案し、学習中にオクルージョンされた例をモデルに導入することで、同クラスオクルージョンの難しい問題に取り組むために、一般的なコピー＆ペースト拡張アプローチを調整する。これは、既存の大規模データセットを活用することで、追加データや手動でのラベル付けを必要とせず、オクルージョンシナリオのインスタンス分割性能を「無料」で向上させるものである。原理的な研究では、コピー＆ペースト拡張に様々なアドオンを提案し、実際に性能向上に寄与しているかどうかを示す。我々のオクルージョンコピー＆ペースト拡張は、あらゆるモデルと容易に相互運用可能である。オクルージョンに取り組むための明確なモデルアーキテクチャ設計を持たない最近の汎用インスタンス分割モデルに適用するだけで、非常に難しいOCHumanデータセットにおいて最先端のインスタンス分割性能を達成することが可能である。ソースコードは https://github.com/levan92/occlusion-copy-paste で公開されています。

要約(オリジナル)

Modern object detection and instance segmentation networks stumble when picking out humans in crowded or highly occluded scenes. Yet, these are often scenarios where we require our detectors to work well. Many works have approached this problem with model-centric improvements. While they have been shown to work to some extent, these supervised methods still need sufficient relevant examples (i.e. occluded humans) during training for the improvements to be maximised. In our work, we propose a simple yet effective data-centric approach, Occlusion Copy & Paste, to introduce occluded examples to models during training – we tailor the general copy & paste augmentation approach to tackle the difficult problem of same-class occlusion. It improves instance segmentation performance on occluded scenarios for ‘free’ just by leveraging on existing large-scale datasets, without additional data or manual labelling needed. In a principled study, we show whether various proposed add-ons to the copy & paste augmentation indeed contribute to better performance. Our Occlusion Copy & Paste augmentation is easily interoperable with any models: by simply applying it to a recent generic instance segmentation model without explicit model architectural design to tackle occlusion, we achieve state-of-the-art instance segmentation performance on the very challenging OCHuman dataset. Source code is available at https://github.com/levan92/occlusion-copy-paste.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL