Self-Trained Proposal Networks for the Open World

要約

ディープ ラーニング ベースのオブジェクト提案手法により、多くのコンピューター ビジョン パイプラインが大幅に進歩しました。
ただし、現在の最先端の提案ネットワークは閉世界の仮定を使用しています。つまり、他のすべての領域を背景として扱いながら、トレーニング クラスのインスタンスを検出するようにトレーニングされるだけです。
このスタイルの解決策は、分布外のオブジェクトに対して高い再現率を提供することができず、関心のある新しいオブジェクト カテゴリが観察される可能性がある現実的なオープン ワールド アプリケーションでの使用には不十分です。
すべてのオブジェクトをより適切に検出するために、クラスの不均衡や疑似ラベルの不確実性などの課題を説明する動的に重み付けされた損失関数と組み合わせた新しい自己トレーニング最適化戦略を活用する、分類のない自己トレーニング済み提案ネットワーク (STPN) を提案します。
私たちのモデルは、既存の楽観的なオープンワールドのベンチマークだけでなく、ラベルの偏りが大きい困難な運用環境でも優れた性能を発揮するように設計されています。
これを紹介するために、トレーニング データに (1) ラベル付けされたクラス内の多様性が少なく、(2) ラベル付けされたインスタンスが少ない場合に、提案モデルの一般化をテストする 2 つの課題を考案します。
私たちの結果は、STPNがすべてのタスクで最先端の新しいオブジェクト一般化を達成することを示しています。

要約(オリジナル)

Deep learning-based object proposal methods have enabled significant advances in many computer vision pipelines. However, current state-of-the-art proposal networks use a closed-world assumption, meaning they are only trained to detect instances of the training classes while treating every other region as background. This style of solution fails to provide high recall on out-of-distribution objects, rendering it inadequate for use in realistic open-world applications where novel object categories of interest may be observed. To better detect all objects, we propose a classification-free Self-Trained Proposal Network (STPN) that leverages a novel self-training optimization strategy combined with dynamically weighted loss functions that account for challenges such as class imbalance and pseudo-label uncertainty. Not only is our model designed to excel in existing optimistic open-world benchmarks, but also in challenging operating environments where there is significant label bias. To showcase this, we devise two challenges to test the generalization of proposal models when the training data contains (1) less diversity within the labeled classes, and (2) fewer labeled instances. Our results show that STPN achieves state-of-the-art novel object generalization on all tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google