Order-aware Interactive Segmentation

要約

インタラクティブ セグメンテーションは、最小限のユーザー操作でターゲット オブジェクトを正確にセグメント化することを目的としています。
しかし、現在の方法では、順序、つまりシーン内のオブジェクト間の相対的な深さについての理解が限られているため、ターゲット オブジェクトを背景から正確に分離できないことがよくあります。
この問題に対処するために、私たちは OIS (順序を意識した対話型セグメンテーション) を提案します。これは、オブジェクト間の相対的な深さを順序マップに明示的にエンコードするものです。
私たちは、順序マップが画像の特徴に注意を向けるためのユーザー インタラクション (クリックの形式) をシームレスにガイドする、新しい順序認識型の注意を導入します。
さらに、同様の順序を持​​つオブジェクトをより適切に区別するための強力なオブジェクトレベルの理解を組み込むオブジェクト認識アテンションモジュールを提示します。
私たちのアプローチでは、ユーザー クリックの密な統合と疎な統合の両方が可能になり、以前の作業と比較して精度と効率の両方が向上します。
実験結果は、OIS が最先端のパフォーマンスを実現し、以前の最先端の SegNext と比較して、1 クリック後の mIoU が HQSeg44K データセットで 7.61、DAVIS データセットで 1.32 向上し、推論も 2 倍になったことを示しています。
現在の主要な方法と比較した場合の速度。
プロジェクトページは https://ukaukaaaa.github.io/projects/OIS/index.html です

要約(オリジナル)

Interactive segmentation aims to accurately segment target objects with minimal user interactions. However, current methods often fail to accurately separate target objects from the background, due to a limited understanding of order, the relative depth between objects in a scene. To address this issue, we propose OIS: order-aware interactive segmentation, where we explicitly encode the relative depth between objects into order maps. We introduce a novel order-aware attention, where the order maps seamlessly guide the user interactions (in the form of clicks) to attend to the image features. We further present an object-aware attention module to incorporate a strong object-level understanding to better differentiate objects with similar order. Our approach allows both dense and sparse integration of user clicks, enhancing both accuracy and efficiency as compared to prior works. Experimental results demonstrate that OIS achieves state-of-the-art performance, improving mIoU after one click by 7.61 on the HQSeg44K dataset and 1.32 on the DAVIS dataset as compared to the previous state-of-the-art SegNext, while also doubling inference speed compared to current leading methods. The project page is https://ukaukaaaa.github.io/projects/OIS/index.html

arxiv情報

提供元, 利用サービス

arxiv.jp, Google