HAISTA-NET: Human Assisted Instance Segmentation Through Attention

要約

タイトル：HAISTA-NET：人間の支援によるアテンションによるインスタンスセグメンテーション
要約：
– インスタンスセグメンテーションは画像検出の形態であり、オブジェクトの微調整、医療画像解析、画像/動画編集など、高度な精度を要求するさまざまなアプリケーションがあります。
– しかし、この高度な精度は、最新の完全自動のインスタンスセグメンテーションアルゴリズムでも実現できない場合があります。特に、小さく複雑なオブジェクトに対して、性能差は特に厳しいです。
– 一般的には、完全手動注釈に頼る必要があり、このプロセスは手間がかかります。
– この問題を解決するため、我々は、より正確な予測を可能にし、高曲率、複雑な、小規模オブジェクトのより高品質なセグメンテーションマスクを生成する新しいアプローチを提案します。
– 弊社のヒューマンアシスト形式のセグメンテーションモデル、HAISTA-NETは、Strong Mask R-CNNネットワークに人が指定した部分境界を組み込むことで作成されます。また、部分オブジェクト境界という手書きのデータセットも提供しています。
– 部分スケッチオブジェクト境界（PSOB）データセットによる評価の結果、HAISTA-NETはMask R-CNN、Strong Mask R-CNN、Mask2Formerなどの最新の手法よりも優れたパフォーマンスを発揮し、AP-Maskメトリックにおいて、それぞれ36.7、29.6、26.5ポイントの向上を実現しています。
– 我々は、完全自動とインタラクティブなインスタンスセグメンテーションアーキテクチャを組み合わせた未来のヒューマンアシスト型ディープラーニングモデルの基準を設定することで、新しいアプローチに期待しています。

要約(オリジナル)

Instance segmentation is a form of image detection which has a range of applications, such as object refinement, medical image analysis, and image/video editing, all of which demand a high degree of accuracy. However, this precision is often beyond the reach of what even state-of-the-art, fully automated instance segmentation algorithms can deliver. The performance gap becomes particularly prohibitive for small and complex objects. Practitioners typically resort to fully manual annotation, which can be a laborious process. In order to overcome this problem, we propose a novel approach to enable more precise predictions and generate higher-quality segmentation masks for high-curvature, complex and small-scale objects. Our human-assisted segmentation model, HAISTA-NET, augments the existing Strong Mask R-CNN network to incorporate human-specified partial boundaries. We also present a dataset of hand-drawn partial object boundaries, which we refer to as human attention maps. In addition, the Partial Sketch Object Boundaries (PSOB) dataset contains hand-drawn partial object boundaries which represent curvatures of an object’s ground truth mask with several pixels. Through extensive evaluation using the PSOB dataset, we show that HAISTA-NET outperforms state-of-the art methods such as Mask R-CNN, Strong Mask R-CNN, and Mask2Former, achieving respective increases of +36.7, +29.6, and +26.5 points in AP-Mask metrics for these three models. We hope that our novel approach will set a baseline for future human-aided deep learning models by combining fully automated and interactive instance segmentation architectures.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI