Interactive Segmentation as Gaussian Process Classification

要約

クリックベースのインタラクティブ セグメンテーション (IS) は、ユーザー インタラクションの下でターゲット オブジェクトを抽出することを目的としています。
このタスクのために、現在のディープ ラーニング (DL) ベースの方法のほとんどは、主にセマンティック セグメンテーションの一般的なパイプラインに従います。
有望なパフォーマンスを達成していますが、クリック情報を完全かつ明示的に利用および伝播していないため、クリックされたポイントであっても、必然的に不十分なセグメンテーション結果につながります.
この問題に対して、この論文では、各画像のガウス過程 (GP) ベースのピクセル単位のバイナリ分類モデルとして IS タスクを定式化することを提案します。
このモデルを解決するために、償却された変分推論を利用して、データ駆動型の方法で扱いにくい GP 事後を近似し、近似した GP 事後を二重空間形式に分離して、線形の複雑さで効率的なサンプリングを行います。
次に、GPCIS という名前の GP 分類フレームワークを構築します。GPCIS は、より柔軟なディープ カーネル学習メカニズムと統合されています。
提案された GPCIS の主な特徴は次のとおりです。1) 派生した GP 事後データの明示的なガイダンスの下で、クリックに含まれる情報を画像全体に細かく伝播し、セグメンテーションを強化できます。
2) クリック時の予測の精度は、理論的に十分に裏付けられています。
GPCIS のこれらのメリットは、その一般性と効率の良さだけでなく、いくつかのベンチマークでの包括的な実験によって、定量的および定性的に代表的な方法と比較して実証されています。

要約(オリジナル)

Click-based interactive segmentation (IS) aims to extract the target objects under user interaction. For this task, most of the current deep learning (DL)-based methods mainly follow the general pipelines of semantic segmentation. Albeit achieving promising performance, they do not fully and explicitly utilize and propagate the click information, inevitably leading to unsatisfactory segmentation results, even at clicked points. Against this issue, in this paper, we propose to formulate the IS task as a Gaussian process (GP)-based pixel-wise binary classification model on each image. To solve this model, we utilize amortized variational inference to approximate the intractable GP posterior in a data-driven manner and then decouple the approximated GP posterior into double space forms for efficient sampling with linear complexity. Then, we correspondingly construct a GP classification framework, named GPCIS, which is integrated with the deep kernel learning mechanism for more flexibility. The main specificities of the proposed GPCIS lie in: 1) Under the explicit guidance of the derived GP posterior, the information contained in clicks can be finely propagated to the entire image and then boost the segmentation; 2) The accuracy of predictions at clicks has good theoretical support. These merits of GPCIS as well as its good generality and high efficiency are substantiated by comprehensive experiments on several benchmarks, as compared with representative methods both quantitatively and qualitatively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google