OOD-SEG: Out-Of-Distribution detection for image SEGmentation with sparse multi-class positive-only annotations

要約

大幅な進歩にもかかわらず、医療および外科イメージングにおけるディープ ニューラル ネットワークに基づくセグメンテーションはいくつかの課題に直面していますが、この研究ではそのうちの 2 つに対処することを目指しています。
まず、医療画像の完全なピクセル レベルのセグメンテーション ラベルを取得するには時間がかかり、専門知識が必要です。
第 2 に、一般的なセグメンテーション パイプラインは分布外 (OOD) ピクセルを検出できないため、展開中に偽の出力が発生しやすくなります。
この研究では、複数のポジティブのみのクラスのまばらにアノテーションが付けられたピクセルのみから学習する OOD 検出を利用した新しいセグメンテーション アプローチを提案します。
%しかし \emph{バックグラウンドクラスなし} アノテーション。
これらのマルチクラスのポジティブ アノテーションは、当然ながら、配布内 (ID) セット内に収まります。
ラベルのないピクセルには、正のクラスだけでなく、標準のセグメンテーション公式で通常 \emph{background} と呼ばれるものなど、負のクラスも含まれる場合があります。
ここでは、バックグラウンドのアノテーションの必要性を省略し、これらを他の目に見えないクラスとともに OOD セットの一部として考慮します。
私たちのフレームワークは、分類タスク用に設計されたあらゆる OOD 検出アプローチをピクセル レベルで統合できます。
既存の OOD データセットと医療画像セグメンテーションの確立された評価指標の不足に対処するために、保持されたラベル付きクラスを OOD として扱う相互検証戦略を提案します。
マルチクラスのハイパースペクトルと RGB 外科画像データセットの両方に関する広範な実験により、私たちが提案したフレームワークの堅牢性と一般化機能が実証されました。

要約(オリジナル)

Despite significant advancements, segmentation based on deep neural networks in medical and surgical imaging faces several challenges, two of which we aim to address in this work. First, acquiring complete pixel-level segmentation labels for medical images is time-consuming and requires domain expertise. Second, typical segmentation pipelines cannot detect out-of-distribution (OOD) pixels, leaving them prone to spurious outputs during deployment. In this work, we propose a novel segmentation approach exploiting OOD detection that learns only from sparsely annotated pixels from multiple positive-only classes. %but \emph{no background class} annotation. These multi-class positive annotations naturally fall within the in-distribution (ID) set. Unlabelled pixels may contain positive classes but also negative ones, including what is typically referred to as \emph{background} in standard segmentation formulations. Here, we forgo the need for background annotation and consider these together with any other unseen classes as part of the OOD set. Our framework can integrate, at a pixel-level, any OOD detection approaches designed for classification tasks. To address the lack of existing OOD datasets and established evaluation metric for medical image segmentation, we propose a cross-validation strategy that treats held-out labelled classes as OOD. Extensive experiments on both multi-class hyperspectral and RGB surgical imaging datasets demonstrate the robustness and generalisation capability of our proposed framework.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google