MAIS: Memory-Attention for Interactive Segmentation

要約

インタラクティブな医療セグメンテーションは、ユーザーフィードバックを通じて予測を改善することにより、注釈の取り組みを削減します。
[セグメントAnything Model（SAM]などのVision Transformer（VIT）ベースのモデルは、ユーザークリックと以前のマスクをプロンプトとして使用して最先端のパフォーマンスを実現します。
ただし、既存の方法は、相互作用を独立したイベントとして扱い、冗長補正と洗練の獲得につながります。
これに対処し、過去のユーザー入力とセグメンテーション状態を保存し、時間的コンテキスト統合を可能にするインタラクティブセグメンテーションのメモリアテンションメカニズムであるMAISを導入します。
私たちのアプローチは、多様なイメージングモダリティ全体でVITベースのセグメンテーションを強化し、より効率的で正確な改良を達成します。

要約(オリジナル)

Interactive medical segmentation reduces annotation effort by refining predictions through user feedback. Vision Transformer (ViT)-based models, such as the Segment Anything Model (SAM), achieve state-of-the-art performance using user clicks and prior masks as prompts. However, existing methods treat interactions as independent events, leading to redundant corrections and limited refinement gains. We address this by introducing MAIS, a Memory-Attention mechanism for Interactive Segmentation that stores past user inputs and segmentation states, enabling temporal context integration. Our approach enhances ViT-based segmentation across diverse imaging modalities, achieving more efficient and accurate refinements.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google