SLPT: Selective Labeling Meets Prompt Tuning on Label-Limited Lesion Segmentation

要約

深層学習を使用した医用画像分析は、ラベル付きデータが限られていることと、アノテーションのコストが高いことが課題となることがよくあります。
ラベルが制限されたシナリオでネットワーク全体を微調整すると、過剰適合や次善のパフォーマンスが発生する可能性があります。
最近、プロンプト チューニングが、タスクに依存しない事前トレーニング済みモデルへのプロンプトとしていくつかの追加の調整可能なパラメーターを導入し、事前トレーニング済みモデルを変更せずに、限られたラベル付きデータからの監視を使用してこれらのパラメーターのみを更新する、より有望な手法として浮上しました。
しかし、これまでの研究では、最小限のアノテーションコストで最高のパフォーマンスを達成するために、アノテーション用に最も価値のある下流サンプルを選択することを目的とした、下流タスクにおける選択的ラベル付けの重要性が見落とされてきました。
これに対処するために、選択的なラベル付けとプロンプト チューニング (SLPT) を組み合わせて、限られたラベルでのパフォーマンスを向上させるフレームワークを提案します。
具体的には、プロンプトのチューニングと TandEm Selective LAbeling (TESLA) 戦略をガイドするための機能を認識したプロンプト アップデーターを導入します。
TESLA には、教師なし多様性選択とプロンプトベースの不確実性を使用した教師あり選択が含まれます。
さらに、TESLA にマルチプロンプトベースの不一致予測を提供するための、多様な視覚的プロンプト調整戦略を提案します。
当社は肝臓腫瘍のセグメンテーションに関する手法を評価し、最先端のパフォーマンスを実現し、調整可能なパラメーターのわずか 6% で従来の微調整を上回り、データの 5% のみをラベル付けすることで全データのパフォーマンスの 94% を達成しました。

要約(オリジナル)

Medical image analysis using deep learning is often challenged by limited labeled data and high annotation costs. Fine-tuning the entire network in label-limited scenarios can lead to overfitting and suboptimal performance. Recently, prompt tuning has emerged as a more promising technique that introduces a few additional tunable parameters as prompts to a task-agnostic pre-trained model, and updates only these parameters using supervision from limited labeled data while keeping the pre-trained model unchanged. However, previous work has overlooked the importance of selective labeling in downstream tasks, which aims to select the most valuable downstream samples for annotation to achieve the best performance with minimum annotation cost. To address this, we propose a framework that combines selective labeling with prompt tuning (SLPT) to boost performance in limited labels. Specifically, we introduce a feature-aware prompt updater to guide prompt tuning and a TandEm Selective LAbeling (TESLA) strategy. TESLA includes unsupervised diversity selection and supervised selection using prompt-based uncertainty. In addition, we propose a diversified visual prompt tuning strategy to provide multi-prompt-based discrepant predictions for TESLA. We evaluate our method on liver tumor segmentation and achieve state-of-the-art performance, outperforming traditional fine-tuning with only 6% of tunable parameters, also achieving 94% of full-data performance by labeling only 5% of the data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google