Boltzmann Attention Sampling for Image Analysis with Small Objects

要約

肺結節や腫瘍病変などの小さなオブジェクトの検出とセグメント化は、画像分析における重要な課題のままです。
これらのオブジェクトは、多くの場合、画像の0.1％未満を占めているため、従来の変圧器アーキテクチャは、無関係な領域での冗長な注意計算により、パフォーマンスの低下になりやすくなります。
既存のまばらな注意メカニズムは、小さな、可変、不確実なオブジェクトの位置を検出するのに不十分な剛性階層構造に依存しています。
このペーパーでは、動的なまばらな注意を通じてこれらの課題に対処するために設計された新しい変圧器ベースのアーキテクチャであるBoltzformerを提案します。
Boltzformerは、アニーリングスケジュールでBoltzmann分布を使用して不確実性をモデル化することにより、関連領域に注意を払って焦点を当てます。
当初、温度が高いほど、オブジェクトの位置の不確実性が最大である場合、初期層でのより広いエリアサンプリングが可能になります。
後の層で温度が低下すると、注意が集中し、効率と精度が向上します。
Boltzformerは、モジュラーボルツマンの注意サンプリングメカニズムを介して既存のトランスアーキテクチャにシームレスに統合されます。
ベンチマークデータセットでの包括的な評価は、ボルツファーダーが小さなオブジェクトのセグメンテーションパフォーマンスを大幅に改善しながら、以前の最先端の方法と比較して数桁の注意計算を削減することを示しています。

要約(オリジナル)

Detecting and segmenting small objects, such as lung nodules and tumor lesions, remains a critical challenge in image analysis. These objects often occupy less than 0.1% of an image, making traditional transformer architectures inefficient and prone to performance degradation due to redundant attention computations on irrelevant regions. Existing sparse attention mechanisms rely on rigid hierarchical structures, which are poorly suited for detecting small, variable, and uncertain object locations. In this paper, we propose BoltzFormer, a novel transformer-based architecture designed to address these challenges through dynamic sparse attention. BoltzFormer identifies and focuses attention on relevant areas by modeling uncertainty using a Boltzmann distribution with an annealing schedule. Initially, a higher temperature allows broader area sampling in early layers, when object location uncertainty is greatest. As the temperature decreases in later layers, attention becomes more focused, enhancing efficiency and accuracy. BoltzFormer seamlessly integrates into existing transformer architectures via a modular Boltzmann attention sampling mechanism. Comprehensive evaluations on benchmark datasets demonstrate that BoltzFormer significantly improves segmentation performance for small objects while reducing attention computation by an order of magnitude compared to previous state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google