TTT-Unet: Enhancing U-Net with Test-Time Training Layers for biomedical image segmentation

要約

生物医学画像のセグメンテーションは、さまざまな病気を正確に診断および分析するために重要です。
ただし、このタスクに最も一般的に使用されるアーキテクチャである畳み込みニューラル ネットワーク (CNN) とトランスフォーマーは、CNN の固有の局所性とトランスフォーマーの計算の複雑さのため、長距離の依存関係を効果的に捕捉するのに苦労しています。
この制限に対処するために、生物医学画像セグメンテーションのためにテストタイム トレーニング (TTT) レイヤーを従来の U-Net アーキテクチャに統合する新しいフレームワークである TTT-Unet を導入します。
TTT-Unet は、テスト時間中にモデル パラメーターを動的に調整し、ローカルと長距離の両方の特徴をキャプチャするモデルの能力を強化します。
CT および MR 画像の 3D 腹部臓器セグメンテーション、内視鏡画像の器具セグメンテーション、顕微鏡画像の細胞セグメンテーションなど、複数の医療画像データセットで TTT-Unet を評価します。
結果は、TTT-Unet がすべてのタスクにわたって最先端の CNN ベースおよび Transformer ベースのセグメンテーション モデルを常に上回るパフォーマンスを示していることを示しています。
コードは https://github.com/rongzhou7/TTT-Unet で入手できます。

要約(オリジナル)

Biomedical image segmentation is crucial for accurately diagnosing and analyzing various diseases. However, Convolutional Neural Networks (CNNs) and Transformers, the most commonly used architectures for this task, struggle to effectively capture long-range dependencies due to the inherent locality of CNNs and the computational complexity of Transformers. To address this limitation, we introduce TTT-Unet, a novel framework that integrates Test-Time Training (TTT) layers into the traditional U-Net architecture for biomedical image segmentation. TTT-Unet dynamically adjusts model parameters during the testing time, enhancing the model’s ability to capture both local and long-range features. We evaluate TTT-Unet on multiple medical imaging datasets, including 3D abdominal organ segmentation in CT and MR images, instrument segmentation in endoscopy images, and cell segmentation in microscopy images. The results demonstrate that TTT-Unet consistently outperforms state-of-the-art CNN-based and Transformer-based segmentation models across all tasks. The code is available at https://github.com/rongzhou7/TTT-Unet.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google