Transformer with Selective Shuffled Position Embedding using ROI-Exchange Strategy for Early Detection of Knee Osteoarthritis

要約

タイトル：Selective Shuffled Position EmbeddingとROI-Exchange戦略を使用したTransformerによる、膝関節骨関節炎の早期検出のための手法

要約：

– 膝関節骨関節炎(KOA)は高齢者の可動性低下を引き起こす広く普及した筋骨格系の障害である。
– 医療分野におけるデータの不足はラベル付けの高いコストによる学習モデルのトレーニングの難しさを引き起こす。
– 現在、深層ニューラルネットワークのトレーニングは汎化能力を向上させ過学習を避けるためのデータ拡張に強く依存している。
– しかしながら、回転、ガンマ補正などの既存のデータ拡張操作は、データそのものを基に設計されており、データの多様性を実質的に増加させることはない。
– 本研究では、KOA（KL-0 vs KL-2）の早期検出のためのデータ拡張手法として、Selective Shuffled Position Embedding (SSPE)とROI-exchange戦略を使用したVision Transformer（ViT）モデルに基づく新しいアプローチを提案した。
– 具体的には、ROIの位置埋め込みを固定し、ROI以外のパッチの位置をシャッフルした。
– 次に、入力画像に対して、トレーニングセットから他の画像をランダムに選択して、それらのROIパッチを交換することで、異なる入力シーケンスを得た。
– 最後に、最適化された重み付きの異なる損失関数を使用したハイブリッド損失関数が導出された。
– 実験結果は、提案手法が有効なデータ拡張手法であり、モデルの分類性能を大幅に改善することができることを示している。

要約(オリジナル)

Knee OsteoArthritis (KOA) is a prevalent musculoskeletal disorder that causes decreased mobility in seniors. The lack of sufficient data in the medical field is always a challenge for training a learning model due to the high cost of labelling. At present, deep neural network training strongly depends on data augmentation to improve the model’s generalization capability and avoid over-fitting. However, existing data augmentation operations, such as rotation, gamma correction, etc., are designed based on the data itself, which does not substantially increase the data diversity. In this paper, we proposed a novel approach based on the Vision Transformer (ViT) model with Selective Shuffled Position Embedding (SSPE) and a ROI-exchange strategy to obtain different input sequences as a method of data augmentation for early detection of KOA (KL-0 vs KL-2). More specifically, we fixed and shuffled the position embedding of ROI and non-ROI patches, respectively. Then, for the input image, we randomly selected other images from the training set to exchange their ROI patches and thus obtained different input sequences. Finally, a hybrid loss function was derived using different loss functions with optimized weights. Experimental results show that our proposed approach is a valid method of data augmentation as it can significantly improve the model’s classification performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI