Confidence-Aware Paced-Curriculum Learning by Label Smoothing for Surgical Scene Understanding

要約

カリキュラム学習と自習型学習は、サンプルを簡単なものからより複雑なものへと徐々にフィードするトレーニング戦略です。
ロボットビジョンにおける優れた性能により、ますます注目を集めています。
最近の研究では、入力サンプルの難易度に基づいたカリキュラムの設計や、機能マップの平滑化に焦点を当てています。
ただし、カリキュラムの方法で学習ユーティリティを制御するためのラベルの平滑化は、まだ調査されていません。
この作業では、分類タスクに均一ラベル スムージング (ULS) を使用したペース学習を使用してラベル スムージング (P-CBLS) によるペース カリキュラムを設計し、カリキュラムの方法でセマンティック セグメンテーション タスクに均一および空間的に変化するラベル スムージング (SVLS) を融合します。
ULS と SVLS では、平滑化係数の値を大きくすると、真のラベルに大きな平滑化ペナルティが課せられ、情報の学習が制限されます。
そのため、ラベルスムージング（CBLS）によるカリキュラム設計を行っています。
トレーニングの開始時により大きな平滑化値を設定し、徐々にゼロまで下げて、モデル学習ユーティリティを低いものから高いものへと制御しました。
また、信頼性を意識したペーシング関数を設計し、それを CBLS と組み合わせて、さまざまなカリキュラムの利点を調査しました。
提案された手法は、マルチクラス、マルチラベル分類、キャプション、およびセグメンテーション タスクの 4 つのロボット手術データセットで検証されます。
また、検証データをさまざまな重大度レベルに破損させることにより、メソッドの堅牢性を調査します。
私たちの広範な分析は、提案された方法が予測精度とロバスト性を改善することを示しています。

要約(オリジナル)

Curriculum learning and self-paced learning are the training strategies that gradually feed the samples from easy to more complex. They have captivated increasing attention due to their excellent performance in robotic vision. Most recent works focus on designing curricula based on difficulty levels in input samples or smoothing the feature maps. However, smoothing labels to control the learning utility in a curriculum manner is still unexplored. In this work, we design a paced curriculum by label smoothing (P-CBLS) using paced learning with uniform label smoothing (ULS) for classification tasks and fuse uniform and spatially varying label smoothing (SVLS) for semantic segmentation tasks in a curriculum manner. In ULS and SVLS, a bigger smoothing factor value enforces a heavy smoothing penalty in the true label and limits learning less information. Therefore, we design the curriculum by label smoothing (CBLS). We set a bigger smoothing value at the beginning of training and gradually decreased it to zero to control the model learning utility from lower to higher. We also designed a confidence-aware pacing function and combined it with our CBLS to investigate the benefits of various curricula. The proposed techniques are validated on four robotic surgery datasets of multi-class, multi-label classification, captioning, and segmentation tasks. We also investigate the robustness of our method by corrupting validation data into different severity levels. Our extensive analysis shows that the proposed method improves prediction accuracy and robustness.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google