Progressive Growing of Patch Size: Resource-Efficient Curriculum Learning for Dense Prediction Tasks

要約

この研究では、高密度予測タスクに対するリソース効率の高い暗黙的なカリキュラム学習アプローチであるパッチ サイズの漸進的成長を導入します。
私たちのカリキュラムのアプローチは、モデルのトレーニング中にパッチのサイズを大きくすることで定義されており、タスクの難易度が徐々に増加します。
私たちはカリキュラムを nnU-Net フレームワークに統合し、医療セグメンテーション 十種競技の 10 タスクすべての方法論を評価しました。
私たちのアプローチにより、従来の一定のパッチサイズのトレーニングと比較して、ネットワーク トレーニングの実行時間、計算コスト、CO2 排出量を大幅に削減できます。
私たちの実験では、カリキュラムアプローチにより収束が向上しました。
元のトレーニング実行時間の約 50% のみを費やしながら、10 個の MSD タスクのうち 7 個でダイス スコアの点で、一定のパッチ サイズでトレーニングされる標準の nnU-Net トレーニングを上回るパフォーマンスを発揮できます。
私たちの知る限り、パッチ サイズの漸進的成長は、コンピュータ ビジョンの分野でパッチ サイズの形式でサンプル長カリキュラムを採用して成功した最初の例です。
私たちのコードは https://github.com/compai-lab/2024-miccai-fischer で公開されています。

要約(オリジナル)

In this work, we introduce Progressive Growing of Patch Size, a resource-efficient implicit curriculum learning approach for dense prediction tasks. Our curriculum approach is defined by growing the patch size during model training, which gradually increases the task’s difficulty. We integrated our curriculum into the nnU-Net framework and evaluated the methodology on all 10 tasks of the Medical Segmentation Decathlon. With our approach, we are able to substantially reduce runtime, computational costs, and CO2 emissions of network training compared to classical constant patch size training. In our experiments, the curriculum approach resulted in improved convergence. We are able to outperform standard nnU-Net training, which is trained with constant patch size, in terms of Dice Score on 7 out of 10 MSD tasks while only spending roughly 50% of the original training runtime. To the best of our knowledge, our Progressive Growing of Patch Size is the first successful employment of a sample-length curriculum in the form of patch size in the field of computer vision. Our code is publicly available at https://github.com/compai-lab/2024-miccai-fischer.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google