Efficient Adaptation of Deep Neural Networks for Semantic Segmentation in Space Applications

要約

近年、深い学習技術の適用は、さまざまなコンピュータービジョンタスクで顕著な成功を示しており、地球外探査での展開への道を開いています。
転送学習は、これらの新しい環境でラベル付けされたデータの希少性に対処するための強力な戦略として浮上しています。
この論文は、主に月と火星の地形に焦点を当てた地球外景観における岩石セグメンテーションの効率的な転送学習にアダプターを使用することの実現可能性を評価する最初の取り組みの1つを表しています。
私たちの研究は、事前に訓練されたバックボーンモデルに戦略的に統合されたアダプターの使用が、ターゲット外地球デバイスの帯域幅とメモリの両方の要件を削減することに成功できることを示唆しています。
この研究では、2つのメモリを節約する戦略を検討しました。レイヤー融合（推論オーバーヘッドをゼロにする）と「アダプターのランキング」（伝送コストも削減するため）です。
最後に、これらの結果を、埋め込みデバイスでのタスクのパフォーマンス、メモリ、および計算の観点から評価し、現場でのより多くの研究への道を開くトレードオフを証明します。

要約(オリジナル)

In recent years, the application of Deep Learning techniques has shown remarkable success in various computer vision tasks, paving the way for their deployment in extraterrestrial exploration. Transfer learning has emerged as a powerful strategy for addressing the scarcity of labeled data in these novel environments. This paper represents one of the first efforts in evaluating the feasibility of employing adapters toward efficient transfer learning for rock segmentation in extraterrestrial landscapes, mainly focusing on lunar and martian terrains. Our work suggests that the use of adapters, strategically integrated into a pre-trained backbone model, can be successful in reducing both bandwidth and memory requirements for the target extraterrestrial device. In this study, we considered two memory-saving strategies: layer fusion (to reduce to zero the inference overhead) and an “adapter ranking” (to also reduce the transmission cost). Finally, we evaluate these results in terms of task performance, memory, and computation on embedded devices, evidencing trade-offs that open the road to more research in the field.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google