To Adapt or Not to Adapt? Real-Time Adaptation for Semantic Segmentation

要約

セマンティック セグメンテーションのオンライン ドメイン アダプテーションの目標は、突然の気象現象など、展開中に発生する予期せぬドメインの変更に対処することです。
ただし、総当たり適応に伴う計算コストが高いため、このパラダイムは現実世界のアプリケーションでは実現できません。
この論文では、リアルタイムのドメイン適応のためのハードウェア認識モジュラー型最小費用トレーニング フレームワークである HAMLET を提案します。
私たちのアプローチには、ハードウェア対応のバックプロパゲーション オーケストレーション エージェント (HAMT) と、モデルをいつどのように適応させるか (LT) をアクティブに制御できる専用のドメイン シフト ディテクタが含まれています。
これらの進歩のおかげで、私たちのアプローチはセマンティック セグメンテーションを実行しながら、単一のコンシューマー グレードの GPU で 29FPS 以上で同時に適応することができます。
私たちのフレームワークの精度と速度の優れたトレードオフは、実験結果を通じて OnDA および SHIFT ベンチマークで実証されています。

要約(オリジナル)

The goal of Online Domain Adaptation for semantic segmentation is to handle unforeseeable domain changes that occur during deployment, like sudden weather events. However, the high computational costs associated with brute-force adaptation make this paradigm unfeasible for real-world applications. In this paper we propose HAMLET, a Hardware-Aware Modular Least Expensive Training framework for real-time domain adaptation. Our approach includes a hardware-aware back-propagation orchestration agent (HAMT) and a dedicated domain-shift detector that enables active control over when and how the model is adapted (LT). Thanks to these advancements, our approach is capable of performing semantic segmentation while simultaneously adapting at more than 29FPS on a single consumer-grade GPU. Our framework’s encouraging accuracy and speed trade-off is demonstrated on OnDA and SHIFT benchmarks through experimental results.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google