Modality Translation for Object Detection Adaptation Without Forgetting Prior Knowledge

要約

深層学習の一般的な実践には、さまざまなドメインやタスクにわたって高精度を達成するために、大規模なデータセット上で大規模なニューラル ネットワークをトレーニングすることが含まれます。
このアプローチは多くのアプリケーション分野でうまく機能しますが、モデルの事前トレーニングに使用されたデータから大幅に分布が変化した新しいモダリティからのデータを処理する場合には、大幅に失敗することがよくあります。
この論文では、RGB 画像でトレーニングされた大型物体検出モデルを、大幅なモダリティ シフトを伴う IR 画像から抽出された新しいデータに適応させることに焦点を当てています。
私たちは、新しいモダリティに合わせて大規模なモデルを微調整する一般的なアプローチの代替として、モダリティ トランスレータ (ModTr) を提案します。
ModTr は、検出損失を直接最小限に抑えるようにトレーニングされた小さな変換ネットワークを使用して IR 入力画像を適応させます。
元の RGB モデルは、パラメータをさらに変更したり微調整したりすることなく、変換された入力を処理できます。
2 つのよく知られたデータセットでの IR 画像から RGB 画像への変換に関する実験結果は、私たちのシンプルなアプローチが、元のモデルの知識を忘れることなく、標準の微調整と同等かそれ以上のパフォーマンスを発揮する検出器を提供することを示しています。
これにより、より柔軟で効率的なサービスベースの検出パイプラインへの扉が開かれ、RGB 検出器などの変更されていない独自のサーバーが、対応する変換モデルを備えた IR などのさまざまなモダリティによるクエリを受けながら常に実行されます。
私たちのコードは https://github.com/heitorrapela/ModTr で入手できます。

要約(オリジナル)

A common practice in deep learning involves training large neural networks on massive datasets to achieve high accuracy across various domains and tasks. While this approach works well in many application areas, it often fails drastically when processing data from a new modality with a significant distribution shift from the data used to pre-train the model. This paper focuses on adapting a large object detection model trained on RGB images to new data extracted from IR images with a substantial modality shift. We propose Modality Translator (ModTr) as an alternative to the common approach of fine-tuning a large model to the new modality. ModTr adapts the IR input image with a small transformation network trained to directly minimize the detection loss. The original RGB model can then work on the translated inputs without any further changes or fine-tuning to its parameters. Experimental results on translating from IR to RGB images on two well-known datasets show that our simple approach provides detectors that perform comparably or better than standard fine-tuning, without forgetting the knowledge of the original model. This opens the door to a more flexible and efficient service-based detection pipeline, where a unique and unaltered server, such as an RGB detector, runs constantly while being queried by different modalities, such as IR with the corresponding translations model. Our code is available at: https://github.com/heitorrapela/ModTr.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google