Training-Free Model Merging for Multi-target Domain Adaptation

要約

この論文では、シーン理解モデルのマルチターゲットドメイン適応を研究します。
以前の方法は、ドメイン間の一貫性の損失によって賞賛に値する結果を達成しましたが、多くの場合、すべてのターゲット ドメインからの画像への非現実的な同時アクセスを想定しており、データ転送帯域幅の制限やデータ プライバシーの懸念などの制約を見落としていました。
これらの課題を考慮すると、トレーニング データへの直接アクセスの必要性を回避しながら、個別のドメインで個別に適応されたモデルを結合するにはどうすればよいかという疑問が生じます。
この問題に対する私たちの解決策には、モデル パラメーターのマージとモデル バッファー (つまり、正規化層の統計) のマージという 2 つのコンポーネントが含まれます。
モデルパラメータを結合する場合、モード接続性の経験的分析により、驚くべきことに、別々のモデルを適応させるために同じ事前学習されたバックボーンの重みを使用する場合、線形結合で十分であることが明らかになりました。
モデル バッファーを結合する場合、ガウス事前分布を使用して現実世界の分布をモデル化し、個別にトレーニングされたモデルのバッファーから新しい統計を推定します。
私たちの方法はシンプルでありながら効果的であり、トレーニング データにアクセスする必要性を排除しながら、データ組み合わせトレーニング ベースラインと同等のパフォーマンスを達成します。
プロジェクトページ: https://air-discover.github.io/ModelMerging

要約(オリジナル)

In this paper, we study multi-target domain adaptation of scene understanding models. While previous methods achieved commendable results through inter-domain consistency losses, they often assumed unrealistic simultaneous access to images from all target domains, overlooking constraints such as data transfer bandwidth limitations and data privacy concerns. Given these challenges, we pose the question: How to merge models adapted independently on distinct domains while bypassing the need for direct access to training data? Our solution to this problem involves two components, merging model parameters and merging model buffers (i.e., normalization layer statistics). For merging model parameters, empirical analyses of mode connectivity surprisingly reveal that linear merging suffices when employing the same pretrained backbone weights for adapting separate models. For merging model buffers, we model the real-world distribution with a Gaussian prior and estimate new statistics from the buffers of separately trained models. Our method is simple yet effective, achieving comparable performance with data combination training baselines, while eliminating the need for accessing training data. Project page: https://air-discover.github.io/ModelMerging

arxiv情報

提供元, 利用サービス

arxiv.jp, Google