Cross-Domain Transfer Learning with CoRTe: Consistent and Reliable Transfer from Black-Box to Lightweight Segmentation Model

要約

実際のアプリケーションの多くは、ラベルのないデータセットでのセマンティック セグメンテーション モデルのトレーニングと、低リソースのハードウェアでの実行を必要とします。
トレーニングされたソース モデルから抽出すると、最初の解決策が示される可能性がありますが、トレーニング データの異なる分布は考慮されません。
教師なしドメイン適応 (UDA) 技術はドメイン シフトを解決すると主張していますが、ほとんどの場合、ソース データまたはアクセス可能なホワイト ボックス ソース モデルの可用性を前提としています。実際のアプリケーションでは、これらは商業的および/または安全上の理由から利用できないことがよくあります。
このペーパーでは、ブラックボックス ソース モデル予測のみにアクセスできるという仮定の下で、セマンティック セグメンテーションのためにラベルのないターゲット データセットで軽量モデルをトレーニングする必要がある、より困難な設定を調査します。
CoRTeと呼ばれる私たちの方法は、(i)相対信頼度を使用してブラックボックスソースモデルから信頼できる知識を抽出する擬似ラベル機能、(ii)ブラックボックスソースモデルによって学習された新しい情報を保持および強化する擬似ラベル洗練方法で構成されます。
ターゲット データに対する学生モデル、および (iii) 抽出された疑似ラベルを使用したモデルの一貫したトレーニング。
合成から実への 2 つの設定で CoRTe のベンチマークを行い、ブラック ボックス モデルを使用してターゲット データ分布の軽量モデルに関する知識を転送する場合に顕著な結果を実証しました。

要約(オリジナル)

Many practical applications require training of semantic segmentation models on unlabelled datasets and their execution on low-resource hardware. Distillation from a trained source model may represent a solution for the first but does not account for the different distribution of the training data. Unsupervised domain adaptation (UDA) techniques claim to solve the domain shift, but in most cases assume the availability of the source data or an accessible white-box source model, which in practical applications are often unavailable for commercial and/or safety reasons. In this paper, we investigate a more challenging setting in which a lightweight model has to be trained on a target unlabelled dataset for semantic segmentation, under the assumption that we have access only to black-box source model predictions. Our method, named CoRTe, consists of (i) a pseudo-labelling function that extracts reliable knowledge from the black-box source model using its relative confidence, (ii) a pseudo label refinement method to retain and enhance the novel information learned by the student model on the target data, and (iii) a consistent training of the model using the extracted pseudo labels. We benchmark CoRTe on two synthetic-to-real settings, demonstrating remarkable results when using black-box models to transfer knowledge on lightweight models for a target data distribution.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google