AutoLabel: CLIP-based framework for Open-set Video Domain Adaptation

要約

タイトル： AutoLabel：Open-set Video Domain AdaptationのためのCLIPベースのフレームワーク
要約：

– Open-set Unsupervised Video Domain Adaptation（OUVDA）は、ラベル付きソースドメインから、ターゲットに存在するがソースに存在しない「ターゲットプライベート」カテゴリが含まれるラベルなしのターゲットドメインにアクション認識モデルを適応させるタスクを扱います。
– 従来の特殊なオープンセット分類器のトレーニングまたは重みつき対抗学習から逸脱し、事前にトレーニングされたLanguage and Vision Models（CLIP）を用いることを提案することにより、CLIPを使用することを提案することで、OUVDAに適しています。CLIPは豊富な表現とゼロショット認識能力を持つため、OUVDAに適しています。
– ただし、CLIPのゼロショットプロトコルを使用してターゲットプライベートインスタンスを拒否するには、ターゲットプライベートラベル名に関するオラクル知識が必要です。ラベル名の知識の不可能性を回避するために、オブジェクト中心の合成候補ターゲットプライベートクラス名を自動的に発見および生成するAutoLabelを提案します。
– 簡単であるにもかかわらず、CLIPがAutoLabelを装備すると、ターゲットプライベートインスタンスを十分に拒否することが示され、したがって、2つのドメインの共有クラスの間のより良いアライメントを促進しています。コードは利用可能です。

要約(オリジナル)

Open-set Unsupervised Video Domain Adaptation (OUVDA) deals with the task of adapting an action recognition model from a labelled source domain to an unlabelled target domain that contains ‘target-private’ categories, which are present in the target but absent in the source. In this work we deviate from the prior work of training a specialized open-set classifier or weighted adversarial learning by proposing to use pre-trained Language and Vision Models (CLIP). The CLIP is well suited for OUVDA due to its rich representation and the zero-shot recognition capabilities. However, rejecting target-private instances with the CLIP’s zero-shot protocol requires oracle knowledge about the target-private label names. To circumvent the impossibility of the knowledge of label names, we propose AutoLabel that automatically discovers and generates object-centric compositional candidate target-private class names. Despite its simplicity, we show that CLIP when equipped with AutoLabel can satisfactorily reject the target-private instances, thereby facilitating better alignment between the shared classes of the two domains. The code is available.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI