Synthetic Sample Selection for Generalized Zero-Shot Learning

要約

タイトル: 汎用ゼロショット学習のための合成サンプル選択
要約: 汎用ゼロショット学習は、訓練時に見たことのないオブジェクトを認識する能力を持つため、コンピュータビジョンの中でも重要な研究分野の一つになっています。本研究では、従来のGZSLを完全に監視された学習に変換する生成技術によって達成された大きな進歩にもかかわらず、多くの合成機能が生成されるため、学習時間が長くなり精度が低下するという問題に取り組んでいます。そのため、強化学習を用いた合成特徴選択の新しいアプローチを提案しています。Transformerベースのセレクタを提案し、プロクシマルポリシーオプティマイゼーション（PPO）を使用してトレーニングされ、検証分類精度に基づいて合成機能を選択することで報酬が与えられます。提案された方法はモデルに依存せず、データに依存せず、画像と動画の両方に適用でき、多様なアプリケーションに対応できます。実験結果は、私たちのアプローチが既存の機能生成方法を上回り、複数のベンチマーク上での総合的なパフォーマンスを向上させることを示しています。

– 汎用ゼロショット学習は、訓練時に見たことのないオブジェクトを認識する能力を持つため、重要な研究分野である。
– 従来のGZSLを完全に監視された学習に変換する生成技術によって大きな進歩が達成されたが、多くの合成機能が生成されるため、学習時間が長くなり精度が低下するという問題がある。
– 強化学習を用いた合成特徴選択の新しいアプローチを提案している。
– トレーニングされたTransformerベースのセレクタは、PPOを使用して検証分類精度に基づいて合成機能を選択することで報酬が与えられる。
– 提案された方法は、モデルに依存しないため、データに依存しない。
– 実験結果は、提案手法が既存の機能生成方法を上回り、複数のベンチマーク上での総合的なパフォーマンスを向上させることを示している。

要約(オリジナル)

Generalized Zero-Shot Learning (GZSL) has emerged as a pivotal research domain in computer vision, owing to its capability to recognize objects that have not been seen during training. Despite the significant progress achieved by generative techniques in converting traditional GZSL to fully supervised learning, they tend to generate a large number of synthetic features that are often redundant, thereby increasing training time and decreasing accuracy. To address this issue, this paper proposes a novel approach for synthetic feature selection using reinforcement learning. In particular, we propose a transformer-based selector that is trained through proximal policy optimization (PPO) to select synthetic features based on the validation classification accuracy of the seen classes, which serves as a reward. The proposed method is model-agnostic and data-agnostic, making it applicable to both images and videos and versatile for diverse applications. Our experimental results demonstrate the superiority of our approach over existing feature-generating methods, yielding improved overall performance on multiple benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI