Non-generative Generalized Zero-shot Learning via Task-correlated Disentanglement and Controllable Samples Synthesis

要約

現在、疑似サンプルの合成は、一般化ゼロショット学習 (GZSL) 問題を解決する最も効果的な方法です。
ほとんどのモデルは競争力のあるパフォーマンスを達成しますが、依然として 2 つの問題があります。(1) 機能の交絡、全体的な表現がタスク相関およびタスク非依存の機能を混乱させ、既存のモデルは生成的な方法でそれらを解きほぐしますが、信頼できる疑似サンプルを合成するのは不合理です。
限られたサンプルで。
(2) 分布の不確実性。既存のモデルが不確実な分布からサンプルを合成するときに大量のデータが必要になるため、見られるクラスの限られたサンプルでパフォーマンスが低下します。
この論文では、これらの問題に対応して2つのモジュールで対処するための非生成モデルを提案します。
;
(2) 制御可能な疑似サンプル合成。特定の特性を備えたエッジ疑似サンプルとセンター疑似サンプルを合成し、より多様な生成と直感的な転送を実現します。
さらに、トレーニング プロセスで見られるクラス サンプルの限界である新しいシーンを記述するために、「Few-shot Seen class and Zero-shot Unseen class learning」(FSZU) という名前の新しい ZSL タスクをさらに定式化します。
4 つのベンチマークでの広範な実験により、提案された方法が GZSL および FSZU タスクで競合することが検証されます。

要約(オリジナル)

Synthesizing pseudo samples is currently the most effective way to solve the Generalized Zero-Shot Learning (GZSL) problem. Most models achieve competitive performance but still suffer from two problems: (1) Feature confounding, the overall representations confound task-correlated and task-independent features, and existing models disentangle them in a generative way, but they are unreasonable to synthesize reliable pseudo samples with limited samples; (2) Distribution uncertainty, that massive data is needed when existing models synthesize samples from the uncertain distribution, which causes poor performance in limited samples of seen classes. In this paper, we propose a non-generative model to address these problems correspondingly in two modules: (1) Task-correlated feature disentanglement, to exclude the task-correlated features from task-independent ones by adversarial learning of domain adaption towards reasonable synthesis; (2) Controllable pseudo sample synthesis, to synthesize edge-pseudo and center-pseudo samples with certain characteristics towards more diversity generated and intuitive transfer. In addation, to describe the new scene that is the limit seen class samples in the training process, we further formulate a new ZSL task named the ‘Few-shot Seen class and Zero-shot Unseen class learning’ (FSZU). Extensive experiments on four benchmarks verify that the proposed method is competitive in the GZSL and the FSZU tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google