Out-Of-Distribution Detection for Audio-visual Generalized Zero-Shot Learning: A General Framework

要約

一般化ゼロショット学習(GZSL)は、見たクラスと見たことのないクラスの両方を正確に分類することを必要とする困難な課題である。この領域の中で、視聴覚GZSLは、マルチモーダル入力として視覚と音響の特徴を含むことから、非常にエキサイティングでありながら困難な課題として浮上している。この分野での既存の取り組みでは、埋め込みベースか生成ベースの手法を利用することがほとんどである。しかし、生成ベースの学習は困難で不安定であり、埋め込みベースの方法はしばしばドメインシフトの問題に遭遇する。従って、我々は、両者の長所を活用しつつ、それぞれの短所を軽減するために、両手法を統合したフレームワークが有望であると考える。本研究では、両アプローチの長所を利用することを目的として、分布外（OOD）検出を採用した一般的なフレームワークを導入する。まず、未知の特徴を合成するために生成的な敵対的ネットワークを採用し、見たクラスと見たことのないクラスの分類器と並行してOOD検出器の学習を可能にする。この検出器により、テスト特徴が既視クラスに属するか未視クラスに属するかを判定し、その後、特徴タイプごとに別々の分類器を用いて分類を行う。我々は、3つの一般的なオーディオビジュアルデータセットで我々のフレームワークをテストし、既存の最先端研究と比較して有意な改善を観察した。コードはhttps://github.com/liuyuan-wen/AV-OOD-GZSL。

要約(オリジナル)

Generalized Zero-Shot Learning (GZSL) is a challenging task requiring accurate classification of both seen and unseen classes. Within this domain, Audio-visual GZSL emerges as an extremely exciting yet difficult task, given the inclusion of both visual and acoustic features as multi-modal inputs. Existing efforts in this field mostly utilize either embedding-based or generative-based methods. However, generative training is difficult and unstable, while embedding-based methods often encounter domain shift problem. Thus, we find it promising to integrate both methods into a unified framework to leverage their advantages while mitigating their respective disadvantages. Our study introduces a general framework employing out-of-distribution (OOD) detection, aiming to harness the strengths of both approaches. We first employ generative adversarial networks to synthesize unseen features, enabling the training of an OOD detector alongside classifiers for seen and unseen classes. This detector determines whether a test feature belongs to seen or unseen classes, followed by classification utilizing separate classifiers for each feature type. We test our framework on three popular audio-visual datasets and observe a significant improvement comparing to existing state-of-the-art works. Codes can be found in https://github.com/liuyuan-wen/AV-OOD-GZSL.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL