Open-Set Likelihood Maximization for Few-Shot Learning

要約

私たちは、Few-Shot Open-Set Recognition (FSOSR) 問題に取り組みます。つまり、ラベル付きサンプルが少数しかないクラスのセット間でインスタンスを分類し、同時に既知のクラスに属さないインスタンスを検出します。
推論時にラベルのないクエリ インスタンスを活用する、一般的な変換設定を検討します。
既存のトランスダクティブ手法はオープンセットのシナリオではパフォーマンスが低いという観察を動機として、潜在的な外れ値の影響を考慮した潜在スコアを通常のパラメトリック モデルとともに導入する最尤原理の一般化を提案します。
私たちの定式化には、サポート セットからの監視制約と、クエリ セットに対する自信過剰な予測を妨げる追加のペナルティが組み込まれています。
潜在スコアとパラメトリック モデルを交互に共同最適化して、ブロック座標降下を進め、それによって相互に利益をもたらします。
結果として得られる定式化を \textit{Open-Set Likelihood Optimization} (OSLO) と呼びます。
OSLO は解釈可能で完全にモジュール化されています。
事前トレーニングされたモデルの上にシームレスに適用できます。
広範な実験を通じて、我々の方法が、開集合認識の両方の側面、すなわち、内値分類と外れ値検出において、既存の帰納法および変換法を上回ることを示します。

要約(オリジナル)

We tackle the Few-Shot Open-Set Recognition (FSOSR) problem, i.e. classifying instances among a set of classes for which we only have a few labeled samples, while simultaneously detecting instances that do not belong to any known class. We explore the popular transductive setting, which leverages the unlabelled query instances at inference. Motivated by the observation that existing transductive methods perform poorly in open-set scenarios, we propose a generalization of the maximum likelihood principle, in which latent scores down-weighing the influence of potential outliers are introduced alongside the usual parametric model. Our formulation embeds supervision constraints from the support set and additional penalties discouraging overconfident predictions on the query set. We proceed with a block-coordinate descent, with the latent scores and parametric model co-optimized alternately, thereby benefiting from each other. We call our resulting formulation \textit{Open-Set Likelihood Optimization} (OSLO). OSLO is interpretable and fully modular; it can be applied on top of any pre-trained model seamlessly. Through extensive experiments, we show that our method surpasses existing inductive and transductive methods on both aspects of open-set recognition, namely inlier classification and outlier detection.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google