Task Agnostic and Post-hoc Unseen Distribution Detection

要約

分布外（OOD）検出、異常検出、および不確実性推定タスクの最近の進歩にもかかわらず、タスクにとらわれない事後アプローチは存在しません。
この制限に対処するために、特定のタスクでトレーニングされたモデルから抽出された特徴を利用する、タスクにとらわれない事後の見えない分布検出（TAPUDD）と呼ばれる新しいクラスタリングベースのアンサンブル手法を設計します。
明示的には、トレーニングデータセットの特徴をクラスター化し、すべてのクラスターからのテストサンプルの最小マハラノビス距離を決定するTAP-マハラノビスで構成されます。
さらに、信頼性が高く効率的なクラスター計算を提供するために、異なる数のクラスターの反復TAP-マハラノビスの計算を集約するアンサンブルモジュールを提案します。
合成データセットと実世界のデータセットに関する広範な実験を通じて、私たちのアプローチは、さまざまなタスクにわたって目に見えないサンプルを効果的に検出でき、既存のベースラインと同等またはそれ以上のパフォーマンスを発揮することがわかります。
この目的のために、クラスター数の最適値を決定する必要性を排除し、私たちの方法が大規模な分類タスクに対してより実行可能であることを示します。

要約(オリジナル)

Despite the recent advances in out-of-distribution(OOD) detection, anomaly detection, and uncertainty estimation tasks, there do not exist a task-agnostic and post-hoc approach. To address this limitation, we design a novel clustering-based ensembling method, called Task Agnostic and Post-hoc Unseen Distribution Detection (TAPUDD) that utilizes the features extracted from the model trained on a specific task. Explicitly, it comprises of TAP-Mahalanobis, which clusters the training datasets’ features and determines the minimum Mahalanobis distance of the test sample from all clusters. Further, we propose the Ensembling module that aggregates the computation of iterative TAP-Mahalanobis for a different number of clusters to provide reliable and efficient cluster computation. Through extensive experiments on synthetic and real-world datasets, we observe that our approach can detect unseen samples effectively across diverse tasks and performs better or on-par with the existing baselines. To this end, we eliminate the necessity of determining the optimal value of the number of clusters and demonstrate that our method is more viable for large-scale classification tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google