Combining pre-trained Vision Transformers and CIDER for Out Of Domain Detection

要約

ドメイン外 (OOD) 検出は、モデルがトレーニング分布外の入力に遭遇したときを識別するのに役立つため、産業アプリケーションでは重要なコンポーネントです。
ほとんどの産業用パイプラインは、CNN やビジョン トランスフォーマーなどの下流タスク用の事前トレーニングされたモデルに依存しています。
このペーパーでは、ドメイン外検出タスクにおけるこれらのモデルのパフォーマンスを調査します。
私たちの実験では、事前トレーニングされた変圧器モデルがすぐに高い検出パフォーマンスを達成できることを実証しました。
さらに、事前トレーニングされた ViT および CNN を CIDER などの改良手法と組み合わせて、OOD 検出パフォーマンスをさらに向上できることを示します。
私たちの結果は、変圧器が OOD 検出の有望なアプローチであり、多くの状況においてこのタスクのより強力なベースラインを設定することを示唆しています。

要約(オリジナル)

Out-of-domain (OOD) detection is a crucial component in industrial applications as it helps identify when a model encounters inputs that are outside the training distribution. Most industrial pipelines rely on pre-trained models for downstream tasks such as CNN or Vision Transformers. This paper investigates the performance of those models on the task of out-of-domain detection. Our experiments demonstrate that pre-trained transformers models achieve higher detection performance out of the box. Furthermore, we show that pre-trained ViT and CNNs can be combined with refinement methods such as CIDER to improve their OOD detection performance even more. Our results suggest that transformers are a promising approach for OOD detection and set a stronger baseline for this task in many contexts

arxiv情報

提供元, 利用サービス

arxiv.jp, Google