A Meta-Analysis of Distributionally-Robust Models

要約

大規模なデータセット（ImageNetなど）でトレーニングされた最先端の画像分類器は、意図的および偶発的な分布シフトの両方に対して脆弱であることが示されています。
一方、分布外（OOD）のロバスト性が良好な最近の分類器がいくつか登場し、困難なベンチマークで分布内の精度を維持しながら、ターゲットタスクで高精度を実現しています。
公開されているさまざまなモデルのメタアナリシスを紹介します。そのほとんどは、過去12か月間に公開されています。
このメタアナリシスを通じて、すべての最高のパフォーマンスのOODロバストモデルの4つの主要な共通点を経験的に特定します。これらはすべて、視覚言語の事前トレーニングのかなりの可能性を明らかにします。

要約(オリジナル)

State-of-the-art image classifiers trained on massive datasets (such as ImageNet) have been shown to be vulnerable to a range of both intentional and incidental distribution shifts. On the other hand, several recent classifiers with favorable out-of-distribution (OOD) robustness properties have emerged, achieving high accuracy on their target tasks while maintaining their in-distribution accuracy on challenging benchmarks. We present a meta-analysis on a wide range of publicly released models, most of which have been published over the last twelve months. Through this meta-analysis, we empirically identify four main commonalities for all the best-performing OOD-robust models, all of which illuminate the considerable promise of vision-language pre-training.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google