Contextual Reliability: When Different Features Matter in Different Contexts

要約

ディープ ニューラル ネットワークは、偽の相関に依存することで壊滅的に失敗することがよくあります。
これまでの研究のほとんどは、偽の特徴と信頼できる特徴への明確な二分法を前提としています。
ただし、これは多くの場合非現実的です。
たとえば、ほとんどの場合、自動運転車が周囲の車の速度を単にコピーすることは望ましくありません。隣の車が赤信号を無視した場合に、自分の車が赤信号を無視することは望ましくありません。
ただし、隣の車線の速度の不変性を単純に強制することはできません。それは、横断歩道で目に見えない歩行者に関する貴重な情報を提供する可能性があるからです。
したがって、場合によっては (常にではありませんが) 信頼できる機能を一律に無視すると、堅牢なパフォーマンスが得られない可能性があります。
私たちは、使用する「正しい」機能がコンテキストに応じて異なる可能性があるという事実を説明する、コンテキスト信頼性と呼ばれる新しい設定を形式化します。
私たちは、Explicit Non-spurious feature Prediction (ENP) と呼ばれる 2 段階のフレームワークを提案および分析します。このフレームワークは、最初に特定のコンテキストに使用する関連する特徴を特定し、次にこれらの特徴のみに依存するようにモデルをトレーニングします。
私たちの研究は、既存の方法に対する ENP の利点を理論的および経験的に実証し、状況に応じた信頼性の新しいベンチマークを提供します。

要約(オリジナル)

Deep neural networks often fail catastrophically by relying on spurious correlations. Most prior work assumes a clear dichotomy into spurious and reliable features; however, this is often unrealistic. For example, most of the time we do not want an autonomous car to simply copy the speed of surrounding cars — we don’t want our car to run a red light if a neighboring car does so. However, we cannot simply enforce invariance to next-lane speed, since it could provide valuable information about an unobservable pedestrian at a crosswalk. Thus, universally ignoring features that are sometimes (but not always) reliable can lead to non-robust performance. We formalize a new setting called contextual reliability which accounts for the fact that the ‘right’ features to use may vary depending on the context. We propose and analyze a two-stage framework called Explicit Non-spurious feature Prediction (ENP) which first identifies the relevant features to use for a given context, then trains a model to rely exclusively on these features. Our work theoretically and empirically demonstrates the advantages of ENP over existing methods and provides new benchmarks for contextual reliability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google