Predicting Out-of-Domain Generalization with Neighborhood Invariance

要約

機械学習モデルを安全に開発およびデプロイできるかどうかは、その機能を特徴づけて比較し、新しい環境に一般化できるかどうかにかかっています。
最近の研究では、モデルの汎化能力を直接予測したり理論的に制限したりできるさまざまな方法が提案されていますが、それらはトレーニング/テスト分布のマッチングやモデル勾配へのアクセスなどの強力な仮定に依存しています。
これらの仮定が満たされない場合の一般化を特徴付けるために、局所変換近傍における分類器の出力不変性の尺度である近傍不変性を提案します。
具体的には、一連の変換をサンプリングし、入力テスト ポイントを指定して、同じクラスに分類される変換ポイントの最大部分として不変性を計算します。
重要なのは、私たちの尺度は計算が簡単で、テスト ポイントの実際のラベルに依存せず、データの分布やモデルについて何の仮定も行わず、既存の方法では適用できないドメイン外 (OOD) 設定でも適用できます。
適切なデータ変換のセットを選択するだけです。
画像分類、センチメント分析、および自然言語推論におけるロバスト性ベンチマークの実験では、100 を超える一意のトレーニング/テスト ドメインのペアで評価された 4,600 を超えるモデルで、近傍不変性測定と実際の OOD 一般化との間に強力でロバストな相関関係があることを実証しました。

要約(オリジナル)

Developing and deploying machine learning models safely depends on the ability to characterize and compare their abilities to generalize to new environments. Although recent work has proposed a variety of methods that can directly predict or theoretically bound the generalization capacity of a model, they rely on strong assumptions such as matching train/test distributions and access to model gradients. In order to characterize generalization when these assumptions are not satisfied, we propose neighborhood invariance, a measure of a classifier’s output invariance in a local transformation neighborhood. Specifically, we sample a set of transformations and given an input test point, calculate the invariance as the largest fraction of transformed points classified into the same class. Crucially, our measure is simple to calculate, does not depend on the test point’s true label, makes no assumptions about the data distribution or model, and can be applied even in out-of-domain (OOD) settings where existing methods cannot, requiring only selecting a set of appropriate data transformations. In experiments on robustness benchmarks in image classification, sentiment analysis, and natural language inference, we demonstrate a strong and robust correlation between our neighborhood invariance measure and actual OOD generalization on over 4,600 models evaluated on over 100 unique train/test domain pairs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google