Efficient Discrepancy Testing for Learning with Distribution Shift

要約

ドメイン適応の分野におけるトレイン分布とテスト分布の間の距離の基本的な概念は、不一致距離です。
一般に計算は困難ですが、ここでは、局所的な不一致距離をテストするための、証明されている効率的なアルゴリズムの最初のセットを提供します。ここでは、固定出力分類子に関して不一致が計算されます。
これらの結果は、Klivans らによって最近導入された Testable Learning with Distribution Shift (TDS 学習) のモデルに、広範囲にわたる新しい効率的な学習アルゴリズムが含まれていることを示唆しています。
（2023年）。
私たちのアプローチは、TDS 学習に関するこれまでの研究をすべて一般化し、改善します。(1) テスト分布の大きなクラスに対して同時に成功するユニバーサル学習器を取得し、(2) 最適に近い誤り率を達成し、(3) 一定深さの回路に対して指数関数的な改善をもたらします。
。
私たちの方法はさらにセミパラメトリック設定に拡張され、低次元の凸集合に対する最初の肯定的な結果を暗示します。
さらに、学習フェーズとテストフェーズを分離し、テスト時に完全な多項式時間で実行されるアルゴリズムを取得します。

要約(オリジナル)

A fundamental notion of distance between train and test distributions from the field of domain adaptation is discrepancy distance. While in general hard to compute, here we provide the first set of provably efficient algorithms for testing localized discrepancy distance, where discrepancy is computed with respect to a fixed output classifier. These results imply a broad set of new, efficient learning algorithms in the recently introduced model of Testable Learning with Distribution Shift (TDS learning) due to Klivans et al. (2023). Our approach generalizes and improves all prior work on TDS learning: (1) we obtain universal learners that succeed simultaneously for large classes of test distributions, (2) achieve near-optimal error rates, and (3) give exponential improvements for constant depth circuits. Our methods further extend to semi-parametric settings and imply the first positive results for low-dimensional convex sets. Additionally, we separate learning and testing phases and obtain algorithms that run in fully polynomial time at test time.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google