Test-Time Training with Masked Autoencoders

要約

テスト時間トレーニングは、自己監視を使用して各テスト入力のモデルを最適化することにより、新しいテスト分布にオンザフライで適応します。
この論文では、この 1 サンプル学習問題にマスクされた自己符号化器を使用します。
経験的に、私たちの単純な方法は、分布シフトの多くの視覚的なベンチマークで一般化を改善します。
理論的には、バイアスと分散のトレードオフの観点から、この改善を特徴付けます。

要約(オリジナル)

Test-time training adapts to a new test distribution on the fly by optimizing a model for each test input using self-supervision. In this paper, we use masked autoencoders for this one-sample learning problem. Empirically, our simple method improves generalization on many visual benchmarks for distribution shifts. Theoretically, we characterize this improvement in terms of the bias-variance trade-off.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google