Focus on the Likely: Test-time Instance-based Uncertainty Removal

要約

私たちは尋ねます：モデルの予測を改善する可能性が高いと予測されるクラスに焦点を当てることはありますか？
不確実なモデルの予測を改善するために、2つの新しいテスト時間微調整方法を提案することにより、肯定的な答えを目指しています。
最も可能性の高いクラスを貪欲に選択する代わりに、予測を改善するために、追加のステップを紹介します。
理論的に動機付けられた単一勾配降下ステップを大きな学習率で適用することにより、初期のフォワードパスが高い不確実性を示したときに予測を改善します。
これにより、予測は、ゼロ確率をより妥当性の低い結果に割り当てる理想とより密接に合わせます。
実験的評価は、私たちの方法の1つの精度の向上を示しています。これは、多様なテキストおよび画像ドメインモデル全体で、可能性のあるクラス間で共有された機能を強調しています。
％当社の理論的議論は、より深い理解を提供し、（フォーカス）クラスの間で共有された共有機能と非共有機能のさまざまな影響を強調しています。
％私たちの議論はまた、標準のオフライントレーニングとテスト時間トレーニングに関する興味深い見解を示唆しています。各トレーニングフェーズでは、特徴依存の幅に関する幅の幅に関する最適化の理論的根拠が望ましいことが示唆されています。

要約(オリジナル)

We ask: Does focusing on classes predicted as likely improve model predictions? We aim for an affirmative answer by proposing two novel test-time fine-tuning methods to improve uncertain model predictions. Instead of greedily selecting the most likely class, we introduce an additional step, \emph{focus on the likely classes}, to refine predictions. By applying a theoretically motivated single gradient descent step with a large learning rate, we refine predictions when an initial forward pass indicates high uncertainty. This aligns predictions more closely with the ideal of assigning zero probability to less plausible outcomes. The experimental evaluation demonstrates accuracy gains for one of our methods, which emphasizes shared features among likely classes, across diverse text and image domain models. %Our theoretical discussion provides a deeper understanding, highlighting the varying impact of shared and non-shared features among (focus) classes. %Our discussion also suggests an interesting view on standard, offline training vs. test-time training: Opposing optimization rationales regarding breadth of feature dependence are preferable during each training phase.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google