Gradient Equilibrium in Online Learning: Theory and Applications

要約

我々は、勾配平衡と呼ぶオンライン学習に関する新しい視点を提示します。つまり、シーケンスに沿った損失の勾配の平均がゼロに収束すると、一連の反復は勾配平衡に達します。
一般に、この状態は線形的後悔によって暗示されることも暗示されることもありません。
勾配平衡は、一定のステップ サイズ (後悔しないために通常必要とされるステップ サイズの減衰ではなく) を使用した勾配降下法やミラー降下法などの標準的なオンライン学習方法で達成できることがわかりました。
さらに、例を通して示すように、勾配平衡は、回帰、分類、分位点推定などにわたるオンライン予測問題において解釈可能で意味のある特性に変換されます。
特に、勾配平衡フレームワークを使用して、単純な事後オンライン降下更新に基づいて、任意の分布シフトの下でブラックボックス予測のバイアス除去スキームを開発できることを示します。
また、事後勾配更新を使用して、分布シフトの下で予測分位数を調整できること、およびこのフレームワークがペアごとの選好予測の不偏 Elo スコアにつながることも示します。

要約(オリジナル)

We present a new perspective on online learning that we refer to as gradient equilibrium: a sequence of iterates achieves gradient equilibrium if the average of gradients of losses along the sequence converges to zero. In general, this condition is not implied by nor implies sublinear regret. It turns out that gradient equilibrium is achievable by standard online learning methods such as gradient descent and mirror descent with constant step sizes (rather than decaying step sizes, as is usually required for no regret). Further, as we show through examples, gradient equilibrium translates into an interpretable and meaningful property in online prediction problems spanning regression, classification, quantile estimation, and others. Notably, we show that the gradient equilibrium framework can be used to develop a debiasing scheme for black-box predictions under arbitrary distribution shift, based on simple post hoc online descent updates. We also show that post hoc gradient updates can be used to calibrate predicted quantiles under distribution shift, and that the framework leads to unbiased Elo scores for pairwise preference prediction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google