Stochastic Approximation with Decision-Dependent Distributions: Asymptotic Normality and Optimality

要約

決定依存の問題に対する確率的近似アルゴリズムを分析します。このアルゴリズムで使用されるデータ分布は、反復シーケンスに沿って変化します。
このような問題の主な例は、パフォーマンス予測とそのマルチプレイヤー拡張に現れます。
穏やかな仮定の下では、アルゴリズムの平均反復回数と解の間の偏差は漸近的に正規であり、勾配ノイズと分布シフトの影響を明確に分離する共分散を伴うことを示します。
さらに、H\’ajek と Le Cam の研究に基づいて、平均化を伴うアルゴリズムの漸近パフォーマンスが局所的に最小最適であることを示します。

要約(オリジナル)

We analyze a stochastic approximation algorithm for decision-dependent problems, wherein the data distribution used by the algorithm evolves along the iterate sequence. The primary examples of such problems appear in performative prediction and its multiplayer extensions. We show that under mild assumptions, the deviation between the average iterate of the algorithm and the solution is asymptotically normal, with a covariance that clearly decouples the effects of the gradient noise and the distributional shift. Moreover, building on the work of H\’ajek and Le Cam, we show that the asymptotic performance of the algorithm with averaging is locally minimax optimal.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google