Coupled Gradient Flows for Strategic Non-Local Distribution Shift

要約

我々は、学習アルゴリズムとそれが展開されるディストリビューションの間のフィードバック ループを捉える、現実世界のシステムにおけるディストリビューション シフトのダイナミクスを分析するための新しいフレームワークを提案します。
これまでの研究は主に、フィードバックによって引き起こされる分布シフトを敵対的なものとして、または過度に単純化した分布シフト構造を介してモデル化しました。
対照的に、アルゴリズムによる意思決定、非局所的な内因性集団相互作用、およびその他の外因性ソースに対する戦略的応答によって生じる複雑なダイナミクスを考慮することで、時間の経過に伴う分布のきめの細かい変化を捉える連成偏微分方程式モデルを提案します。
分布シフトのこと。
機械学習における 2 つの一般的な設定を考慮します。それは、情報の非対称性を伴う協調的な設定、もう 1 つは学習者が戦略的ユーザーと対峙する競争的な設定です。
これらの設定の両方について、アルゴリズムが勾配降下法を介して再トレーニングする場合、有限次元と無限次元の両方で再トレーニング手順が定常状態に漸近収束することを証明し、モデル パラメーターに関する明示的なレートを取得します。
そうするために、私たちは、複数種のシステムで知られているものを拡張する結合偏微分方程式の収束に関する新しい結果を導き出します。
経験的に、私たちのアプローチは、より単純なモデルでは捉えることができない二極化や異種の影響など、十分に文書化された形態の分布変化を捉えることができることを示しています。

要約(オリジナル)

We propose a novel framework for analyzing the dynamics of distribution shift in real-world systems that captures the feedback loop between learning algorithms and the distributions on which they are deployed. Prior work largely models feedback-induced distribution shift as adversarial or via an overly simplistic distribution-shift structure. In contrast, we propose a coupled partial differential equation model that captures fine-grained changes in the distribution over time by accounting for complex dynamics that arise due to strategic responses to algorithmic decision-making, non-local endogenous population interactions, and other exogenous sources of distribution shift. We consider two common settings in machine learning: cooperative settings with information asymmetries, and competitive settings where a learner faces strategic users. For both of these settings, when the algorithm retrains via gradient descent, we prove asymptotic convergence of the retraining procedure to a steady-state, both in finite and in infinite dimensions, obtaining explicit rates in terms of the model parameters. To do so we derive new results on the convergence of coupled PDEs that extends what is known on multi-species systems. Empirically, we show that our approach captures well-documented forms of distribution shifts like polarization and disparate impacts that simpler models cannot capture.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google