Approximate Regions of Attraction in Learning with Decision-Dependent Distributions

要約

データ駆動型の方法が現実世界の設定に展開されると、観察されたデータを生成するプロセスは、多くの場合、学習者の決定に反応します。
たとえば、データ ソースには、アルゴリズムが特定のラベル (銀行ローンの承認など) を提供し、それに応じて機能を操作するインセンティブがある場合があります。
戦略的分類と意思決定に依存する分布での作業は、基礎となるデータ分布に対する分類子の影響を明示的に考慮することにより、学習アルゴリズムを展開する閉ループ動作を特徴付けようとします。
最近では、明示的な形式ではなく、分類器からデータ分布へのマッピングの一般的なプロパティを考慮することにより、パフォーマンス予測の作業で閉ループ動作を分類しようとしています。
この概念に基づいて、実行リスク最小化の勾配フローの摂動軌道として、反復リスク最小化を分析します。
初期条件がシステムの長期的な動作に大きな影響を与える可能性がある状況によって動機付けられた、パフォーマンスリスクのローカル最小化要因が複数存在する可能性がある場合を検討します。
この設定でのさまざまな平衡の魅力の領域を特徴付けるのに十分な条件を提供します。
さらに、パフォーマンス アライメントの概念を導入します。これは、繰り返されるリスク最小化からパフォーマンス リスク最小化への収束に関する幾何学的条件を提供します。

要約(オリジナル)

As data-driven methods are deployed in real-world settings, the processes that generate the observed data will often react to the decisions of the learner. For example, a data source may have some incentive for the algorithm to provide a particular label (e.g. approve a bank loan), and manipulate their features accordingly. Work in strategic classification and decision-dependent distributions seeks to characterize the closed-loop behavior of deploying learning algorithms by explicitly considering the effect of the classifier on the underlying data distribution. More recently, works in performative prediction seek to classify the closed-loop behavior by considering general properties of the mapping from classifier to data distribution, rather than an explicit form. Building on this notion, we analyze repeated risk minimization as the perturbed trajectories of the gradient flows of performative risk minimization. We consider the case where there may be multiple local minimizers of performative risk, motivated by situations where the initial conditions may have significant impact on the long-term behavior of the system. We provide sufficient conditions to characterize the region of attraction for the various equilibria in this settings. Additionally, we introduce the notion of performative alignment, which provides a geometric condition on the convergence of repeated risk minimization to performative risk minimizers.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google