Conservative classifiers do consistently well with improving agents: characterizing statistical and online learning

要約

機械学習は、たとえば、求職者やローン申請の評価において、社会的意思決定において遍在しており、分類されたエージェントが学習アルゴリズムにどのように反応するかを考慮することがますます重要になっています。
戦略的分類に関する最近の文献の大部分は、分類されたエージェントによる欺cept的な行動の削減と対抗に焦点を当てていますが、Attias et al。
標準のPACラーニングよりも小さな一般化エラーなど、望ましい分類を達成するためにエージェントが真に改善するとき、学習性の驚くべき特性を特定します。
この論文では、複数の新しい軸にわたって改善されたいわゆる学習性を特徴付けています。
最小限の一貫した概念クラスの非対称バリアントを導入し、それを使用して、実現可能な設定で改善された適切な学習の正確な特性評価を提供します。
一般的な研究では、一般的な任意のエージェント改善地域でのみ学習可能性がありますが、より自然なユークリッドボールの改善セットについては肯定的な結果を得ています。
特に、データ分布の軽度の生成仮定の下で不適切な学習を特徴付けます。
さらに、より挑戦的な設定で学習する方法を示し、適切に研究された限界ノイズモデルの下でより低い一般化エラーを達成し、実現可能で不可知のオンライン学習で間違いの境界を獲得します。
Attiasらによって提起された未解決の質問を解決します。
適切な学習と不適切な学習の両方。

要約(オリジナル)

Machine learning is now ubiquitous in societal decision-making, for example in evaluating job candidates or loan applications, and it is increasingly important to take into account how classified agents will react to the learning algorithms. The majority of recent literature on strategic classification has focused on reducing and countering deceptive behaviors by the classified agents, but recent work of Attias et al. identifies surprising properties of learnability when the agents genuinely improve in order to attain the desirable classification, such as smaller generalization error than standard PAC-learning. In this paper we characterize so-called learnability with improvements across multiple new axes. We introduce an asymmetric variant of minimally consistent concept classes and use it to provide an exact characterization of proper learning with improvements in the realizable setting. While prior work studies learnability only under general, arbitrary agent improvement regions, we give positive results for more natural Euclidean ball improvement sets. In particular, we characterize improper learning under a mild generative assumption on the data distribution. We further show how to learn in more challenging settings, achieving lower generalization error under well-studied bounded noise models and obtaining mistake bounds in realizable and agnostic online learning. We resolve open questions posed by Attias et al. for both proper and improper learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google