Rethinking Scaling Laws for Learning in Strategic Environments

要約

ますます大規模な機械学習モデルの導入は、モデルの表現力が高まるほど$\unicode{x2013}$、より多くのデータにアクセスできる$\unicode{x2013}$ほどパフォーマンスを向上できるというコンセンサスが高まっていることを反映しています。
モデルが現実世界のさまざまなシナリオに展開されると、必然的に戦略的環境に直面することになります。
この研究では、モデルと戦略的相互作用の相互作用がスケーリング則にどのような影響を与えるかという当然の疑問を考察します。
私たちは、戦略的インタラクションがスケーリングの法則の従来の見方を打ち破る可能性があることを発見しました$\unicode{x2013}$つまり、モデルが大きくなり、表現力が増すにつれて（無限のデータであっても）パフォーマンスが必ずしも単調に向上するとは限りません。
$\unicode{x2013}$モデルやポリシー クラスの表現力を単純に制限することで$\
unicode{x2013}$one は、厳密に優れた均衡結果を達成できます。
これらの例に触発されて、我々は、エージェントがゲーム内のアクション セットとして使用するさまざまなモデル クラスの中から選択しようとする、ゲームにおけるモデル選択の新しいパラダイムを提案します。

要約(オリジナル)

The deployment of ever-larger machine learning models reflects a growing consensus that the more expressive the model$\unicode{x2013}$and the more data one has access to$\unicode{x2013}$the more one can improve performance. As models get deployed in a variety of real world scenarios, they inevitably face strategic environments. In this work, we consider the natural question of how the interplay of models and strategic interactions affects scaling laws. We find that strategic interactions can break the conventional view of scaling laws$\unicode{x2013}$meaning that performance does not necessarily monotonically improve as models get larger and/ or more expressive (even with infinite data). We show the implications of this phenomenon in several contexts including strategic regression, strategic classification, and multi-agent reinforcement learning through examples of strategic environments in which$\unicode{x2013}$by simply restricting the expressivity of one’s model or policy class$\unicode{x2013}$one can achieve strictly better equilibrium outcomes. Motivated by these examples, we then propose a new paradigm for model-selection in games wherein an agent seeks to choose amongst different model classes to use as their action set in a game.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google