The Role of Learning Algorithms in Collective Action

要約

機械学習における集団行動は、調整されたグループが機械学習アルゴリズムに対して持つことができる制御の研究です。
これまでの研究では、ベイズ最適分類器に対する集団の影響を評価することに重点が置かれてきましたが、実際には分類器がベイズ最適性を達成することはほとんどなく、固有の帰納的バイアスとともに学習アルゴリズムの選択によって影響を受けることを考えると、この視点は限定的です。
この研究では、学習アルゴリズムの選択が実際の環境で集団の成功にどのような役割を果たすかの研究を開始します。
具体的には、最悪の群誤差を改善するために人気のある分布的にロバストなアルゴリズム (DRO) と、「より単純な」関数に対する帰納的バイアスにより人気のある確率的勾配降下法 (SGD) に焦点を当てます。
理論的基礎によって裏付けられた私たちの経験的結果は、集団の効果的な規模と成功が学習アルゴリズムの特性に大きく依存することを示しています。
これは、機械学習における集団行動の影響を研究する際に、学習アルゴリズムを考慮する必要性を強調しています。

要約(オリジナル)

Collective action in Machine Learning is the study of the control that a coordinated group can have over machine learning algorithms. While previous research has concentrated on assessing the impact of collectives against Bayes optimal classifiers, this perspective is limited, given that in reality, classifiers seldom achieve Bayes optimality and are influenced by the choice of learning algorithms along with their inherent inductive biases. In this work, we initiate the study of how the choice of the learning algorithm plays a role in the success of a collective in practical settings. Specifically, we focus on distributionally robust algorithms (DRO), popular for improving a worst group error, and on the popular stochastic gradient descent (SGD), due to its inductive bias for ‘simpler’ functions. Our empirical results, supported by a theoretical foundation, show that the effective size and success of the collective are highly dependent on properties of the learning algorithm. This highlights the necessity of taking the learning algorithm into account when studying the impact of collective action in Machine learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google