Strategic Usage in a Multi-Learner Setting

要約

現実世界のシステムでは、多くの場合、一連のサービスの中から選択するユーザーのプールが必要になります。
オンライン学習アルゴリズムの人気の高まりに伴い、これらのサービスはユーザーから収集されたデータを活用して自己最適化できるようになり、サービス品質などの何らかの報酬を最大化できます。
逆に言えば、ユーザーは、自分の報酬機能を追求するためにどのサービスを使用するかを戦略的に選択することができ、その過程で、どのサービスが自分のデータを表示および使用できるかについて権限を行使することができます。
単一サービス設定における戦略的ユーザーの影響については、広範な先行研究が実施されており、戦略的行動は、望ましい分類を達成するために観察可能な特徴を操作するという形で現れています。
ただし、これは多くの場合コストがかかるか、ユーザーにとって達成不可能であり、マルチサービスの動的システムの完全な動作を捕捉することができません。
そのため、戦略的ユーザーが肯定的な分類を追求するためにいくつかの利用可能なサービスの中から選択する一方で、サービスは観察に基づく損失関数を最小限に抑えようとする設定を分析します。
私たちは実現可能な設定に焦点を当てて分析し、すべてのユーザーが異なる時間に観察された場合でも、単純な再トレーニングが依然として発振につながる可能性があることを示しています。
ただし、この再トレーニングで過去の観測のメモリを使用する場合、特定の損失関数クラスの収束動作を保証できます。
理論的な発見を実証的に検証するために、合成データと現実世界のデータから得られた結果を提供します。

要約(オリジナル)

Real-world systems often involve some pool of users choosing between a set of services. With the increase in popularity of online learning algorithms, these services can now self-optimize, leveraging data collected on users to maximize some reward such as service quality. On the flipside, users may strategically choose which services to use in order to pursue their own reward functions, in the process wielding power over which services can see and use their data. Extensive prior research has been conducted on the effects of strategic users in single-service settings, with strategic behavior manifesting in the manipulation of observable features to achieve a desired classification; however, this can often be costly or unattainable for users and fails to capture the full behavior of multi-service dynamic systems. As such, we analyze a setting in which strategic users choose among several available services in order to pursue positive classifications, while services seek to minimize loss functions on their observations. We focus our analysis on realizable settings, and show that naive retraining can still lead to oscillation even if all users are observed at different times; however, if this retraining uses memory of past observations, convergent behavior can be guaranteed for certain loss function classes. We provide results obtained from synthetic and real-world data to empirically validate our theoretical findings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google