Collaborative Learning in General Graphs with Limited Memorization: Complexity, Learnability, and Reliability

要約

タイトル：制限された記憶を持つ一般グラフでの共同学習：複雑さ、学習性、および信頼性

要約：

– この研究では、エージェントが任意に接続され、各エージェントが制限された記憶能力と通信帯域幅を持つ一般グラフでのK本腕バンディット問題を考慮しています。
– 目標は、各エージェントが最終的に最良のアームを学ぶことです。
– これらの研究では、通信グラフが完全であるか、またはよく構造化されている必要があると仮定されています。ただし、実際にはそのような仮定が常に成り立たない場合があります。また、制限された記憶力と通信帯域幅もエージェントの協力を制限するため、エージェントは非常に少数の経験しか記憶し、通信します。
– 加えて、エージェントは虚偽の経験を仲間に共有することがあるため、記憶力と通信に関するリソース制限は、学習プロセスの信頼性をかなり制限する可能性があります。
– これらの問題に対処するために、三段階の共同学習アルゴリズムを提案します。各段階では、エージェントは一般的な通信グラフ内で軽量なランダムウォークを使用して最新の経験を共有し、仲間から受け取った推奨に従ってアームを引くことを決定します。エージェントは最終的に、アームを引いた報酬に基づいて採用を更新します。
– 理論的分析により、十分な数のエージェントが共同学習プロセスに参加すると、制限された記憶能力と軽量の通信でも全てのエージェントが最良のアームを高い確率で学習することができることが示されます。アルゴリズムが許容できる破損エージェントの上限値も理論的分析により明らかになります。
– 最後に、提案された三段階の共同学習アルゴリズムの効果を、合成データセットと実際のデータセットの両方で広範な実験によって検証されます。

要約(オリジナル)

We consider a K-armed bandit problem in general graphs where agents are arbitrarily connected and each of them has limited memorizing capabilities and communication bandwidth. The goal is to let each of the agents eventually learn the best arm. It is assumed in these studies that the communication graph should be complete or well-structured, whereas such an assumption is not always valid in practice. Furthermore, limited memorization and communication bandwidth also restrict the collaborations of the agents, since the agents memorize and communicate very few experiences. Additionally, an agent may be corrupted to share falsified experiences to its peers, while the resource limit in terms of memorization and communication may considerably restrict the reliability of the learning process. To address the above issues, we propose a three-staged collaborative learning algorithm. In each step, the agents share their latest experiences with each other through light-weight random walks in a general communication graph, and then make decisions on which arms to pull according to the recommendations received from their peers. The agents finally update their adoptions (i.e., preferences to the arms) based on the reward obtained by pulling the arms. Our theoretical analysis shows that, when there are a sufficient number of agents participating in the collaborative learning process, all the agents eventually learn the best arm with high probability, even with limited memorizing capabilities and light-weight communications. We also reveal in our theoretical analysis the upper bound on the number of corrupted agents our algorithm can tolerate. The efficacy of our proposed three-staged collaborative learning algorithm is finally verified by extensive experiments on both synthetic and real datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI