Rethinking Teacher-Student Curriculum Learning through the Cooperative Mechanics of Experience

要約

Teacher-Student Curriculum Learning (TSCL) は、人間の文化の伝達と学習からインスピレーションを得たカリキュラム学習フレームワークです。
これには、教師アルゴリズムが学習者アルゴリズムを制御された経験にさらすことによってその学習プロセスを形成することが含まれます。
成功にもかかわらず、TSCL が有効である条件を理解することは依然として困難です。
この論文では、TSCL における教師と生徒の相互作用の基礎となる仕組みを分析するためのデータ中心の視点を提案します。
私たちは協力ゲーム理論を活用して、教師が学習者に提示する一連の経験の構成とその順序が、TSCL アプローチによって発見されたカリキュラムのパフォーマンスにどのように影響するかを説明します。
そのために、すべての TSCL 問題に対して同等の協力ゲームが存在し、TSCL フレームワークのいくつかの主要なコンポーネントがゲーム理論の原理を使用して再解釈できることを実証します。
教師あり学習、強化学習、古典的なゲームをカバーする実験を通じて、TSCL が困難な場合でも、経験の協調的な価値を推定し、価値比例カリキュラム メカニズムを使用してカリキュラムを構築します。
この研究で私たちが提示するフレームワークと実験設定は、TSCL をより深く探求するための新しい基盤を表し、その基礎となるメカニズムに光を当て、機械学習におけるその幅広い適用可能性についての洞察を提供します。

要約(オリジナル)

Teacher-Student Curriculum Learning (TSCL) is a curriculum learning framework that draws inspiration from human cultural transmission and learning. It involves a teacher algorithm shaping the learning process of a learner algorithm by exposing it to controlled experiences. Despite its success, understanding the conditions under which TSCL is effective remains challenging. In this paper, we propose a data-centric perspective to analyze the underlying mechanics of the teacher-student interactions in TSCL. We leverage cooperative game theory to describe how the composition of the set of experiences presented by the teacher to the learner, as well as their order, influences the performance of the curriculum that is found by TSCL approaches. To do so, we demonstrate that for every TSCL problem, an equivalent cooperative game exists, and several key components of the TSCL framework can be reinterpreted using game-theoretic principles. Through experiments covering supervised learning, reinforcement learning, and classical games, we estimate the cooperative values of experiences and use value-proportional curriculum mechanisms to construct curricula, even in cases where TSCL struggles. The framework and experimental setup we present in this work represents a novel foundation for a deeper exploration of TSCL, shedding light on its underlying mechanisms and providing insights into its broader applicability in machine learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google