Nonparametric Iterative Machine Teaching

要約

本論文では、学習者が目標モデルに高速に収束するように教師が学習者に反復的に例を与える反復型機械学習（Iterative Machine Teaching: IMT）の問題を考察する。しかし、既存のIMTアルゴリズムは、ターゲットモデルのパラメータ化されたファミリーにのみ基づいている。そのため、目標モデルがパラメータに依存しない関数である場合、パラメータ空間における収束に主眼が置かれ、その結果、目標モデルの定義が困難になる。このような制限に対処するため、我々はより一般的な課題であるノンパラメトリック反復機械学習(NIMT)を研究する。パラメータ空間を操作するパラメトリックIMTとは異なり、我々はNIMTを関数空間における関数最適化問題として扱う。この問題を解くために、ランダムな関数教示アルゴリズムと貪欲な関数教示アルゴリズムの双方を提案する。ランダムティーチングアルゴリズムのITD（iterative teaching dimension）を適切な仮定で求め、NIMTにおけるITDの一様な上限とする。さらに、貪欲な教授アルゴリズムでは、ITDが著しく低く、NIMTにおけるITDの上限をより厳しくすることができる。最後に、ノンパラメトリックシナリオにおける広範な実験により、我々の理論的知見の正しさを検証する。

要約(オリジナル)

In this paper, we consider the problem of Iterative Machine Teaching (IMT), where the teacher provides examples to the learner iteratively such that the learner can achieve fast convergence to a target model. However, existing IMT algorithms are solely based on parameterized families of target models. They mainly focus on convergence in the parameter space, resulting in difficulty when the target models are defined to be functions without dependency on parameters. To address such a limitation, we study a more general task — Nonparametric Iterative Machine Teaching (NIMT), which aims to teach nonparametric target models to learners in an iterative fashion. Unlike parametric IMT that merely operates in the parameter space, we cast NIMT as a functional optimization problem in the function space. To solve it, we propose both random and greedy functional teaching algorithms. We obtain the iterative teaching dimension (ITD) of the random teaching algorithm under proper assumptions, which serves as a uniform upper bound of ITD in NIMT. Further, the greedy teaching algorithm has a significantly lower ITD, which reaches a tighter upper bound of ITD in NIMT. Finally, we verify the correctness of our theoretical findings with extensive experiments in nonparametric scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL