Nonparametric Iterative Machine Teaching

要約

この論文では、学習者がターゲット モデルへの迅速な収束を達成できるように、教師が学習者にサンプルを反復的に提供する反復機械教育 (IMT) の問題を検討します。
ただし、既存の IMT アルゴリズムは、ターゲット モデルのパラメーター化されたファミリーのみに基づいています。
これらは主にパラメータ空間での収束に焦点を当てているため、ターゲット モデルがパラメータに依存しない関数として定義されている場合には困難が生じます。
このような制限に対処するために、私たちはより一般的なタスクであるノンパラメトリック反復機械教育 (NIMT) を研究します。これは、ノンパラメトリック ターゲット モデルを反復方式で学習者に教えることを目的としています。
単にパラメータ空間内で動作するパラメトリック IMT とは異なり、NIMT を関数空間内の機能最適化問題としてキャストします。
それを解決するために、ランダムおよび貪欲な関数教育アルゴリズムの両方を提案します。
適切な仮定の下で、ランダム教師アルゴリズムの反復教師次元 (ITD) を取得します。これは、NIMT における ITD の均一な上限として機能します。
さらに、貪欲なティーチング アルゴリズムの ITD は大幅に低くなり、NIMT では ITD のより厳しい上限に達します。
最後に、ノンパラメトリック シナリオでの広範な実験により、理論的発見の正しさを検証します。

要約(オリジナル)

In this paper, we consider the problem of Iterative Machine Teaching (IMT), where the teacher provides examples to the learner iteratively such that the learner can achieve fast convergence to a target model. However, existing IMT algorithms are solely based on parameterized families of target models. They mainly focus on convergence in the parameter space, resulting in difficulty when the target models are defined to be functions without dependency on parameters. To address such a limitation, we study a more general task — Nonparametric Iterative Machine Teaching (NIMT), which aims to teach nonparametric target models to learners in an iterative fashion. Unlike parametric IMT that merely operates in the parameter space, we cast NIMT as a functional optimization problem in the function space. To solve it, we propose both random and greedy functional teaching algorithms. We obtain the iterative teaching dimension (ITD) of the random teaching algorithm under proper assumptions, which serves as a uniform upper bound of ITD in NIMT. Further, the greedy teaching algorithm has a significantly lower ITD, which reaches a tighter upper bound of ITD in NIMT. Finally, we verify the correctness of our theoretical findings with extensive experiments in nonparametric scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google