Black-box Generalization of Machine Teaching

要約

仮説枝刈りは、必要なラベルなしデータを見つけるための能動学習の仮説更新を最大化します。
この学習方法により、それらの更新を最適な仮説に導くことができるという固有の仮定があります。
ただし、それらの増分更新がネガティブで無秩序な場合、その収束は十分に保証されない可能性があります。
この論文では、よりタイトなスラック項 $\left(1+\mathcal{F}^{\mathcal{T}}(\widehat{h
}_t)\right)\Delta_t$ は、枝刈り用の一般的な $2\Delta_t$ を置き換えます。
理論的には、この指導仮説の指導の下で、学習者は、教師から指導を受けていない教育を受けていない学習者よりも、より厳しい汎化誤差とラベルの複雑さの限界に収束できることが証明されています。1) 汎化誤差の上限
$R(h^*)+4\Delta_{T-1}$ から約 $R(h^{\mathcal{T}})+2\Delta_{T-1}$、および 2) に減らすことができます。
ラベルの複雑さの上限は、$4 \theta\left(TR(h^{*})+2O(\sqrt{T})\right)$ から約 $2\theta\left(2TR(h^{\
mathcal{T}})+3 O(\sqrt{T})\right)$。
私たちの仮定を厳密に言うと、教育の自己改善は、$h^\mathcal{T}$ が $h^*$ に大まかに近似したときに初めて提案されます。
学習に対して、ホワイト ボックス学習者とブラック ボックス学習者を教えるという 2 つの教育シナリオをさらに検討します。
実験ではこのアイデアが検証され、IWAL、IWAL-D などの基本的なアクティブ ラーニング戦略よりも優れた汎化パフォーマンスが示されています。

要約(オリジナル)

Hypothesis-pruning maximizes the hypothesis updates for active learning to find those desired unlabeled data. An inherent assumption is that this learning manner can derive those updates into the optimal hypothesis. However, its convergence may not be guaranteed well if those incremental updates are negative and disordered. In this paper, we introduce a black-box teaching hypothesis $h^\mathcal{T}$ employing a tighter slack term $\left(1+\mathcal{F}^{\mathcal{T}}(\widehat{h}_t)\right)\Delta_t$ to replace the typical $2\Delta_t$ for pruning. Theoretically, we prove that, under the guidance of this teaching hypothesis, the learner can converge into a tighter generalization error and label complexity bound than those non-educated learners who do not receive any guidance from a teacher:1) the generalization error upper bound can be reduced from $R(h^*)+4\Delta_{T-1}$ to approximately $R(h^{\mathcal{T}})+2\Delta_{T-1}$, and 2) the label complexity upper bound can be decreased from $4 \theta\left(TR(h^{*})+2O(\sqrt{T})\right)$ to approximately $2\theta\left(2TR(h^{\mathcal{T}})+3 O(\sqrt{T})\right)$. To be strict with our assumption, self-improvement of teaching is firstly proposed when $h^\mathcal{T}$ loosely approximates $h^*$. Against learning, we further consider two teaching scenarios: teaching a white-box and black-box learner. Experiments verify this idea and show better generalization performance than the fundamental active learning strategies, such as IWAL, IWAL-D, etc.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google