HuCurl: Human-induced Curriculum Discovery

要約

カリキュラム発見の問題を導入し、サンプルの難易度に関する事前知識に基づいて、カリキュラム空間内で効果的なカリキュラムを発見できるカリキュラム学習フレームワークについて説明します。
アノテーションのエントロピーと損失を難易度の尺度として使用すると、(i): 特定のモデルとデータセットで発見された最高のパフォーマンスのカリキュラムは、既存の文献の単調なカリキュラムとは対照的に非単調であることが多い、(ii): 一般的な簡単なカリキュラムであることがわかります。
– 難しいものから難しいもの、または難しいものから簡単なものへの移行カリキュラムは、パフォーマンスが低下する危険性が高い、および (iii): 小規模なデータセットとモデル用に発見されたカリキュラムは、それぞれ、より大きなデータセットとモデルで良好なパフォーマンスを発揮します。
提案されたフレームワークは、既存のカリキュラム学習アプローチの一部を包含しており、いくつかの NLP タスクにわたってそれらを上回るパフォーマンスを発揮するカリキュラムを発見できます。

要約(オリジナル)

We introduce the problem of curriculum discovery and describe a curriculum learning framework capable of discovering effective curricula in a curriculum space based on prior knowledge about sample difficulty. Using annotation entropy and loss as measures of difficulty, we show that (i): the top-performing discovered curricula for a given model and dataset are often non-monotonic as opposed to monotonic curricula in existing literature, (ii): the prevailing easy-to-hard or hard-to-easy transition curricula are often at the risk of underperforming, and (iii): the curricula discovered for smaller datasets and models perform well on larger datasets and models respectively. The proposed framework encompasses some of the existing curriculum learning approaches and can discover curricula that outperform them across several NLP tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google