Sequence Transferability and Task Order Selection in Continual Learning

要約

継続的な学習では、タスクシーケンスの特性とモデルパフォーマンスとの関係を理解することは、より良い精度で高度なアルゴリズムを開発するために重要です。
ただし、方法論開発の進歩を促進しているにもかかわらず、この方向への努力は未開発のままです。
この作業では、継続的な学習に対するシーケンス転送可能性の影響を調査し、前方または後方方向のいずれかでタスクシーケンスの総移動性をキャプチャする2つの新しい測定値を提案します。
これらの測定の経験的特性に基づいて、継続的な学習におけるタスクオーダー選択の問題の新しい方法を開発します。
私たちの方法は、ランダムタスク選択の従来の戦略よりも優れたパフォーマンスを提供することが示されます。

要約(オリジナル)

In continual learning, understanding the properties of task sequences and their relationships to model performance is important for developing advanced algorithms with better accuracy. However, efforts in this direction remain underdeveloped despite encouraging progress in methodology development. In this work, we investigate the impacts of sequence transferability on continual learning and propose two novel measures that capture the total transferability of a task sequence, either in the forward or backward direction. Based on the empirical properties of these measures, we then develop a new method for the task order selection problem in continual learning. Our method can be shown to offer a better performance than the conventional strategy of random task selection.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google