The Expanding Scope of the Stability Gap: Unveiling its Presence in Joint Incremental Learning of Homogeneous Tasks

要約

最近の研究では、以前に学習したタスクが新しいタスクに移行する際にパフォーマンスが一時的に低下することが判明しました。
この低下は安定性ギャップと呼ばれ、継続的学習に大きな影響を及ぼします。タスク境界での最悪の場合のパフォーマンスが劇的であるため、継続的学習の直接的な採用が困難になり、エネルギー効率の高いトレーニング パラダイムとしての可能性が制限され、最終的には継続的学習の可能性が制限されます。
、安定性の低下により、アルゴリズムの最終パフォーマンスが低下する可能性があります。
この論文では、同種のタスクの共同増分トレーニングを適用した場合にも安定性ギャップが発生することを示します。
このシナリオでは、学習者は同じデータ分布でトレーニングを継続し、前のタスクからのすべてのデータにアクセスできます。
さらに、このシナリオでは、次の最小値への低損失の線形パスが存在しますが、SGD の最適化ではこのパスが選択されないことを示します。
潜在的な解決策の方向性への洞察を提供できる、より詳細なバッチ単位の分析を含むさらなる分析を実行します。

要約(オリジナル)

Recent research identified a temporary performance drop on previously learned tasks when transitioning to a new one. This drop is called the stability gap and has great consequences for continual learning: it complicates the direct employment of continually learning since the worse-case performance at task-boundaries is dramatic, it limits its potential as an energy-efficient training paradigm, and finally, the stability drop could result in a reduced final performance of the algorithm. In this paper, we show that the stability gap also occurs when applying joint incremental training of homogeneous tasks. In this scenario, the learner continues training on the same data distribution and has access to all data from previous tasks. In addition, we show that in this scenario, there exists a low-loss linear path to the next minima, but that SGD optimization does not choose this path. We perform further analysis including a finer batch-wise analysis which could provide insights towards potential solution directions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google