Is Continual Learning Ready for Real-world Challenges?

要約

継続学習には長く確立された学術的歴史があるにもかかわらず、現実世界のシナリオでの応用は依然としてかなり限定的です。
この論文は、このギャップは継続学習の実際の課題と使用されている評価プロトコルの間の不整合に起因しており、提案されたソリューションが現実世界のセットアップの複雑さに対処するのに効果的ではないと主張しています。
新しい 3D セマンティック セグメンテーション ベンチマークである OCL-3DSS を使用して、仮説を検証し、これまでの進捗状況を評価します。
私たちは、動的な現実世界のシナリオ (ロボット工学や 3D ビジョン アプリケーションなど) に対してオンラインで継続的な学習を必要とする、より現実的なプロトコルを利用することで、文献からさまざまな継続的な学習スキームを調査します。
結果は厳粛なものです。検討されたすべての方法のパフォーマンスは低く、共同オフライン トレーニングの上限から大幅に逸脱しています。
これにより、現実的な設定における既存の手法の適用可能性について疑問が生じます。
私たちの論文は、パラダイムシフトを開始することを目的としており、現実世界の状況をよりよくエミュレートしてこの分野でのブレークスルーを促進する、新しい実験プロトコルによる継続的な学習方法の採用を提唱しています。

要約(オリジナル)

Despite continual learning’s long and well-established academic history, its application in real-world scenarios remains rather limited. This paper contends that this gap is attributable to a misalignment between the actual challenges of continual learning and the evaluation protocols in use, rendering proposed solutions ineffective for addressing the complexities of real-world setups. We validate our hypothesis and assess progress to date, using a new 3D semantic segmentation benchmark, OCL-3DSS. We investigate various continual learning schemes from the literature by utilizing more realistic protocols that necessitate online and continual learning for dynamic, real-world scenarios (eg., in robotics and 3D vision applications). The outcomes are sobering: all considered methods perform poorly, significantly deviating from the upper bound of joint offline training. This raises questions about the applicability of existing methods in realistic settings. Our paper aims to initiate a paradigm shift, advocating for the adoption of continual learning methods through new experimental protocols that better emulate real-world conditions to facilitate breakthroughs in the field.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google