Real-Time Evaluation in Online Continual Learning: A New Hope

要約

継続的学習 (CL) メソッドの現在の評価では、通常、トレーニング時間と計算に制約がないことを前提としています。
これは、現実世界の設定では非現実的な仮定であり、次の提案を行う動機となっています。ストリームはモデルのトレーニングが完了するのを待たずに、予測用の次のデータを明らかにする、継続的学習の実用的なリアルタイム評価です。
これを行うために、計算コストに関して現在の CL メソッドを評価します。
CLOC は、ジオロケーション ラベル付きの 3,900 万のタイムスタンプ付き画像を含む大規模なデータセットです。
この評価では、単純なベースラインが最先端のCLメソッドよりも優れていることを示し、現実的な設定での既存のメソッドの適用可能性に疑問を投げかけています。
さらに、メモリ サンプリング戦略や正則化アプローチなど、文献で一般的に使用されるさまざまな CL コンポーネントを調べます。
検討したすべての方法は、単純なベースラインに対して競合できないことがわかりました。
これは驚くべきことに、既存の CL 文献の大部分が実用的ではない特定のクラスのストリームに合わせて調整されていることを示唆しています。
私たちが提供する評価が、オンライン継続学習方法の開発における計算コストを考慮するパラダイム シフトへの第一歩になることを願っています。

要約(オリジナル)

Current evaluations of Continual Learning (CL) methods typically assume that there is no constraint on training time and computation. This is an unrealistic assumption for any real-world setting, which motivates us to propose: a practical real-time evaluation of continual learning, in which the stream does not wait for the model to complete training before revealing the next data for predictions. To do this, we evaluate current CL methods with respect to their computational costs. We conduct extensive experiments on CLOC, a large-scale dataset containing 39 million time-stamped images with geolocation labels. We show that a simple baseline outperforms state-of-the-art CL methods under this evaluation, questioning the applicability of existing methods in realistic settings. In addition, we explore various CL components commonly used in the literature, including memory sampling strategies and regularization approaches. We find that all considered methods fail to be competitive against our simple baseline. This surprisingly suggests that the majority of existing CL literature is tailored to a specific class of streams that is not practical. We hope that the evaluation we provide will be the first step towards a paradigm shift to consider the computational cost in the development of online continual learning methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google