CLDyB: Towards Dynamic Benchmarking for Continual Learning with Pre-trained Models

要約

財団モデルの時代の出現により、継続的な学習のための事前に訓練された表現を活用することにかなりの研究関心が高まり、標準的な評価ベンチマークに一連のトップパフォーマンスのCLメソッドが得られます。
それにもかかわらず、トレーニング前の段階での潜在的なデータ汚染に関する懸念が高まっています。
さらに、通常は静的な標準的な評価ベンチマークは、実際のCLシナリオの複雑さをキャプチャできず、パフォーマンスが飽和します。
これらの問題に対処するために、CLメソッドを確実に評価するためのマルコフ決定プロセスに基づいた一般的な計算フレームワークである動的ベンチマーク（CLDYB）でCLを説明します。
CLDYBは、特定のCLメソッドの本質的に困難でアルゴリズム依存性のタスクを動的に識別し、モンテカルロツリー検索を使用して挑戦的なタスクオーダーを決定します。
CLDYBを活用すると、最初に複数の最先端のCLメソッドの共同評価を実施し、既存のCLメソッドがパフォーマンスが低下する傾向がある一般的に挑戦的で一般化可能なタスクシーケンスのセットにつながります。
次に、CldyBを使用して個々のCLメソッドの個別の評価を実施し、それぞれの長所と短所を発見します。
ソースコードと生成されたタスクシーケンスは、https：//github.com/szc12153/cldybで公開されます。

要約(オリジナル)

The advent of the foundation model era has sparked significant research interest in leveraging pre-trained representations for continual learning (CL), yielding a series of top-performing CL methods on standard evaluation benchmarks. Nonetheless, there are growing concerns regarding potential data contamination during the pre-training stage. Furthermore, standard evaluation benchmarks, which are typically static, fail to capture the complexities of real-world CL scenarios, resulting in saturated performance. To address these issues, we describe CL on dynamic benchmarks (CLDyB), a general computational framework based on Markov decision processes for evaluating CL methods reliably. CLDyB dynamically identifies inherently difficult and algorithm-dependent tasks for the given CL methods, and determines challenging task orders using Monte Carlo tree search. Leveraging CLDyB, we first conduct a joint evaluation of multiple state-of-the-art CL methods, leading to a set of commonly challenging and generalizable task sequences where existing CL methods tend to perform poorly. We then conduct separate evaluations of individual CL methods using CLDyB, discovering their respective strengths and weaknesses. The source code and generated task sequences are publicly accessible at https://github.com/szc12153/CLDyB.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google