PIVOT: Prompting for Video Continual Learning

要約

最新の機械学習パイプラインは、データの可用性、ストレージ クォータ、プライバシー規制、および高価な注釈プロセスのために制限されています。
これらの制約により、拡大するアノテーション セットでトレーニングされた大規模なモデルを維持することが困難または不可能になります。
継続的学習はこの問題に直接取り組み、ニューラル ネットワークが以前に学習したクラスのパフォーマンスを大幅に変更することなく、新しい (目に見えない) クラスの関連パターンを効果的に学習する方法を考案することを最終的な目標としています。
この論文では、ビデオデータの継続的な学習の問題に対処します。
画像ドメインからの事前トレーニング済みモデルの広範な知識を活用する新しい方法である PIVOT を紹介し、それによってトレーニング可能なパラメーターの数と関連する忘却を減らします。
以前の方法とは異なり、私たちの方法は、ドメイン内の事前トレーニングなしで継続的な学習のためにプロンプ​​ト メカニズムを効果的に使用する最初のアプローチです。
私たちの実験では、PIVOT が 20 タスクの ActivityNet セットアップで最先端の方法を 27% 大幅に改善することが示されています。

要約(オリジナル)

Modern machine learning pipelines are limited due to data availability, storage quotas, privacy regulations, and expensive annotation processes. These constraints make it difficult or impossible to maintain a large-scale model trained on growing annotation sets. Continual learning directly approaches this problem, with the ultimate goal of devising methods where a neural network effectively learns relevant patterns for new (unseen) classes without significantly altering its performance on previously learned ones. In this paper, we address the problem of continual learning for video data. We introduce PIVOT, a novel method that leverages the extensive knowledge in pre-trained models from the image domain, thereby reducing the number of trainable parameters and the associated forgetting. Unlike previous methods, ours is the first approach that effectively uses prompting mechanisms for continual learning without any in-domain pre-training. Our experiments show that PIVOT improves state-of-the-art methods by a significant 27% on the 20-task ActivityNet setup.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google