DecTrain: Deciding When to Train a DNN Online

要約

ディープニューラルネットワーク（DNN）は、展開データが学習データと異なると精度が低下することがある。すべてのタイムステップでオンライン学習を行うことで精度を向上させることができるが、計算コストがかかる。我々はDecTrainを提案する。DecTrainは、単眼深度DNNをオンライン訓練するタイミングを、低いオーバーヘッドで自己教師を使って決定する新しいアルゴリズムである。各タイムステップで決定を行うために、DecTrainはトレーニングのコストと予測される精度向上を比較する。分布外のデータでDecTrainを評価した結果、DecTrainは全てのタイムステップでオンライン学習と比較して精度を維持し、平均44%の時間しか学習しないことがわかった。また、DecTrainを使用した推論コストの低いDNNと、より一般化可能な推論コストの高いDNNの回復を様々なシーケンスで比較した。DecTrainは、高推論コストDNNが66%しか回復しないのに比べ、計算量を削減しながら、すべてのタイムステップでオンライントレーニングによる精度向上の大部分（97%）を回復します。さらに小さなDNNでは、計算を56%削減しながら89%の回復を達成しています。DecTrainは、より小さなDNNのための低コストのオンライントレーニングを可能にし、より大きな、より汎化可能なDNNと競合する精度を、より低い全体的な計算コストで実現します。

要約(オリジナル)

Deep neural networks (DNNs) can deteriorate in accuracy when deployment data differs from training data. While performing online training at all timesteps can improve accuracy, it is computationally expensive. We propose DecTrain, a new algorithm that decides when to train a monocular depth DNN online using self-supervision with low overhead. To make the decision at each timestep, DecTrain compares the cost of training with the predicted accuracy gain. We evaluate DecTrain on out-of-distribution data, and find DecTrain maintains accuracy compared to online training at all timesteps, while training only 44% of the time on average. We also compare the recovery of a low inference cost DNN using DecTrain and a more generalizable high inference cost DNN on various sequences. DecTrain recovers the majority (97%) of the accuracy gain of online training at all timesteps while reducing computation compared to the high inference cost DNN which recovers only 66%. With an even smaller DNN, we achieve 89% recovery while reducing computation by 56%. DecTrain enables low-cost online training for a smaller DNN to have competitive accuracy with a larger, more generalizable DNN at a lower overall computational cost.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL