Is It Worth the (Environmental) Cost? Limited Evidence for Temporal Adaptation via Continuous Training

要約

タイトル：継続的トレーニングを通じた時間的適応の環境上のコストは価値があるか？

要約：
– 言語は常に変化し発展しており、それに伴い言語モデルも迅速に古くなってしまう。
– したがって、新しいデータでモデルを継続的に更新することで、新しい出来事や事実に対応できるようにする必要がある。
– しかし、それには追加の処理が必要で、新たな二酸化炭素排出を伴ってしまう。
– これらのコストを正当化するために、計測可能な利益があるのかどうかを探るための論文。
– 既存のベンチマークを再現し、追加の時間的期間、モデル、タスクを含めた拡張版を作成。
– 結果、ソーシャルメディアデータのための時間的に適応した英語モデルのダウンストリームタスクのパフォーマンスは時間とともに向上しないことが明らかになった。
– 時間的適応のない事前学習モデルの方が、実際に有効かつ効率的であることがわかった。
– しかし、適切な時間的ベンチマークの不足も指摘された。
– 環境持続性を考慮して、言語モデルをいつ、どのように時間的に適応させるか、慎重に総括する必要がある点が示唆された。

要約(オリジナル)

Language is constantly changing and evolving, leaving language models to become quickly outdated. Consequently, we should continuously update our models with new data to expose them to new events and facts. However, that requires additional computing, which means new carbon emissions. Do any measurable benefits justify this cost? This paper looks for empirical evidence to support continuous training. We reproduce existing benchmarks and extend them to include additional time periods, models, and tasks. Our results show that the downstream task performance of temporally adapted English models for social media data do not improve over time. Pretrained models without temporal adaptation are actually significantly more effective and efficient. However, we also note a lack of suitable temporal benchmarks. Our findings invite a critical reflection on when and how to temporally adapt language models, accounting for sustainability.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI