A Framework for Monitoring and Retraining Language Models in Real-World Applications

要約

機械学習 (ML) モデル開発ライフサイクルでは、オフライン ホールドアウト データセットを使用して候補モデルをトレーニングし、特定のタスクに最適なモデルを特定することは最初のステップにすぎません。
選択したモデルをデプロイした後、多くの実世界のアプリケーションでは継続的なモデルの監視とモデルの再トレーニングが必要になります。
データやコンセプトのドリフトなど、再トレーニングの理由は複数あり、適切なメトリックによって監視されるモデルのパフォーマンスに反映される可能性があります。
再トレーニングのもう 1 つの動機は、時間の経過とともに増加するデータを取得することです。これは、ドリフトがない場合でもモデルのパフォーマンスを再トレーニングして改善するために使用できます。
マルチラベル分類モデルのコンテキストで、モデルのパフォーマンスやリソース使用率などの重要な要素に対するさまざまな再トレーニングの意思決定ポイントの影響を調べます。
主要な決定ポイントを説明し、効果的なモデルの再トレーニング戦略を設計するための参照フレームワークを提案します。

要約(オリジナル)

In the Machine Learning (ML) model development lifecycle, training candidate models using an offline holdout dataset and identifying the best model for the given task is only the first step. After the deployment of the selected model, continuous model monitoring and model retraining is required in many real-world applications. There are multiple reasons for retraining, including data or concept drift, which may be reflected on the model performance as monitored by an appropriate metric. Another motivation for retraining is the acquisition of increasing amounts of data over time, which may be used to retrain and improve the model performance even in the absence of drifts. We examine the impact of various retraining decision points on crucial factors, such as model performance and resource utilization, in the context of Multilabel Classification models. We explain our key decision points and propose a reference framework for designing an effective model retraining strategy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google