The Costly Dilemma: Generalization, Evaluation and Cost-Optimal Deployment of Large Language Models

要約

機械学習モデルを製品/アプリケーションの実稼働環境にデプロイする場合、一般的に求められるプロパティが 3 つあります。
まず、モデルは一般化可能である必要があります。これは、ドメイン領域の知識が進むにつれて、モデルをさらなるユースケースに拡張できるためです。
次に、パフォーマンスに関する明確な指標があり、運用環境でのそれらの指標の計算が実行可能となるように、それらは評価可能である必要があります。
最後に、導入は可能な限りコストを最適化する必要があります。
この論文では、これら 3 つの目標 (一般化、評価、コストの最適化) は多くの場合比較的直交しており、大規模な言語モデルの場合、従来の NLP モデルを上回るパフォーマンスにもかかわらず、企業は開発前に 3 つの要素すべてを慎重に評価する必要があることを提案します。
このテクノロジーへの多額の投資。
私たちは、大規模な言語モデルに特化した一般化、評価、コスト モデリングのフレームワークを提案し、これらの大規模な言語モデルの開発、展開、管理の複雑さについての洞察を提供します。

要約(オリジナル)

When deploying machine learning models in production for any product/application, there are three properties that are commonly desired. First, the models should be generalizable, in that we can extend it to further use cases as our knowledge of the domain area develops. Second they should be evaluable, so that there are clear metrics for performance and the calculation of those metrics in production settings are feasible. Finally, the deployment should be cost-optimal as far as possible. In this paper we propose that these three objectives (i.e. generalization, evaluation and cost-optimality) can often be relatively orthogonal and that for large language models, despite their performance over conventional NLP models, enterprises need to carefully assess all the three factors before making substantial investments in this technology. We propose a framework for generalization, evaluation and cost-modeling specifically tailored to large language models, offering insights into the intricacies of development, deployment and management for these large language models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google