An energy-based comparative analysis of common approaches to text classification in the Legal domain

要約

ほとんどの機械学習研究では、パフォーマンスの観点から最適なソリューションが評価されます。
しかし、最高のパフォーマンスを発揮するモデルをめぐる競争では、慎重に検討する必要があるにもかかわらず、多くの重要な側面が見落とされることがよくあります。
実際、異なるアプローチ間のパフォーマンスの差は無視できる場合がありますが、生産コスト、エネルギー消費、二酸化炭素排出量などの要因を考慮する必要があります。
大規模言語モデル (LLM) は、学術界や産業界で NLP の問題に対処するために広く採用されています。
この研究では、LexGLUE ベンチマークにおける LLM と従来のアプローチ (SVM など) の詳細な定量的比較を示します。これは、パフォーマンス (標準指標) と、タイミング、消費電力、コストなどの代替指標の両方を考慮しています。
二酸化炭素排出量。
私たちの分析では、プロトタイピング段階 (トレーニング、検証、テストの繰り返しによるモデルの選択) と運用段階を別々に検討しました。これらは、異なる実装手順に従い、異なるリソースも必要とするためです。
結果は、非常に多くの場合、最も単純なアルゴリズムが大規模な LLM に非常に近いパフォーマンスを達成しながら、消費電力とリソース要求が非常に低いことを示しています。
得られた結果は、企業が機械学習 (ML) ソリューションの選択に追加の評価を含めることを示唆する可能性があります。

要約(オリジナル)

Most Machine Learning research evaluates the best solutions in terms of performance. However, in the race for the best performing model, many important aspects are often overlooked when, on the contrary, they should be carefully considered. In fact, sometimes the gaps in performance between different approaches are neglectable, whereas factors such as production costs, energy consumption, and carbon footprint must take into consideration. Large Language Models (LLMs) are extensively adopted to address NLP problems in academia and industry. In this work, we present a detailed quantitative comparison of LLM and traditional approaches (e.g. SVM) on the LexGLUE benchmark, which takes into account both performance (standard indices) and alternative metrics such as timing, power consumption and cost, in a word: the carbon-footprint. In our analysis, we considered the prototyping phase (model selection by training-validation-test iterations) and in-production phases separately, since they follow different implementation procedures and also require different resources. The results indicate that very often, the simplest algorithms achieve performance very close to that of large LLMs but with very low power consumption and lower resource demands. The results obtained could suggest companies to include additional evaluations in the choice of Machine Learning (ML) solutions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google