Efficient Sentiment Analysis: A Resource-Aware Evaluation of Feature Extraction Techniques, Ensembling, and Deep Learning Models

要約

精度を最大化する NLP システムを目指している一方で、システム パフォーマンスの他の重要な指標が見落とされがちです。
以前のモデルは、大規模なコンピューティング リソースが利用できない、または比較的高価な設定に適している可能性があるにもかかわらず、簡単に忘れ去られます。
この論文では、モデル展開の実現可能性と一般的な気候意識にとって重要なリソースコストに焦点を当て、ドキュメントレベルのセンチメント分析モデルの広範な比較評価を実行します。
私たちの実験では、さまざまな特徴抽出手法、アンサンブルの効果、タスク固有の深層学習モデリング、およびドメインに依存しない大規模言語モデル (LLM) が考慮されています。
微調整された LLM は最高の精度を達成しますが、一部の代替構成では、精度のわずかな (<1%) 損失で大幅 (最大 24, 283 *) のリソースを節約できることがわかりました。 さらに、データセットが小さくなると、精度の差は縮まる一方、リソース消費の差はさらに大きくなることがわかりました。

要約(オリジナル)

While reaching for NLP systems that maximize accuracy, other important metrics of system performance are often overlooked. Prior models are easily forgotten despite their possible suitability in settings where large computing resources are unavailable or relatively more costly. In this paper, we perform a broad comparative evaluation of document-level sentiment analysis models with a focus on resource costs that are important for the feasibility of model deployment and general climate consciousness. Our experiments consider different feature extraction techniques, the effect of ensembling, task-specific deep learning modeling, and domain-independent large language models (LLMs). We find that while a fine-tuned LLM achieves the best accuracy, some alternate configurations provide huge (up to 24, 283 *) resource savings for a marginal (<1%) loss in accuracy. Furthermore, we find that for smaller datasets, the differences in accuracy shrink while the difference in resource consumption grows further.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google