Efficient Sentiment Analysis: A Resource-Aware Evaluation of Feature Extraction Techniques, Ensembling, and Deep Learning Models

要約

精度を最大化する自然言語処理システムを追求する一方で、システム性能の他の重要な指標は見落とされがちである。先行モデルは、大規模な計算リソースが利用できない、あるいは比較的コストがかかる環境において適している可能性があるにもかかわらず、忘れられがちである。本稿では、モデル展開の実現可能性と一般的な気候を意識する上で重要なリソースコストに焦点を当てて、文書レベルの感情分析モデルの幅広い比較評価を行う。我々の実験では、異なる特徴抽出技術、アンサンブルの効果、タスクに特化した深層学習モデリング、ドメインに依存しない大規模言語モデル（LLM）を検討する。我々は、微調整されたLLMが最高の精度を達成する一方で、いくつかの代替構成は、精度のわずかな（1％未満）損失に対して膨大な（最大24、283 *）リソースの節約を提供することを発見した。さらに、データセットが小さい場合、精度の差は縮まるが、リソース消費の差はさらに大きくなることがわかった。

要約(オリジナル)

While reaching for NLP systems that maximize accuracy, other important metrics of system performance are often overlooked. Prior models are easily forgotten despite their possible suitability in settings where large computing resources are unavailable or relatively more costly. In this paper, we perform a broad comparative evaluation of document-level sentiment analysis models with a focus on resource costs that are important for the feasibility of model deployment and general climate consciousness. Our experiments consider different feature extraction techniques, the effect of ensembling, task-specific deep learning modeling, and domain-independent large language models (LLMs). We find that while a fine-tuned LLM achieves the best accuracy, some alternate configurations provide huge (up to 24, 283 *) resource savings for a marginal (<1%) loss in accuracy. Furthermore, we find that for smaller datasets, the differences in accuracy shrink while the difference in resource consumption grows further.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL