Comparative Analysis of Pooling Mechanisms in LLMs: A Sentiment Analysis Perspective

要約

大規模言語モデル (LLM) は、さまざまなタスクにわたって最先端のパフォーマンスを提供することで、自然言語処理 (NLP) に革命をもたらしました。
これらの中で、BERT や GPT などの Transformer ベースのモデルは、プーリング層に依存して、トークンレベルの埋め込みを文レベルの表現に集約します。
この集計プロセスでは、平均、最大、加重合計などの一般的なプーリング メカニズムが重要な役割を果たします。
これらの戦略は広く使用されているにもかかわらず、さまざまな LLM アーキテクチャでのこれらの戦略のパフォーマンスの比較はまだ十分に調査されていません。
このギャップに対処するために、この論文では、文レベルのセンチメント分析のコンテキストで、2 つの著名な LLM ファミリである BERT と GPT に対するこれらのプーリング メカニズムの影響を調査します。
包括的な実験により、各プーリング メカニズムがタスクの特定の要件に応じて固有の長所と短所を示すことが明らかになりました。
私たちの調査結果は、特定のアプリケーションの要求に合わせたプーリング方法を選択することの重要性を強調しており、プーリング操作に関する共通の前提条件の再評価を促しています。
この研究は実用的な洞察を提供することで、下流タスク用の LLM ベースのモデルの最適化に貢献します。

要約(オリジナル)

Large Language Models (LLMs) have revolutionized natural language processing (NLP) by delivering state-of-the-art performance across a variety of tasks. Among these, Transformer-based models like BERT and GPT rely on pooling layers to aggregate token-level embeddings into sentence-level representations. Common pooling mechanisms such as Mean, Max, and Weighted Sum play a pivotal role in this aggregation process. Despite their widespread use, the comparative performance of these strategies on different LLM architectures remains underexplored. To address this gap, this paper investigates the effects of these pooling mechanisms on two prominent LLM families — BERT and GPT, in the context of sentence-level sentiment analysis. Comprehensive experiments reveal that each pooling mechanism exhibits unique strengths and weaknesses depending on the task’s specific requirements. Our findings underline the importance of selecting pooling methods tailored to the demands of particular applications, prompting a re-evaluation of common assumptions regarding pooling operations. By offering actionable insights, this study contributes to the optimization of LLM-based models for downstream tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google