Harnessing the Intrinsic Knowledge of Pretrained Language Models for Challenging Text Classification Settings

要約

テキスト分類は感情分析や有害テキスト フィルタリングなどのアプリケーションにとって重要ですが、自然言語の複雑さと曖昧さのため、依然として課題に直面しています。
深層学習、特にトランスフォーマー アーキテクチャと大規模な事前トレーニングの最近の進歩は、NLP 分野で感動的な成功を収めています。
これらの進歩に基づいて、この論文では、事前トレーニング済み言語モデル (PLM) の固有の知識を活用して、テキスト分類における 3 つの困難な設定を検討します。
まず、クローゼの質問に対して、誤解を招くが不正確な気を散らすものを選択するという課題に対処するために、PLM の文脈化された単語表現に基づく特徴を利用するモデルを開発し、人間の精度に匹敵する、またはそれを超えるパフォーマンスを達成します。
次に、目に見えないラベルに対するモデルの一般化を強化するために、ドメインに依存しないタスク ラベルの記述を持つ小さな微調整データセットを作成し、モデルのパフォーマンスと堅牢性を向上させます。
最後に、効果的なデモンストレーションを選択し、誤って分類された例に焦点を当て、テスト例のラベルに関するモデルの曖昧さを解決することで、コンテキスト内の学習プロンプトに対する大規模な言語モデルの感度に取り組みます。

要約(オリジナル)

Text classification is crucial for applications such as sentiment analysis and toxic text filtering, but it still faces challenges due to the complexity and ambiguity of natural language. Recent advancements in deep learning, particularly transformer architectures and large-scale pretraining, have achieved inspiring success in NLP fields. Building on these advancements, this thesis explores three challenging settings in text classification by leveraging the intrinsic knowledge of pretrained language models (PLMs). Firstly, to address the challenge of selecting misleading yet incorrect distractors for cloze questions, we develop models that utilize features based on contextualized word representations from PLMs, achieving performance that rivals or surpasses human accuracy. Secondly, to enhance model generalization to unseen labels, we create small finetuning datasets with domain-independent task label descriptions, improving model performance and robustness. Lastly, we tackle the sensitivity of large language models to in-context learning prompts by selecting effective demonstrations, focusing on misclassified examples and resolving model ambiguity regarding test example labels.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google