SOCIALITE-LLAMA: An Instruction-Tuned Model for Social Scientific Tasks

要約

感情やユーモアの検出などの社会科学の NLP タスクでは、多くの場合、限られた量のトレーニング データを使用して、テキストから暗黙的な語用論とともに意味論を取得する必要があります。
命令チューニングは、常識的推論、読解力、コンピューター プログラミングなどの大規模言語モデル (LLM) の多くの機能を向上させることが示されています。
しかし、暗黙的なプラグマティックな手がかりを捕捉する必要があることが多い社会領域における命令チューニングの有効性についてはほとんど知られていません。
私たちは社会科学 NLP タスクのための命令チューニングの使用を検討し、オープンソースの命令チューニングされた Llama である Socialite-Llama を紹介します。
Socialite-Llama は、20 の社会科学タスクのスイートで、Llama のパフォーマンスを向上させるだけでなく、その大部分で最先端のマルチタスク微調整モデルのパフォーマンスと同等または向上させます。
さらに、Socialite-Llama は、Llama と比較して、関連する社会的課題の 6 つのうち 5 つで改善にもつながり、指導の調整が一般化された社会的理解につながる可能性があることを示唆しています。
コード、モデル、データセットを含むすべてのリソースは、bit.ly/socialitellama から見つけることができます。

要約(オリジナル)

Social science NLP tasks, such as emotion or humor detection, are required to capture the semantics along with the implicit pragmatics from text, often with limited amounts of training data. Instruction tuning has been shown to improve the many capabilities of large language models (LLMs) such as commonsense reasoning, reading comprehension, and computer programming. However, little is known about the effectiveness of instruction tuning on the social domain where implicit pragmatic cues are often needed to be captured. We explore the use of instruction tuning for social science NLP tasks and introduce Socialite-Llama — an open-source, instruction-tuned Llama. On a suite of 20 social science tasks, Socialite-Llama improves upon the performance of Llama as well as matches or improves upon the performance of a state-of-the-art, multi-task finetuned model on a majority of them. Further, Socialite-Llama also leads to improvement on 5 out of 6 related social tasks as compared to Llama, suggesting instruction tuning can lead to generalized social understanding. All resources including our code, model and dataset can be found through bit.ly/socialitellama.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google