TaxoLLaMA: WordNet-based Model for Solving Multiple Lexical Sematic Tasks

要約

この論文では、LLaMA-2-7b モデルの例で WordNet から語彙意味論的な知識を取得する LLM の機能を調査し、複数の語彙意味論タスクでテストします。
私たちの実験の結果として、4 ビット量子化と LoRA により軽量なオールインワン モデル、TaxoLLaMA を紹介します。
分類法の強化、ハイパーニムの発見、分類法の構築、および語彙含意タスクの 16 タスクのうち、11 件の SotA 結果、上位 2 件の結果 4 件が達成されます。
さらに、微調整なしで、語彙含意と分類構築において非常に強力なゼロショット パフォーマンスを示します。
また、少しのチューニングや数回の学習で、隠れた多言語機能やドメイン適応機能も調査します。
すべてのデータセット、コード、モデルは、https://github.com/VityaVitalich/TaxoLLaMA からオンラインで入手できます。

要約(オリジナル)

In this paper, we explore the capabilities of LLMs in capturing lexical-semantic knowledge from WordNet on the example of the LLaMA-2-7b model and test it on multiple lexical semantic tasks. As the outcome of our experiments, we present TaxoLLaMA, the everything-in-one model, lightweight due to 4-bit quantization and LoRA. It achieves 11 SotA results, 4 top-2 results out of 16 tasks for the Taxonomy Enrichment, Hypernym Discovery, Taxonomy Construction, and Lexical Entailment tasks. Moreover, it demonstrates very strong zero-shot performance on Lexical Entailment and Taxonomy Construction with no fine-tuning. We also explore its hidden multilingual and domain adaptation capabilities with a little tuning or few-shot learning. All datasets, code, and model are available online at https://github.com/VityaVitalich/TaxoLLaMA

arxiv情報

提供元, 利用サービス

arxiv.jp, Google