Ranking Entities along Conceptual Space Dimensions with LLMs: An Analysis of Fine-Tuning Strategies

要約

概念的空間は、エンティティをその原始的な意味論的特徴の観点から表現します。
このような表現は非常に価値がありますが、特に知覚的および主観的な特徴をモデル化する場合、学習が難しいことで知られています。
最近、大規模言語モデル (LLM) から概念的空間を抽出することが有望な戦略として浮上しています。
ただし、既存の研究は、比較的単純なゼロショット戦略を使用して事前トレーニングされた LLM を調査することに限定されています。
私たちは、特定の概念的空間次元に従ってエンティティをランク付けするタスクに特に焦点を当てます。
残念ながら、概念的空間次元のグラウンド トゥルース ランキングはまれであるため、このタスクに関して LLM を直接微調整することはできません。
したがって、より容易に利用可能な特徴をトレーニング データとして使用し、結果として得られるモデルのランキング機能が知覚的および主観的特徴に移行するかどうかを分析します。
これはある程度事実であることがわかりましたが、最良の結果を達成するには、トレーニング データに知覚的特徴と主観的特徴を含めることが不可欠であると思われます。
さらに、一般通念に反して、ポイントごとのランキング戦略がペアごとのアプローチと競合することがわかりました。

要約(オリジナル)

Conceptual spaces represent entities in terms of their primitive semantic features. Such representations are highly valuable but they are notoriously difficult to learn, especially when it comes to modelling perceptual and subjective features. Distilling conceptual spaces from Large Language Models (LLMs) has recently emerged as a promising strategy. However, existing work has been limited to probing pre-trained LLMs using relatively simple zero-shot strategies. We focus in particular on the task of ranking entities according to a given conceptual space dimension. Unfortunately, we cannot directly fine-tune LLMs on this task, because ground truth rankings for conceptual space dimensions are rare. We therefore use more readily available features as training data and analyse whether the ranking capabilities of the resulting models transfer to perceptual and subjective features. We find that this is indeed the case, to some extent, but having perceptual and subjective features in the training data seems essential for achieving the best results. We furthermore find that pointwise ranking strategies are competitive against pairwise approaches, in defiance of common wisdom.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google