Experimental Contexts Can Facilitate Robust Semantic Property Inference in Language Models, but Inconsistently

要約

最近のゼロショット評価では、意味抽出を実行する言語モデル (LM) の能力における重要な制限が浮き彫りになりました。
しかし、コンテキスト内の例や説明などの実験的コンテキストの存在下で LM が根本的な改善を実証できることは現在ではよく知られています。
これは、以前に研究された意味に敏感なタスクにどの程度うまく反映されますか?
我々は、実験的コンテキストがプロパティ継承の実行、つまり以前に失敗することが示されていた新しい概念の意味論的プロパティの予測における LM の堅牢性をどの程度改善できるかについてのケーススタディを紹介します。
コンテキスト内の例と指示の性質を注意深く制御すると、私たちの研究により、それらが実際に LM での重要なプロパティ継承動作につながる可能性があることが明らかになりました。
ただし、この能力には一貫性がありません。タスクを最小限に再定式化しただけで、一部の LM が入力から浅い非意味論的ヒューリスティックを認識することが判明しました。これは、意味論的プロパティ推論の計算原理が LM によってまだ習得されていないことを示唆しています。

要約(オリジナル)

Recent zero-shot evaluations have highlighted important limitations in the abilities of language models (LMs) to perform meaning extraction. However, it is now well known that LMs can demonstrate radical improvements in the presence of experimental contexts such as in-context examples and instructions. How well does this translate to previously studied meaning-sensitive tasks? We present a case-study on the extent to which experimental contexts can improve LMs’ robustness in performing property inheritance — predicting semantic properties of novel concepts, a task that they have been previously shown to fail on. Upon carefully controlling the nature of the in-context examples and the instructions, our work reveals that they can indeed lead to non-trivial property inheritance behavior in LMs. However, this ability is inconsistent: with a minimal reformulation of the task, some LMs were found to pick up on shallow, non-semantic heuristics from their inputs, suggesting that the computational principles of semantic property inference are yet to be mastered by LMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google