Can large language models generate salient negative statements?

要約

私たちは、現実世界の実体について顕著な (興味深い) 否定的なステートメントを生成する大規模言語モデル (LLM) の能力を調べます。
ここ数年の新たな研究テーマ。
ゼロショットおよびkショットの制約なしプローブを使用してLLMを調査し、否定生成の従来の方法、つまりパターンベースのテキスト抽出とナレッジグラフベースの推論、およびクラウドソースのゴールドステートメントと比較します。
さまざまなドメインの主題について生成されたリストの正確性と顕著性を測定します。
私たちの評価では、ガイド付きプローブが実際に、ゼロショットのバリアントと比較して、生成されたネガの品質を向上させていることが示されています。
それにもかかわらず、両方のプロンプトを使用しても、LLM は依然として否定的な事実の概念に苦しみ、多くのあいまいなステートメント、または否定的なキーワードを含むが肯定的な意味を持つステートメントを頻繁に生成します。

要約(オリジナル)

We examine the ability of large language models (LLMs) to generate salient (interesting) negative statements about real-world entities; an emerging research topic of the last few years. We probe the LLMs using zero- and k-shot unconstrained probes, and compare with traditional methods for negation generation, i.e., pattern-based textual extractions and knowledge-graph-based inferences, as well as crowdsourced gold statements. We measure the correctness and salience of the generated lists about subjects from different domains. Our evaluation shows that guided probes do in fact improve the quality of generated negatives, compared to the zero-shot variant. Nevertheless, using both prompts, LLMs still struggle with the notion of factuality of negatives, frequently generating many ambiguous statements, or statements with negative keywords but a positive meaning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google