An Overview Of Temporal Commonsense Reasoning and Acquisition

要約

時間的常識的推論とは、フレーズ、アクション、イベントの典型的な時間的コンテキストを理解し、その知識を必要とする問題を推論するためにそれを使用する能力を指します。
この特性は、時間的自然言語処理タスクに不可欠であり、タイムライン要約、時間的質問応答、時間的自然言語推論などの応用が考えられます。
大規模な言語モデルのパフォーマンスに関する最近の研究によると、大規模な言語モデルは構文的に正しい文を生成し、分類タスクを解決することには長けていますが、推論において近道を選択し、単純な言語上の罠に陥ることがよくあります。
この記事では、時間的常識推論の分野における研究の概要を説明します。特に、さまざまな拡張を通じて言語モデルのパフォーマンスを強化することと、増加するデータセット全体でのその評価に焦点を当てています。
しかし、これらの拡張モデルは、イベントの典型的な発生時間、順序、継続時間などの時間的常識特性に基づく推論タスクにおいて、人間のパフォーマンスに近づくのに依然として苦労しています。
さらに、変圧器に存在する浅い推論を考慮して、過度に期待された評価結果を防ぐために、研究を慎重に解釈する必要性を強調します。
これは、データセットと適切な評価指標を適切に準備することで実現できます。

要約(オリジナル)

Temporal commonsense reasoning refers to the ability to understand the typical temporal context of phrases, actions, and events, and use it to reason over problems requiring such knowledge. This trait is essential in temporal natural language processing tasks, with possible applications such as timeline summarization, temporal question answering, and temporal natural language inference. Recent research on the performance of large language models suggests that, although they are adept at generating syntactically correct sentences and solving classification tasks, they often take shortcuts in their reasoning and fall prey to simple linguistic traps. This article provides an overview of research in the domain of temporal commonsense reasoning, particularly focusing on enhancing language model performance through a variety of augmentations and their evaluation across a growing number of datasets. However, these augmented models still struggle to approach human performance on reasoning tasks over temporal common sense properties, such as the typical occurrence times, orderings, or durations of events. We further emphasize the need for careful interpretation of research to guard against overpromising evaluation results in light of the shallow reasoning present in transformers. This can be achieved by appropriately preparing datasets and suitable evaluation metrics.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google