Abstract Meaning Representation-Based Logic-Driven Data Augmentation for Logical Reasoning

要約

大規模な言語モデルを論理的推論と組み合わせることで、堅牢かつ信頼性の高い方法で問題に対処する能力が強化されます。
それにもかかわらず、論理的推論の複雑な性質により、包括的なトレーニング データセットを構築するために Web から信頼できるデータを収集することが困難になり、その後、下流のタスクのパフォーマンスに影響を及ぼします。
これに対処するために、新しいロジック駆動型のデータ拡張アプローチである AMR-LDA を導入します。
AMR-LDA は、元のテキストを抽象意味表現 (AMR) グラフに変換します。AMR グラフは、文の論理構造をカプセル化する構造化された意味表現であり、論理的に変更された AMR グラフを生成する操作が実行されます。
変更された AMR グラフはその後テキストに変換されて拡張データが作成されます。
特に、私たちの方法論はアーキテクチャに依存せず、プロンプト拡張を通じて GPT-3.5 や GPT-4 などの生成大規模言語モデルと、ロジック駆動型のデータ拡張による対照学習を通じて識別大規模言語モデルの両方を強化します。
経験的証拠は、論理的推論を必要とする読解、テキストの含意、自然言語推論など、7 つの下流タスク全体でパフォーマンスが向上し、提案された方法の有効性を強調しています。
さらに、私たちの手法は ReClor リーダーボード (https://eval.ai/web/challenges/challenge-page/503/leaderboard/1347) でトップに立っています。
ソース コードとデータは https://bit.ly/3OWKe8r で公開されています。

要約(オリジナル)

Combining large language models with logical reasoning enhances their capacity to address problems in a robust and reliable manner. Nevertheless, the intricate nature of logical reasoning poses challenges to gathering reliable data from the web for building comprehensive training datasets, subsequently affecting the performance on downstream tasks. To address this, we introduce a novel logic-driven data augmentation approach, AMR-LDA. AMR-LDA converts the original text into an Abstract Meaning Representation (AMR) graph, a structured semantic representation that encapsulates the logic structure of the sentence, upon which operations are performed to generate logically modified AMR graphs. The modified AMR graphs are subsequently converted back into text to create augmented data. Notably, our methodology is architecture-agnostic and enhances both generative large language models, such as GPT-3.5 and GPT-4, through prompt augmentation, and discriminative large language models through contrastive learning with logic-driven data augmentation. Empirical evidence underscores the efficacy of our proposed method with improvement in performance across seven downstream tasks, such as reading comprehension requiring logical reasoning, textual entailment, and natural language inference. Furthermore, our method leads on the ReClor leaderboard (https://eval.ai/web/challenges/challenge-page/503/leaderboard/1347). The source code and data are publicly available https://bit.ly/3OWKe8r.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google