Abstract Meaning Representation-Based Logic-Driven Data Augmentation for Logical Reasoning

要約

大規模な言語モデルと論理的推論を組み合わせることで、堅牢で信頼できる方法で問題に対処する能力が向上します。
それにもかかわらず、論理的推論の複雑な性質は、Webから信頼できるデータを収集して包括的なトレーニングデータセットを構築し、その後ダウンストリームタスクのパフォーマンスに影響を与える際に課題をもたらします。
これに対処するために、新しいロジック駆動型のデータ増強アプローチAMR-LDAを紹介します。
AMR-LDAは、元のテキストを抽象的な意味表現（AMR）グラフに変換します。これは、文の論理構造をカプセル化する構造化されたセマンティック表現で、操作が実行されて論理的に変更されたAMRグラフを生成します。
その後、修正されたAMRグラフがテキストに戻され、拡張データが作成されます。
特に、私たちの方法論はアーキテクチャに依存しており、迅速な増強を通じてGPT-3.5やGPT-4などの生成的大規模な言語モデルと、論理駆動型のデータ増強を使用した対照学習を通じて識別的な大手言語モデルの両方を強化します。
実証的証拠は、論理的推論、テキストの誘惑、自然言語の推論を必要とする読解など、7つの下流タスクにわたってパフォーマンスの改善を伴う提案方法の有効性を強調しています。
さらに、私たちの方法は、https://eval.ai/web/challenges/challenge-page/503/leaderboard/1347のReclor Leaderboardにリードしています。
ソースコードとデータは、https://github.com/strong-ai-lab/logical-equivalence-driven-amr-data-augmentation-for-representation-rearningで公開されています。

要約(オリジナル)

Combining large language models with logical reasoning enhances their capacity to address problems in a robust and reliable manner. Nevertheless, the intricate nature of logical reasoning poses challenges when gathering reliable data from the web to build comprehensive training datasets, subsequently affecting performance on downstream tasks. To address this, we introduce a novel logic-driven data augmentation approach, AMR-LDA. AMR-LDA converts the original text into an Abstract Meaning Representation (AMR) graph, a structured semantic representation that encapsulates the logical structure of the sentence, upon which operations are performed to generate logically modified AMR graphs. The modified AMR graphs are subsequently converted back into text to create augmented data. Notably, our methodology is architecture-agnostic and enhances both generative large language models, such as GPT-3.5 and GPT-4, through prompt augmentation, and discriminative large language models through contrastive learning with logic-driven data augmentation. Empirical evidence underscores the efficacy of our proposed method with improvement in performance across seven downstream tasks, such as reading comprehension requiring logical reasoning, textual entailment, and natural language inference. Furthermore, our method leads on the ReClor leaderboard at https://eval.ai/web/challenges/challenge-page/503/leaderboard/1347. The source code and data are publicly available at https://github.com/Strong-AI-Lab/Logical-Equivalence-driven-AMR-Data-Augmentation-for-Representation-Learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google