Does the ‘most sinfully decadent cake ever’ taste good? Answering Yes/No Questions from Figurative Contexts

要約

比喩的な言語は自然言語では一般的であり、コミュニケーションを記憶に残り、創造的にする一方で、理解するのが難しい場合があります。
この研究では、比喩的なテキストに対する質問応答 (QA) モデルの堅牢性を調査します。
特に、はい/いいえの質問は、大規模な言語モデルの比喩的な言語理解能力を調べるのに役立ちます。
私たちは、レストランや製品のレビューの領域から抽出された、比喩的および非比喩的なコンテキストを含む 1000 個のはい/いいえの質問セットである FigurativeQA を提案します。
最先端の BERT ベースの QA モデルは、比喩的なコンテキストからの質問に答える場合、非比喩的なコンテキストに比べて平均で最大 15\% ポイントのパフォーマンス低下を示すことを示します。
GPT-3 や ChatGPT などのモデルは比喩的なテキストの処理に優れていますが、比喩的なコンテキストを非比喩的な (リテラル) 対応するコンテキストに自動的に単純化することで、さらなるパフォーマンスの向上が達成できることを示します。
全体として最適なモデルは、非比喩的なコンテキストの生成を促す思考連鎖を備えた ChatGPT であることがわかりました。
私たちの研究は、比喩的な言語理解機能を備えたより堅牢な QA モデルを構築するための有望な方向性を提供します。

要約(オリジナル)

Figurative language is commonplace in natural language, and while making communication memorable and creative, can be difficult to understand. In this work, we investigate the robustness of Question Answering (QA) models on figurative text. Yes/no questions, in particular, are a useful probe of figurative language understanding capabilities of large language models. We propose FigurativeQA, a set of 1000 yes/no questions with figurative and non-figurative contexts, extracted from the domains of restaurant and product reviews. We show that state-of-the-art BERT-based QA models exhibit an average performance drop of up to 15\% points when answering questions from figurative contexts, as compared to non-figurative ones. While models like GPT-3 and ChatGPT are better at handling figurative texts, we show that further performance gains can be achieved by automatically simplifying the figurative contexts into their non-figurative (literal) counterparts. We find that the best overall model is ChatGPT with chain-of-thought prompting to generate non-figurative contexts. Our work provides a promising direction for building more robust QA models with figurative language understanding capabilities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google