AILS-NTUA at SemEval-2025 Task 8: Language-to-Code prompting and Error Fixing for Tabular Question Answering

要約

この論文では、Semeval-2025タスク8への提出：表形式データに対する質問の質問を提示します。
データベンチデータセットで評価されたこのタスクは、以前のベンチマークでトピックの多様性とテーブルサイズの制限に対処しながら、構造化されたデータよりも自然言語の質問に答える大きな言語モデル（LLMS）の能力を評価します。
自然言語クエリを実行可能なコードに変換し、正確な応答、エラー修正、および解釈可能性を可能にする効果的なLLMプロンプトを使用するシステムを提案します。
私たちのアプローチは、独自のモデルカテゴリの競争の両方のサブタスクで最初にランクされており、オーガナイザーのベースラインを大幅に上回っています。

要約(オリジナル)

In this paper, we present our submission to SemEval-2025 Task 8: Question Answering over Tabular Data. This task, evaluated on the DataBench dataset, assesses Large Language Models’ (LLMs) ability to answer natural language questions over structured data while addressing topic diversity and table size limitations in previous benchmarks. We propose a system that employs effective LLM prompting to translate natural language queries into executable code, enabling accurate responses, error correction, and interpretability. Our approach ranks first in both subtasks of the competition in the proprietary model category, significantly outperforming the organizer’s baseline.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google