TableQAKit: A Comprehensive and Practical Toolkit for Table-based Question Answering

要約

テーブルベースの質問応答 (TableQA) は自然言語処理における重要なタスクであり、テーブルを理解し、質問に答えるためにさまざまな推論方法を採用する必要があります。
このペーパーでは、TableQA 専用に設計された初の包括的なツールキットである TableQAKit を紹介します。
このツールキットは、豊富な TableQA データセットを含む統合プラットフォームを設計し、このタスクの一般的な手法と大規模言語モデル (LLM) を統合します。
ユーザーは、使いやすいインターフェイスに従ってデータセットとメソッドを追加できます。
また、うれしいことに、このツールキットのモジュールを使用すると、一部のデータセットで新しい SOTA が達成されました。
最後に、 \tableqakit{} は、TableQA における LLM の役割を評価するための LLM ベースの TableQA ベンチマークも提供します。
TableQAKit はオープンソースであり、視覚的な操作を含む対話型インターフェイスと、使いやすさを追求した包括的なデータを備えています。

要約(オリジナル)

Table-based question answering (TableQA) is an important task in natural language processing, which requires comprehending tables and employing various reasoning ways to answer the questions. This paper introduces TableQAKit, the first comprehensive toolkit designed specifically for TableQA. The toolkit designs a unified platform that includes plentiful TableQA datasets and integrates popular methods of this task as well as large language models (LLMs). Users can add their datasets and methods according to the friendly interface. Also, pleasantly surprised using the modules in this toolkit achieves new SOTA on some datasets. Finally, \tableqakit{} also provides an LLM-based TableQA Benchmark for evaluating the role of LLMs in TableQA. TableQAKit is open-source with an interactive interface that includes visual operations, and comprehensive data for ease of use.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google