Piece of Table: A Divide-and-Conquer Approach for Selecting Sub-Tables in Table Question Answering

要約

言語モデル (LM) をテーブルに適用することは、LM が元々設計された 2 次元のテーブルと 1 次元のテキストの間に固有の構造の違いがあるため、困難です。
さらに、線形化テーブルを LM に適用する場合、セルフ アテンションの計算でしばしば課せられる最大トークン長により、大きなテーブルにまたがるコンテキストを包括的に理解することが困難になります。
これらの課題に対処するために、サブテーブルベースの質問応答 (QA) の新しいフレームワークである PieTa (Piece of Table) を紹介します。
PieTa は、テーブルを小さなウィンドウに分割し、LM を使用して各ウィンドウ内の関連するセルを選択し、これらのセルをサブテーブルにマージするという反復プロセスを通じて動作します。
この多重解像度アプローチは、長いコンテキスト入力によって引き起こされる制限を回避しながら、複数の行と列にわたる依存関係をキャプチャします。
シンプルな反復サブテーブル結合アルゴリズムとしてインスタンス化された PieTa は、以前のサブテーブルベースの QA アプローチと比べてパフォーマンスが向上していることを示しています。

要約(オリジナル)

Applying language models (LMs) to tables is challenging due to the inherent structural differences between two-dimensional tables and one-dimensional text for which the LMs were originally designed. Furthermore, when applying linearized tables to LMs, the maximum token lengths often imposed in self-attention calculations make it difficult to comprehensively understand the context spread across large tables. To address these challenges, we present PieTa (Piece of Table), a new framework for sub-table-based question answering (QA). PieTa operates through an iterative process of dividing tables into smaller windows, using LMs to select relevant cells within each window, and merging these cells into a sub-table. This multi-resolution approach captures dependencies across multiple rows and columns while avoiding the limitations caused by long context inputs. Instantiated as a simple iterative sub-table union algorithm, PieTa demonstrates improved performance over previous sub-table-based QA approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google