Tabular Representation, Noisy Operators, and Impacts on Table Structure Understanding Tasks in LLMs

要約

大規模言語モデル (LLM) は、コンテキスト内学習を使用して表形式のタスクに適用されることが増えています。
テーブルのプロンプト表現は、テーブルを処理する LLM の機能に役割を果たす場合があります。
以前の研究に触発されて、自己監視型の構造タスク (セルや行に移動する、テーブルを転置するなど) のコレクションを生成し、8 つの形式を使用した場合のパフォーマンスの違いを評価します。
過去の研究とは対照的に、現実世界の乱雑なデータと敵対的な入力にインスピレーションを得た 8 つのノイズ操作を紹介し、そのような操作がさまざまな構造理解タスクのフォーマット全体で LLM パフォーマンスに影響を与える可能性があることを示します。

要約(オリジナル)

Large language models (LLMs) are increasingly applied for tabular tasks using in-context learning. The prompt representation for a table may play a role in the LLMs ability to process the table. Inspired by prior work, we generate a collection of self-supervised structural tasks (e.g. navigate to a cell and row; transpose the table) and evaluate the performance differences when using 8 formats. In contrast to past work, we introduce 8 noise operations inspired by real-world messy data and adversarial inputs, and show that such operations can impact LLM performance across formats for different structural understanding tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google