TablePilot; Recommending Human-Preferred Tabular Data Analysis with Large Language Models

要約

多くのシナリオでは表形式のデータ分析が重要ですが、新しいテーブルの最も関連性の高いデータ分析クエリと結果を効率的に識別することは重要な課題です。
表形式データの複雑さ、多様な分析操作、および高品質の分析の需要により、プロセスは退屈になります。
これらの課題に対処するために、表形式のデータ分析ワークフローの新しいテーブルに合わせたクエリコードと表現のトリプレットを推奨することを目指しています。
このホワイトペーパーでは、テーブルパイロットを提示します。これは、ユーザープロファイルや以前の相互作用に依存することなく、大規模な言語モデルを活用して包括的かつ優れた分析結果を自律的に生成するための大規模な言語モデルを活用する先駆的な表パイロットを紹介します。
このフレームワークには、分析の準備と分析の最適化に重要な設計が組み込まれ、精度が向上します。
さらに、推奨の品質をさらに向上させ、人間の好みに合わせてより適切に整合するための新しい方法であるRec-Alignを提案します。
包括的な表形式データ分析の推奨用に特別に設計されたデータセットであるDARTの実験は、フレームワークの有効性を示しています。
GPT-4Oに基づいて、調整されたテーブルパイロットは77.0％のトップ5の推奨リコールを実現します。
人間の評価は、表形式データ分析ワークフローを最適化する際のその有効性をさらに強調しています。

要約(オリジナル)

Tabular data analysis is crucial in many scenarios, yet efficiently identifying the most relevant data analysis queries and results for a new table remains a significant challenge. The complexity of tabular data, diverse analytical operations, and the demand for high-quality analysis make the process tedious. To address these challenges, we aim to recommend query-code-result triplets tailored for new tables in tabular data analysis workflows. In this paper, we present TablePilot, a pioneering tabular data analysis framework leveraging large language models to autonomously generate comprehensive and superior analytical results without relying on user profiles or prior interactions. The framework incorporates key designs in analysis preparation and analysis optimization to enhance accuracy. Additionally, we propose Rec-Align, a novel method to further improve recommendation quality and better align with human preferences. Experiments on DART, a dataset specifically designed for comprehensive tabular data analysis recommendation, demonstrate the effectiveness of our framework. Based on GPT-4o, the tuned TablePilot achieves 77.0% top-5 recommendation recall. Human evaluations further highlight its effectiveness in optimizing tabular data analysis workflows.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google