Towards Better Understanding Table Instruction Tuning: Decoupling the Effects from Data versus Models

要約

自然言語処理の最近の進歩により、命令チューニングが活用され、テーブル関連タスク用の大規模言語モデル (LLM) が強化されました。
ただし、これまでの研究では、異なるトレーニング データを使用して異なるベース モデルをトレーニングしており、結果テーブル LLM 間のリンゴ対リンゴの比較が不足していました。
これに対処するために、既存の公開トレーニング データセットに基づいて、Mistral、OLMo、および Phi ファミリのベース モデルを微調整します。
当社のレプリケーションは、既存のテーブル LLM と同等またはそれを上回るパフォーマンスを達成し、テーブル質問応答データセットである Hitab 上で新しい最先端のパフォーマンスを確立します。
さらに重要なのは、体系的なドメイン外評価を通じて、トレーニング データとベース モデルの寄与を分離し、それぞれの影響についての洞察を提供することです。
さらに、テーブル固有の命令チューニングが汎用ベンチマークに及ぼす影響を評価し、特殊化と一般化の間のトレードオフを明らかにします。

要約(オリジナル)

Recent advances in natural language processing have leveraged instruction tuning to enhance Large Language Models (LLMs) for table-related tasks. However, previous works train different base models with different training data, lacking an apples-to-apples comparison across the result table LLMs. To address this, we fine-tune base models from the Mistral, OLMo, and Phi families on existing public training datasets. Our replication achieves performance on par with or surpassing existing table LLMs, establishing new state-of-the-art performance on Hitab, a table question-answering dataset. More importantly, through systematic out-of-domain evaluation, we decouple the contributions of training data and the base model, providing insight into their individual impacts. In addition, we assess the effects of table-specific instruction tuning on general-purpose benchmarks, revealing trade-offs between specialization and generalization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google