Effective Distillation of Table-based Reasoning Ability from LLMs

要約

大規模言語モデル (LLM) は、幅広い自然言語処理タスクにわたって優れたパフォーマンスを実証しています。
ただし、パラメータのサイズが膨大であり、計算能力に対する要件が非常に高いため、実際の導入には課題が生じます。
最近の研究では、数値推論などの LLM の特定の機能を、蒸留によってより小さなモデルに移すことができることが明らかになりました。
一部の研究では、LLM を活用してテーブルベースの推論を実行する可能性を調査しています。
しかし、科学的な表からテキストへの生成タスクに特化して調整された小規模なモデルにおける表推論スキルに焦点を当てたこれまでの研究はありませんでした。
この論文では、LLM を調整されたより小さなモデルに抽出することを目的とした、新しいテーブルベースの推論抽出アプローチを提案します。
私たちの実験結果は、蒸留データを使用して微調整された 2 億 2,000 万のパラメーター モデル (Flan-T5 ベース) が、従来の微調整されたベースラインと比較して大幅な改善を達成するだけでなく、科学的テーブル上の特定の LLM をも上回ることを示しました。
-テキスト生成データセット。
私たちのコードは https://github.com/Bernard-Yang/DistillTableCoT で入手できます。

要約(オリジナル)

Large Language Models (LLMs) have demonstrated remarkable performance across a wide range of natural language processing tasks. However, their enormous parameter size and extremely high requirements for compute power pose challenges for their practical deployment. Recent research has revealed that specific capabilities of LLMs, such as numerical reasoning, can be transferred to smaller models through distillation. Some studies explore the potential of leveraging LLMs to perform table-based reasoning. However, there has been no prior work focusing on table reasoning skills in smaller models specifically tailored for scientific table-to-text generation tasks. In this paper, we propose a novel table-based reasoning distillation approach, with the aim of distilling LLMs into tailored smaller models. Our experimental results have shown that a 220 million parameter model (Flan-T5-base) fine-tuned using distilled data, not only achieves a significant improvement compared to traditionally fine-tuned baselines, but also surpasses specific LLMs on a scientific table-to-text generation dataset. Our code is available at https://github.com/Bernard-Yang/DistillTableCoT.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google