Instruction Finetuning for Leaderboard Generation from Empirical AI Research

要約

この研究では、事前トレーニング済みの大規模言語モデル (LLM) の命令微調整を適用して、記事から (タスク、データセット、メトリック、スコア) 4 倍を抽出する AI 研究リーダーボードの生成を自動化する方法を実証します。
従来の手動によるコミュニティキュレーション、または分類法に制約のある自然言語推論 (NLI) モデルから、自動化された生成型 LLM ベースのアプローチに移行することで、AI 研究の進歩の普及を合理化することを目的としています。
この研究は、FLAN-T5 モデルを利用して、情報抽出における LLM の適応性と信頼性を強化し、構造化された知識表現のための新しい方法を提供します。

要約(オリジナル)

This study demonstrates the application of instruction finetuning of pretrained Large Language Models (LLMs) to automate the generation of AI research leaderboards, extracting (Task, Dataset, Metric, Score) quadruples from articles. It aims to streamline the dissemination of advancements in AI research by transitioning from traditional, manual community curation, or otherwise taxonomy-constrained natural language inference (NLI) models, to an automated, generative LLM-based approach. Utilizing the FLAN-T5 model, this research enhances LLMs’ adaptability and reliability in information extraction, offering a novel method for structured knowledge representation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google