LLM-CARD: Towards a Description and Landscape of Large Language Models

要約

自然言語処理 (NLP) 分野の急速な成長に伴い、多様な NLP タスク用に多種多様な大規模言語モデル (LLM) が出現し続けています。
発表される論文の数が増えるにつれ、研究者や開発者は情報過多という課題に直面しています。
したがって、LLM に関する重要な情報を学術論文から自動的に抽出して整理できるシステム (\textbf{LLM モデル カード}) を開発することが特に重要です。
この研究は、固有表現認識 (\textbf{NER}) および関係抽出 (\textbf{RE}) メソッドを使用して、論文から大規模な言語モデルに関する重要な情報を自動的に抽出し、研究者が効率的にアクセスできるようにするこのような先駆的なシステムを開発することです。
LLM に関する情報。
これらの機能には、モデル \textit{licence}、model \textit{name}、model \textit{application} が含まれます。
これらの機能を使用して、各論文のモデル カードを作成できます。
\textbf{データ貢献} に関しては、LLM の名前、ライセンス、アプリケーションという 3 つの辞書を定義することによって、106 件の学術論文が処理されました。
辞書検索によって 11,051 文が抽出され、名前とライセンスに関連がある 129 文と、モデル名とアプリケーションに関連がある 106 文の最終選択を手動でレビューしてデータセットが構築されました。

要約(オリジナル)

With the rapid growth of the Natural Language Processing (NLP) field, a vast variety of Large Language Models (LLMs) continue to emerge for diverse NLP tasks. As an increasing number of papers are presented, researchers and developers face the challenge of information overload. Thus, it is particularly important to develop a system that can automatically extract and organise key information about LLMs from academic papers (\textbf{LLM model card}). This work is to develop such a pioneer system by using Named Entity Recognition (\textbf{NER}) and Relation Extraction (\textbf{RE}) methods that automatically extract key information about large language models from the papers, helping researchers to efficiently access information about LLMs. These features include model \textit{licence}, model \textit{name}, and model \textit{application}. With these features, we can form a model card for each paper. \textbf{Data-contribution} wise, 106 academic papers were processed by defining three dictionaries – LLMs name, licence, and application. 11,051 sentences were extracted through dictionary lookup, and the dataset was constructed through manual review of the final selection of 129 sentences that have a link between the name and the licence, and 106 sentences that have a link between the model name and the application.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google