Unlocking Model Insights: A Dataset for Automated Model Card Generation

要約

言語モデル (LM) はもはや ML コミュニティに限定されず、命令調整された LM により自律型 AI エージェントの増加につながりました。
LM のアクセシビリティが高まるにつれて、LM の機能、使用目的、開発サイクルについての理解も向上することが不可欠です。
モデル カードは、ML モデルに関する詳細情報を文書化するための一般的な方法です。
モデル カードの生成を自動化するために、トレーニング構成、データセット、バイアス、アーキテクチャの詳細、トレーニング リソースなど、モデルの重要な側面をカバーする 25 の ML モデルの 500 の質問と回答のペアのデータセットを導入します。
私たちは元の論文から答えを抽出するためにアノテーターを雇います。
さらに、質問に答えることでモデル カードを生成する際の LM の機能を調査します。
ChatGPT-3.5、LLaMa、および Galactica を使用した最初の実験では、前述の LM による研究論文の理解と、事実に基づくテキスト応答の生成に大きなギャップがあることが示されました。
私たちは、このデータセットをモデルのトレーニングに使用して、紙のテキストからモデル カードの生成を自動化し、モデル カードのキュレーション プロセスにおける人的労力を削減できると考えています。
完全なデータセットは https://osf.io/hqt7p/?view_only=3b9114e3904c4443bcd9f5c270158d37 で入手できます。

要約(オリジナル)

Language models (LMs) are no longer restricted to ML community, and instruction-tuned LMs have led to a rise in autonomous AI agents. As the accessibility of LMs grows, it is imperative that an understanding of their capabilities, intended usage, and development cycle also improves. Model cards are a popular practice for documenting detailed information about an ML model. To automate model card generation, we introduce a dataset of 500 question-answer pairs for 25 ML models that cover crucial aspects of the model, such as its training configurations, datasets, biases, architecture details, and training resources. We employ annotators to extract the answers from the original paper. Further, we explore the capabilities of LMs in generating model cards by answering questions. Our initial experiments with ChatGPT-3.5, LLaMa, and Galactica showcase a significant gap in the understanding of research papers by these aforementioned LMs as well as generating factual textual responses. We posit that our dataset can be used to train models to automate the generation of model cards from paper text and reduce human effort in the model card curation process. The complete dataset is available on https://osf.io/hqt7p/?view_only=3b9114e3904c4443bcd9f5c270158d37

arxiv情報

提供元, 利用サービス

arxiv.jp, Google