Has Your Pretrained Model Improved? A Multi-head Posterior Based Approach

要約

事前トレーニング済みモデルの出現は、リレーショナル データセットに対する自然言語処理 (NLP) とコンピューター ビジョンに大きな影響を与えました。
従来、これらのモデルは、微調整された下流タスクを通じて評価されてきました。
ただし、これにより、これらのモデルをより効率的かつ効果的に評価する方法についての問題が生じます。
この研究では、各エンティティに関連付けられたメタ特徴を世俗的な知識のソースとして活用し、モデルからエンティティ表現を採用するという新しいアプローチを検討します。
これらの表現とメタ特徴の間の一貫性を、事前トレーニングされたモデルを評価するための指標として使用することを提案します。
私たちの手法の有効性は、リレーショナル データセットを含むモデル、大規模な言語モデル、画像モデルなど、さまざまなドメインにわたって実証されています。

要約(オリジナル)

The emergence of pretrained models has significantly impacted Natural Language Processing (NLP) and Computer Vision to relational datasets. Traditionally, these models are assessed through fine-tuned downstream tasks. However, this raises the question of how to evaluate these models more efficiently and more effectively. In this study, we explore a novel approach where we leverage the meta features associated with each entity as a source of worldly knowledge and employ entity representations from the models. We propose using the consistency between these representations and the meta features as a metric for evaluating pretrained models. Our method’s effectiveness is demonstrated across various domains, including models with relational datasets, large language models and image models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google