Model Hubs and Beyond: Analyzing Model Popularity, Performance, and Documentation

要約

顔を抱き締めるなどのプラットフォームでMLモデルの大規模な急増により、ユーザーはしばしばダウンストリームタスクに最適なモデルを選択するためにトラックを失い、苦労します。
この人気が実際のモデルパフォーマンスと一致するかどうか、およびモデルドキュメントの包括性が人気とパフォーマンスの両方とどのように相関するかを調査します。
私たちの研究では、顔を抱きしめる500の感情分析モデルの包括的なセットを評価しました。
この評価には、大規模なアノテーションの取り組みが含まれ、人間のアノテーターは、広範なモデルトレーニングと評価とともに、約80,000の注釈を完了しました。
私たちの調査結果は、モデルの人気が必ずしもパフォーマンスと相関しているわけではないことを明らかにしています。
さらに、モデルカードのレポートの重要な矛盾を特定します。分析されたモデルの約80 \％が、モデル、トレーニング、および評価プロセスに関する詳細な情報を欠いています。
さらに、モデル著者の約88％がモデルカードでモデルのパフォーマンスを誇張しています。
調査結果に基づいて、ユーザーがダウンストリームタスクに適したモデルを選択するためのガイドラインのチェックリストを提供します。

要約(オリジナル)

With the massive surge in ML models on platforms like Hugging Face, users often lose track and struggle to choose the best model for their downstream tasks, frequently relying on model popularity indicated by download counts, likes, or recency. We investigate whether this popularity aligns with actual model performance and how the comprehensiveness of model documentation correlates with both popularity and performance. In our study, we evaluated a comprehensive set of 500 Sentiment Analysis models on Hugging Face. This evaluation involved massive annotation efforts, with human annotators completing nearly 80,000 annotations, alongside extensive model training and evaluation. Our findings reveal that model popularity does not necessarily correlate with performance. Additionally, we identify critical inconsistencies in model card reporting: approximately 80\% of the models analyzed lack detailed information about the model, training, and evaluation processes. Furthermore, about 88\% of model authors overstate their models’ performance in the model cards. Based on our findings, we provide a checklist of guidelines for users to choose good models for downstream tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google