要約
データの硬度に関する特性の測定における最近の進歩により、低リソースのシナリオでのサンプル選択における言語モデルがガイドされます。
ただし、クラス固有のプロパティはタスクの設定と学習では無視されます。
これらのプロパティはモデル学習にどのような影響を及ぼしますか?また、それはデータセット間で一般化可能ですか?
この質問に答えるために、この研究では $\textit{クラスごとの硬度}$ の概念を正式に開始します。
8 つの自然言語理解 (NLU) データセットにわたる実験により、学習パラダイム、モデル、および人間の判断全体にわたって一貫した硬度分布が実証されました。
その後の実験では、以前の研究でインスタンスレベルのメトリクスを使用してそのようなクラスごとの硬度を測定する際の顕著な課題が明らかになりました。
これに対処するために、意味的埋め込み空間でクラス ジオメトリをモデル化することにより、クラスごとの硬度を測定する $\textit{GeoHard}$ を提案します。
$\textit{GeoHard}$ は、クラスごとの硬度の測定における $\textit{Pearson}$ の相関関係において、インスタンス レベルのメトリクスを 59% 以上上回っています。
私たちの分析は、データ診断に関する新たな視点として $\textit{GeoHard}$ の一般性を理論的および経験的に強調しています。
さらに、クラスごとの難易度を理解することが、課題学習の改善に実際にどのように役立つかを紹介します。
要約(オリジナル)
Recent advances in measuring hardness-wise properties of data guide language models in sample selection within low-resource scenarios. However, class-specific properties are overlooked for task setup and learning. How will these properties influence model learning and is it generalizable across datasets? To answer this question, this work formally initiates the concept of $\textit{class-wise hardness}$. Experiments across eight natural language understanding (NLU) datasets demonstrate a consistent hardness distribution across learning paradigms, models, and human judgment. Subsequent experiments unveil a notable challenge in measuring such class-wise hardness with instance-level metrics in previous works. To address this, we propose $\textit{GeoHard}$ for class-wise hardness measurement by modeling class geometry in the semantic embedding space. $\textit{GeoHard}$ surpasses instance-level metrics by over 59 percent on $\textit{Pearson}$’s correlation on measuring class-wise hardness. Our analysis theoretically and empirically underscores the generality of $\textit{GeoHard}$ as a fresh perspective on data diagnosis. Additionally, we showcase how understanding class-wise hardness can practically aid in improving task learning.
arxiv情報
| 著者 | Fengyu Cai,Xinran Zhao,Hongming Zhang,Iryna Gurevych,Heinz Koeppl |
| 発行日 | 2024-07-17 11:53:39+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google