要約
プロンプティング、インコンテキスト学習、ファインチューニング、メタ学習、数ショット学習など、限られたラベル付きデータを用いた学習は、少量のラベル付きサンプルだけを用いて効果的にモデルを学習することを目的としている。しかし、これらのアプローチは、学習過程における非決定性によって引き起こされる制御不能なランダム性の影響を過度に受けやすいことが観察されている。ランダム性はモデルの安定性に悪影響を及ぼし、訓練実行間の結果に大きなばらつきをもたらす。このような感度が無視されると、意図せず、しかし残念ながら意図的に、研究の進歩という虚像を作り出してしまう可能性がある。近年、この分野は研究の注目を集め始め、関連する研究の数は増加の一途をたどっている。本サーベイでは、限られたラベル付きデータを用いた学習の安定性に対するランダム性の影響を扱った415の論文の包括的な概要を提供する。論文で扱われている4つの主要な課題（調査／評価、決定、緩和、ランダム性の影響のベンチマーク／比較／報告）を区別し、それぞれについて知見を提供する。さらに、7つの課題と未解決の問題を特定し、さらなる研究を促進するための可能な方向性とともに議論する。このサーベイの最終的な目的は、これまで適切なレベルの注目を受けてこなかったこの成長中の研究分野の重要性を強調し、将来の研究にとってインパクトのある方向性を明らかにすることである。
要約(オリジナル)
Learning with limited labelled data, such as prompting, in-context learning, fine-tuning, meta-learning or few-shot learning, aims to effectively train a model using only a small amount of labelled samples. However, these approaches have been observed to be excessively sensitive to the effects of uncontrolled randomness caused by non-determinism in the training process. The randomness negatively affects the stability of the models, leading to large variances in results across training runs. When such sensitivity is disregarded, it can unintentionally, but unfortunately also intentionally, create an imaginary perception of research progress. Recently, this area started to attract research attention and the number of relevant studies is continuously growing. In this survey, we provide a comprehensive overview of 415 papers addressing the effects of randomness on the stability of learning with limited labelled data. We distinguish between four main tasks addressed in the papers (investigate/evaluate; determine; mitigate; benchmark/compare/report randomness effects), providing findings for each one. Furthermore, we identify and discuss seven challenges and open problems together with possible directions to facilitate further research. The ultimate goal of this survey is to emphasise the importance of this growing research area, which so far has not received an appropriate level of attention, and reveal impactful directions for future research.
arxiv情報
| 著者 | Branislav Pecher,Ivan Srba,Maria Bielikova |
| 発行日 | 2024-09-03 07:59:58+00:00 |
| arxivサイト | arxiv_id(pdf) |