Awes, Laws, and Flaws From Today’s LLM Research

要約

私たちは、現代の大規模言語モデル (LLM) 研究の背後にある科学的方法論の批判的検査を実行します。
このために、私たちは、優れた研究とみなされる典型的な基準（統計的テストの存在や再現性など）に基づいて 2,000 を超える研究成果を評価し、それを論争の中心となっている議論（例えば、新たな行動の主張、
評価者としての LLM の使用)。
突発的な行動や倫理上の免責事項の主張の減少など、複数の傾向が見られます。
LLM の使いやすさについてコミュニティからのコンセンサスが得られていないにもかかわらず、評価者としての LLM の台頭。
そして、通常は人間による評価を活用せずに、LLM 推論能力を主張することが増加しています。
この論文は、倫理的で再現可能で体系的で批判にさらされる責任ある科学的方法の基本を守るために、この分野による、そしてこの分野によるさらなる精査と厳密さの必要性を強調しています。

要約(オリジナル)

We perform a critical examination of the scientific methodology behind contemporary large language model (LLM) research. For this we assess over 2,000 research works based on criteria typical of what is considered good research (e.g. presence of statistical tests and reproducibility) and cross-validate it with arguments that are at the centre of controversy (e.g., claims of emergent behaviour, the use of LLMs as evaluators). We find multiple trends, such as declines in claims of emergent behaviour and ethics disclaimers; the rise of LLMs as evaluators in spite of a lack of consensus from the community about their useability; and an increase of claims of LLM reasoning abilities, typically without leveraging human evaluation. This paper underscores the need for more scrutiny and rigour by and from this field to live up to the fundamentals of a responsible scientific method that is ethical, reproducible, systematic, and open to criticism.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google