Did AI get more negative recently?

要約

この論文では、人工知能 (AI) の中核サブフィールドである自然言語処理 (NLP) と機械学習 (ML) の分野の科学論文を、(i) 現在の状態を拡張するものであるかどうかに分類します。
既存のモデルを打ち負かす新しい技術の導入による芸術なのか、それとも (ii) 主に既存の最先端技術を批判しているのか、つまり、何らかの特性 (例: 間違った評価、間違ったデータセット、誤解を招くタスク仕様) に関して欠陥があることを批判しているのか
）。
当社は、(i) に基づく貢献を「肯定的なスタンス」を持つと呼び、(ii) に基づく貢献を (関連作品に対して) 「否定的なスタンス」を持つと呼びます。
NLP および ML の 1.5,000 を超える論文に注釈を付けて、SciBERT ベースのモデルをトレーニングし、タイトルと要約に基づいて論文のスタンスを自動的に予測します。
次に、NLP と ML の過去約 35 年間の 41,000 件を超える論文の大規模な傾向を分析し、論文は時間の経過とともに大幅にポジティブになったが、ネガティブな論文もネガティブになり、最近ではネガティブな論文がかなり多くなっていることがわかりました。
年。
否定的な論文は、引用されるという点でも影響力が大きくなります。

要約(オリジナル)

In this paper, we classify scientific articles in the domain of natural language processing (NLP) and machine learning (ML), as core subfields of artificial intelligence (AI), into whether (i) they extend the current state-of-the-art by the introduction of novel techniques which beat existing models or whether (ii) they mainly criticize the existing state-of-the-art, i.e. that it is deficient with respect to some property (e.g. wrong evaluation, wrong datasets, misleading task specification). We refer to contributions under (i) as having a ‘positive stance’ and contributions under (ii) as having a ‘negative stance’ (to related work). We annotate over 1.5 k papers from NLP and ML to train a SciBERT-based model to automatically predict the stance of a paper based on its title and abstract. We then analyse large-scale trends on over 41 k papers from the last approximately 35 years in NLP and ML, finding that papers have become substantially more positive over time, but negative papers also got more negative and we observe considerably more negative papers in recent years. Negative papers are also more influential in terms of citations they receive.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google