Measuring Bullshit in the Language Games played by ChatGPT

要約

真理値に直接対応しないテキストを作成する生成大規模言語モデル (LLM) は、フランクフルトの人気書籍『でたらめについて』で説明されている言語の使用法に似ていると広く理解されています。
このペーパーでは、この現象がどのように発生したのか、またどのように分析できるのかを特定し、このトピックについて厳密な調査を提供します。
この論文では、この議論を詳しく説明して、LLM ベースのチャットボットが「でたらめの言語ゲーム」をプレイしていると提案します。
私たちは、1,000 の科学出版物の言語と ChatGPT によって生成された典型的な疑似科学テキストを対比するために構築されたデータセットに基づいて、統計的テキスト分析を使用して、このウィトゲンシュタインの言語ゲームの特徴を調査します。
次に、社会機能不全の 2 つのよく知られた文脈、つまりジョージ・オーウェルの政治と言語に対する批判と、デイヴィッド・グレーバーのブルシット・ジョブの特徴付けにおいて、同じ言語の特徴が検出できるかどうかを調査します。
単純な仮説検定法を使用して、たわごとの言語の統計モデルが、ChatGPT のフランクフルトの人工たわごとを、自然な人間の言語で観察されるようなたわごとの政治的および職場の機能に確実に関連付けることができることを実証します。

要約(オリジナル)

Generative large language models (LLMs), which create text without direct correspondence to truth value, are widely understood to resemble the uses of language described in Frankfurt’s popular monograph On Bullshit. In this paper, we offer a rigorous investigation of this topic, identifying how the phenomenon has arisen, and how it might be analysed. In this paper, we elaborate on this argument to propose that LLM-based chatbots play the ‘language game of bullshit’. We use statistical text analysis to investigate the features of this Wittgensteinian language game, based on a dataset constructed to contrast the language of 1,000 scientific publications with typical pseudo-scientific text generated by ChatGPT. We then explore whether the same language features can be detected in two well-known contexts of social dysfunction: George Orwell’s critique of politics and language, and David Graeber’s characterisation of bullshit jobs. Using simple hypothesis-testing methods, we demonstrate that a statistical model of the language of bullshit can reliably relate the Frankfurtian artificial bullshit of ChatGPT to the political and workplace functions of bullshit as observed in natural human language.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google