How to Do Things with Deep Learning Code

要約

タイトル：Deep Learning Codeを使ったことのやり方
要約：
-本論文では、大型言語モデルの構成と機能に基本的な理解が極めて重要であるという前提において、OpenAIのGPT-2の表現マップを抽出し、モデルに関連する深層学習コードと、その周りに構築されたアプリケーションをサポートするコードの2種類のクラスとして明らかにします。
-その後、主流なGPT-2アプリケーションであるテキストアドベンチャーゲーム、AI Dungeon、言語芸術プロジェクト、This Word Does Not Existの2つの事例研究によってこのマップを検証します。
-このような練習により、研究者にとってコードを分析的な焦点とすることが重要であること、およびCriical Artificial IntelligenceおよびCritical Machine Learning Studiesのサブフィールドの研究者にとってコードが妥当な分析的焦点であることを示すことができます。
-しかし、より広く、普通のユーザーがどのように深層学習システムとやりとりし、振る舞いを指示できるかどうかに注意を向け、AIの正体不明な神秘を解明することに取り組み、
-関与が起こる方法と場所を理解することで、機械学習システムの開発により積極的に参加することができるため、情報化社会技術合意を形成する可能性と、その創造的能力をより広範囲に理解することができます。

要約(オリジナル)

The premise of this article is that a basic understanding of the composition and functioning of large language models is critically urgent. To that end, we extract a representational map of OpenAI’s GPT-2 with what we articulate as two classes of deep learning code, that which pertains to the model and that which underwrites applications built around the model. We then verify this map through case studies of two popular GPT-2 applications: the text adventure game, AI Dungeon, and the language art project, This Word Does Not Exist. Such an exercise allows us to test the potential of Critical Code Studies when the object of study is deep learning code and to demonstrate the validity of code as an analytical focus for researchers in the subfields of Critical Artificial Intelligence and Critical Machine Learning Studies. More broadly, however, our work draws attention to the means by which ordinary users might interact with, and even direct, the behavior of deep learning systems, and by extension works toward demystifying some of the auratic mystery of ‘AI.’ What is at stake is the possibility of achieving an informed sociotechnical consensus about the responsible applications of large language models, as well as a more expansive sense of their creative capabilities-indeed, understanding how and where engagement occurs allows all of us to become more active participants in the development of machine learning systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI