Algorithmic failure as a humanities methodology: machine learning’s mispredictions identify rich cases for qualitative analysis

要約

この解説は、Munk らによって提案された方法論をテストします。
(2022) 定性分析のために曖昧で豊富なケースを特定する方法として機械学習で失敗した予測を使用したことに対して。
500 の芸術作品、映画、小説、ビデオゲームのマシン ビジョン テクノロジーと対話する架空の人物によって実行されるアクションを記述したデータセットを使用して、アクションが能動的か受動的かを予測するための単純な機械学習アルゴリズム (R の kNN アルゴリズムを使用) をトレーニングしました。
架空の人物に関する情報のみを使用します。
予測可能なアクションは一般に、マシン ビジョン テクノロジが単純なツールとして扱われる、感情のない明確なアクティビティです。
予測不可能なアクション、つまりアルゴリズムが正しく予測できないアクションは、より曖昧で感情的な負荷がかかり、キャラクターとテクノロジー間の力関係がより複雑になりました。
したがって、結果は、失敗した予測を生産的に使用して定性分析のための豊富なケースを特定できるという Munk らの理論を裏付けています。
このテストは、この方法がより広範な人文科学領域に適用できること、および複雑なニューラル ネットワークを必要とせず、より単純な機械学習アルゴリズムでも機能することを実証することで、Munk らの結果を単に再現するだけではありません。
この方法がどのような種類のデータに役立つのか、またどの種類の機械学習が最も生成的であるのかを理解するには、さらなる研究が必要です。
これをサポートするために、テストを複製できるように、結果を生成するために必要な R コードが含まれています。
コードを再利用したり、他のデータセットでメソッドをテストするために適合させたりすることもできます。

要約(オリジナル)

This commentary tests a methodology proposed by Munk et al. (2022) for using failed predictions in machine learning as a method to identify ambiguous and rich cases for qualitative analysis. Using a dataset describing actions performed by fictional characters interacting with machine vision technologies in 500 artworks, movies, novels and videogames, I trained a simple machine learning algorithm (using the kNN algorithm in R) to predict whether or not an action was active or passive using only information about the fictional characters. Predictable actions were generally unemotional and unambiguous activities where machine vision technologies were treated as simple tools. Unpredictable actions, that is, actions that the algorithm could not correctly predict, were more ambivalent and emotionally loaded, with more complex power relationships between characters and technologies. The results thus support Munk et al.’s theory that failed predictions can be productively used to identify rich cases for qualitative analysis. This test goes beyond simply replicating Munk et al.’s results by demonstrating that the method can be applied to a broader humanities domain, and that it does not require complex neural networks but can also work with a simpler machine learning algorithm. Further research is needed to develop an understanding of what kinds of data the method is useful for and which kinds of machine learning are most generative. To support this, the R code required to produce the results is included so the test can be replicated. The code can also be reused or adapted to test the method on other datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google