A Robot Walks into a Bar: Can Language Models Serve asCreativity Support Tools for Comedy? An Evaluation of LLMs’ Humour Alignment with Comedians

要約

2023年8月にエディンバラ・フェスティバル・フリンジとオンラインで実施された「AI×コメディ」に関する3時間のワークショップの一環として、観客の前でライブショーを行い、芸術的プロセスに人工知能を活用しているプロのコメディアン20人にインタビューした。
このワークショップは、大規模言語モデル (LLM) を使用したコメディライティング セッション、ライティング ツールとしての AI の創造性サポート インデックスを評価するための人間とコンピューターのインタラクション アンケート、およびコメディアンの AI 使用の動機とプロセスについて質問するフォーカス グループで構成されていました。
、偏見、検閲、著作権に関する倫理的懸念も同様です。
参加者は、安全性フィルタリングや命令に合わせて調整されたLLMで使用されている既存のモデレーション戦略は、少数派グループとその視点を消去することで覇権主義的な視点を強化し、これを検閲の一形態として認定したと指摘した。
同時に、ほとんどの参加者は、LLM が「1950 年代のクルーズ船のコメディネタに似ているが、人種差別的ではない」ような、当たり障りのない偏ったコメディの比喩を生み出すため、創造性サポート ツールとしては成功していないと感じていました。
私たちの研究は、一方では有害な言論と、他方では抵抗、風刺、そして「殴りつける」行為としての「攻撃的な」言葉との間の微妙な違いについての学問を広げています。
また、そのような言語モデルの背後にあるグローバルな価値の調整についても調査し、アーティストのニーズにより適した AI ツールを構築するためのコミュニティベースの価値の調整とデータ所有権の重要性について議論します。

要約(オリジナル)

We interviewed twenty professional comedians who perform live shows in front of audiences and who use artificial intelligence in their artistic process as part of 3-hour workshops on “AI x Comedy” conducted at the Edinburgh Festival Fringe in August 2023 and online. The workshop consisted of a comedy writing session with large language models (LLMs), a human-computer interaction questionnaire to assess the Creativity Support Index of AI as a writing tool, and a focus group interrogating the comedians’ motivations for and processes of using AI, as well as their ethical concerns about bias, censorship and copyright. Participants noted that existing moderation strategies used in safety filtering and instruction-tuned LLMs reinforced hegemonic viewpoints by erasing minority groups and their perspectives, and qualified this as a form of censorship. At the same time, most participants felt the LLMs did not succeed as a creativity support tool, by producing bland and biased comedy tropes, akin to “cruise ship comedy material from the 1950s, but a bit less racist”. Our work extends scholarship about the subtle difference between, one the one hand, harmful speech, and on the other hand, “offensive” language as a practice of resistance, satire and “punching up”. We also interrogate the global value alignment behind such language models, and discuss the importance of community-based value alignment and data ownership to build AI tools that better suit artists’ needs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google