FIREBALL: A Dataset of Dungeons and Dragons Actual-Play with Structured Game State Information

要約

【タイトル】
FIREBALL: Dungeons & Dragonsの実際のプレイと構造化されたゲーム状態情報のデータセット

【要約】
– Dungeon & Dragons（D＆D）は、プレイヤー間の複雑な自然言語インタラクションと隠された状態情報を持つテーブルトップロールプレイングゲームです。
– 最近の研究では、状態情報にアクセスできる大規模言語モデル（LLMs）は、対話履歴だけを使用するLLMsよりも高品質のゲームターンを生成できることが示されています。
– ただし、以前の研究は、ヒューリスティックに作成されたゲーム状態情報を使用し、真のゴールド標準のゲーム状態ではありませんでした。
– FIREBALLは、真のゲーム状態情報を持つDiscord上の実際のD＆Dゲームプレイから約25,000のユニークなセッションが含まれる大規模なデータセットです。
– Avraeボットを使用したプレイヤーのゲームプレイセッションを記録し、言語、ゲームコマンド、および基礎となるゲーム状態情報をキャプチャします。
– FIREBALLは、Avrae状態情報を使用することで自然言語生成（NLG）を改善し、自動メトリックと品質の人間の判断の両方を向上させることができることを示します。
– さらに、LLMsは、特にファインチューニング後にAvraeコマンドを生成できることを示します。

要約(オリジナル)

Dungeons & Dragons (D&D) is a tabletop roleplaying game with complex natural language interactions between players and hidden state information. Recent work has shown that large language models (LLMs) that have access to state information can generate higher quality game turns than LLMs that use dialog history alone. However, previous work used game state information that was heuristically created and was not a true gold standard game state. We present FIREBALL, a large dataset containing nearly 25,000 unique sessions from real D\&D gameplay on Discord with true game state info. We recorded game play sessions of players who used the Avrae bot, which was developed to aid people in playing D&D online, capturing language, game commands and underlying game state information. We demonstrate that FIREBALL can improve natural language generation (NLG) by using Avrae state information, improving both automated metrics and human judgments of quality. Additionally, we show that LLMs can generate executable Avrae commands, particularly after finetuning.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI