Listener Model for the PhotoBook Referential Game with CLIPScores as Implicit Reference Chain

要約

PhotoBook は、2 人のプレイヤーが部分的に重複するプライベートな画像セットを受け取り、どの画像が共通しているかを解決する共同対話ゲームです。
これは、人間がマルチモーダルなコンテキストを中心に共通基盤を構築して効果的にコミュニケーションする方法を学習するという大きな課題を機械に突きつけます。
ただし、文献で開発された方法は、ゲームの一部のサブタスクに取り組むだけであり、抽出プロセスが不完全な追加の参照チェーン入力を必要とするため、実際のゲームプレイに導入することはできません。
したがって、我々は、ゲームの予測タスク、つまり、画像がパートナーと共有されるかどうかの決定に直接対処する、参照チェーンフリーのリスナーモデルを提案します。
DeBERTa ベースのリスナー モデルは対話全体を読み取り、CLIPScore 機能を利用して発話と画像の関連性を評価します。
画像/ゲームテーマの未見のセットで 77% 以上の精度を達成し、ベースラインを 17 ポイント以上上回りました。

要約(オリジナル)

PhotoBook is a collaborative dialogue game where two players receive private, partially-overlapping sets of images and resolve which images they have in common. It presents machines with a great challenge to learn how people build common ground around multimodal context to communicate effectively. Methods developed in the literature, however, cannot be deployed to real gameplay since they only tackle some subtasks of the game, and they require additional reference chains inputs, whose extraction process is imperfect. Therefore, we propose a reference chain-free listener model that directly addresses the game’s predictive task, i.e., deciding whether an image is shared with partner. Our DeBERTa-based listener model reads the full dialogue, and utilizes CLIPScore features to assess utterance-image relevance. We achieve >77% accuracy on unseen sets of images/game themes, outperforming baseline by >17 points.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google