Learning to Generate Equitable Text in Dialogue from Biased Training Data

要約

対話システムの意思決定プロセスと生成される応答に根付いた公平性の原則は、ユーザーの関与、満足度、タスクの達成にとって非常に重要です。
公平かつ包括的な原則が欠如していると、共通基盤の形成が妨げられる可能性があり、その結果、システム全体のパフォーマンスに悪影響を及ぼす可能性があります。
たとえば、ユーザー インタラクションで代名詞を誤用すると、意図した主題が曖昧になる可能性があります。
しかし、対話における公平なテキスト生成に関する包括的な研究は存在しません。
適切なことに、この研究では、この問題を研究するために計算学習の理論を使用します。
我々は、テキスト生成における公平性の正式な定義を提供し、さらに、人間らしさの学習と公平性の学習との間の形式的な関係を証明します。公平性を向上させるアルゴリズムは、最終的には（拡張データ上の）人間らしさを向上させるアルゴリズムに帰着します。
この洞察に基づいて、テキスト生成アルゴリズムが、学習の基礎となる偏ったトレーニング データを変更することなく公平なテキストを生成することを学習できる合理的な条件も定式化します。
私たちの理論を実際に例示するために、GuessWhat?! のアルゴリズムのグループを見ていきます。
この例を使用して、私たちの理論を経験的にテストします。
私たちの理論は、人間による評価と自動評価の両方によって測定された、公平なテキストを生成する際の複数のアルゴリズムの相対的なパフォーマンスを正確に予測します。

要約(オリジナル)

The ingrained principles of fairness in a dialogue system’s decision-making process and generated responses are crucial for user engagement, satisfaction, and task achievement. Absence of equitable and inclusive principles can hinder the formation of common ground, which in turn negatively impacts the overall performance of the system. For example, misusing pronouns in a user interaction may cause ambiguity about the intended subject. Yet, there is no comprehensive study of equitable text generation in dialogue. Aptly, in this work, we use theories of computational learning to study this problem. We provide formal definitions of equity in text generation, and further, prove formal connections between learning human-likeness and learning equity: algorithms for improving equity ultimately reduce to algorithms for improving human-likeness (on augmented data). With this insight, we also formulate reasonable conditions under which text generation algorithms can learn to generate equitable text without any modifications to the biased training data on which they learn. To exemplify our theory in practice, we look at a group of algorithms for the GuessWhat?! visual dialogue game and, using this example, test our theory empirically. Our theory accurately predicts relative-performance of multiple algorithms in generating equitable text as measured by both human and automated evaluation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google