Interactive Text Generation

要約

ユーザーは、テキスト、画像、コード、またはその他のエディターを日常的に操作します。
ただし、機械学習モデルは、ユーザーと編集者の間の対話性を反映する設定でトレーニングされることはほとんどありません。
実際のユーザーによる AI モデルのトレーニングは時間とコストがかかるだけでなく、これらのモデルが学習する内容はユーザー インターフェイスのデザインの選択に固有のものである可能性があるため、これは理解できます。
残念ながら、これは、テキスト、コード、および画像生成に関する研究のほとんどが、非対話的な設定に焦点を当てていることを意味します。そのため、モデルは、喜んで助けてくれる可能性のあるユーザーからの入力を考慮せずに、すべてを正しく行うことが期待されます。
モデルを特定のターゲット テキストに誘導する編集を提供するユーザー シミュレーターを使用することで、実際のユーザーを巻き込むコストをかけずに、生成モデルをインタラクティブにトレーニングできる新しいインタラクティブ テキスト生成タスクを導入します。
模倣学習を使用して対話型モデルをトレーニングし、競合する非対話型生成モデルに対する実験では、すべてのモデルに同じ予算のユーザー入力または編集が与えられた場合でも、対話型で訓練されたモデルが非対話型のモデルよりも優れていることが示されています。

要約(オリジナル)

Users interact with text, image, code, or other editors on a daily basis. However, machine learning models are rarely trained in the settings that reflect the interactivity between users and their editor. This is understandable as training AI models with real users is not only slow and costly, but what these models learn may be specific to user interface design choices. Unfortunately, this means most of the research on text, code, and image generation has focused on non-interactive settings, whereby the model is expected to get everything right without accounting for any input from a user who may be willing to help. We introduce a new Interactive Text Generation task that allows training generation models interactively without the costs of involving real users, by using user simulators that provide edits that guide the model towards a given target text. We train our interactive models using Imitation Learning, and our experiments against competitive non-interactive generation models show that models trained interactively are superior to their non-interactive counterparts, even when all models are given the same budget of user inputs or edits.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google