System-Level Natural Language Feedback

要約

自然言語 (NL) フィードバックは、ユーザー エクスペリエンスに関する豊富な洞察を提供します。
既存の研究は、フィードバックを使用して特定の例を改良するインスタンス レベルのアプローチに焦点を当てていますが、NL フィードバックをシステム レベルで使用するためのフレームワークを導入します。
より良いモデルを生成するために、フィードバックを使用して人間参加型のプロセスでシステムレベルの設計決定を形式化する方法を示します。
特に、これは以下を通じて行われます。(i) タスクのメトリクス設計。
(ii) モデル応答を改良するための言語モデル プロンプト設計。
検索クエリとダイアログ応答の生成を改善するためのこのアプローチの 2 つのケーススタディを実施し、システムレベルのフィードバックの有効性を実証します。
私たちは、システム レベルとインスタンス レベルのフィードバックを組み合わせることでさらなる利益がもたらされること、そして人間が書いたインスタンス レベルのフィードバックの方が GPT-3.5 で書かれたものよりもより根拠のある改良がもたらされ、システム構築における人間のフィードバックの重要性の根底にあることを示しました。
コードとデータは https://github.com/yyy-Apple/Sys-NL-Feedback でリリースされています。

要約(オリジナル)

Natural language (NL) feedback offers rich insights into user experience. While existing studies focus on an instance-level approach, where feedback is used to refine specific examples, we introduce a framework for system-level use of NL feedback. We show how to use feedback to formalize system-level design decisions in a human-in-the-loop-process — in order to produce better models. In particular this is done through: (i) metric design for tasks; and (ii) language model prompt design for refining model responses. We conduct two case studies of this approach for improving search query and dialog response generation, demonstrating the effectiveness of system-level feedback. We show the combination of system-level and instance-level feedback brings further gains, and that human written instance-level feedback results in more grounded refinements than GPT-3.5 written ones, underlying the importance of human feedback for building systems. We release our code and data at https://github.com/yyy-Apple/Sys-NL-Feedback.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google