Thought Flow Nets: From Single Predictions to Trains of Model Thought

要約

人間が複雑な問題を解決する場合、通常、最終的な決定に到達するために一連のアイデア (直感的な決定、反省、誤りの修正などを含む) を作成します。
これとは対照的に、今日のモデルはほとんどの場合、入力を 1 つの固定出力にマッピングするようにトレーニングされています。
この論文では、モデルに 2 番目、3 番目、$k$ 番目の思考の機会を与える方法を調査します。
ヘーゲルの弁証法からインスピレーションを得て、一連の予測を作成する思考フローの概念を提案します。
モデルの正確性を推定するようにトレーニングされ、正確性予測の勾配に基づいて反復予測更新を実行する自己修正メカニズムを提示します。
質問応答の例で私たちの方法を紹介し、（i）独自の予測を修正する方法の能力と（ii）モデルのパフォーマンスを著しく改善する可能性を示す広範な実験を行います。
さらに、思考フロー修正パターンの定性分析を実施し、クラウドソーシング研究で思考フロー予測が人間のユーザーにどのように影響するかを調査します。
(iii) 思考フローはユーザー パフォーマンスの向上を可能にし、単一および/または上位 3 つの予測として、より自然で、正確で、インテリジェントであると認識されることがわかりました。

要約(オリジナル)

When humans solve complex problems, they typically create a sequence of ideas (involving an intuitive decision, reflection, error correction, etc.) in order to reach a conclusive decision. Contrary to this, today’s models are mostly trained to map an input to one single and fixed output. In this paper, we investigate how we can give models the opportunity of a second, third and $k$-th thought. Taking inspiration from Hegel’s dialectics, we propose the concept of a thought flow which creates a sequence of predictions. We present a self-correction mechanism that is trained to estimate the model’s correctness and performs iterative prediction updates based on the correctness prediction’s gradient. We introduce our method at the example of question answering and conduct extensive experiments that demonstrate (i) our method’s ability to correct its own predictions and (ii) its potential to notably improve model performances. In addition, we conduct a qualitative analysis of thought flow correction patterns and explore how thought flow predictions affect human users within a crowdsourcing study. We find that (iii) thought flows enable improved user performance and are perceived as more natural, correct, and intelligent as single and/or top-3 predictions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google