Language Models, Graph Searching, and Supervision Adulteration: When More Supervision is Less and How to Make More More

要約

この作業は、グラフを検索する最小限の例であるパススタータスクに関するものです。
グラフ$ g $は、スタートノード、$ s $から放射される$ d $アームが星形成されています。
言語モデル（LM）には、$ g $、$ s $、およびターゲットノード$ t $が与えられます。これは、アームの1つを終了し、$ t $を含むアームを生成することを担当しています。
このタスクの最小限の性質は、単一の選択肢を作成する必要があることを意味します。$ d $アームのどれに$ t $が含まれていますか？
デコーダーのみのLMSは、トレーニングの監督を吸収する学んだショートカットのため、$ 1/d $のチャンスを超えるこの基本タスクを解決できません。
この病理が過剰な監督によってどのように引き起こされるかを示し、タスクがデコーダーのみのLMSを介して解決可能であることを示す一連のソリューションを提示します。
タスクの最小限の性質は、タスクの分解を防ぐため、困難を引き起こすことがわかります。
私たちのソリューションは、次のトークン予測を介して訓練されたLMSに対する病理学とその意味についての洞察を提供します。

要約(オリジナル)

This work concerns the path-star task, a minimal example of searching over a graph. The graph, $G$, is star-shaped with $D$ arms radiating from a start node, $s$. A language model (LM) is given $G$, $s$, and a target node $t$, which ends one of the arms and is tasked with generating the arm containing $t$. The minimal nature of this task means only a single choice needs to be made: which of the $D$ arms contains $t$? Decoder-only LMs fail to solve this elementary task above $1/D$ chance due to a learned shortcut that absorbs training supervision. We show how this pathology is caused by excess supervision and we present a series of solutions demonstrating that the task is solvable via decoder-only LMs. We find that the task’s minimal nature causes its difficulty, as it prevents task decomposition. Our solutions provide insight into the pathology and its implications for LMs trained via next-token prediction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google