ReALM: Reference Resolution As Language Modeling

要約

参照解決は重要な問題であり、さまざまな種類のコンテキストを理解し、適切に処理するために不可欠です。
このコンテキストには、以前のターンと、ユーザーの画面上のエンティティやバックグラウンドで実行されているエンティティなどの非会話エンティティに関連するコンテキストの両方が含まれます。
LLM はさまざまなタスクに対して非常に強力であることが示されていますが、参照解決における LLM の使用、特に非会話エンティティに対する使用は依然として十分に活用されていません。
この論文では、画面上のエンティティのような、従来は解決に役立たなかった形式のエンティティが関係しているにもかかわらず、参照解決を言語モデリング問題に変換する方法を示すことにより、LLM を使用してさまざまなタイプの参照を解決する非常に効果的なシステムを作成する方法を示します。
テキストのみのモダリティに縮小されています。
さまざまなタイプの参照にわたって同様の機能を備えた既存のシステムに比べて大幅な改善が見られ、最小のモデルでは画面上の参照に対して 5% 以上の絶対ゲインが得られました。
また、GPT-3.5 および GPT-4 に対するベンチマークも行っており、最小モデルでは GPT-4 に匹敵するパフォーマンスを達成し、より大きなモデルではそれを大幅に上回っています。

要約(オリジナル)

Reference resolution is an important problem, one that is essential to understand and successfully handle context of different kinds. This context includes both previous turns and context that pertains to non-conversational entities, such as entities on the user’s screen or those running in the background. While LLMs have been shown to be extremely powerful for a variety of tasks, their use in reference resolution, particularly for non-conversational entities, remains underutilized. This paper demonstrates how LLMs can be used to create an extremely effective system to resolve references of various types, by showing how reference resolution can be converted into a language modeling problem, despite involving forms of entities like those on screen that are not traditionally conducive to being reduced to a text-only modality. We demonstrate large improvements over an existing system with similar functionality across different types of references, with our smallest model obtaining absolute gains of over 5% for on-screen references. We also benchmark against GPT-3.5 and GPT-4, with our smallest model achieving performance comparable to that of GPT-4, and our larger models substantially outperforming it.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google