Shifting Long-Context LLMs Research from Input to Output

要約

長いコンテキストの大規模な言語モデル（LLM）の最近の進歩は、主に拡張された入力コンテキストの処理に集中しており、その結果、長いコンテキストの理解に大きな進歩があります。
ただし、長型の出力を生成することの同様に重要な側面は、比較的少ない注目を集めています。
このペーパーでは、長年の生成の課題に対処するためのNLP研究のパラダイムシフトを提唱しています。
斬新な執筆、長期計画、複雑な推論などのタスクでは、モデルが広範なコンテキストを理解し、一貫性があり、文脈的に豊富で、論理的に一貫した拡張テキストを生成する必要があります。
これらの要求は、現在のLLM機能の重要なギャップを強調しています。
この不足しているドメインの重要性を強調し、高品質で長期の出力を生成するために調整された基本的なLLMSを開発するための焦点を絞った努力を求め、実世界のアプリケーションの大きな可能性を秘めています。

要約(オリジナル)

Recent advancements in long-context Large Language Models (LLMs) have primarily concentrated on processing extended input contexts, resulting in significant strides in long-context comprehension. However, the equally critical aspect of generating long-form outputs has received comparatively less attention. This paper advocates for a paradigm shift in NLP research toward addressing the challenges of long-output generation. Tasks such as novel writing, long-term planning, and complex reasoning require models to understand extensive contexts and produce coherent, contextually rich, and logically consistent extended text. These demands highlight a critical gap in current LLM capabilities. We underscore the importance of this under-explored domain and call for focused efforts to develop foundational LLMs tailored for generating high-quality, long-form outputs, which hold immense potential for real-world applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google