Vectoring Languages

要約

大規模言語モデル (LLM) における最近の画期的な進歩は世界的な注目を集めており、それ以来研究はノンストップで加速しています。
哲学者や心理学者も何十年にもわたって言語の構造を研究してきましたが、LLM の画期的な進歩から直接恩恵を受ける理論を見つけるのに苦労しています。
この記事では、言語モデルの背後にあるメカニズムをよく反映した新しい言語構造を提案し、この構造が以前の方法と比較して言語の多様な性質を捉えるのにも優れていることを示します。
線形代数のアナロジーは、この観点の基礎を強化するために採用されています。
さらに、この観点と現在の言語モデルの設計哲学との違いについて議論します。
最後に、この視点が科学の進歩を最も早く加速させる可能性のある研究の方向性をどのように導くことができるかについて説明します。

要約(オリジナル)

Recent breakthroughs in large language models (LLM) have stirred up global attention, and the research has been accelerating non-stop since then. Philosophers and psychologists have also been researching the structure of language for decades, but they are having a hard time finding a theory that directly benefits from the breakthroughs of LLMs. In this article, we propose a novel structure of language that reflects well on the mechanisms behind language models and go on to show that this structure is also better at capturing the diverse nature of language compared to previous methods. An analogy of linear algebra is adapted to strengthen the basis of this perspective. We further argue about the difference between this perspective and the design philosophy for current language models. Lastly, we discuss how this perspective can lead us to research directions that may accelerate the improvements of science fastest.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google