Rethinking the Evaluating Framework for Natural Language Understanding in AI Systems: Language Acquisition as a Core for Future Metrics

要約

人工知能 (AI) の急成長分野では、自然言語処理 (NLP) における大規模言語モデル (LLM) の前例のない進歩により、形式と内容の両方で機械知能の従来の指標のアプローチ全体を再検討する機会が提供されています。
機械の認知評価の領域はすでに模倣に達しているため、次のステップは効率的な言語の習得と理解です。
私たちの論文は、LLM の最近の進歩からインスピレーションを得て、確立されたチューリング テストから、言語習得に依存する包括的なフレームワークへのパラダイム シフトを提案しています。
今回の寄稿は、さまざまな分野からの優れた研究に深く貢献しており、学際的な橋を開いたままにしておく必要性を指摘し、より堅牢で持続可能なアプローチを描いています。

要約(オリジナル)

In the burgeoning field of artificial intelligence (AI), the unprecedented progress of large language models (LLMs) in natural language processing (NLP) offers an opportunity to revisit the entire approach of traditional metrics of machine intelligence, both in form and content. As the realm of machine cognitive evaluation has already reached Imitation, the next step is an efficient Language Acquisition and Understanding. Our paper proposes a paradigm shift from the established Turing Test towards an all-embracing framework that hinges on language acquisition, taking inspiration from the recent advancements in LLMs. The present contribution is deeply tributary of the excellent work from various disciplines, point out the need to keep interdisciplinary bridges open, and delineates a more robust and sustainable approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google