Large Human Language Models: A Need and the Challenges

要約

人間中心の NLP の研究が進むにつれて、人間と社会の要素を NLP モデルに組み込むことの重要性に対する認識が高まっています。
同時に、私たちの NLP システムは LLM に大きく依存するようになり、そのほとんどは著者をモデル化していません。
人間の言語を真に理解できる NLP システムを構築するには、人間のコンテキストを LLM にうまく統合する必要があります。
これにより、人間のどのような側面を捉えるか、それらをどのように表現するか、どのようなモデリング戦略を追求するかという点で、さまざまなデザイン上の考慮事項や課題が浮き彫りになります。
これらに対処するために、心理学および行動科学の概念を使用して大規模人間言語モデル (LHLM) を作成することに向けた 3 つの立場を提唱します。 まず、LM トレーニングには人間のコンテキストが含まれる必要があります。
第二に、LHLM は人々が自分たちのグループ以上のものであることを認識する必要があります。
第三に、LHLM は人間のコンテキストの動的かつ時間依存的な性質を説明できなければなりません。
私たちは関連する進歩に言及し、これらの目標を実現するために対処する必要がある未解決の課題とその考えられる解決策を提示します。

要約(オリジナル)

As research in human-centered NLP advances, there is a growing recognition of the importance of incorporating human and social factors into NLP models. At the same time, our NLP systems have become heavily reliant on LLMs, most of which do not model authors. To build NLP systems that can truly understand human language, we must better integrate human contexts into LLMs. This brings to the fore a range of design considerations and challenges in terms of what human aspects to capture, how to represent them, and what modeling strategies to pursue. To address these, we advocate for three positions toward creating large human language models (LHLMs) using concepts from psychological and behavioral sciences: First, LM training should include the human context. Second, LHLMs should recognize that people are more than their group(s). Third, LHLMs should be able to account for the dynamic and temporally-dependent nature of the human context. We refer to relevant advances and present open challenges that need to be addressed and their possible solutions in realizing these goals.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google