AutoLife: Automatic Life Journaling with Smartphones and LLMs

要約

この文書では、ユーザーの日常生活の意味論的な記述を生成するように設計された、新しいモバイル センシング アプリケーションである生活ジャーナリングを紹介します。
市販のスマートフォンをベースにした自動ライフジャーナルシステム「AutoLife」を紹介します。
AutoLife は、スマートフォンから低コストのセンサー データ (写真や音声なし) を入力するだけで、ユーザー向けの包括的な生活日記を自動的に生成できます。
これを達成するために、私たちはまずマルチモーダルセンサーデータから時間、動き、位置のコンテキストを導き出し、人間の生活に関する常識的な知識で強化された大規模言語モデル (LLM) のゼロショット機能を活用して、多様なコンテキストを解釈し、生活日誌を生成します。
。
タスクの複雑さと長いセンシング期間を管理するために、タスクを分解し、LLM をライフジャーナリングのための他の技術とシームレスに統合する多層フレームワークが提案されています。
この研究では、ベンチマークとして実際のデータセットを確立し、広範な実験結果により、AutoLife が正確で信頼性の高いライフ ジャーナルを作成していることが実証されました。

要約(オリジナル)

This paper introduces a novel mobile sensing application – life journaling – designed to generate semantic descriptions of users’ daily lives. We present AutoLife, an automatic life journaling system based on commercial smartphones. AutoLife only inputs low-cost sensor data (without photos or audio) from smartphones and can automatically generate comprehensive life journals for users. To achieve this, we first derive time, motion, and location contexts from multimodal sensor data, and harness the zero-shot capabilities of Large Language Models (LLMs), enriched with commonsense knowledge about human lives, to interpret diverse contexts and generate life journals. To manage the task complexity and long sensing duration, a multilayer framework is proposed, which decomposes tasks and seamlessly integrates LLMs with other techniques for life journaling. This study establishes a real-life dataset as a benchmark and extensive experiment results demonstrate that AutoLife produces accurate and reliable life journals.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google