ROSAnnotator: A Web Application for ROSBag Data Analysis in Human-Robot Interaction

要約

ヒューマン ロボット インタラクション (HRI) は、定量的手法と定性的手法の両方を利用する学際的な分野です。
ロボット オペレーティング システム (ROS) 内のファイル形式である ROSBags は、実際のロボットを用いた実証研究において、時間的に同期されたマルチモーダル データを収集する効率的な手段を提供しますが、定性コーディングおよび分析機能を ROSBags と統合するために特別に設計されたツールが不足しています。
このギャップに対処するために、私たちは、ROSBag データの手動および自動の両方のアノテーションをサポートするマルチモーダルラージ言語モデル (LLM) を組み込んだ Web ベースのアプリケーションである ROSAnnotator を開発しました。
ROSAnnotator は現在、ビデオ、オーディオ、文字起こしの注釈を容易にし、カスタム ROS メッセージとツールのオープン インターフェイスを提供します。
ROSAnnotator を使用することで、研究者は定性分析プロセスを合理化し、より一貫性のある分析パイプラインを作成し、アノテーションの統計概要に迅速にアクセスできるため、HRI データ分析の全体的な効率が向上します。
https://github.com/CHRI-Lab/ROSAnnotator

要約(オリジナル)

Human-robot interaction (HRI) is an interdisciplinary field that utilises both quantitative and qualitative methods. While ROSBags, a file format within the Robot Operating System (ROS), offer an efficient means of collecting temporally synched multimodal data in empirical studies with real robots, there is a lack of tools specifically designed to integrate qualitative coding and analysis functions with ROSBags. To address this gap, we developed ROSAnnotator, a web-based application that incorporates a multimodal Large Language Model (LLM) to support both manual and automated annotation of ROSBag data. ROSAnnotator currently facilitates video, audio, and transcription annotations and provides an open interface for custom ROS messages and tools. By using ROSAnnotator, researchers can streamline the qualitative analysis process, create a more cohesive analysis pipeline, and quickly access statistical summaries of annotations, thereby enhancing the overall efficiency of HRI data analysis. https://github.com/CHRI-Lab/ROSAnnotator

arxiv情報

提供元, 利用サービス

arxiv.jp, Google