Towards multimodal activity recognition in complex scenarios

Diete, Alexander

PDF
main.pdf - Published
Download (7MB)

URL:	https://madoc.bib.uni-mannheim.de/59629
URN:	urn:nbn:de:bsz:180-madoc-596298
Document Type:	Doctoral dissertation
Year of publication:	2021
Place of publication:	Mannheim
University:	Universität Mannheim
Evaluator:	Stuckenschmidt, Heiner
Date of oral examination:	25 February 2021
Publication language:	English
Institution:	School of Business Informatics and Mathematics > Practical Computer Science II: Artificial Intelligence (Stuckenschmidt 2009-)
Subject:	004 Computer science, internet
Keywords (English):	Machine learning , activity recognition , multimodality
Abstract:	Activity recognition deals with the task of figuring out a person’s current activity based on the reading of sensors. Many downstream applications can utilize this information to aid potential users. Fitness tracking devices, for instance, try to determine the timespan a user was running or riding a bike to aid workout goals. Other applications can be found in the health sector, where activity recognition can be used to gain insights about patients that have cognitive disabilities and may forget important daily activities like food or medicine consumption. It can also aid logistics by streamlining processes, e.g. in order picking scenarios for warehouses. For many of these applications, either one or multiple sensors are utilized. In this work, we look at multimodal activity recognition, meaning we consider multiple sensors of different types. We believe that the combination of different modalities can improve the overall accuracy of current methods. Since sensors are becoming cheaper and smaller, practical implementation of multi-sensor systems become more feasible. Specifically, we use video and inertial information for our methods. With this setting in mind, our contribution is spread throughout the whole activity recognition pipeline. We create datasets, develop new annotation methods, and evaluate new types of features and models for activity recognition in both industrial and personal use.
Translation of the abstract:	Aktivitätserkennung ist ein Feld in der Informatik, dass sich mit dem Erkennen von Aktivitäten von Personen anhand von verschiedenen Sensordaten beschäftigt. Dabei gibt es verschiedenen Applikationen, die von dieser Art von Informationen Gebrauch machen. Fittnesstracker können zum Beispiel benutzt werden, um zu bestimmen wann eine Person läuft oder mit dem Fahrrad fährt. Auch im Medizinsektor beziehungsweise in der Pflege kann Aktivitätserkennung helfen. Patienten mit kognitiven Einschränkungen könnte beispielsweise geholfen werden, wenn erkannt wurde, dass sie ihre tägliche Medizin nicht eingenommen haben. Weiterhin können Unternehmen mit Aktivitätserkennung Prozesse in der Logistik optimieren, etwa im Warenhausbetrieb. Dabei werden oft ein oder mehrere Sensoren für die Erkennung genutzt. Diese Arbeit beschäftigt sich mit dem Thema der multimodalen Aktivitätserkennung. Das heißt, dass wir mehrere Sensoren verschiedener Art für unsere Modelle nutzen. Dabei ist unsere Annahme, dass verschiedenen Modalitäten die Gesamtgenauigkeit von Modellen erhöhen. Da Sensoren in den letzten Jahren im Preis gesunken und gleichzeitig auch kleiner geworden sind, können multimodale Systeme auch leichter in der Praxis angewendet werden. In dieser Arbeit beschäftigen wir uns im Speziellen mit Video- und Beschleunigungssensoren. Hierbei haben wir Beiträge für jeden Schritt in einer typischen Aktivitätserkennungspipeline geleistet. Dazu gehört das Erstellen von neuen Datensätzen, die Entwicklung vereinfachter Annotationsmethoden und das Erarbeiten und Evaluieren von neuen Methoden für Aktivitätserkennung sowohl im Industriekontext als auch für persönliche Nutzung. (German)