Understanding the message of images

Weiland, Lydia

Vorschau

PDF
00thesis-Weiland.pdf - Veröffentlichte Version
Download (23MB)

URL:	https://ub-madoc.bib.uni-mannheim.de/46350
URN:	urn:nbn:de:bsz:180-madoc-463506
Dokumenttyp:	Dissertation
Erscheinungsjahr:	2018
Ort der Veröffentlichung:	Mannheim
Hochschule:	Universität Mannheim
Gutachter:	Ponzetto, Simone Paolo
Datum der mündl. Prüfung:	8 Juni 2018
Sprache der Veröffentlichung:	Englisch
Einrichtung:	Fakultät für Wirtschaftsinformatik und Wirtschaftsmathematik > Information Systems III: Enterprise Data Analysis (Ponzetto 2016-)
Fachgebiet:	004 Informatik
Normierte Schlagwörter (SWD):	Bildverstehen , Suche , Rangordnung
Freie Schlagwörter (Englisch):	Gist understanding , Image understanding , Media-iconic images , Entity ranking, Multimodal search and retrieval, Multimodal indexing
Abstract:	We investigate the problem of understanding the message (gist) conveyed by images and their captions as found, for instance, on websites or news articles. To this end, we propose a methodology to capture the meaning of image-caption pairs on the basis of large amounts of machine-readable knowledge that have previously been shown to be highly effective for text understanding. Our method identifies the connotation of objects beyond their denotation: where most approaches to image or image-text understanding focus on the denotation of objects, i.e., their literal meaning, our work addresses the identification of connotations, i.e., iconic meanings of objects, to understand the message of images. We view image understanding as the task of representing an image-caption pair on the basis of a widecoverage vocabulary of concepts such as the one provided by Wikipedia, and cast gist detection as a concept-ranking problem with image-caption pairs as queries.
Übersetzter Titel:	Verstehen der Botschaft von Bildern (Deutsch)
Übersetzung des Abstracts:	Wir untersuchen die Problematik des Verstehens der Kernbotschaft (Kern), die durch Bilder und ihren Bildunterschriften, wie sie z.B. auf Webseiten oder in Nachrichtenartikeln zu finden sind, vermittelt wird. Zu diesem Zweck präsentieren wir eine Methodik zur Erfassung der Bedeutung von Bild-Bildunterschriften-Paaren auf Basis von großen Mengen maschinenlesbaren Wissens, welches sich in der Vergangenheit für Textverständnis als sehr effektiv erwiesen hat. Unsere Methode identifiziert die Konnotation von Objekten jenseits ihrer Denotation: Während die meisten Ansätze zum Bild- oder Bild-Text-Verständnis sich auf die Benennung von Objekten, d.h. ihrer wörtlichen Bedeutung, konzentrieren, beschäftigt sich unsere Arbeit mit der Identifikation von Konnotationen, d.h. ikonischen Bedeutungen von Objekten, um die Botschaft von Bildern zu verstehen. Wir betrachten das Bildverstehen als die Aufgabe, ein Bild-Bildunterschriftenpaar auf Basis eines umfangreichen Vokabulars von Konzepten, wie sie in Wikipedia bereit gestellt werden, zu repräsentieren und gehen das Bild-Kern Verstehens als Konzept-Ranking Problem mit Bild-Bildunterschriften-Paaren als Abfrage an. (Deutsch)