Understanding the message of images


Weiland, Lydia


[img]
Preview
PDF
00thesis-Weiland.pdf - Published

Download (23MB)

URL: https://ub-madoc.bib.uni-mannheim.de/46350
URN: urn:nbn:de:bsz:180-madoc-463506
Document Type: Doctoral dissertation
Year of publication: 2018
Place of publication: Mannheim
University: Universität Mannheim
Evaluator: Ponzetto, Simone Paolo
Date of oral examination: 8 June 2018
Publication language: English
Institution: School of Business Informatics and Mathematics > Wirtschaftsinformatik III (Ponzetto 2016-)
Subject: 004 Computer science, internet
Subject headings (SWD): Bildverstehen , Suche , Rangordnung
Keywords (English): Gist understanding , Image understanding , Media-iconic images , Entity ranking, Multimodal search and retrieval, Multimodal indexing
Abstract: We investigate the problem of understanding the message (gist) conveyed by images and their captions as found, for instance, on websites or news articles. To this end, we propose a methodology to capture the meaning of image-caption pairs on the basis of large amounts of machine-readable knowledge that have previously been shown to be highly effective for text understanding. Our method identifies the connotation of objects beyond their denotation: where most approaches to image or image-text understanding focus on the denotation of objects, i.e., their literal meaning, our work addresses the identification of connotations, i.e., iconic meanings of objects, to understand the message of images. We view image understanding as the task of representing an image-caption pair on the basis of a widecoverage vocabulary of concepts such as the one provided by Wikipedia, and cast gist detection as a concept-ranking problem with image-caption pairs as queries.
Translation of the title: Verstehen der Botschaft von Bildern (German)
Translation of the abstract: Wir untersuchen die Problematik des Verstehens der Kernbotschaft (Kern), die durch Bilder und ihren Bildunterschriften, wie sie z.B. auf Webseiten oder in Nachrichtenartikeln zu finden sind, vermittelt wird. Zu diesem Zweck präsentieren wir eine Methodik zur Erfassung der Bedeutung von Bild-Bildunterschriften-Paaren auf Basis von großen Mengen maschinenlesbaren Wissens, welches sich in der Vergangenheit für Textverständnis als sehr effektiv erwiesen hat. Unsere Methode identifiziert die Konnotation von Objekten jenseits ihrer Denotation: Während die meisten Ansätze zum Bild- oder Bild-Text-Verständnis sich auf die Benennung von Objekten, d.h. ihrer wörtlichen Bedeutung, konzentrieren, beschäftigt sich unsere Arbeit mit der Identifikation von Konnotationen, d.h. ikonischen Bedeutungen von Objekten, um die Botschaft von Bildern zu verstehen. Wir betrachten das Bildverstehen als die Aufgabe, ein Bild-Bildunterschriftenpaar auf Basis eines umfangreichen Vokabulars von Konzepten, wie sie in Wikipedia bereit gestellt werden, zu repräsentieren und gehen das Bild-Kern Verstehens als Konzept-Ranking Problem mit Bild-Bildunterschriften-Paaren als Abfrage an. (German)

Dieser Eintrag ist Teil der Universitätsbibliographie.

Das Dokument wird vom Publikationsserver der Universitätsbibliothek Mannheim bereitgestellt.




+ Citation Example and Export

Weiland, Lydia (2018) Understanding the message of images. Open Access Mannheim [Doctoral dissertation]
[img]
Preview


+ Search Authors in

+ Download Statistics

Downloads per month over past year

View more statistics



You have found an error? Please let us know about your desired correction here: E-Mail


Actions (login required)

Show item Show item