Learning distributional token representations from visual features


Broscheit, Samuel ; Gemulla, Rainer ; Keuper, Margret


[img]
Vorschau
PDF
Learning Distributional Token Representations from Visual Features.pdf - Veröffentlichte Version

Download (334kB)

URL: https://madoc.bib.uni-mannheim.de/45649
Weitere URL: http://aclweb.org/anthology/W18-3025
URN: urn:nbn:de:bsz:180-madoc-456495
Dokumenttyp: Konferenzveröffentlichung
Erscheinungsjahr: 2018
Buchtitel: ACL 2018, Representation Learning for NLP : Proceedings of the Third Workshop : July 20, 2018 Melbourne, Australia
Seitenbereich: 187-194
Veranstaltungstitel: 3rd Workshop on Representation Learning for NL
Veranstaltungsort: Melbourne, Australia
Veranstaltungsdatum: 20.7.2018
Herausgeber: Augenstein, Isabelle
Ort der Veröffentlichung: Stroudsburg, PA
Verlag: Association for Computational Linguistics
ISBN: 978-1-948087-43-8
Sprache der Veröffentlichung: Englisch
Einrichtung: Fakultät für Wirtschaftsinformatik und Wirtschaftsmathematik > Practical Computer Science I: Data Analytics (Gemulla 2014-)
Lizenz: CC BY 4.0 Creative Commons Namensnennung 4.0 International (CC BY 4.0)
Fachgebiet: 004 Informatik
Abstract: In this study, we compare token representations constructed from visual features (i.e., pixels) with standard lookup-based embeddings. Our goal is to gain insight about the challenges of encoding a text representation from low-level features, e.g. from characters or pixels. We focus on Chinese, which—as a logographic language—has properties that make a representation via visual features challenging and interesting. To train and evaluate different models for the token representation, we chose the task of character-based neural machine translation (NMT) from Chinese to English. We found that a token representation computed only from visual features can achieve competitive results to lookup embeddings. However, we also show different strengths and weaknesses in the models’ performance in a part-of- speech tagging task and also a semantic similarity task. In summary, we show that it is possible to achieve a text representation only from pixels. We hope that this is a useful stepping stone for future studies that exclusively rely on visual input, or aim at exploiting visual features of written language.




Dieser Eintrag ist Teil der Universitätsbibliographie.

Das Dokument wird vom Publikationsserver der Universitätsbibliothek Mannheim bereitgestellt.




Metadaten-Export


Zitation


+ Suche Autoren in

+ Download-Statistik

Downloads im letzten Jahr

Detaillierte Angaben



Sie haben einen Fehler gefunden? Teilen Sie uns Ihren Korrekturwunsch bitte hier mit: E-Mail


Actions (login required)

Eintrag anzeigen Eintrag anzeigen