Erweiterte Suche

Informing unsupervised pretraining with external linguistic knowledge


Lauscher, Anne ; Vulić, Ivan ; Ponti, Edoardo Maria ; Korhonen, Anna ; Glavaš, Goran



URL: https://arxiv.org/pdf/1909.02339.pdf
Weitere URL: https://arxiv.org/abs/1909.02339
Dokumenttyp: Arbeitspapier
Erscheinungsjahr: 2019
Ort der Veröffentlichung: Ithaca, NY
Verlag: Cornell University
Sprache der Veröffentlichung: Englisch
Einrichtung: Fakultät für Wirtschaftsinformatik und Wirtschaftsmathematik > Information Systems III: Enterprise Data Analysis (Ponzetto 2016-)
Fakultät für Wirtschaftsinformatik und Wirtschaftsmathematik > Text Analytics for Interdisciplinary Research (Juniorprofessur) (Glavaš 2017-2021)
Fachgebiet: 004 Informatik
Freie Schlagwörter (Englisch): Natural Language Processing , BERT
Abstract: Unsupervised pretraining models have been shown to facilitate a wide range of downstream applications. These models, however, still encode only the distributional knowledge, incorporated through language modeling objectives. In this work, we complement the encoded distributional knowledge with external lexical knowledge. We generalize the recently proposed (state-of-the-art) unsupervised pretraining model BERT to a multi-task learning setting: we couple BERT's masked language modeling and next sentence prediction objectives with the auxiliary binary word relation classification, through which we inject clean linguistic knowledge into the model. Our initial experiments suggest that our "linguistically-informed" BERT (LIBERT) yields performance gains over the linguistically-blind "vanilla" BERT on several language understanding tasks.




Dieser Eintrag ist Teil der Universitätsbibliographie.




Metadaten-Export


Zitation


+ Suche Autoren in

BASE: Lauscher, Anne ; Vulić, Ivan ; Ponti, Edoardo Maria ; Korhonen, Anna ; Glavaš, Goran

Google Scholar: Lauscher, Anne ; Vulić, Ivan ; Ponti, Edoardo Maria ; Korhonen, Anna ; Glavaš, Goran

+ Aufruf-Statistik

Aufrufe im letzten Jahr

Detaillierte Angaben



Sie haben einen Fehler gefunden? Teilen Sie uns Ihren Korrekturwunsch bitte hier mit: E-Mail


Actions (login required)

Eintrag anzeigen Eintrag anzeigen