Machine translation evaluation metrics for quality assessment of automatically simplified sentences


Popović, Maja ; Štajner, Sanja



URL: https://www.researchgate.net/publication/301229033...
Weitere URL: http://www.lrec-conf.org/proceedings/lrec2016/work...
Dokumenttyp: Konferenzveröffentlichung
Erscheinungsjahr: 2016
Buchtitel: qats2016 : LREC 2016 Workshop & Shared Task on Quality Assessment for Text Simplification (QATS), 28th May 2016, Portorož, Slovenia ; proceedings
Seitenbereich: 32-37
Veranstaltungstitel: Qats2016
Veranstaltungsort: Portorož, Slovenia
Veranstaltungsdatum: 28 May 2016
Herausgeber: Štajner, Sanja
Ort der Veröffentlichung: Paris
Verlag: ELRA-ERDA
Sprache der Veröffentlichung: Englisch
Einrichtung: Fakultät für Wirtschaftsinformatik und Wirtschaftsmathematik > Semantic Web (Juniorprofessur) (Ponzetto 2013-2015)
Fakultät für Wirtschaftsinformatik und Wirtschaftsmathematik > Practical Computer Science II: Artificial Intelligence (Stuckenschmidt 2009-)
Fachgebiet: 004 Informatik
Freie Schlagwörter (Englisch): text simplification , quality assessment , machine translation
Abstract: We investigate whether it is possible to automatically evaluate the output of automatic text simplification (ATS) systems by using automatic metrics designed for evaluation of machine translation (MT) outputs. In the first step, we select a set of the most promising metrics based on the Pearson’s correlation coefficients between those metrics and human scores for the overall quality of automatically simplified sentences. Next, we build eight classifiers on the training dataset using the subset of 13 most promising metrics as features, and apply two best classifiers on the test set. Additionally, we apply an attribute selection algorithm to further select best subset of features for our classification experiments. Finally, we report on the success of our systems in the shared task and report on confusion matrices which can help to gain better insights into the most challenging problems of this task.
Zusätzliche Informationen: Online-Ressource




Dieser Eintrag ist Teil der Universitätsbibliographie.




Metadaten-Export


Zitation


+ Suche Autoren in

+ Aufruf-Statistik

Aufrufe im letzten Jahr

Detaillierte Angaben



Sie haben einen Fehler gefunden? Teilen Sie uns Ihren Korrekturwunsch bitte hier mit: E-Mail


Actions (login required)

Eintrag anzeigen Eintrag anzeigen