Shared task on quality assessment for text simplification


Štajner, Sanja ; Popović, Maja ; Saggion, Horacio ; Specia, Lucia ; Fishel, Mark



URL: https://www.researchgate.net/publication/301229567...
Weitere URL: http://www.lrec-conf.org/proceedings/lrec2016/work...
Dokumenttyp: Konferenzveröffentlichung
Erscheinungsjahr: 2016
Buchtitel: qats2016 : LREC 2016 Workshop & Shared Task on Quality Assessment for Text Simplification (QATS), 28th May 2016, Portorož, Slovenia ; proceedings
Seitenbereich: 22-31
Veranstaltungstitel: Qats2016
Veranstaltungsort: Portorož, Slovenia
Veranstaltungsdatum: 28 May 2016
Herausgeber: Štajner, Sanja
Ort der Veröffentlichung: Paris
Verlag: ELRA-ERDA
Sprache der Veröffentlichung: Englisch
Einrichtung: Fakultät für Wirtschaftsinformatik und Wirtschaftsmathematik > Semantic Web (Juniorprofessur) (Ponzetto 2013-2015)
Fakultät für Wirtschaftsinformatik und Wirtschaftsmathematik > Practical Computer Science II: Artificial Intelligence (Stuckenschmidt 2009-)
Fachgebiet: 004 Informatik
Freie Schlagwörter (Englisch): text simplification , quality assessment , shared task
Abstract: This paper presents the results of the shared task of the Workshop on Quality Assessment for Text Simplification (QATS), which consisted in automatically assigning one of the three labels (good, ok, and bad) for each of the four aspects of automatically simplified English sentences, i.e. their grammaticality, meaning preservation, simplicity, and overall quality. We asked participants to submit a maximum of three systems (raw metrics and/or classifiers) for each aspect. We received a total of 10 raw metrics and 16 classifiers for each of the four aspects. In addition to that, we computed correlations for four standard MT metrics (BLEU, METEOR, TER and WER) as baselines. The collected scores were evaluated by Pearson correlation (how well each score metric correlates with the manually assigned values) and the classifiers were evaluated in terms of their accuracy, mean average error, root squared mean error and weighted F-scores.
Zusätzliche Informationen: Online-Ressource




Dieser Eintrag ist Teil der Universitätsbibliographie.




Metadaten-Export


Zitation


+ Suche Autoren in

+ Aufruf-Statistik

Aufrufe im letzten Jahr

Detaillierte Angaben



Sie haben einen Fehler gefunden? Teilen Sie uns Ihren Korrekturwunsch bitte hier mit: E-Mail


Actions (login required)

Eintrag anzeigen Eintrag anzeigen