|
Worker Perception of Quality Assurance Mechanisms in Crowdsourcing and Human Computation Markets
Schulze, Thimo
;
Nordheimer, Dennis
;
Schader, Martin
![[img]](https://madoc.bib.uni-mannheim.de/style/images/fileicons/application_pdf.png)  Vorschau |
|
PDF
schulze,_nordheimer,_schader_(2013)_-_Worker_Perception_of_Quality_Assurance_Mechanisms_in_Crowdsourcing_and_Human_Computation_Markets_(amcis).pdf
- Veröffentlichte Version
Download (170kB)
|
|
URL:
|
https://ub-madoc.bib.uni-mannheim.de/34231
|
|
Weitere URL:
|
http://aisel.aisnet.org/amcis2013/VirtualCommuniti...
|
|
URN:
|
urn:nbn:de:bsz:180-madoc-342315
|
|
Dokumenttyp:
|
Konferenzveröffentlichung
|
|
Erscheinungsjahr:
|
2013
|
|
Buchtitel:
|
19th Americas Conference on Information Systems 2013 : AMCIS 2013 Proceedings
|
|
Seitenbereich:
|
Paper 6
|
|
Veranstaltungstitel:
|
19th Americas Conference on Information Systems (AMCIS 2013)
|
|
Veranstaltungsort:
|
Chicago, Ill.
|
|
Veranstaltungsdatum:
|
August 15-17, 2013
|
|
Herausgeber:
|
Shim, J. P.
|
|
Ort der Veröffentlichung:
|
Atlanta, Ga.
|
|
Verlag:
|
AISeL
|
|
ISBN:
|
978-0-615-55907-0
|
|
Sprache der Veröffentlichung:
|
Englisch
|
|
Einrichtung:
|
Fakultät für Betriebswirtschaftslehre > Wirtschaftsinformatik III (Schader 1991-2015, Em)
|
|
Fachgebiet:
|
004 Informatik
650 Management
|
|
Freie Schlagwörter (Englisch):
|
Quality Assurance , Survey , Crowdsourcing , Human Computation , Mechanical Turk , Majority Vote , Labor Psychology
|
|
Abstract:
|
Many human computation systems utilize crowdsourcing marketplaces to recruit workers. Because of the open nature of these marketplaces, requesters need to use appropriate quality assurance mechanisms to guarantee high quality results. Previous research has mostly focused on the statistical aspects of quality assurance. Instead, we analyze the worker perception of five quality assurance mechanisms (Qualification Test, Qualification Restriction, Gold Standard, Majority Vote, Validating Review) according to subjective (fairness, offense, benefit) and objective (necessity, accuracy, cost) criteria. Based on theory from related areas like labor psychology, we develop a conceptual model and test it with a survey on Mechanical Turk. Our results show big differences in perception, especially with respect to Majority Vote which is rated low by workers. On the basis of these results, we show implications for theory and give requesters on crowdsourcing markets the advice to integrate the worker view when selecting an appropriate quality assurance mechanism.
|
 | Dieser Eintrag ist Teil der Universitätsbibliographie. |
 | Das Dokument wird vom Publikationsserver der Universitätsbibliothek Mannheim bereitgestellt. |
 Suche Autoren in
Sie haben einen Fehler gefunden? Teilen Sie uns Ihren Korrekturwunsch bitte hier mit: E-Mail
Actions (login required)
 |
Eintrag anzeigen |
|
|
