|
Improving the measurement of knowledge in multiple-choice tests: a hierarchical multinomial processing tree approach
Seitz, Timo
;
Leipold, Franziska M.
;
Protte, Julius
![[img]](https://madoc.bib.uni-mannheim.de/72833/1.hassmallThumbnailVersion/1-s2.0-S0001691826013880-main.pdf)  Preview |
|
PDF
1-s2.0-S0001691826013880-main.pdf
- Published
Download (1MB)
|
|
DOI:
|
https://doi.org/10.1016/j.actpsy.2026.107587
|
|
URL:
|
https://www.sciencedirect.com/science/article/pii/...
|
|
URN:
|
urn:nbn:de:bsz:180-madoc-728337
|
|
Document Type:
|
Article
|
|
Year of publication:
|
2026
|
|
The title of a journal, publication series:
|
Acta Psychologica
|
|
Volume:
|
269
|
|
Issue number:
|
Article 107587
|
|
Page range:
|
1-15
|
|
Place of publication:
|
Amsterdam [u.a.]
|
|
Publishing house:
|
Elsevier
|
|
ISSN:
|
0001-6918 , 1873-6297
|
|
Publication language:
|
English
|
|
Institution:
|
School of Social Sciences > Psychologische Methodenlehre u. Diagnostik (Meiser 2009-)
|
|
Pre-existing license:
|
 Creative Commons Attribution 4.0 International (CC BY 4.0)
|
|
Subject:
|
150 Psychology
|
|
Keywords (English):
|
multinomial processing tree models , Bayesian hierarchical modeling , guessing , response bias , cognitive psychometrics
|
|
Abstract:
|
In multiple-choice (MC) tests, correct item responses can stem from actual mastery as well as from lucky guessing. Several approaches have been developed to address this problem, including the implementation of a “Don’t know” option. However, scoring such MC tests is challenging, as traditional scoring techniques are differentially biased against certain response strategies. In this article, we propose a hierarchical multinomial processing tree (MPT) model that allows measuring the latent ability while taking into account the tendency to engage in guessing and the preference for a specific response option when guessing. The proposed MPT model includes crossed-random person and item effects and can be estimated in a Bayesian framework. We applied the model to an empirical dataset of a general knowledge test with a true/false response format and “Don’t know” option. The model showed good fit to the data and revealed considerable variability in model parameters across both persons and items. Moreover, we found evidence for an improved measurement of knowledge in the form of higher convergent validities compared to conventional scoring techniques. These results highlight the usefulness of applying hierarchical MPT modeling to psychometric questions. We end the article with a discussion of differences to related models, implications for measurement practice, as well as limitations and future model developments.
|
|
Translation of the title:
|
Die Verbesserung der Messung von Wissen in Multiple-Choice-Tests: ein hierarchischer multinomialer Verarbeitungsbaumansatz
(German)
|
|
Translation of the abstract:
|
Bei Multiple-Choice-Tests (MC-Tests) können richtige Antworten sowohl auf tatsächlichen Wissensstand als auch auf glückliches Raten zurückzuführen sein. Zur Lösung dieses Problems wurden verschiedene Ansätze entwickelt, darunter die Einführung einer „Ich weiß es nicht“-Option. Die Auswertung solcher MC-Tests stellt jedoch eine Herausforderung dar, da herkömmliche Auswertungsverfahren bestimmte Antwortstrategien unterschiedlich verzerrt bewerten. In diesem Artikel schlagen wir ein hierarchisches Multinomial-Processing-Tree-Modell (MPT) vor, das die Messung der latenten Fähigkeit ermöglicht und dabei die Neigung zum Raten sowie die Präferenz für eine bestimmte Antwortoption beim Raten berücksichtigt. Das vorgeschlagene MPT-Modell beinhaltet gekreuzte zufällige Personen- und Item-Effekte und kann in einem bayesschen Rahmen geschätzt werden. Wir haben das Modell auf einen empirischen Datensatz eines Allgemeinwissenstests mit einem Richtig/Falsch-Antwortformat und der Option „Ich weiß es nicht“ angewendet. Das Modell zeigte eine gute Anpassung an die Daten und deckte eine beträchtliche Variabilität der Modellparameter sowohl bei den Personen als auch bei den Items auf. Darüber hinaus fanden wir Hinweise auf eine verbesserte Messung des Wissens in Form höherer konvergenter Validitäten im Vergleich zu herkömmlichen Auswertungsverfahren. Diese Ergebnisse unterstreichen den Nutzen der Anwendung hierarchischer MPT-Modellierung auf psychometrische Fragestellungen. Wir schließen den Artikel mit einer Diskussion der Unterschiede zu verwandten Modellen, der Implikationen für die Messpraxis sowie der Einschränkungen und zukünftiger Modellentwicklungen.
(German)
|
 | Dieser Eintrag ist Teil der Universitätsbibliographie. |
 | Das Dokument wird vom Publikationsserver der Universitätsbibliothek Mannheim bereitgestellt. |
 Search Authors in
You have found an error? Please let us know about your desired correction here: E-Mail
Actions (login required)
 |
Show item |
|
|
