Disentangling substantive traits and faking in high-stakes personality assessments using item response theory modeling

Seitz, Timo

Vorschau

PDF
Dissertation_TimoSeitz.pdf - Veröffentlichte Version
Download (2MB)

URN:	urn:nbn:de:bsz:180-madoc-719903
Dokumenttyp:	Dissertation
Erscheinungsjahr:	2026
Ort der Veröffentlichung:	Mannheim
Hochschule:	Universität Mannheim
Gutachter:	Keusch, Florian
Datum der mündl. Prüfung:	2026
Sprache der Veröffentlichung:	Englisch
Einrichtung:	Fakultät für Sozialwissenschaften > Psychologische Methodenlehre u. Diagnostik (Meiser 2009-)
Fachgebiet:	150 Psychologie 300 Sozialwissenschaften, Soziologie, Anthropologie
Freie Schlagwörter (Englisch):	faking , item response theory , high-stakes personality assessments
Abstract:	Self-report questionnaires are frequently used to measure psychological constructs like personality traits, interests, and attitudes. When such questionnaires are employed in high-stakes contexts, where assessment results have important consequences for test-takers, there is a risk that test-takers deliberately distort their responses according to what is socially desirable. This response bias is known as faking, and has been studied by social scientists and research methodologists for decades. Most of the approaches that have been developed either aim at the detection or prevention of faking. In this dissertation, however, I address the response bias of faking by means of latent variable models. Such models allow disentangling different influences on item responses, thus enabling both a statistical control of faking and a substantive investigation of the response process associated with faking. In a series of three articles, I develop and examine psychometric models to separate the measurement of substantive traits from faking, and meet the issue from an item and test construction perspective. The models of all three articles are based on the multidimensional nominal response model (MNRM), which is a flexible item response theory (IRT) model that allows to address limitations of previous latent variable models of faking. Article I (Seitz et al., 2024) presents an examination of conditions under which the MNRM can effectively adjust substantive trait scores and latent correlations for faking, particularly concerning the question of how item content needs to be related to social desirability for the model to perform well. Article II (Seitz, Alagöz, & Meiser, 2025) extends the MNRM in a mixture modeling framework, assuming that test-takers differ qualitatively in the response strategy they employ. Article III (Seitz & Ulitzsch, 2025) introduces a further model extension, which makes use of item-level response times (RT) and allows for switches between response strategies over the course of the questionnaire. Along with simulations to study statistical properties of the models, all articles also include empirical demonstrations in experimental questionnaire data or real high-stakes datasets from personnel selection. The conducted research shows that faking is not an intractable response bias but that the application of sophisticated psychometric models can help to better manage its adverse effects. Beyond methodological contributions, the models of this dissertation also provide a framework researchers can use to enhance the understanding of the substantive nature of faking. Nevertheless, future studies should provide more validation evidence, especially with regard to the added value of the models in applied diagnostic contexts.
Übersetzter Titel:	Die Trennung von inhaltlichen Traits und Faking in High-Stakes-Persönlichkeitstestungen mittels Item-Response-Theorie-Modellierung (Deutsch)
Übersetzung des Abstracts:	(ÜBERSETZUNG VON DeepL) Selbstauskunftsfragebögen werden häufig verwendet, um psychologische Konstrukte wie Persönlichkeitsmerkmale, Interessen und Einstellungen zu messen. Wenn solche Fragebögen in Situationen mit hohen Anforderungen eingesetzt werden, in denen die Bewertungsergebnisse wichtige Konsequenzen für die Testteilnehmer haben, besteht die Gefahr, dass die Testteilnehmer ihre Antworten bewusst entsprechend den gesellschaftlichen Erwartungen verzerren. Diese Verzerrung der Antworten wird als „Faking“ bezeichnet und wird seit Jahrzehnten von Sozialwissenschaftlern und Forschungsmethodikern untersucht. Die meisten der entwickelten Ansätze zielen entweder auf die Erkennung oder die Verhinderung von Faking ab. In dieser Dissertation befasse ich mich jedoch mit der Antwortverzerrung durch Faking mittels latenter Variablenmodelle. Solche Modelle ermöglichen es, verschiedene Einflüsse auf die Antworten auf einzelne Items zu entwirren, wodurch sowohl eine statistische Kontrolle des Faking als auch eine substanzielle Untersuchung des mit Faking verbundenen Antwortprozesses möglich wird. In einer Reihe von drei Artikeln entwickle und untersuche ich psychometrische Modelle, um die Messung substanzieller Merkmale von Faking zu trennen und das Problem aus der Perspektive der Item- und Testkonstruktion anzugehen. Die Modelle aller drei Artikel basieren auf dem multidimensionalen nominalen Antwortmodell (MNRM), einem flexiblen Item-Response-Theory-Modell (IRT), mit dem die Einschränkungen früherer latenter Variablenmodelle von Faking überwunden werden können. Artikel I (Seitz et al., 2024) untersucht die Bedingungen, unter denen das MNRM die Werte für wesentliche Merkmale und latente Korrelationen für Vortäuschungen effektiv anpassen kann, insbesondere hinsichtlich der Frage, inwiefern der Inhalt der Items mit der sozialen Erwünschtheit in Zusammenhang stehen muss, damit das Modell gut funktioniert. Artikel II (Seitz, Alagöz & Meiser, 2025) erweitert das MNRM in einem Mixed-Modeling-Rahmen, wobei davon ausgegangen wird, dass sich die Testteilnehmer in der von ihnen verwendeten Antwortstrategie qualitativ unterscheiden. Artikel III (Seitz & Ulitzsch, 2025) stellt eine weitere Modellerweiterung vor, die die Antwortzeiten (RT) auf Item-Ebene nutzt und einen Wechsel zwischen Antwortstrategien im Verlauf des Fragebogens ermöglicht. Neben Simulationen zur Untersuchung der statistischen Eigenschaften der Modelle enthalten alle Artikel auch empirische Demonstrationen anhand von experimentellen Fragebogendaten oder realen Datensätzen aus der Personalauswahl, bei denen es um viel geht. Die durchgeführten Untersuchungen zeigen, dass Faking keine unüberwindbare Antwortverzerrung ist, sondern dass die Anwendung ausgefeilter psychometrischer Modelle dazu beitragen kann, seine negativen Auswirkungen besser zu bewältigen. Über methodische Beiträge hinaus bieten die Modelle dieser Dissertation auch einen Rahmen, den Forscher nutzen können, um das Verständnis der wesentlichen Natur von Faking zu verbessern. Dennoch sollten zukünftige Studien mehr Validierungsnachweise liefern, insbesondere hinsichtlich des Mehrwerts der Modelle in angewandten diagnostischen Kontexten. (Deutsch)