Glossar: Testtheorie und Fragebogenkonstruktion

Im Unterschied zum 1PL-Modell wird bei diesem Modell der Item-Response-Theorie ein zusätzlich zu schätzender Itemparameter λi ins Modell aufgenommen, der die Diskriminierungsfähigkeit des Items (ähnlich der Trennschärfe in der Klassischen Testtheorie) repräsentiert.

Ein Regelsystem, welches die Itemauswahl zu Beginn und während des Tests regelt sowie Kriterien der Testbeendigung spezifiziert.

Ein Maß für die Anpassungsgüte des geschätzten Modells an die vorliegenden empirischen Daten (Stichprobe) und die Komplexität des Modells. Daraus hervorgegangen sind BIC und CAIC.

In MTMM-Modellen: Solche Methoden, die einer Zufallsauswahl aus einer Menge gleichberechtigter (gleichadäquater) Methoden entsprechen. Beispielsweise wären verschiedene Messgelegenheiten austauschbar, wenn sie einer Zufallsauswahl entsprechen und keine der Messgelegenheiten sich von den anderen Messgelegenheiten strukturell unterscheidet.

Ein Test entspricht dann diesem Gütekriterium, wenn das Testergebnis unabhängig davon ist, wer den Test auswertet.

Theoretische Grundannahmen, die ohne weitere Überprüfung als gegeben angesehen werden.

Bei der dichotomen Latent Class Analyse (LCA): Wahrscheinlichkeit eines Antwortmusters av unter der Bedingung, dass die Person v zur Klasse g gehört.

Bei der polytomen Latent Class Analyse (LCA): Wahrscheinlichkeit, mit der ein Item i mit der Antwortkategorie k beantwortet wird, wenn die entsprechende Person v zur Klasse g gehört.

Bei diesen Aufgaben wird der individuelle Zustimmungs- oder Ablehnungsgrad zu einer vorgelegten Aussage (Statement) erfasst.

Beschäftigt sich mit der Frage, ob mit dem Einsatz eines Testverfahrens das damit in der Praxis verfolgte Ziel erreicht wird.

Koeffizient der internen Konsistenz als Reliabilitätsschätzung. Beruht auf dem Verhältnis zwischen der Summe aus Varianzen und Kovarianzen der Items eines Tests und der Varianz der Testwertvariablen. Je höher die Kovarianzen zwischen den Testitems sind, desto höher wird die interne Konsistenz und damit die Reliabilität.

Beschreibt die Qualitätssicherungsmaßnahme, nach der Testung den Testleiter nach Besonderheiten während der Testung zu befragen.

Eine verbindliche Norm von Qualitätsstandards für die verwendeten Tests, die berufsbezogene Eignungsbeurteilung und die einzelnen Ablaufschritte beider.

Gilt im Rahmen der Konstruktvalidierung als nachgewiesen, wenn Messungen verschiedener Konstrukte mit derselben Methode nicht oder nur gering miteinander korrelieren.

Plausibel erscheinende, aber nicht zutreffende Antwortalternativen bei Auswahlaufgaben.

Eine repräsentative Stichprobe von Probanden, die zur Normierung eines Testverfahrens eingesetzt wird.

Die Zeilen- und Spaltensummenscores einer (0/1)-Datenmatrix werden als solche bezeichnet, wenn die Wahrscheinlichkeit der Daten nicht davon abhängt, welche Personen welche Items gelöst haben, sondern lediglich davon, wie viele Personen ein Item gelöst haben (Schwierigkeit des Items), bzw. wie viele Items eine Person lösen konnte (Fähigkeit der Person). (Auch: "suffiziente Statistiken")

Ein strukturierendes datenreduzierendes Verfahren, das typischerweise dann zur Anwendung kommt, wenn keine Hypothesen über die Anzahl der zugrundeliegenden Faktoren und über die Zuordnung der beobachteten Variablen zu den Faktoren vorliegen.

Ein Test erfüllt dieses Gütekriterium, wenn die resultierenden Testwerte zu keiner systematischen Benachteiligung bestimmter Personen aufgrund ihrer Zugehörigkeit zu ethnischen, soziokulturellen oder geschlechtsspezifischen Gruppen führen.

Der Faktorwert fki gibt an, wie stark ein Faktor Fk bei der i-ten Person ausgeprägt ist.

Bei Aufgaben mit diesem Antwortformat sind keine Antwortalternativen vorgegeben. Die Antwort wird von der Person selbst formuliert bzw. produziert.

Methode der exploratorischen Faktorenanalyse, mit der versucht wird, das Beziehungsmuster zwischen den manifesten Variablen mit dahinterliegenden Faktoren zu erklären.

Mehrere Modelle der konfirmatorischen Faktorenanalyse werden als hierarchisch geschachtelt bezeichnet, wenn sie dieselbe Modellstruktur aufweisen, sich jedoch in der Anzahl der fixierten oder freigesetzten Parameter unterscheiden. Sie heißen hierarchisch geschachtelt, weil in den verschiedenen Modellen zunehmend mehr Parameter fixiert oder freigesetzt werden, so dass sie auseinander hervorgehen, während die Modellstruktur ansonsten erhalten bleibt.

Maße zur deskriptiven, relativen Beurteilung der Güte eines Modells. Häufig verwendete Informationskriterien sind der AIC, der BIC und der CAIC.

Methode der Reliabilitätsschätzung. Die Kovarianzen zwischen den Items eines Tests werden als wahre Varianz angesehen und zur Bestimmung der Reliabilität verwendet.

„Umgepolte“ Items, bei denen nicht die Bejahung, sondern die Verneinung symptomatisch für eine hohe Merkmalsausprägung ist.

Beschreibt die Beziehung zwischen dem latenten Merkmal und dem Reaktionsverhalten der Probanden auf ein Item in Form einer Wahrscheinlichkeitsaussage.

Eine Menge von Items für die mit einem IRT-Modell Itemhomogenität festgestellt wurde; beim adaptiven Testen können daraus beliebige Items zur Vorgabe ausgewählt werden.

Beschreibt den Prozess, Items hinsichtlich ihrer Eignung zur Erfassung des interessierenden Merkmals auszuwählen. Neben der Betrachtung deskriptivstatistisch gewonnener Kennwerte (z.B. Itemschwierigeit, Itemtrennschärfe und Itemvarianz) fließen auch inhaltliche und modelltheoretische Überlegungen in den Selektionsprozess ein.

Maß für die Differenzierungsfähigkeit des Items; es gibt an, wie unterschiedlich die Probanden auf das Item antworten.

Bei diesem Vorgehen legt der Testleiter in Erprobung befindliche Items vor und bittet die Probanden alle Überlegungen, die zur Beantwortung der Frage führen, zu formulieren. Diese Äußerungen werden meist auf Video aufgenommen.

Kennzeichnet denjenigen Bereich um einen empirisch ermittelten individuellen Testwert xv, in dem sich 95% (99%) aller möglichen wahren Testwerte τv befinden, die den Testwert xv erzeugt haben können.

Die Konsistenz einer Messvariablen beschreibt das Ausmaß der durch ein Trait erklärten Varianz relativiert an der Gesamtvarianz der Messvariablen.

Bezeichnung für ein nicht direkt beobachtbares, aber empirisch verankerbares latentes Persönlichkeitsmerkmal.

Liegt vor, wenn ein Test tatsächlich das Konstrukt erfasst, das er erfassen soll.

Bei dieser Form der Testwertinterpretation erfolgt die Interpretation des Testwertes nicht in Bezug zur Testwerteverteilung einer Bezugsgruppe, sondern in Bezug auf ein spezifisches inhaltliches Kriterium. Es wird vorab festgelegt, welches Testverhalten zum Erreichen des Kriteriums führt.

Probabilistisches Verfahren zur Kategorisierung von Personen (Objekten) in qualitative latente Klassen.

Bezeichnung für IRT-Modelle, die davon ausgehen, dass das latente Persönlichkeitsmerkmal zur Charakterisierung von Personenunterschieden aus qualitativen kategorialen latenten Klassen besteht.

Nicht direkt beobachtbare Variable zu Erfassung von Merkmalsausprägungen in Leistungs-, Einstellungs- oder Persönlichkeits­merkmalen, von welchen das manifeste Verhalten als abhängig angesehen wird.

Tests zur Erfassung der individuellen kognitiven Leistungsfähigkeit in Problemlösesituationen. Beispiele: Intelligenztests, Konzentrationsleistungstests etc.

Möglichkeit zur inferenzstatistischen Absicherung der Güte eines LCA-Modells: Der Test wird zur inferenzstatistischen Absicherung des Unterschieds zweier geschachtelter Modelle („nested models“) verwendet.

Nachweis einschlägiger Kenntnisse von Auftragnehmern (Lizenz A), bzw. Mitwirkenden an Verhaltensbeobachtungen (Lizenz MV) und von Mitwirkenden an Eignungsinterviews (Lizenz ME) gemäß DIN 33430.

Variablen zur Erfassung des beobachtbaren Antwortverhaltens mit verschiedenen Items, die Indikatoren für die latente Dimensionen darstellen.

Im Rahmen von Strukturgleichungsmodellen: Teilmodelle, in denen die Zuordnungen der beobachteten Variablen zu den Faktoren erfolgt.

Ein Sammelbegriff für verschiedene systematische Varianzquellen bei der Multitrait-Multimethod-Analyse, die sich über den Trait hinausgehend auf die Validität der Messung auswirken können. Hierbei kann es sich u.a. um Charakteristika der eingesetzten Messinstrumente, der Beurteiler oder der Situationen, in der eine Messung erfolgt, handeln.

Kombination aus Rasch-Modell und Latent-Class-Analyse. Innerhalb jeder Klasse wird versucht, jeweils ein eigenes Rasch-Modell anzupassen. Zwischen den latenten Klassen unterscheiden sich die Parameter des Rasch-Modells.

Eine spezielle Form des adaptiven Testen bei der mehrere latente Dimensionen als ursächlich für das beobachtete Antwortverhalten angesehen werden; aus den Antworten wird simultan auf mehrere latente Merkmale geschlossen.

Verfahren zum Nachweis der Konstruktvalidität unter Berücksichtigung einer systematischen Kombination von mehreren Traits und mehreren Messmethoden.

Beziehungsgeflecht zwischen (latenten) Konstrukten und beobachtbaren Testvariablen dar. Die beiden Ebenen werden mit Axiomen bzw. empirischen Gesetzen beschrieben und durch Korrespondenzregeln miteinander verbunden.

Bei der Normalisierung wird eine nicht-normalverteilte Testwertvariable zur besseren Interpretierbarkeit so transformiert, dass die Variable danach normalverteilt ist. Die Normalisierung ist von der Normierung zu unterscheiden, die bei der Testeichung vorgenommen wird.

Dient dazu, zur normorientierten Testwertinterpretation Vergleichswerte zu gewinnen. Dazu werden Testergebnisse von Personen einer "Eichstichprobe" in Normierungstabellen zusammengestellt.

Beispiel: Prozentrang, zv-Wert. Ermöglicht es, den Testwert xv einer Testperson hinsichtlich seiner Position in der Testwerteverteilung einer bestimmten Bezugsgruppe zu interpretieren.

Ein Test entspricht dann diesem Gütekriterium, wenn er dasjenige Merkmal, das er misst, unabhängig von Testleiter, Testauswerter und von der Ergebnisinterpretation misst.

Diese Aufgaben werden bearbeitet, indem die einzelnen Bestandteile der Aufgabe so umgeordnet oder einander zugeordnet werden, dass idealerweise eine logisch passende Ordnung entsteht.

Methode der Reliabilitätsschätzung. Die Reliabilität eines Tests, von dem zwei parallele Formen existieren, wird über die Korrelation der Testwerte der beiden parallelen Testformen geschätzt.

Persönlichkeitstests dienen der Erfassung von individuell typischem Verhalten als Indikator für die Ausprägung von Persönlichkeitsmerkmalen (Verhaltens- oder Erlebensdispositionen).

Bezeichnet jenen Testwert, der einem bestimmten Prozentrang in der Normierungsstichprobe entspricht. Beispielsweise wird derjenige Testwert, welcher von 30% der Testwerte unterschritten bzw. höchstens erreicht wird, als 30. P. bezeichnet.

Gehen im Unterschied zu deterministischen Modellen davon aus, dass die Wahrscheinlichkeit, ein Item zu lösen bzw. ihm zuzustimmen, jeden Wert zwischen 0 und 1 annehmen kann; die IC-Funktion entspricht einer monoton steigenden Funktion.

Gibt an, wie viel Prozent der Bezugsgruppe bzw. Normierungsstichprobe einen Testwert erzielten, der niedriger oder maximal ebenso hoch ist, wie der Testwert xv der Testperson v.

Klasse von spezifisch objektiven Modellen in der IRT (Item-Response-Theorie).

Die Receiver-Operating-Characteristics-(ROC)-Analyse ermöglicht für eine binäre Klassifikation (z.B. krank vs. nicht krank) den zur Fallunterscheidung verwendeten Schwellenwert optimal in der Weise festzulegen, dass Trefferquote und Quote korrekter Ablehnungen maximiert werden.

Gütekriterium zur Beurteilung der Messgenauigkeit eines Tests. In der Klassischen Testteorie wird Reliabilität als Verhältnis zwischen true score-Varianz Var(τ) und Testwertevarianz Var(x) definiert.

Eine Stichprobe weist dieses Merkmal dann auf, wenn sie hinsichtlich ihrer Zusammensetzung die jeweilige Zielpopulation möglichst genau abbildet.

"In der Testentwicklungsphase wird der Proband ""zurückblickend"" über Schwierigkeiten bei der Beantwortung der einzelnen Items befragt."

σi ist ein Itemparameter, der durch jene Merkmalsausprägung ξ definiert ist, bei der die Lösungswahrscheinlichkeit des Items 50% beträgt.

Ein Test erfüllt dieses Gütekriterium, wenn die laut Verrechnungsregel resultierenden Testwerte die empirischen Merkmalsrelationen adäquat abbilden.

Formel zur Schätzung der Reliabilität eines Tests bei Verlängerung des Tests um homogene Testteile; findet auch bei der Splithalf-Reliabilität Verwendung, bei der die Halbtest-Reliabilität auf die Reliabilität des Gesamttests aufgewertet wird.

Liegt vor, wenn alle IC-Funktionen die gleiche Form aufweisen, d.h. lediglich entlang der ξ-Achse parallel verschoben sind. Ist dies der Fall, kann der Schwierigkeitsunterschied zweier Items (σj - σi) unabhängig davon festgestellt werden, ob Personen mit niedrigen oder hohen Merkmalsausprägungen ξ untersucht wurden. In Umkehrung kann auch der Fähigkeitsunterschied zweier Personen (ξw – ξv) unabhängig von den verwendeten Items festgestellt werden.

Methode der Reliabilitätsschätzung. Aus den Items eines Tests werden zwei möglichst parallele Testhälften gebildet. Aus der Korrelation der Testwerte der Halbtests wird mittels Spearman-Brown-Korrektur die Reliabilität des Gesamttests geschätzt.

Der Standardmessfehler SD(ε) eines Tests resultiert aus der Unreliabilität des Tests und errechnet sich als Wurzel aus der Fehlervarianz eines Tests. Der Standardmessfehler ist bei höherer Reliabilität kleiner und bei niedrigerer Reliabilität größer.

Ein zeitlich begrenzter biologischer, emotionaler und kognitiver Zustand, in dem sich eine Person befinden kann. Er kennzeichnet sich durch personenbedingte (d.h. trait-bedingte), situativ bedingte und durch die Interaktion zwischen Person und Situation bedingte Einflüsse.

Solche Methoden, die nicht austauschbar sind, weil sie sich qualitativ von anderen Methoden unterscheiden und kein Zufallsauswahl darstellen. Strukturell unterschiedliche Methoden sind z.B. Selbst- und Fremdbeurteilungen.

Ist ein Phänomen, das die Validität bewertender Interpretationen im Bildungssystem dadurch gefährdet, dass gezielt spezielle Aufgaben geübt werden, um ein besseres Abschneiden der Schülerinnen und Schüler bei den Tests zu gewährleisten.

Bezeichnet den Prozess einer qualitativ hochwertigen Übertragung (Übersetzung unter Berücksichtigung von Konstruktäquivalenz) und empirischen Evaluation psychologischer Tests aus anderen Sprachen und in andere Sprachen unter Beachtung der kulturellen Unterschiede.

Stellen ein System zur Qualitätsbeurteilung psychologischer Tests dar. Folgende 10 werden üblicherweise unterschieden: Objektivität, Reliabilität, Validität, Skalierung, Normierung (Eichung), Testökonomie, Nützlichkeit, Zumutbarkeit, Unverfälschbarkeit und Fairness.

Gremium der Föderation Deutscher Psychologievereinigungen (Deutsche Gesellschaft für Psychologie e.V. und Berufsverband Deutscher Psychologinnen und Psychologen e.V.), dessen Aufgabe es ist, die Öffentlichkeit vor unzureichenden diagnostischen Verfahren und vor unqualifizierter Anwendung diagnostischer Verfahren zu schützen.

Vereinheitlichte Leitlinien, in denen sich allgemein anerkannte Zielsetzungen zur Entwicklung, Adaptation, Anwendung und Qualitätsbeurteilung psychologischer Tests widerspiegeln.

Sagt aus, wie breit die empirisch gewonnenen Testwerte einer Stichprobe um den Mittelwert der Testwerte verteilt sind. Die Streuung der Testwerte wird meist als Standardabweichung SD(x) angegeben; man gewinnt sie als Wurzel aus der Testwertevarianz Var(x).

Mehr oder weniger zeitlich stabiles Merkmal (Disposition), das personeninhärent und transsituativ überdauernd ist.

Index zur Beurteilung der Güte eines LCA-Modells. Definiert als die durchschnittliche Höhe der maximalen bedingten Klassenzuordnungswahrscheinlichkeit Pmax(g|av) über alle in der Stichprobe vorkommenden Antwortmuster (Na) hinweg.

Bei der dichotomen LCA: Wahrscheinlichkeit eines Antwortmusters av in der Stichprobe.

Bei der polytomen LCA: Wahrscheinlichkeit, mit der ein Item xvi mit der Antwortkategorie k beantwortet wird.

Liegt vor, wenn das Verfahren derart konstruiert ist, dass die zu testende Person durch vorgetäuschtes Verhalten ("Faking") die konkreten Ausprägungen ihrer Testwerte nicht steuern bzw. verzerren kann.

Die wahre Varianz Var(τ) ist die Varianz der wahren Werte τv in einem Test. Sie ist meistens niedriger als die Testwertevarianz Var(x). Aus dem Verhältnis beider Varianzanteile resultiert in der KTT die Reliabilität.

Methode der Aufteilung eines Tests in Testhälften zur Bestimmung der Splithalf-Reliabilität, wobei die Testhälften aus den Items von zwei jeweils gleich langen Bearbeitungsabschnitten gebildet werden.

Liegt vor, wenn ein Test absolut sowie relativ zu dem aus seiner Anwendung resultierenden Nutzen die zu testende Person in zeitlicher, psychischer sowie körperlicher Hinsicht nicht über Gebühr belastet.