Testtheorie Einführung: Psychometrische Tests, Messung & Skalen

HS 21 Testtheorie Testtheorie 1. Vorlesung – 24.09.21 Einführung Testen Was ist ein psychometrischer Test? Ein wissenschaftliches Routineverfahren zur Erfassung der Ausprägungen von empirisch abgrenzbaren Merkmalen mit dem Ziel, möglichst genaue Aussagen über den (relativen) quantitativen Grad oder die qualitative Kategorie der individuellen Merkmalsausprägungen zu gewinnen. (Moosbrugger & Kelava) 1. Wissenschaftlich: Erfordert klare Vorgaben über die zu messenden Merkmale und Einhaltung testtheoretisch-psychometrischer Qualitätsansprüche 2. Routineverfahren: Sind einfach, objektiv und ökonomisch durchführbar und produzieren wiederholbare Ergebnisse 3. Empirisch abgrenzbar: Gemessene Merkmale können von anderen unterschieden und statistisch gegen Zufallsbefunde abgesichert werden 4. Qualitativ/quantitativ: Erlauben quantitative Unterscheidung oder qualitative Klassifikation von Personenmerkmalen Anwendungsbereiche      Psychologische Tests als Big Business Forschung und Anwendungsbereiche der Psychologie Für viele Fragestellungen existieren evidenzbasierte Testverfahren Für spezifische Fragestellungen müssen Tests konstruiert werden Test in klinischer Psychologie, um Diagnosen zu stellen, im Alltag (Lifestyle →zum Teil auch etabliert), in der Forschung, Testverfahren müssen konstruiert werden Assessmentcenter (verschiedene Dinge werden abgefragt, für einen Spezialfall entwickelt) Testverfahren      Leistungstests (Raven progressive matrices) Psychometrische Persönlichkeitstests (Big Five) Projektive Verfahren (Rorschachtest) Strukturierte Interviews (klinische Psychologie) Computerbasierte (non-intrusive) Verfahren man muss nichts machen, die Daten werden einfach erhoben z.B. mit dem Handy Abgleichen mit Selbstbericht 1 HS 21 Testtheorie Leistungstest Raven Progressive Matrices/ Raven Matrizentest       Ziel: G-Faktor der Intelligenz zu erfassen =IQ (allgemeine Intelligenz) Raven, 1938 Basiert auf 2-Faktorentheorie der Intelligenz nach Spearman G-Faktor = allgemeine kognitive Leistungsfähigkeit Komplettierung von Mustern, die in Schwierigkeit zunehmen Kulturunabhängiger (heute: kulturfairer) Intelligenztest Persönlichkeitstest Big Five Inventar II          Öffentlich verfügbar Big Five Persönlichkeitsfaktor zu erfassen Soto & John, 2017 Lexikalische Hypothese - 18,000 „trait“ Begriffe (Allport & Odbert, 1936) Big Five basieren auf der lexikalischen Hypothese (alle Eigenschaftswörter findet man im Wörterbuch 18'000, diese wurden Personen vorgeben, die sich einschätzen mussten, haben dann Korrelationen benutzt bestätigt wurde, dass man am besten 5 Faktoren benutzt, um Personen zu beschreiben  diese reichen aus, um die Persönlichkeit breit zu beschreiben) Können zu 5 nahezu unkorrelierten Faktoren reduziert werden Offenheit, Gewissenhaftigkeit, Extraversion, Verträglichkeit, Neurotizismus 60 items, 5-stufige Likert Skala OCEAN Offenheit (Risiko, neugierig), Gewissenhaft (pünktlich, organisiert), Extraversion (extravertiert, gesellig, laut), Verträglichkeit (kümmern sich um andere, Verständnis, höflich, nett), Neurotizismus (nervös, gestresst nicht in einem klinischen Bereich) Projektives Verfahren: Thematischer Apperzeptionstest        Morgan & Murray, 1935 Verfahren zur Messung unbewusster Motive 30 schwarz-weißen Bildtafeln Pro Person 2 x 10 Tafeln à 5 min Need-Press Analyse Verfahren zur Messung unbewusster Motive ambivalente Motive Personen variieren sehr Menschen sind unterschiedlich, aber wie wertet man den Test aus? problematisch Zusammenfassung    Psychometrische Tests sind von Laientests zu unterscheiden Werden in verschiedenen Bereichen eingesetzt Unterschiedliche Testarten und Itemtypen Psychologische Tests….  …sind im engeren Sinn Leistungstests, psychometrische Persönlichkeitstests und PersönlichkeitsEntfaltungs-Verfahren. Im weiteren Sinn gehören auch standardisierte Interviews und standardisierte Beobachtungen dazu.  …erfassen Fähigkeiten, Eigenschaften, Fertigkeiten und Zustände (=Konstrukt=latente Variable einer Person) 2 HS 21 Testtheorie 2. Vorlesung – 01.10.21 Messen, Skalen, Korrelation Grundbegriffe Beispiel: Extraversion BFI-2 (Danner et al.)  Ich bin voller Energie und Tatendrang  Ich gehe aus mir heraus, bin gesellig  Ich bin begeisterungsfähig und kann andere leicht mitreißen  Ich bin schüchtern (reversed scored) klassische Items für Extraversion Merkmale       Manifeste Merkmale (x): Beobachtbares Verhalten (Indikatoren) z.B. ob man viele Freunde hat, ob man viel lacht, etc. dies kann man alles beobachten Latente Merkmale (ξ): Merkmalsausprägungen in dahinter liegenden, nicht beobachtbaren Personenmerkmalen z.B. Extraversion, in der Psychologie sind wir mehr an latenten Merkmalen interessiert In der Psychologie ist es so, dass wir von manifesten Merkmalen auf latente Merkmale schliessen wollen Qualitative vs. Quantitative Merkmale: Zum Beispiel Geschlecht vs. Körpergröße, Typen vs. Eigenschaften qualitativ: können wir nicht auf der gleichen Dimension messen, keine Rangordnung möglich Variablen: Numerische Größe, die verschiedene Werte annehmen kann (z.B. (Geschlecht: 0 = männlich, 1 = weiblich, 2 = divers) Variable erstellen anhand Extraversionsitems Diskrete (diskontinuierlich) vs. stetige Variablen (kontinuierlich): Zum Beispiel Altersgruppen vs. Alter diskrete: kann man abzählen, stetige: nicht abzählbare Kategorien, viele Kategorien Messen  Merkmale müssen durch geeignete Messinstrumente messbar gemacht werden  Gewicht kann man mit Waage messen  Psychologische Merkmale mit psychometrische Testverfahren Was ist eine Messung?  Messung: Zuordnung von Zahlen zu Objekten nach einer strukturerhaltenden Abbildungsvorschrift  Man sollte Regeln befolgen, die Unterschiede in der Realität sollten richtig mit Messverfahren abgebildet werden)  Beim Messen wollen wir Objekten bzw. Personen Zahlen zuordnen, so dass die Relationen der Objekte in den Zahlen widergespiegelt werden, eine Zuordnung, die dies erfüllt, nennt man strukturtreu  Eine Zuordnung, die dies erfüllt, nennen wir strukturtreu 3 HS 21 Testtheorie Skalenniveaus Je nachdem, welchen Informationsgehalt die strukturerhaltenden Messwerte über das Merkmal aufweisen, ergibt sich ein bestimmtes Skalenniveau. Skalenniveau legt fest welche Operationen mit Messwerten durchgeführt werden können  Nominalskala  Ordinalskala  Intervallskala  Verhältnisskala  Absolutskala Nominalskala     Voraussetzung: Äquivalenzrelationen im empirischen Relativ (Personen mit gleichen Messwerten erhalten gleiche Zahlenwerte) Zulässige Transformationen: alle, die Äquivalenzrelationen bewahren ich kann machen, was ich will: 0, 3, 7 alle gleichen Personen müssen aber die gleiche Zahl haben Zulässige Aussagen: Gleichheit vs. Verschiedenheit Beispiele: Geschlecht, Bindungsstile, ICD-II Kategorien Ordinalskala     Voraussetzung: Relationen zwischen Messwerten reflektieren Ordnungsrelationen im empirischen Relativ Rangunterschiede, etwas kann in eine Rangreihe gebracht werden Zulässige Transformationen: alle, die Ordnungsrelationen bewahren Zulässige Aussagen: Größer - kleiner, schneller - langsamer, etc. aber nicht z.B. doppelt so schnell Beispiele: Wettkampfränge, Präferenzen, Noten, Kleidergrösse (z.B. Schulnote 6 reflektiert bessere Leistung als 5) Intervallskala       Voraussetzung: Differenzen zwischen Messwerten reflektieren Differenzen im empirischen Relativ Zulässige Transformationen: x * b + a - mit b > 0 Kein natürlicher Nullpunkt, keine natürliche Einheit Nullpunkt kann immer verschoben werden, Unterschiede zwischen den Messewerten werden behalten, aber der Nullpunkt nicht Zulässige Aussagen: Messwertunterschiede können interpretiert werden Beispiele: Temperatur, IQ (z.B. Unterschied zwischen IQ = 100 und IQ = 115 entspricht Unterschied zwischen IQ = 115 und IQ = 130) Für einige psychologische Skalen gegeben, z.B. Skala von Extraversion: sind die Abstände wirklich gleich oder ist es doch eher eine Ordinalskala? Verhältnisskala       Voraussetzung: Verhältnisse zwischen Messwerten reflektieren Verhältnisse im empirischen Relativ Zulässige Transformationen: x * b -mit b > 0 Fester Nullpunkt, keine natürliche Einheit Zulässige Aussagen: Messwertverhältnisse können interpretiert werden Beispiele: Gewichten kg, Länge in cm, Alter in Jahren (z.B. Henry wiegt doppelt so viel wie Mathilda) In der Regel nicht erfüllt für psychologische Variablen Absolutskala      Voraussetzung: Natürlicher Nullpunkt und natürliche Einheit Keine Transformationen zulässig Zulässige Aussagen: Absolutwerte können interpretiert werden Beispiele: Stückzahlen, Häufigkeiten (z.B. Anzahl an Freunden) In der Regel nicht erfüllt für psychologische Variablen latente Variablen, aber beobachtbare Variablen schon 4 HS 21 Testtheorie Zusammenfassung    Je mehr Transformationen (wie viel man auswechseln kann usw.) zulässig sind, desto weniger Informationsgehalt (z.B. was weiss ich über die Einheiten) Intervall-, Verhältnis, und Absolutskalen = Metrische Skalen Interpretation vieler Statistiken setzt mindestens Intervallskalenniveau voraus Streudiagramm, Regression, Korrelation Streudiagramm    Werte sind «hingestreut» Zusammenhang zwischen zwei Variablen beschreiben Gerade = Regressionsgerade Kleinstequadratschätzer (Abstände jedes einzelnen Punktes zu der Geraden zu minimieren) Vorhersage leisten Einfache Lineare Regression       Welchen Wert für Y kann man bei einem gegebenen Wert für X erwarten? Vorhersage Lineare Regression von Y auf X (jedem x-Wert wird ein y Wert zugewiesen) Einfach = eine unabhängige Variable (x) Linear = mit Anstieg in x ist ein proportionaler Anstieg in y verbunden Setzt Intervallskalenniveau voraus Nicht linearer Zusammenhang: Perfektionismus und Probleme bei der Arbeit, wenn man sehr perfektionistisch ist, hat man sehr viel Probleme, wenn man gar nicht ist, hat man auch sehr viel Probleme, ein bisschen perfektionistisch wenig Probleme Beispiel  Beispiel: Vorhersage des Selbstwerts bei bekanntem Extraversionswert  Regressionsgrade: ŷv = ay + bxy * xv das Dach: vorhergesagten Wert  Ziel: Summe der quadrierten Abweichungen der vorhergesagten Werte von den beobachteten Werten (= Residuen) zu minimieren => Kleinste Quadratekriterium  Konstante beschreibt den Wert, den man für eine Person mit einer Ausprägung von Null auf dem Prädiktor erwarten kann (hier auf der Darstellung nicht gut dargestellt) Statistik 1: β0  Zentrieren: Konstante beschreibt vorhergesagten Wert für Person mit durchschnittlicher Ausprägung  Steigung zeigt an, um wie viele Einheiten der vorhergesagte Wert steigt, wenn Ausprägung des Prädiktors um eine Einheit steigt  Je steiler, desto stärker Zusammenhang Statistik 1: β1    Bei z-standardisierten Variablen (M=0, SD=1) hat Konstante den Wert 0 und die Steigung entspricht der Korrelation! neoe: Extraversion, rse: Selbstwert Häufigkeitsdiagramme: zeigen wie die Personen verteilt sind auf diesen Skalen, Extraversion ist normaler verteilt als Selbstwert Korrelation     Wie hängen 2 Variablen zusammen? Korrelation spiegelt Zusammenhang als numerischen Wert wider Werte zwischen − 1 (negativen Zusammenhang) und +1 (positiver Zusammenhang) Nullkorrelation kann fehlenden Zusammenhang anzeigen muss aber nicht, wir nehmen nur eine Schätzung vor, und können nicht ausschliessen, dass wir einen Fehler gemacht haben, Nullhypothese können wir fast nicht widerlegen 5 HS 21 Testtheorie Produkt-Moment Korrelation  (Pearson Korrelation) beschreibt linearen Zusammenhang zwischen zwei mindestens intervallskalierten Variablen  Wird aus Kovarianz und Varianzen der beiden Variablen gebildet  Varianz: beschreibt wie Werte um Mittelwert variieren  Kovarianz beschreibt, wie zwei Variablen gemeinsam um den jeweiligen Mittelwert variieren (positiv = gleichsinnig, negativ = gegensinnig) - nicht standardisiert!  Pearson Korrelation standardisiert Kovarianz mit Varianzen der beiden Variablen  Wertebereich: +1 bis -1 Spearman Rangkorrelationskoeffizient  Misst nicht nur lineare Zusammenhänge, sondern Zusammenhang kann eine beliebige monotone Funktion sein  Daten x und y werden in Ränge konvertiert, bevor Pearson-Korrelation berechnet, wird  Ränge müssen gleichabständig sein wir müssen davon ausgehen, dass die Differenzen gleich sind, ist nicht immer gegeben, sonst können wir Kendall’s Tau benutzen  Wertebereich: +1 bis -1 Kendall’s Tau  Misst ebenfalls Zusammenhang zwischen zwei ordinalskalierten Variablen  Ränge müssen nicht gleichabständig sein  Bei kleinen Stichproben  Wertebereich: +1 bis -1 Punktbiseriale Korrelation    misst Zusammenhang zwischen dichotomer Variable und intervallskalierter Variable Kann über Formel der Pearson Korrelation berechnet werden Wertebereich: +1 bis -1 Korrelation ≠ Kausalität   Korrelation: Zwei Variablen hängen zusammen, aber es muss keine Kausalität sein, vom einen auf das andere schliessen, das eine muss nicht unbedingt das andere vorhersagen Problem der Drittvariable, «reverse correlation», zeitlicher Verlauf! Kausalität zu gewährleisten: Experiment und randomisieren Praktische Bedeutsamkeit Bedeutsamkeit muss anders interpretiert werden, neuer Standard von Funder & Ozer anstatt von Cohen Unterschied Kovarianz und Korrelation Die Kovarianz zweier Variablen wird durch das Produkt der Standardabweichungen der Variablen dividiert, wodurch Massstabs- und Streuungsunterschiede kompensiert werden. Im Gegensatz zur Kovarianz, kann eine Korrelation nur Werte zwischen -1 und 1 annehmen. Zusammenfassung:  Zusammenhang zweier Variablen kann über Korrelationskoeffizienten bzw. die einfache lineare Regression berechnet werden  Unterschiedliche Skalenniveaus erfordern unterschiedliche Korrelationskoeffizienten 6 HS 21 Testtheorie 03. Vorlesung – 08.10.21 Testgütekriterien Wozu Gütekriterien? Gütekriterien   Anforderungen an Tests, die der Qualitätssicherung dienen Basieren auf international vereinheitlichten Standards Weil die psychometrische Güte nach der Entwicklung des Tests dessen Anwendungsmöglichkeiten bestimmt, sollte man die Gü tekriterien schon bei der Testentwicklung beachten. Einführendes Beispiel Realness Scale (RS)      «Realness»: Authentizität, sind wir authentisch oder nicht? Geht mit einem Fragebogen nicht, ist ein Prozess „Behaving on the outside the way one feels on the inside “ Kernaspekt von Authentizität Beobachtbar in sozialen Situationen Relativ stabile Persönlichkeitseigenschaft Please read the following statements and use the scale provided to indicate how accurate each statement is of you, in general.  I tell the truth even if it makes others unhappy.  I say what I believe even if people don’t like it.  Others might see me as fake. (r) Beispielitems (insgesamt 12) Hauptgütekriterien Objektivität    Objektivität meint hier Unabhängigkeit vom Testanwender Sichert Vergleichbarkeit von Testleistungen verschiedener Testpersonen Drei Aspekte: 1. Durchführungsobjektivität 2. Auswertungsobjektivität 3. Interpretationsobjektivität 7 HS 21 Testtheorie 1. Durchführungsobjektivität      Gegeben, wenn das Testverhalten nur von der individuellen Ausprägung des relevanten Merkmals abhängt Unabhängig vom Testleiter oder anderen Bedingungen Wird erreicht durch Standardisierung der Durchführung Präzise Anweisungen im Testmanual (bzgl. Testmaterial, Zeitbegrenzungen, Instruktion, Umgang mit Rückfragen, etc.) Vermeidung von Interaktion zwischen Testleiter und Testperson („Versuchsleitereffekt“) 2. Auswertungsobjektivität  Gegeben, wenn das Testergebnis nicht vom Testauswerter abhängt  Wird vor allem durch das Antwortformat der Testitems bestimmt  Bei gebundenem Antwortformat problemlos/ leichter zu erreichen  Bei offenem Antwortformat sind detaillierte Auswertungsregeln bzw. Kodiersysteme erforderlich  Hilfsmittel (z.B. Schablone, Computer basierte Testung)  Lässt sich anhand der Übereinstimmung von verschiedenen Testauswertern quantifizieren  Inter-Rater-Objektivität: Mehrere Codierer codieren den Fragebogen wie gut ist die Übereinstimmung je höher, desto besser die Auswertungsobjektivität 3. Interpretationsobjektivität     Gegeben, wenn die (aus dem Testergebnis abgeleiteten) Schlussfolgerungen nicht vom Testanwender abhängen Wird erreicht durch Hilfestellungen im Testmanual Normorientierte Interpretation: o Vergleich mit relevanten Bezugsgruppen o Prozentrangnormen, Standardnormen (z.B. IQ, T-werte) IQ: Standardabweichung von 15, Mittelwert von 100 Kriterienorientierte Interpretation o Zuordnung von Testleistungen zu inhaltlich begründbaren markanten Merkmalsausprägungen (bspw. Schulleistungen; welche Leistung muss man erbringen, um auf einer bestimmten Kompetenzstufe zu sein) Objektivität bei RS   Weitestgehend gegeben! Bislang keine Normen noch kein publiziertes Verfahren, nur für die Forschung gedacht Reliabilität       = Zuverlässigkeit; Messgenauigkeit Wenn ich ein Item mehrmals benutzte, dann sollte es immer dasselbe messen Reliabilität von 1: Test ist perfekt gibt es aber nicht, wir haben immer einen Messfehler Wird in der Klassischen Testtheorie anhand des Reliabilitätskoeffizienten quantifiziert (d.h. Anteil der wahren Varianz an der Gesamtvarianz der Testwerte) Wertebereich liegt zwischen 0 und 1 .70 als Daumenregel, allerdings kontextabhängig Vier klassische Verfahren zur Bestimmung der Reliabilität 1. Retest-Reliabilität 2. Paralleltest-Reliabilität 3. Testhalbierungs-Reliabilität 4. Innere Konsistenz 8 HS 21 Testtheorie 1. Retest-Reliabilität    Derselbe Test wird zu zwei verschiedenen Zeitpunkten vorgelegt (unter der Annahme, dass sich das zu messende Merkmal nicht verändert hat) Die Reliabilität entspricht der Korrelation zwischen den beiden Testergebnissen Limitationen: Je nach Zeitintervall sind unterschiedliche verzerrende Einflüsse möglich (z.B. Übungsund Erinnerungseffekte, tatsächliche Veränderungen des Merkmals) 2. Paralleltest-Reliabilität    Es werden zwei „parallele“ Testformen aus inhaltlich möglichst ähnlichen Items konstruiert Die Reliabilität entspricht der Korrelation zwischen den beiden Testergebnissen Königsweg der Reliabilitätsbestimmung, aber praktisch sehr aufwendig 3. Split-Half-Reliabilität   Der Test wird in zwei möglichst parallele Testhälften geteilt Die Reliabilität entspricht der mittels Spearman-Brown-Formel korrigierten Korrelation der beiden Testergebnisse o Die Korrektur ist nötig, weil die beiden Testhälften kürzer sind als der Test selbst und ihre Korrelation die Reliabilität des Tests unterschätzt  mit jedem Item nehme ich an, dass ich wieder das wahre Merkmal messe und den Messfehler, und wenn ich Items hinzufüge, sind die immer nur so korreliert, dass sie mit dem wahren Wert zusammenhängen, während ich davon ausgehe, dass sich der Messfehler, weil der unkorreliert ist, rausgefiltert wird, das heisst, ich füge mit jedem zusätzlichem Item, trage ich zur Messung des wahren Wertes bei, während sich der Messfehler herauskorreliert 4. Interne Konsistenz      Verallgemeinerung der Testhalbierungs-Methode Jedes Item wird als eigenständiger Teil des Tests betrachtet Je stärker die Testteile untereinander positiv korrelieren, desto höher ist die interne Konsistenz des Tests wird wirklich bei jedem Teil dasselbe gemessen Es kann sein, dass die Interne Konsistenz hoch ist aber die Retest-Relabilität sehr gering manchmal wollen wir auch Merkmale messen, die sich verändern, z.B. die Stimmung übliche Angaben: o Cronbach’s Alpha bestimmen o McDonalds Omega bestimmen => sollte immer verwendet werden, da Cronbachs Alpha die Reliabilität unterschätzt! Reliabilität der RS   Interne Konsistenz in verschiedenen Studien Test ist sehr konsistent intern  α = .81 (N = 1033 Studierende)  α = .79 (N = 1025 Studierende)  α = .86 (N = 495 MTurk Workers) Erhebungsplattform Retest-Reliabilität  𝑟𝑡𝑡 = .74 über 5 Monate (N = 412 Studierende) 5 Monate ist sehr lange, man kann nicht mehr ausschliessen, ob es wirklich eine Veränderung gegeben hätte 9 HS 21 Testtheorie Validität     Ist das wichtigste Kriterium! Gegeben, wenn der Test das Merkmal misst, das er messen soll (und nicht irgendein anderes Merkmal) Hohe Objektivität und Reliabilität sind notwendige, aber nicht hinreichenden Bedingungen für eine hohe Validität Es werden 4 Aspekte der Validität unterschieden: 1. Inhaltsvalidität 2. Augenscheinvalidität 3. Konstruktvalidität 4. Kriteriumsvalidität 1. Augenscheinvalidität    Gegeben, wenn der Validitätsanspruch eines Tests einem Laien gerechtfertigt erscheint Manchmal ist es auch gut, dass diese Validität nicht hoch ist, z.B. bei sozialer Erwünschtheit, damit nicht klar ist, um was es genau geht Aus wissenschaftlicher Sicht nicht ausreichend: o Vor allem relevant bezüglich der Vermittlung der Ergebnisse und der Akzeptanz von Seiten der Testpersonen o Wird oft fälschlicherweise mit Inhaltsvalidität gleichgesetzt 2. Inhaltsvalidität    Gegeben, wenn ein Test das zu messende Merkmal repräsentativ erfasst, ganzen Bereich abdecken, Breite des Konstrukts muss abgedeckt sein Die Testitems werden als repräsentative Stichprobe aus dem für das Merkmal relevanten Itemuniversum verstanden Wird in der Regel nicht quantitativ bestimmt, sondern anhand logischer und fachlicher Argumente begründet o Expertinnen Meinungen o Kann dazu führen, dass suboptimale Items trotzdem beibehalten werden 3. Konstruktvalidität       Ist grundsätzlich ein Prozess Gegeben, wenn der Rückschluss vom Testergebnis auf das zugrundeliegende Merkmal wissenschaftlich fundiert, ist Hierzu müssen empirische Befunde und theoretische Überlegungen herangezogen werden Bei der Beurteilung lassen sich zwei Strategien unterscheiden (die in späteren Sitzungen vertieft werden) 1. Struktursuchende Ansätze (z.B. Explorative Faktorenanalyse=> EFA) 2. Strukturprüfende Ansätze (z.B. Konfirmatorische Faktorenanalyse => CFA, MultitraitMultimethod-Analyse) => OFT PRÜFUNGSFRAGE Wie gut beschreiben wir unser Konstrukt und wie gut können wir es von anderen abgrenzen Aspekte der Konstruktvalidität: a) Gültigkeit des Messmodells (= «faktorielle Validität»)  gegeben, wenn sich die Testitems theoriekonform als Indikatoren eines gemeinsamen “latenten Konstrukts” nachweisen lassen alle meine manifesten Merkmale messen das latente Konstrukt und nicht noch etwas anderes b) Konvergente Validität  Gegeben, wenn die Korrelation mit Tests, die das gleiche Merkmal messen sollen, hoch ist  Beispiel: Leute, die einen festen Händedruck haben, sollten auch Hunde mögen Test die das gleiche Merkmal messen (hier Extraversion) 10 HS 21 Testtheorie c) Diskriminante bzw. divergente Validität  gegeben, wenn die Korrelation mit Tests, die etwas anderes messen sollen, gering ist  Beispiel: Intraversion Verwechslung mit Neurotizismus, es geht davon aus, dass Leute, die introvertiert sind auch neurotisch sind wird oft verwechselt, Intraversion von Neurotizismus abgrenzen →diskriminante Validität  KONVERGENTE VALIDITÄT SOLLTE HÖHER SEIN ALS DISKRIMINANTE Kriteriumsvalidität  Gegeben, wenn vom Testergebnis auf ein Verhalten außerhalb der Testsituation („Kriterium“) geschlossen werden kann  Entspricht in der Regel der Korrelation zwischen Test und Kriterium  Wird häufig in Abhängigkeit von der zeitlichen Verfügbarkeit des Kriteriums weiter differenziert in: 1. Retrospektive Validität (zurückliegendes Kriterium) 2. Übereinstimmungsvalidität (gleichzeitiges Kriterium) 3. Vorhersagevalidität (zukünftiges Kriterium) das wollen wir vor allem, wir wollen den Test jetzt einsetzen und Vorhersagen über die Zukunft machen  Wenn ein Test konvergent und diskriminant valide ist, sollte der Test auch Kriteriums valide sein, sonst ist ziemlich sicher etwas falsch gelaufen! Validität der RS         Inhaltsvalidität wurde von mehreren Experten geprüft Messmodell wurde in mehreren Studien per EFA und CFA untersucht 12 Kästchen: 12 Items messen die alle Realness? Kreis: Latente Variable e im Kreis: Messfehler Messmodell stimmt, aber wir müssen einen Methodenfaktor beachten hängt mit Items zusammen, die rückwärts codiert (negativ formuliert) sind, führt zu systematischen Verzerrungen (sind keine Messfehler mehr), man muss diese mitmodellieren Koeffizienten, um zu schauen, ob das ein gutes Modell ist, um diese Daten abzubilden (CFI, TLI, RMSEA) schauen wir später noch an Konvergente Validität zwischen Realness-Skalen und anderen Massen Korrelation ist durchaus hoch, aber nicht zu hoch (sonst hätten wir ein Problem mit der diskriminanten Validität), hängt damit zusammen aber beschreibt nicht genau diese Massen, misst nicht aus Versehen etwas anderes  Diskriminante Validität Wie wir wollen: Konvergente Validität erklärt mehr an der gemeinsamen Varianz als die diskriminante 11 HS 21  Testtheorie Kriteriumsvalidität Warmth: Mischung zwischen Verträglichkeit und extrovertiert, freundlich Selfmonitoring: Wie sehr man darauf schaut, wie man sich selbst verhält Korrelationen sind so, wie man es erwartet hat, Personen, die sich selbst als sehr real beschreibt, beschreiben sich selbst nicht als so sehr warm, aber diese werden warm wahrgenommen von Bekannten Nebengütekriterien Skalierung    Gegeben, wenn die Testwerte die empirischen Merkmalsrelationen adäquat abbilden Hängt vom Skalenniveau des Tests ab  Größer/Kleiner Relationen: mind. Ordinalskalenniveau  Beurteilung der Größe von Unterschieden: mind. Intervallskalenniveau Wird anhand von Messmodellen überprüft Normierung (Eichung)      Gegeben, wenn eine Bezugsnorm vorliegt, anhand der individuelle Testwerte verglichen und eindeutig interpretiert werden können muss regelmässig gemacht werden Hierzu wird der Test (regelmäßig) in einer möglichst großen und repräsentativen Eichstichprobe angewendet Zur Relativierung eines Testergebnisses an der Eichstichprobe gibt es verschiedene Techniken  Prozentrangnormen  Standardnormen (IQ, Z-Werte) Flynn-Effekt: die Normen vor 40 Jahren sind nicht mehr aktuell und können nicht mehr benutzt werden, müssen also aktualisiert werden LAUT DIN-33430 muss alle 8 Jahre neu normiert werden! Eichstichprobe: eine grosse Stichprobe, welche die Zielpopulation repräsentativ abbildet, anhand dieser Stichprobe können Normtabellen erstellt werden, Normtabellen können unter anderem Auskunft darüber geben, welchen Prozentrang das Ergebnis einer Person in der Verteilung aller Testwerte in der Eichstichprobe einnimmt Prozentrang von 75 bedeutet, dass 75% der Personen in der Eichstichprobe eine tiefere Merkmalsausprägung aufweisen als die Testperson Testökonomie    Gegeben, wenn der Test im Verhältnis zum diagnostischen Erkenntnisgewinn relativ wenig Kosten verursacht, Unterschiede zwischen finanziellen Kosten und zeitlicher Aufwand oder gibt es besser oder einfachere Tests? o Beispiel: Personalauswahl treffen und man kann ein Assessmentcenter durchführen (teuer, hoher Personalaufwand usw.), würde man nur machen, wenn die Personen diese kosten auch rechtfertigen Es werden zwei Arten von Kosten unterschieden o Finanzieller Aufwand (z.B. Verbrauch von Testmaterial, Lizenzgebühren) o Zeitlicher Aufwand (bezüglich Bearbeitung sowie Vorbereitung, Auswertung und Rückmeldung) Ist oft nur im Vergleich zu ähnlichen Tests bestimmbar 12 HS 21 Testtheorie Nützlichkeit   Gegeben, wenn das vom Test gemessene Merkmal praktisch relevant ist und aus dem Testergebnis abgeleitete Massnahmen mehr Nutzen als Schaden erwarten lassen Beispiel: Soll man Tests einführen für den Besuch der 1. Klasse? 95% Prozent der Kinder sind schulreif, Test nicht nützlich und nicht notwendig Zumutbarkeit     Gegeben, wenn der Test im Verhältnis zu seinem Nutzen die zu testende Person nicht über Gebühr belastet Bei der Belastung der Testperson werden zeitliche, psychische und körperliche Aspekte unterschieden Oft schwierig zu beurteilen (da abhängig von einer Einschätzung des Nutzens sowie gesellschaftlichen Normen der Zumutbarkeit) Kann man grundsätzlich nur subjektiv beantworten Fairness       Gegeben, wenn die Testwerte zu keiner systematischen Benachteiligung bestimmter Personengruppen führen Beispiel: Sprachtest für Personen mit Immigrationshintergrund wäre nicht ein fairer Test Unfairness hat häufig mit den Inhalten der Testitems zu tun Psychometrisch spricht man von „Itembias“, d.h. dass ein Item für eine bestimmte Personengruppe trotz gleicher Merkmalsausprägung schwieriger ist Zu berücksichtigen sind neben Geschlecht, Alter, kulturellem Hintergrund, etc. auch Faktoren wie sprachliche Kompetenz und Routine im Umgang mit Tests = Unverfälschbarkeit Nebengütekriterien der RS Informationsquellen zur Güte von Testverfahren Manuale    Manuale sollten ausführliche Informationen zu den (Haupt-)Gü tekriterien sowie zur Normierung enthalten Manuale werden von den TestautorInnen verfasst Beispiel: Inhaltsverzeichnis des Manuals des BDI-II (Hautzinger, Keller & Kühner) Rezensionen       Rezensionen sind unabhängige Beschreibungen und Beurteilungen eines Verfahrens Test werden beurteilt nach den Gütekriterien Helfen die Qualität und Anwendungsbereiche von Testverfahren schneller einschätzen zu können, da die Angaben im Testmanual kritisch bewertet werden Beinhalten Empfehlungen für die Praxis Gehen über die Sicht der Testautor*Innen/ des Verlages hinaus und tragen so zur Qualitätssicherung bei Testrezensionen erscheinen in einzelnen Zeitschriften sowie in Büchern sowie online (ZPID, Fachgruppe Diagnostik des SDBB) 13 HS 21 Testtheorie Diagnostik- und Testkuratorium   Im deutschsprachigen Raum werden Tests im Auftrag des „Diagnostik- und Testkuratoriums“ (DTK; Gremium des BDP und der DGPs) systematisch von jeweils zwei unabhängigen Gutachtern beurteilt Grundlage ist jeweils das Testmanual, das alle relevanten Informationen zur Erfüllung von Testgütekriterien enthalten sollte Testbeurteilungssystem des Testkuratoriums (TBS-TK) Unverfälschbarkeit: Fairness Beispiel für eine Testrezension     Umfang ca. 2 Textseiten Gesamtbewertung in tabellarischer Form Beispiel: Bewertung des NEO-Persönlichkeitsinventars (Ostendorf & Angleitner); Rezension von Andresen und Beauducel Frei verfügbar Zusammenfassung:  Testtheoretische Gütekriterien sind essentiell für die Bewertung eines psychometrischen Tests.: o Grundlegender Bestandteil der DIN 33430 und deren (zukünftiges) schweizerisches Pendant o Sollten bei der Testentwicklung mitgedacht werden  «Die Validität ist als den Gütekriterien der Objektivität und Reliabilität übergeordnet anzusehen: Wenn ein Test nicht «gültig» ist, weil er zum Beispiel etwas anderes erfasst, als er sollte, sind Objektivität oder Reliabilität nicht mehr von Belang. Validität ist jedoch auch das komplexeste und am schwierigsten zu bestimmendes Gütekriterium»  Informationen findet man in Testmanualen (Autor*innen), wissenschaftlichen Studien, Testverlagen und Rezensionen (Expert*innen) 14 HS 21 Testtheorie 04. Vorlesung – 15.10.21 Testkonstruktion 1 Spezifikation des interessierenden Merkmals Schritte der Testkonstruktion¨ - - - 1. Phase 1: Theorie Wir definieren eine psychologische Variable, die wir messen wollen (z.B. Intelligenz) Wichtige Frage: Wie definiert man die psychologischen Variablen? 2. Phase 2: Testkonstruktion Wir überlegen uns Fragen/ Aufgaben mithilfe derer wir die Variable erfassen wollen und fassen diese Fragen zu einem Test zusammen Wichtige Fragen: Wie kommt man auf geeignete Fragen? Wie formuliert man sie am besten? Wie viele Fragen sind notwendig? Etc. 3. Phase 3: Testvalidierung: Wir überprüfen, ob der aus dem Test gewonnene und interpretierte Kennwert «gut» ist und ob er die Variable, die wir uns ausgedacht haben, auch tatsächlich erfasst. Die Ergebnisse schreiben wir in ein Testmanual. Wichtige Fragen: Was macht einen guten Test aus? Welche Methoden gibt es, um dies festzustellen? 4. Phase 4: Testanwendung Phase 1: Theorie Merkmalsdefinition    Was soll der Test erfassen? o Definition und Eingrenzung des Merkmals o (Arbeits-)Definition als einer der wichtigsten Schritte in der Testkonstruktion via Literaturrecherche o Was gibt es schon dazu? o Theoretische und empirische Befunde o Verwandte Merkmale und existierende Tests Benötigt man überhaupt einen neuen Test? Latente Merkmale     Wir in der Psychologie sind an latenten Merkmalen interessiert Psychologische Konstrukte = Nicht direkt beobachtbar Indirekte Erfassung durch Merkmalsindikatoren (= Items)  ein einziges Item sagt wenig über die Intelligenz aus Beispiel: Intelligenztest, Kundenzufriedenheit, Konservatismus, Sauberkeit Merkmalsarten    Quantitative (Intelligenz, wir unterscheiden uns Quantitativ, IQ-Quotient) vs. qualitative (verschiedene Typen/Kategorien von psychischen Störungen) Merkmale Unidimensionale (auf einer Dimension, z.B. Intelligenz oder Gewissenhaftigkeit, von niedrig zu hoch) vs. multidimensionale (nicht nur eine Dimension, sondern mehrere, affektives Erleben bspw. BIG 5) Merkmale Zeitlich stabile (Traits, Intelligenz, Persönlichkeit) vs. zeitlich veränderbare/fluktuierende (wie ärgerlich ist man im Moment) Merkmale 15 HS 21 Testtheorie Phase 2: Testkonstruktion Testarten Leistungstests  Maximales Verhalten  Verfälschung nur in eine Richtung möglich  Testpersonen können unter-performen («faking bad»), schlechtere Ergebnisse als ihre Fähigkeiten/Fertigkeiten (mit Absicht) z.B. bei Schuldfähigkeit, aber über-performen ist nicht möglich  Annahme: Testpersonen sind motiviert und wissen die an sie gestellten Anforderungen 1. Speed- (Aufgaben in bestimmter Zeit und so schnell wie möglich zu lösen) 2. Powertests (keine Zeitvorgabe, Aufgaben werden so schwer, dass man sie nicht mehr lösen kann) 3. Mischformen immer schwierigere Aufgabe unter bestimmten Zeitdruck 4. Apparative Tests (sensorische und motorische Merkmale werden erfasst) nicht computerbasierter oder Paper-Pencil-Test  Bspw. Test zur Messung von Muskelkraft als Indikator für Willensanstrengung Persönlichkeitsfragebogen und -tests  Typisches Erleben und Verhalten  Verfälschung möglich  «Faking good»: Man kann sich selbst als besser stellen  «Faking bad»: Man kann sich selbst auch schlechter stellen als man ist  Objektive Persönlichkeitstests Erfassen typisches Verhalten mittels Leistungstest  Verschleierung des Messprinzips  wenig Spielraum für Verfälschungen des Testergebnisses (insbesondere «faking good») o Beispiel: Objektiver Leistungsmotivations-Test Testperson soll durch Drücken der Pfeiltasten den auf dem Bildschirm dargebotenen Weg möglichst rasch verfolgen als verschleiertes Messprinzip wird nicht das Arbeitstempo an sich erfasst, sondern die Relation zwischen eigenen und – durch einen fingierten Gegner – fremd vorgegebenen Zielsetzungen evtl. macht es etwas mit einer Person, wenn man gegen einen Gegner spielt (wie ist es bei gleichem Geschlecht, gleiches Alter usw.) o Aber auch Fragen: Wie wichtig ist es ihnen bei einem Kartenspiel zu gewinnen? man merkt nicht genau, dass es sich um die Persönlichkeitsunterschiede handelt Projektive Verfahren     Mehrdeutiges Bildmaterial das, was man produziert, muss aus einem selbst herauskommen, das Bildmaterial hat keine inhärente Bedeutung Projektion innerer Bedürfnisse, Eigenschaften, Wünsche oder Motive Bewusst oder unbewusst Problem/ Herausforderungen: Reliabilität und Validität Weitere Planungsaspekte Geltungsbereich und Zielgruppe  Individualdiagnostik (Intelligenztest für Fördermassnahme für eine Person  Verfahren muss hoch reliabel sein) vs. Screeningverfahren (hier kann man auch Verfahren einsetzen, die weniger reliabel sind nur grobe Beurteilung eines Merkmals wird angestrebt bei einem Screeningverfahren, deswegen reicht eine kürzere Testlänge) 16 HS 21   Testtheorie Enger vs. breiter Geltungsbereich Verkaufstalent von Versicherungsvertreter (eng, kein weiteres Schlussfolgern z.B. wie die Person als Kollege ist) oder allgemein Leistungsmotivation breiter Geltungsbereich o Je breiter und je genauer, desto mehr Items breiter Bereich erfassen: allgemeine Intelligenz und möglichst genau z.B. liegt Hochbegabung vor, man braucht hoch reliabler Test und man will inhaltsvalide beobachten, also viele Items Homogene (Studierende im 3. Semester Psychologie) vs. Heterogene (z.B. Personen zwischen 18 und 99 Jahren) Zielgruppe 1. Sprachliche Passung der Items an die Gruppe anpassen 2. Inhaltsvalidität bei breiten Erhebungen sehr schwierig, 80-Jährige haben andere sprachliche Items, aber auch Merkmale von den Inhalten her funktionieren anders: Ich gehe gern auf Partys bei Jungen funktioniert das gut, aber bei Älteren eher nicht Testlänge und Testzeit      Testlänge = Anzahl Items je mehr Items, desto mehr reliable Varianz im Test o Bei einer grossen Anzahl an Items geht der Mittelwert der Messfehler gegen Null, was die Messung präziser machen Testlänge beeinflusst Reliabilität (je mehr Items desto reliabler) Testzeit = Dauer der Bearbeitung o je mehr Items, desto länger dauert es Zu lange Tests beeinflussen die Validität negativ, je länger, desto schlechter wird die Motivation und Fähigkeit konzentriert und wach zu bleiben Zielgruppenadäquate Testzeit bei Kindern z.B. nicht langer Test, bei Personen mit psychischer Störung auch Testadministration      Paper-Pencil Tests und computeradministrierte Tests Computerbasierte Tests nur am Computer durchführbar Adaptive Tests  werden wir später noch besprechen, sind Leistungstest, da werden Zielreize vorgegeben und ihrer Bearbeitungsfähigkeit angepasst, man muss die richtigen Reize identifizieren und je besser man wird, desto schneller werden die Reize vorgegeben, und je schlechter man wird, desto langsamer werden die Reize vorgegeben, dass man bei genauer Passung wir am besten zwischen Personen unterscheiden können Testzeit kann man verkürzen, man muss nicht viele Items bearbeiten => immer am Computer Einzel- vs. Gruppentestung z.B. Rohrschachtest: Einzeltestung, psychiatrisches Interview: Einzeltestung, Gruppentestung: Alle sitzen vor Papier und Bleistift und füllen den Test aus Selbst- und Fremdeinschätzung Struktureller Testaufbau Testteil I: Instruktion      Instruktion muss präzise Angaben zur Aufgabenstellung und zur Bearbeitungsweise der Aufgaben enthalten welche Skala benutzt wird, was in den Antworten erwartet wird, wie schnell die Person sein soll usw. Soll Testpersonen zu einer adäquaten Testdurchführung motivieren Anonymitätszusicherung  Bei Mehrfachbefragungen kann mittels eines personenspezifischen Codes die Anonymität in der Regel gewährleistet werden Klare Angaben zu Testlänge und Testzeit kann sehr demotivierend wirken, wenn wir denken es sei ein kurzer Test usw. Musteritems und -Antwort helfen, das Prinzip eines Items zu verdeutlichen 17 HS 21   Testtheorie Bei Persönlichkeitstests ist es wichtig, die Versuchsteilnehmenden darauf hinzuweisen, dass sie wahrheitsgetreu und spontan antworten sollen – in der Regel spielt die Testzeit hier eine untergeordnete Rolle Testpersonen haben das Recht, nach Abschluss der Befragung die Löschung ihrer Daten zu verlangen Testteil 2: Items   Warum mehr als ein Item? mehrere Items, um die Reliabilität zu erhöhen Itemreihenfolge  Leistungstests - aufsteigende Schwierigkeit, einfache Items und Items werden zunehmend schwieriger  Persönlichkeitstests - randomisierte Reihung, verschiedene Bereiche abfragen dann gemischte Items, damit es keine Reihenfolgeeffekte gibt Testteil 3: Demographische Angaben       Alter Geschlecht Ethnischer Hintergrund (durch kulturelle Einflüsse; weniger Studien ausserhalb des Westens) Schulbildung Beruf Potentiell weitere Variablen, die mit dem interessierenden Merkmal konfundiert sein könnten, konfundiert = wenn mein Testergebnis mit dem ethnischen Hintergrund konfundiert ist, dann wird das was ich eigentlich messen wollte verfälscht durch den ethnischen Hintergrund, z.B. ich frage ob ich an Wesen glaube, die nicht existieren, ob ich bestimmte Rituale durchführe, dann muss ich erheben, ob die Person religiös ist, dann ist sie vielleicht nicht psychotisch, sondern nur religiös Planungs- und Konstruktionsschritte im Überblick Itemgenerierung  4 Konstruktionsstrategien 1. Intuitive Strategie 2. Rationale Strategie 3. Externale bzw. kriteriumsorientierte Strategie 4. Internale bzw. faktorenanalytische Strategie Intuitive Strategie     Insbesondere bei geringem theoretischem Kenntnisstand Abhängig von Erfahrung der Testentwickler Vor allem bei neuen Forschungsthemen und Merkmalen Brainstorming-mässig kommen Items zu Stande Rationale Strategie  Theoriegeleitete Definition des Konstrukts:  Methode der Deduktion  Elaborierte Theorie über Differenziertheit der Personen muss vorliegen  Sammeln von Verhaltensindikatoren (für hohe und niedrige Merkmalsausprägung)  Ziel: Maximierung der Inhalts- und Konstruktvalidität o Inhaltsvalidität: Merkmal möglichst breit abdecken o Konstruktvalidität: Konstrukt so erfassen, dass der Test möglichst gut mit anderen Tests der Leistungsmotivation gut korrelieren, aber nichts anderes erfasst)  Arm-Chair-Methode 18 HS 21 Testtheorie Externale Strategie      Komplett anders, die Theorie interessiert uns überhaupt nicht Zusammenstellung eines großen Itempools (bspw. durch intuitive Strategie, aus anderen Tests etc.) Auswahl anhand der empirischen Differenzierungsfähigkeit bezüglich eines Kriteriums 1. Vorgabe an Stichprobe mit identifizierten Gruppen (z.B. Personen mit diagnostizierter Depression vs. Personen ohne Diagnose) Stichprobenabhängig 2. Selektion von Items, die möglichst gut differenzieren 3. Kreuzvalidierung  Kriterium wird genommen: Man hat in der Stichprobe bereits identifizierte Gruppen (bspw. Depressive und Nicht-Depressive), welche Items differenzieren nun gut zwischen den Gruppen/ kann sie gut klassifizieren?  Danach eine weitere Stichprobe, um zu überprüfen (Kreuzvalidierung) Atheoretisch Ziel ist Maximierung der Kriteriumsvalidität Beispiel 1: Minnesota Multiphasic Personality Inventory (MMPI; Hathaway & McKinley) externale Strategie  True/False:  “Everything tastes the same.” (wenn true dann = paranoia)  “I like to tease small animals.” (wenn false dann = depression) Vorteil: Verfälschung unwahrscheinlich, weil man nicht weiss, was das soll  Nachteil: Personen fragen sich über die Items, die Items sind nur so gut wie das Kriterium ist kann man das Generalisieren? Gilt das heute noch? Test aus den 40er, Items müssen immer erneuert werden Beispiel 2: Facebook Language use (Park et al.)  Studie: 50’000 Facebook-User haben Persönlichkeitstest gelöst (Big Five), Selbstberichte der Personen, alle Wörter auf der Facebookseite herausgenommen, welche Wörter korrelieren mit gewissen Persönlichkeitszügen Grafiken erstellt (hier: Extraversion)  Funktioniert nur für eine gewisse Zeit, Daten 2012 heruntergeladen worden, US-Amerikaner, Item, das besonders gut diskriminiert hat ist ob man die Steven Copar Show gut findet Item ist regional usw. war aber eines der besten Items Merkmale der externalen Strategie  Items können absurd oder verwirrend wirken  Weniger anfällig gegen Verfälschung  Test sind nur so gut wie Kriterien, die zur Entwicklung und Validierung genutzt werden  Risiko: Stichprobenabhängigkeit Internale Strategie      Theoriegeleitete Konstruktion von Items (welche sind besonders gut) o Entweder anhand der rationalen oder der intuitiven Strategie o Itempool der mit Faktorenanalyse überprüft wird Auswahl und Gruppierung anhand faktorenanalytisch (empirisch) ermittelter „Einfachstruktur“ o Exploratorische Faktorenanalyse identifiziert Items, die zusammenhängen (Sitzung X) o Empirische Validierung durch konfirmatorische Faktorenanalyse (Sitzung XX) Prinzip Faktorenanalyse: o Itempool wird VPN vorgelegt und von ihnen beantwortet o Explorative Faktorenanalyse identifiziert korrelierende Items o Diese Items können zu Subtests zusammengefasst werden (Buch, S.92 gutes Beispiel) „Garbage in, garbage out“ Faktorenanalyse ist abhängig von den Items, ich muss von Anfang an gute Items benutzen Faktoren sind teilweise schwer zu interpretieren 19 HS 21 Testtheorie Mischstrategie 1. Rationale Definition  wir wissen, was wir erheben wollen und machen Literaturrecherche 2. Generierung eines großen Itempools 3. Internale (faktorenanalytische) Selektion wie viele Faktoren gibt es? 4. Externale Validierung in verschieden Stichproben Alle Strategien werden eingesetzt ist viel besser als nur eine Strategie 1. Erste Revidierung des Itempools Pilotstudie:  Qualitative Verständlichkeitsprüfung der Items  Inhaltliche und sprachliche Schwierigkeiten sind die Items verständlich?  Administrationsprobleme  Leseschwierigkeit  Items mithilfe der Think-aloud-Technik überprüfen  Optimierung von Formulierungen, Distraktoren oder Richtigantworten  BUCH: Die Itemvarianz, die Itemschwierigkeit und Itemtrennschärfe untersucht, Items, die z.B. eine extrem hohe/ tiefe Itemschwierigkeiten aufweisen, werden oftmals aus dem Itempool entfernt  Pilotstudie Ziel, ist es Informationen zur Reliabilität und Validität der Items und Skalen zu erhalten, Objektivität wird vor allem durch die Durchführungs-, Auswertung- und Interpretationsregeln determiniert 2. Zweite Revidierung des Itempools Datenerhebung:  Ziel ist es, quantifizierte Informationen über die Qualität der Items zu gewinnen  Deskriptiv-statistische Itemanalyse (inkl. Reliabilität) werden wir noch später besprechen  Strukturelle Validität («faktorielle Valifität»)  Selektion von Items, die Konstruktionsansprüchen besonders gut genügen  Ergebnis: Neue Version des Tests (mit reduzierter Anzahl an Items) Phase 3: Validierung Evaluation und Validierung   Evaluationsstudie jetzt geht man an eine grosse Stichprobe Möglichst große (ca. 400-500), repräsentative Stichprobe zur Überprüfung der theoretischen Annahmen (siehe Merkmalsdefinition): o Konvergente Validität wie der Test mit anderen Tests zusammenhängt, die ähnlich Merkmale erfassen o Diskriminante Validität →wie können wir sicherstellen, wie sich der Test unterscheidet von anderen Tests, die etwas anderes erfassen o Kriteriumsvalidität wir wollen mit dem Test, Dinge vorhersagen Normierung   Testergebnis einer Person mit den anderen Personen vergleichbar machen Norm- bzw. Eichstichprobe muss vorhanden sein: o Idealerweise: repräsentative Stichprobe o Stichprobe bezüglich der Merkmale in der Grundgesamtheit, z.B. Alter, Geschlecht, Bildung und andere Merkmals-, Fähigkeits- oder Eigenschaftsausprägungen, vergleichbar o Sollten i.d.R. alle 8 Jahre erneut werden Zusammenfassung  Der rote Faden der Testkonstruktion ist weniger ein linearer Ablauf an einzelnen Schritten, sondern ist ein mehrmaliger Prozess mit sich wiederholenden Zwischenschritten.  Oft folgt nach dem Validierungsschritt noch eine oder mehrere Revisionen, ggf. muss der ganze Prozess noch einmal neu beginnen. 20 HS 21 Testtheorie Testkonstruktion 2 Aufgabentypen und Antwortformate Aufgabetypen Aufgaben mit freiem Antwortformat     Es werden keine Antwortalternativen vorgegeben o Frei oder teilstrukturiert (=Teile der Lösungen werden vorgegeben) Testperson muss z.B. einen Text schreiben, einen Satz vervollständigen oder eine Zeichnung anfertigen Antworten werden mit einem vorgefertigten Kategoriensystem kodiert vorgefertigte Antwortalternativen Häufig bei projektiven Testverfahren Kurzaufsatzaufgaben nicht gefragt was ist das Richtige, sondern Kreativität und Quantität wird beurteilt Ergänzungsaufgaben weniger Probleme mit der Objektivität (keine Synonyme etc.) Offene Fragen oder Lückentexte Vorteile  Erfordern selbständige (Re-)Produktion von Wissen  Zufällig richtige Antwort kaum möglich  Geeignet z.B. für Erfassung von Kreativität, Leseverständnis, etc.  Qualitative Auswertung möglich Nachteile  Hoher Zeitaufwand für Auswerter*innen und Proband*innen codieren ist sehr aufwendig  Eingeschränkte Auswertungsobjektivität (z.B. durch Mehrdeutigkeit der gegebenen Antworten) Aufgaben mit gebundenem Antwortformat 1. 2. 3. Ordnungsaufgaben Auswahlaufgaben Beurteilungsaufgaben 21 HS 21 Testtheorie   Antwortalternativen sind vorgefertigt, d.h. Personen sind in ihrer Reaktion „gebunden“ Zuordnungsaufgaben: Probanden müssen zwei Elemente (z.B. Worte, Zahlen) richtig zueinander zuordnen Umordnungsaufgaben: Probanden müssen Worte, Zahlen, Bilder, Gegenstände etc. in eine sinnvolle Reihenfolge bringen 1. Ordnungsaufgaben  Vorteile  ökonomische Auswertung  geringe Ratewahrscheinlichkeit (je mehr Antwortmöglichkeiten) oft eingesetzt bei Erfassung kognitiver Leistungsfähigkeiten  bei Bildern ggf. unabhängig von Lesefähigkeit/ -verständnis  Geeignet z.B. für Erfassung von kognitiven Fähigkeiten Nachteile  Keine Reproduktions-, sondern lediglich Wiedererkennungsleistung  Antwortalternativen sind nicht unabhängig voneinander  Eingeschränkte Anwendungsmöglichkeiten, oft nur für Leistungstests  Entwicklungsaufwand 2. Auswahlaufgaben    Proband soll aus mehreren vorgegebenen Antwortalternativen die richtige (bei Prüfungen z.B.) oder zutreffende (bei Persönlichkeitstest z.B.) Antwort identifizieren Antwortalternativen  sollten bei Leistungstests z.T. falsch sein („Distraktoren“)  sollten sich gegenseitig ausschließen („Disjunktheit“)  sollten bei Persönlichkeits- und Einstellungstests vollständig sein („Exhaustivität“) Dichotome Aufgaben (Zwei Antworten, eine richtig, eine falsch) vs. Mehrfachwahlaufgaben Vorteile  Einfache Instruktion  Einfache und ökonomische Bearbeitung und Auswertung  Geeignet für psychologische und pädagogische Leistungskontexte Nachteil  Bis zu 50% Ratewahrscheinlichkeit (bei dichotomen Aufgaben in Leistungstests)  Erfordert nur Wiedererkennungsleistung  Bei mangelhaften Distraktoren können Verzerrungen auftreten Distraktoren   Sollen wie richtige Antworten aussehen, aber inhaltlich falsch sein Günstig sind:  hohe Auswahlwahrscheinlichkeit (Attraktivität)  hohe Ähnlichkeit mit der richtigen Lösung  hohe Plausibilität Disjunktheit  Disjunktheit meint, dass es nur eine richtige Antwort gibt 22 HS 21 Testtheorie Exhaustivität Exhaustivität meint, dass die Antwortmöglichkeiten vollständig sind, d.h. alle Testpersonen können eine passende Antwort finden Bei Persönlichkeits- und Einstellungstests können nichtexhaustive Antwortalternativen dazu führen, dass das Item ggf. nicht beantwortbar ist Item ist problematisch, man kann beides mögen oder gar keines davon z.B. Komödien werden nicht aufgelistet, Spektrum muss gut abgebildet werden       3. Beurteilungsaufgaben Proband soll den Grad der Zustimmung oder Ablehnung zu einer vorlegten Aussage angeben Es gibt keine richtigen und falschen Antworten, sondern verschiedene Abstufungen Das Antwortformat ist nicht aufgabenspezifisch, sondern gilt einheitlich für den gesamten Test z.B. bei Persönlichkeitstest Ermöglichen quantitative Beurteilung der Eigenschaftsausprägung einer Person Theoretisch meist ordinal skaliert praktisch aber trotzdem meist Intervallskaliert Aspekte von Beurteilungsaufgaben        Skalenstufen (visuelle Analogskala vs. diskret gestufte Ratingskala auch Likert-Skala genannt, definierte Kategorien) Polarität (bipolar in beide Richtungen vs. unipolar in eine Richtung) Bezeichnung der Skalenpunkte (numerisch vs. verbal vs. optischsymbolisch) symbolisch: gut für Kinder Neutrale Mittelkategorie Mittelkategorie wird unterschiedlich interpretiert (Ambiguität) „Weiß nicht“-Kategorie» um Raten zu verhindern, aber problematisch, da es mit Charaktereigenschaften zusammenhängt => Personenunterschiede Anzahl der Skalenpunkte (5-7 optimal da Objektivität und Reliabilität am höchsten) o Je mehr Stufen desto besser die Differenzierung o Allerdings nur solange die Abstufungen eindeutig sind und nicht zu nah beieinander liegen («manchmal» und «gelegentlich») Asymmetrische (z.B. Selbstwert hoch oder tief) oder Itemspezifische (Skala passt genau zu dem Item) Beurteilungsskalen Vorteile  Einfache und ökonomische Bearbeitung und Auswertung  z.B. für Einstellungen Nachteile  Mögliche Verzerrungen durch numerische Bezeichnung der Skalenpunkte oder Verwendung einer Mittelkategorie Atypische Aufgaben  Restkategorie: Lassen sich weder den Aufgaben mit freien noch mit gebundenen Antwortformat zuschreiben 23 HS 21 Testtheorie Kontextspezifisch (überall anders) Entscheidungshilfen bei Aufgabenauswahl       Leichte Verständlichkeit (für alle!!Vorher an Probanden unterschiedlicher Gruppen testen) Einfache Durchführbarkeit Kurze Lösungszeit Geringer Material- bzw. Papierverbrauch Leichte Auswertbarkeit Geringe Häufigkeit von Zufallslösungen (Ratewahrscheinlichkeit minimieren) Kategorisierung von Itemarten         Direkt vs. indirekt  Direkt: „Sind Sie ängstlich?“ Problem: unterschiedliche Interpretationen  Indirekt: „Fühlen Sie sich unsicher, wenn Sie nachts allein auf der Straße sind?“ Hypothetisch vs. biographiebezogen  Hypothetisch: „Stellen Sie sich vor, es gäbe immer wieder Konflikte zwischen den Mitarbeitern in ihrer Abteilung. Was würden Sie dagegen unternehmen?“ Problem: Fehleinschätzungen  Biographiebezogen: „Wie haben Sie sich bei der letzten Auseinandersetzung mit einem Kollegen verhalten?“ Problem, wenn die Person diese Situation noch nie erlebt hat Problem: Kontextabhängigkeit Personalisiert vs. depersonalisiert  „Benutzen Sie Kondome?“ Sind sie Organspender?  „Sollte man Kondome benutzen?“ Befürworten sie Organspenden?  Depersonalisierte Fragen (bspw. Autofahrer sollten rücksichtsvoll im Strassenverkehr sein) führen manchmal zu sehr allgemeinen und nichtssagenden Antworten, «Pauschalantworten»  Personalisierte Fragen liefern zuverlässige Informationen, wenn sie ehrlich beantwortet werden Konkret vs. abstrakt  Konkret: „Wie verhalten Sie sich, wenn Sie einen Streit zwischen Kollegen schlichten müssen?“  Abstrakt: „Wie belastend schätzen Sie die Arbeit in einem konfliktreichen Arbeitsumfeld ein?“  Konkrete Fragen lassen dabei weniger Interpretationsfreiräume und beinhalten weniger die Gefahr von Fehleinschätzungen oder Pauschalantworten Neutral vs. emotionalisierend  Neutral: „Halten Sie sich für einen ängstlichen Menschen?“  Emotionalisierend: „Bekommen Sie Herzklopfen, wenn Ihnen jemand nachts auf der Straße folgte?” Kontextabhängigkeit Kategorisierung nach Aufgabeninhalt   Selbstbeschreibung: z.B. „Ich lache oft“ Fremdbeschreibung: z.B. „Meine Freunde halten mich für eine tüchtige Person“ oft gut, wenn man Selbstbeschreibung und Fremdbeschreibung benutzt  Biografischen Fakten: z.B. „Ich habe mehrmals Abenteuerurlaube gemacht“  Eigenschaftszuschreibungen: z.B. „Ich halte mich für spontan“  Motive: z.B. „Ich habe eine besondere Vorliebe für Aufgaben, die schwer zu knacken sind“  Interessen: z.B. „Ich schaue gerne wissenschaftliche Sendungen an“  Einstellungen und Meinungen: „Es gibt im Leben Wichtigeres als beruflichen Erfolg“ => Meist keine Durchmischung, sondern ein Test für Eigenschaftszuschreibungen, ein Test für Motive etc. 24 HS 21 Testtheorie Gesichtspunkte der Itemformulierung Sprachliche Verständlichkeit      Items positiv formulieren und Negation vermeiden Klare Satzkonstruktionen nicht zu viele Kommas, auch auf Zielgruppe achten Keine Abkürzungen Fachbegriffe vermeiden Angaben zu Intensität und Häufigkeit machen Antwort ggf. uneindeutig (z.B. „Ich trinke manchmal Wein“) Beispiel    Positive Formulierung: „Die Abholzung des Regenwaldes beobachte ich mit Sorge.“ Negative Formulierung: „Ich finde keinen Gefallen an der Abholzung des Regenwaldes?“ Doppelte Verneinung: „Ich finde nicht, dass ich an der Abholzung des Regenwaldes keinen Gefallen finde. Eindeutigkeit des Iteminhalts       Universalausdrücke vermeiden (z.B. „immer“, „nie“ oder „alle“) Ggf. Definitionen für komplexere Begriff geben Mehrdeutigkeit vermeiden (z.B. „Meine Laune ändert sich schnell“) Verknüpfung von mehreren Aussagen in einem Item vermeiden Ich glaube schon vorab, dass ich den Englischtest nicht bestehen werde, weil ich schlechte Sprachkenntnisse habe Vorwissen der Zielgruppe beachten Zeitspannen klar angeben („In den letzten 4 Wochen, …“) Vermeidung bestimmter Itemarten    Suggestive Items (z.B. “Würden Sie nicht auch von sich sagen, dass Sie Atomenergie immer schon problematisch fanden”)=> implizierte Antwort Kurzlebige Inhalte vermeiden (z.B. „Ich befürworte die Politik des EU-Ratspräsidenten?“) Wertende Aussagen (“Warum ist es im Allgemeinen besser, einer Wohltätigkeitsorganisation Geld zu geben als einem Bettler?“ - aus dem Hamburg-Wechsler-Intelligenz-Test für Kinder, HAWIK) Fehlerquellen bei der Item Beantwortung Prozessmodell Kognitive Stadien und potenzielle Fehlerquellen bei der Aufgabenbeantwortung (Podsakoff et al.) Konsistenz: z.B. mehrere Fragen zu Umweltschutz, man bleibt konsistent, obwohl man es gar nicht ist Motivationale Prozesse:  Optimizing vs. Satisficing  man will, dass der Versuchsleiter zufrieden ist mit einem als Proband Response Bias Systematische Verzerrung von Antworten  Response Set – Antworttendenz einmal, tritt in einem Test auf => Kontextabhängig  Response Style – Antwortstil  wie Persönlichkeitseigenschaft, dass man z.B. sozial erwünscht, antwortet 25 HS 21 Testtheorie Soziale Erwünschtheit       Menschen unterscheiden sich in dem Ausmaß, Items auf sozial erwünschte Weise zu beantworten Impression Management (Fremdtäuschung: Ich möchte mich besonders gut darstellen und tue es ganz bewusst) vs. Self-deceptive Enhancement (Selbsttäuschung: Ich beantworte Aufgaben, dass ich es mit mir gut vereinbaren kann, ich täusche mich selbst, ich beschreibe mich so wie ich sein möchte) Testpersonen, die sozial erwünscht antworten, orientieren sich dabei an Werten und Einstellungen der Gesellschaft Verhaltensweisen, die zwar verbreitet sind, aber nicht den Werten entsprechen, lehnen auch Personen ab, die sozial erwünscht antworten Bei face-to-face Begegnungen ist die soziale Erwünschtheit am stärksten, bei telefonischen oder schriftlichen Befragungen ist sie weniger stark ausgeprägt Mögliche Strategien 1. Zusicherung der Anonymität 2. Verwendung von Lügenskalen („Als Kind habe ich manchmal gelogen“) wenn man niemals ankreuzt, dann antwortet man sozial erwünscht 3. Verwendung von Mehrfachwahlaufgaben, bei denen die Items ungefähr gleich (un-) erwünscht sind 4. Verwendung von objektiven Persönlichkeitstests man fragt gar nicht, sondern z.B. Bearbeitung von Aufgaben mit anderen Personen wie leistungsmotiviert man ist 5. Bogus-Pipeline: Wir bitten sie die Fragen ehrlich zu beantworten, falls sie dies nicht tun, werden wir als Psychologen dies durch ihre Antworten herausfinden. Stimmt nicht, aber funktioniert sehr gut, aber ethnisch nicht vertretbar Auch Fremdberichte sind sozial erwünscht: Letter of Recommendation Effect Freunde stellen Freund in rosigem Licht dar, Personen befragen, die sie nicht gerne mögen, aber trotzdem gut kennen Akquieszenz  Zustimmungstendenz  z.B. aus Respekt vor dem Versuchsleiter, mangelnder Motivation, oder Höflichkeit  Die Zustimmungstendenz kann auch bei Leistungstests auftreten in dem bei dichotomen Antwortmöglichkeiten ein Item eher als «richtig» angekreuzt wird.  Tritt stärker auf, wenn Testpersonen geringe kognitive Fähigkeiten haben, wenn sie müde sind, wenn die Items schwierig sind und wenn viele Items zu beantworten sind  Strategie  Invertierte Items (die gleichen Items sind einmal positiv formuliert und einmal negativ gepolt)  Wechselnde Polung kann Faktorstruktur beeinflussen (Methodenfaktor) Problem der Iteminversion liegt darin, dass positive und negativ gepolte Items dazu tendieren, zwei Faktoren zu bilden, obwohl sie ein homogenes Merkmal erfassen Exkurs: Invertierte Items:  Werden oft verwendet, um eine Zustimmungs- oder Ja-Sage Tendenz zu verhindern  Bspw. «ich bin unglücklich» statt «ich bin glücklich»  Aber: negative Itemformulierungen sind oft problematisch o Können überlesen oder falsch verstanden werden o Besonders, wenn es noch weitere Schwierigkeiten in der Itemformulierung gibt (z.B. «Ich bin oft unglücklich») o Messen ggf. verbale Intelligenz Tendenz zur Mitte    Tendenz zur mittleren Antwortkategorie z.B. aus Unsicherheit oder Unzufriedenheit Strategie  Auf Mittelposition verzichten  Extreme Itempole vermeiden 26 HS 21 Testtheorie Effekte der Reihenfolge       Ankereffekte (Priming Effekte) Item am Anfang, welches alle drauffolgenden Items beeinflusst Konsistenz- vs. Kontrast-Effekte (wenn man ein Item auf eine Weise beantwortet, dann beantwortet man ein anders auf eine andere Art oder alle auf dieselbe) Strategie 1. Randomisierung Assimilationseffekte entstehen dadurch, dass Versuchspersonen kohärente Antworten geben wollen. Aufeinanderfolgende Items werden ähnlich beantwortet, als wenn die Items getrennt auftauchen. Subtraktionseffekte treten auf, wenn nach spezifischen Fragen eine allgemeine Frage folgt. Versuchspersonen beantworten die allgemeine Frage dann so, dass die Situation aus der spezifischen Frage ausgeschlossen wird. Reihenfolgeeffekte sind vor allem bei Persönlichkeitstest relevant, bei denen Personen ihr eigenes Erleben und Verhalten beurteilen sollen. 27 HS 21 Testtheorie 06. Vorlesung – 29.10.21 Deskriptivstatistische Itemanalyse und Testwertverteilung Allgemeines Vorgehen: Itemanalyse    Die Itemanalyse sollte der erste Schritt der empirischen Überprüfung sein  Gefühl für den Test und Daten bekommen  Deskriptive Statistiken analysieren Ziel: Herausfinden, welche Items psychometrisch gut sind bzw. welche revidiert werden müssen Konkretes Vorgehen bei der Itemanalyse: 1. Prüfung der fehlenden Werte auf Itemebene:  Fehlende Werte als erstes Indiz für problematische Items  Konnten/ wollten Personen nicht antworten? => Anpassen des Items  Bei Paper-Pencil kann man es zulassen, bei Computerbasierten Testungen aber meist obligatorisch  Empfehlung: Bei Ersterhebungen immer zulassen oder zumindest «Weiss-ichnicht» Kategorie 2. 3. 4. 5. Schwierigkeits- und Streuungsanalysen Itemverteilungen Strukturanalysen (folgt später) Reliabilitätsanalysen (folgt später) Itemschwierigkeit  Ziel: Rückschlüsse über die Unterschiedlichkeit der Testpersonen hinsichtlich des interessierenden Merkmals ziehen zu können  Via: Die Items sollten so konstruiert sein, dass nicht alle VPN die gleiche Antwort auf ein Item geben o Items dürfen weder zu „leicht“ sein, sodass alle Testpersonen das Item bejahen/lösen können, noch zu „schwierig“, sodass keine der Testpersonen das Item bejahen/lösen kann  Deshalb ist es notwendig, die Items hinsichtlich ihrer Schwierigkeit zu beurteilen o Die Itemschwierigkeit wird untersucht, um zu sehen, wieviel Informationen ein Item über die Unterschiede einer Merkmalsausprägung zwischen Testpersonen liefert. 28 HS 21 Testtheorie Schwierigkeitsindex    Definition: Der Schwierigkeitsindex Pi eines Items i ist der Quotient aus der bei diesem Item tatsächlich erreichten Punktsumme aller n Probanden und der maximal erreichbaren Punktsumme aller n Probanden, multipliziert mit 100 o Die Itemschwierigkeit kann einen Wert zwischen 0 und 100 annehmen o Bei dichotomen Variablen (richtig/ falsch) entspricht Schwierigkeitsindex dem Mittelwert des Items (multipliziert mit 100) Umso grösser der Wert, je mehr Probanden lösen ein Item bzw. je eher stimmen sie zu o Die Grösse kennzeichnet also die eigentliche «Leichtigkeit» eines Items Als Faustregel: Items sollen Schwierigkeiten zwischen 20 und 80 aufweisen (wobei mittlere Schwierigkeiten um 50 optimal sind) Bei Leistungstests    Bei Powertests werden richtige (R = 1) und falsche (F = 0) Antworten sowie ausgelassene (A = 0) (bei Powertests gibt es das) Aufgaben unterschieden Schwierigkeitsindex ist hier definiert als Anteil der Probanden mit richtigen Antworten an allen Probanden Bei Speedtests  müssen aufgrund des Zeitlimits unbearbeitete Aufgaben (U) abgegrenzt werden sonst würde man die Schwierigkeit überschätzen  Der Schwierigkeitsindex bezieht sich hier im Nenner nur auf die Anzahl der Probanden, die das Item auch bearbeitet haben (nR + nF + nA) (im Gegensatz zu den Powertests, dort sind aller Proband*innen im Nenner) Ggf. Ratekorrektur anwenden (zur Kontrolle von zufällig richtigen Antworten) Beispiel Speedtests Item 1: 5/5 x 100 = 100 5 Personen haben die Aufgabe richtig von 5 Personen, die sie gelöst haben Item 2: 4/5 x 100 = 80 4 Personen haben die Aufgabe richtig von 5 Personen, die sie gelöst haben Item 3: 2/4 x 100 = 40 2 Personen haben die Aufgabe richtig von 4 Personen, die sie gelöst haben Item 4: 1/5 x 100 = 20 1 Person hat die Aufgabe richtig von 5 Personen, die sie gelöst haben Item 5: 1/2 x 100 = 50 1 Person hat die Aufgabe richtig von 5 Personen, die sie gelöst haben 29 HS 21 Testtheorie Beispiel Niveautests (Powertest) Bei Niveautests vereinfacht sich die Formel zu: 𝑃𝑖 = 𝑛𝑅 𝑛 · 100 Item 1: 5/5 x 100 = 100 5 VP, 5 haben Aufgabe richtig Item 2: 4/5 x 100 = 80 5 VP, 4 haben Aufgabe richtig Item 3: 2/5 x 100 = 80 5 VP, 2 haben Aufgabe richtig Item 4: 1/5 x 100 = 20 5 VP, 1 hat Aufgabe richtig Item 5: 1/5 x 100 = 20 5 VP, 1 hat Aufgabe richtig Berechnung:  Wenn der Wertebereich eines Items nicht bei 0 startet, muss der Minimalwert (bei einer Skala von 1 bis 5 wäre das die 1) von jeder Itemantwort im Zähler abgezogen werden.  Ebenso wird die minimal erreichbare Punktsumme der n Testpersonen auf Item i, im Nenner abgezogen.  Skala von 0-4 jeder Proband einen Wert von 0-4 aufsummieren, Maximalwert wird abgezählt (bei 10 Vpn = 40)  1 abziehen, damit man 0 Punkte bekommt (damit Skala, die bei 0 beginnt)  Begriff Popularität vielleicht besser anstatt Schwierigkeit je höher der Wert, desto leichter das Item, je tiefer, desto schwieriger, desto weniger Zustimmung bekommt das Item  Für jedes Item wird einzeln ein Schwierigkeitsindex berechnet. Beispiel        Das Beispielitem hat ein theoretisches Minimum von min(x1) = 0 und ein theoretisches Maximum von max(x1) = 3 Der beobachtete Mittelwert liegt bei x̅1 = 1.95 Dann ist die Schwierigkeit Die Werte liegen zwischen 0 und 100 Umso größer der Wert, je mehr Probanden lösen ein Item bzw. je eher stimmen sie zu Die Größe kennzeichnet also eigentlich die „Leichtigkeit“ eines Items Popularität Die deskriptivstatistische Itemschwierigkeit darf nicht verwechselt werden mit dem Schwierigkeitsparameter aus der Item-Response-Theorie (siehe Sitzung 10) Bei Persönlichkeitstests    Es gibt zwar keine „richtigen“ oder „falschen“ Antworten, aber bei der Testkonstruktion wird festgelegt, welche Antwort als „symptomatisch“ für eine hohe Ausprägung des Merkmals gilt In der Regel spricht „Zustimmung“ für eine höhere Merkmalsausprägung nicht Schwierigkeit Eine Ausnahme stellen „invertierte“ Items dar, bei denen Verneinung für eine höhere Merkmalsausprägung spricht alle Items in eine Richtung poolen Beispiel: Realness Scale  BERECHNUNG ANSCHAUEN Other might see me as fake geringe Popularität, sehr schwieriges Merkmal (invertiert) wenn jemand da zustimmt, sehr guter Indikator, nur Items mittlerer Schwierigkeit reicht nicht, wir brauchen auch schwierige Items, die passen z.B. bei Psychopathen es müssen alle abgedeckt werden, um Extremwerte zu differenzieren 30 HS 21 Testtheorie Itemvarianz   Unter Itemvarianz versteht man ein Mass für die Differenzierungsfähigkeit eines Items der untersuchten Stichprobe Begrenzt durch/ abhängig von Itemschwierigkeit: Bei hoher und niedriger Schwierigkeit ist die Differenzierungsfähigkeit gering Differenzierungsfähigkeit eines Items Wir wollen, dass unser Item Varianz erzeugt, wir wollen nicht, dass alle dasselbe beantworten, wir wollen möglichst viel Varianz. Item 1: 9 x 1 / 100 = 0.09 1 Person hat das Item nicht gelöst, 9 Personen haben es gelöst Item 2: 5 x 5 / 100 = 0.25 die Hälfte haben die Fragen gelöst  5 Personen gelöst, 5 Personen nicht gelöst Item 3: 2 x 8 / 100 = 0.16  8 Personen haben das Item nicht gelöst, 2 Personen haben es gelöst Item 4: 0 x 10 / 100 = 0.00  niemand hat es gelöst Varianz von 0 Varianz und Schwierigkeit hängt zusammen, höchste Varianz hat die mittlere Schwierigkeit Verhältnis von Itemschwierigkeit und Itemvarianz      Zusammenhang von Itemvarianz Var (yi) und Itemschwierigkeit Pi bei zweistufigem Antwortmodus Bei zweistufigen Items kann die Varianz als Produkt aus den Wahrscheinlichkeiten, das Item i zu lösen (p), und der Gegenwahrscheinlichkeit, das Item i nicht zu lösen berechnet werden Itemvarianz ist bei .25 bei 50 Schwierigkeit am höchsten höchste Varianz mittlere Schwierigkeit Itemvarianz ist bei 0 und 100 aber tiefsten tiefste Varianz hohe und tiefe Schwierigkeit Zusammenhang von Itemvarianz und Itemschwierigkeit ist umgekehrt U-Förmig Beispiel: Realness Scale 31 Varianz: Einfach denken: Wenn 5 Personen falsch und 5 Personen richtig, müssen 5*5 gratuliert werden HS 21 Testtheorie Itemtrennschärfe Vorläufige Testwerte     = Ist das Item typisch für den Gesamttestwert? Wenn vorläufige Testwerte ermittelt werden (also Itemsummen- oder Mittelwerte), kann die Itemtrennschärfe bestimmt werden Ein trennscharfes Item erlaubt eine Vorhersage darüber, ob Personen mit einem hohen (niedrigen) Testergebnis oder einer hohen (niedrigen) Merkmalsausprägung bei einem gegebenen Item einen hohen (niedrigen) Wert erzielen wird Beachte: Ob diese Testwerte sinnvoll und endgültig sind, muss aber noch überprüft werden  Eine Person, die auf anderen Skalen einen hohen Wert hat, hat sie auch bei diesem Item ein hoher Wert?  Korrelation des Items mit dem Skalenwert Trennschärfe       Trennschärfe= Korrelation eines Items i mit dem Gesamtergebnis eines Tests (Range: -1 bis +1) Ermöglicht Einschätzung, wie gut ein Item zwischen Personen mit niedriger und hoher Merkmalsausprägung differenziert Wird durch eine hohe Itemvarianz begünstigt Zur Bestimmung des Testwerts wird das betrachtete Item häufig weggelassen, um Trennschärfe nicht zu überschätzen („part-whole-correction“) Sonst würde Item zwei Mal drin sein und mit sich selbst korrelieren Voraussetzung: Alle Items messen dasselbe Merkmal (d.h. Gültigkeit eines eindimensionalen Messmodells) sonst dürfte man nicht nach diesem Kriterium vorgehen, wird hier vorausgesetzt, wenn das mit nicht mit der Skala korreliert, dann misst es etwas anderes Wenn Items keine zufriedenstellende Trennschärfe aufweisen, sollte untersucht werden, ob ein Merkmal ggf. nicht ein-, sondern mehrdimensional ist Interpretation der Trennschärfe  Nahe 1: Item wird von Probanden mit hoher Merkmalsausprägung gelöst bzw. zustimmend beantwortet und von Probanden mit niedriger Ausprägung nicht (.4 - .7 gilt als „gut“)  Nahe 0: Item ist ungeeignet, zwischen Personen mit hoher und niedriger Ausprägung zu unterscheiden (d.h. misst etwas anderes)  Nahe -1: Item wird von Probanden mit niedriger Merkmalsausprägung gelöst bzw. zustimmend beantwortet usw. obwohl er eigentlich hohe Ausprägung haben sollte (kann auf Mängel der Instruktion oder Itemformulierung hinweisen; ggf. wurde vergessen, das Item umzupolen) Items mit einer Trennschärfe nahe -1 sollten bei Leistungstests nicht genutzt werden, bei Persönlichkeitstests können die Items teilweise noch verwendet werden.  0.4 -0.7 werden angestrebt Beispiel: Realness Scale Others might see me as fake .19 sehr gering, wir lassen es trotzdem, da bei Extremwerten es gut differenzieren würde, daher nehmen wir dies in Kauf, bei Normalpopulation sagen die meisten aber nein Man nimmt den Skalenwert aus den anderen Items (Mittelwert oder Summenwert) und dann macht man das für jeden Wert der Skala und man bekommt eine Korrelation Item Schwierigkeit von 20: Varianz ist sehr klein, da die Schwierigkeit von der Mitte abweicht, Trennschärfe: ist eher tief, weil wir wenig Varianz haben eine hohe Itemvarianz begünstigt eine hohe Trennschärfe 32 HS 21 Testtheorie Itemselektion und Testrevision Itemselektion       Simultane Berücksichtigung der Itemschwierigkeit, Itemvarianz und Itemtrennschärfe Welche Zielpopulation habe ich und wo möchte ich genau differenzieren? z.B. Intelligenz Faustregel (aber auch anders möglich) aus Sicht der Deskriptivstatistik: 1. Möglichst hohe Trennschärfen (Priorität! Als erstes) Items mit einer Trennschärfe nahe null oder negativ sollten nicht im Test aufgenommen werden 2. Möglichst hohe Itemvarianzen 3. Möglichst gleichmäßig verteilte Itemschwierigkeiten (zwischen 5 und 95, mindestens zwischen 20 und 80, Grossteil sollte aber um 50 sein; und vereinzelte Schwierigkeiten an Ränder) Beachte: Bevor Items, die keine zufriedenstellenden Werte aufweisen, aus dem Test entfernt werden, sollte geprüft werden, ob die Items inhaltich-theoretisch für das interessierende Merkmale bedeutsam erscheinen => Inhaltsvalidität nicht verletzen Es kann auch darum gehen, an den Rändern der Verteilung zu diskriminieren Darum haben wir z.B. das Item «Others see me as a fake» trotz Trennschärfe von nur .19 beibehalten Testwertermittlung und Testwertverteilung Testwertermittlung   Nach Selektion der geeignetsten Items kann für jede Person ein Testwert durch Summenbildung ermittelt werden Voraussetzung: Intervallskalenniveau (Likert-Skala Intervallskalenniveau? Man geht einfach davon aus, dass es ein Intervallskalenniveau ist, dass Abstände gleich sind usw.) Testwerteverteilung    Masse der zentralen Tendenz  Arithmetischer Mittelwert (Bei Test mit 100 Fragen sollte Mittelwert bei ungefähr 50 liegen)  Median (Testwert, der die Stichprobe in zwei gleiche Hälften teilt)  Modalwert (häufigster Testwert) Streuungsmasse  Varianz und Standardabweichung  Spannweite (Range)  die Leute wählen die unteren Punkte gar nicht z.B. (das ist nicht identisch zum Konfidenzintervall) Schiefe und Exzess (inwiefern Abweichung von Normalverteilung)  Rechtsschiefe (> 0) vs. linksschiefe (< 0) Verteilung  Flache (< 0) vs. spitze (> 0) Verteilung Linksschiefe Verteilung, rechtssteil x-Achse: Testwerte y-Achse: beobachteten Häufigkeiten 33 HS 21 Testtheorie Abweichung von der Normalverteilung   Normalverteilung als Voraussetzung vieler statistischer Tests und Kennwerte Gründe für Abweichungen: o Mangelhafte Konstruktion des Tests (z.B. sind die Aufgaben bei linksschiefer Verteilung zu leicht, oder wenn ein Test zu schwierig ist, dann kommt es zu einer rechtsschiefen Verteilung) o Heterogene Stichprobe (z.B. kann die Stichprobe aus zwei normalverteilten Proben bestehen=> Überlagerung: Verzerrung, aber mit richtigem Test bei richtiger Gruppe = Normalverteilung) o Nicht normalverteiltes Merkmal in der Population z.B. Psychopathie ist nicht normalverteilt, viel Person haben niedrige Werte und viele Personen haben hohe Werte es gibt verschiedene Merkmale, die nicht normalverteilt sind Normalisierung   Die Verteilung der Testwerte kann durch Transformation an Normalverteilung angenähert werden (aber nicht immer: nur sofern die Annahme von Normalverteilung in der Population gerechtfertigt ist) Verschiedene Strategien  Logarithmierung (bei rechtsschiefer Verteilung) bei linksschiefer geht es nicht (da würden wir noch extreme Werte bekommen) => häufiger in der Praxis  Flächentransformation (im Buch beschrieben) dabei bleiben die jeweiligen Flächen der einzelnen Histogrammsäulen dem Prinzip der Flächentreue folgend unverändert; hingegen werden die Breiten so verändert, dass die resultierenden Höhen der einzelnen Säulen, mit denen einer Normalverteilung übereinstimmen benutzt man sehr selten Exkurs: Umgang mit «unsachgemäßen Antworten»     Untersuchung Meade & Craig, wie gross ist das Problem der unsachgemässen Antworten, was kann man dagegen tun? o In studentischen Online-Stichproben bearbeiten vermutlich mehr als 10% der Teilnehmer die Fragen unsachgemäß, d.h. nicht bezogen auf den Inhalt der Items (z.B. wegen Desinteresse, Erschöpfung, Ablenkung o Wir können uns die Fragebogen nicht grafisch ansehen siehe rechts, was kann man machen? (Siehe Beispiele) Diese Angaben können die Qualität der Daten beeinträchtigen Solche Antworten sollten daher idealerweise identifiziert und vor der Analyse ausgeschlossen werden Unsachgemässe Antworten sind wahrscheinlicher von Personen, die wenig Motivation haben, den Test zu bearbeiten. 34 HS 21 Testtheorie Beispiele Fangfragen Personen muss diese Frage «richtig» beantworten, dann löst sie die Fragebogen richtig und lesen die Items (man muss sonst die ganze Vpn ausschliessen wichtig, sonst könnte man die ganzen Resultate verzerren) Direkte Fragen nach Aufmerksamkeit und Interesse Leute geben auch ehrlich zu, dass sie es nicht machen, wenn mehrere dieser Items bejaht werden, dann sollte man vorsichtig mit der Person umgehen evtl. hohe Werte anschauen, Personen auf die Seite tun Post hoc berechnete Masse   Maße für inkonsistentes oder repetitives Antworten (z.B. „Even-OddConsistency “ zu häufig wird eine gerade und dann eine ungrade Antwort gegeben, „Average LongString“) Maße für zu kurze oder zu lange Reaktionszeit Beispiel: Average LongString    Eine lange Reihe derselben Zahl Eine Person 55, die nennt immer wieder dieselbe Zahl nebeneinander, daher Person ausschliessen Berechnen lassen, man sieht die Ausreisser Beispiel Ausfülldauer   Personen haben sehr lange oder sehr langsam beim Fragebogen Person 56 war sehr langsam, ist dies sachgemäss beantwortet worden? Praxistipp Zusammenfassung: 35 HS 21 Testtheorie 07. Vorlesung – 05.11.21 Norm- und Kriterienorientiertes Testen Testwertinterpretation Was bedeutet ein Testwert?        Beispiel: o Der Schüler Peter kann in einer Rechenprobe 18 von 20 Aufgaben richtig lösen, d.h. 90 % der Aufgaben o In der Vokabelprobe schafft er 21 von 30 Aufgaben, d.h. nur 70 %. o Seine Eltern freuen sich über die Rechenleistung ihres Sohnes, mit der Vokabelleistung sind sie weniger zufrieden… zurecht?  Nein: Es könnte auch sein, dass der Test sehr schwierig war und Peter trotzdem der Beste der Klasse war Testwert wird auch „Rohwert“ genannt, da er sich aus den Antworten ergibt und noch nicht verarbeitet ist Testrohwert ist per se oftmals nicht aussagekräftig man kann ihn nicht direkt interpretieren Testwert wird nicht nur von dem interessierenden Merkmal (z.B. Rechenfähigkeit) bestimmt, sondern hängt auch von der Aufgabenauswahl bzw. Aufgabenschwierigkeit ab Daher werden Testwerte anhand von Vergleichsmassstäben interpretiert:  Vergleich mit Referenzgruppe z.B. gehen Sie gerne auf Partys? Bei älteren Menschen gefragt und bei Studenten  Relation zu inhaltlichem Kriterium Bei der kriteriumsorientierten Interpretation kann extern ein Kriterium erhoben werden und mithilfe dessen auf der Testwertskala ein Schwellenwert bestimmt werden. Von der „Idealform“ spricht man, wenn ein Testwert in Bezug auf ein Kriterium interpretiert wird und von einer „Realnorm“ bei der Interpretation in Bezug auf eine Bezugsgruppe. Es hängt von der diagnostischen Zielsetzung ab, ob ein Test norm- oder kriteriumsorientiert interpretiert werden soll. Normorientierte Testwertinterpretation Normen    Normorientierte Testwertinterpretation besteht darin, dass zu einem individuellen Testwert (Rohwert) ein Normwert bestimmt wird Leistung im Test wird mit Normwert verglichen Anhand dessen kann die Testperson hinsichtlich der erfassten Merkmalsausprägung innerhalb der Bezugs- bzw. Referenzgruppe positioniert werden Nichtlineare vs. lineare Rohwerttransformation Nichtlineare Testwerttransformation: Prozentrangnormen      Nichtlinearität bedeutet hier, dass der Prozentrang durch eine Transformation der Testwerteverteilung der Bezugsgruppe gewonnen wird (nicht durch eine lineare Transformation des Testwertes selbst) transformieren die Testwerteverteilung und nicht den Testwert selbst Der Testwert bleibt immer gleich Dazu wird die relative Position des Testwertes Y in der aufsteigend geordneten Rangreihe der Testwerte in der Bezugsgruppe ermittelt z.B. Grösse messen und in Rangreihe bringen und Prozentrang geben z.B. 1.65m ist 50%, wo befindet sich dieser Testwert in einer Bezugsgruppe Prozentrang gibt an, wie viel Prozent der Bezugsgruppe einen Testwert erzielten, der niedriger oder maximal ebenso hoch ist, wie der Testwert Y der Testperson v Peter sagt nur eine Person hat einen besseren Wert als er und 10 Personen in den Klassen, seinen Prozentrang wäre 90% Der Prozentrang entspricht somit dem prozentualen Flächenanteil der Testwertverteilung der Bezugsgruppe, der am unteren Skalenende beginnt und nach oben hin durch den Testwert Yv begrenzt wird 36 HS 21 Testtheorie Perzentile und Quartile   Perzentil beschreibt jenen Testwert Y, der einem bestimmten Prozentrang in der Normierungsstichprobe zugeordnet ist (z.B. 30. Perzentil ist derjenige Testwert, der von 30% der Testpersonen höchstens erreicht wird, genannt wird Quartile entsprechen dem 25., 50. bzw. 75. Perzentil  1. Quartil (Q1) ist derjenige Testwert, der von 25% der Testpersonen höchstens erreicht wird  2. Quartil (Q2) ist derjenige Testwert, der von 50% der Testpersonen höchstens erreicht wird (Median)  3. Quartil (Q3) ist derjenige Testwert, der von 75% der Testpersonen höchstens erreicht wird Beachte     Ordinalskalenniveau ist ausreichend Prozentrangnormen stellen verteilungsunabhängige Normen dar, d.h. es werden keine Verteilungsformen vorausgesetzt Prozentrangnormen dürfen nicht intervallskaliert interpretiert werden können nicht sagen, dass die Prozentrang 90 und 80 nicht als gleich interpretieren Daher können Prozentrangdifferenzen nicht für Vergleiche herangezogen werden (Prozentrangdifferenz von 90 - 80 = 10 hat eine andere Bedeutung als 60 - 50 = 10) Lineare Testwerttransformation: zv-Normwerte     Voraussetzung ist Intervallskalenniveau zv -Normwert gibt an, wie stark der Testwert einer Testperson vom Mittelwert der Verteilung der Bezugsgruppe in Einheiten der Standardabweichung der Testwerte abweicht zv -Normwerte haben einen Mittelwert von 0 und eine Standardabweichung von 1 Sehr gut vergleichbare Werte Weitere Transformationen von zv     z-Normwert kann weiteren Lineartransformationen unterzogen werden, um Normwerte mit positivem Vorzeichen und möglichst ganzzahliger Abstufung zu erhalten Beispiel: IQ = 100+ z *15 lineare Transformationen von z-Werten Liegt eine normalverteilte Testwertvariable vor, dann wird die transformierte z-Norm als Standardnorm bezeichnet Bei Standardnormen kann der entsprechende Prozentrang aus der tabellarisierten Verteilungsfunktion der Standardnormalverteilung abgelesen werden Statistik 1 Teil 1 Gebräuchliche Normen    Gebräuchliche Standardnormen, Stanine-Norm und Prozentrangnorm unter Annahme normalverteilter Testwerte t-Werte beliebt bei Persönlichkeitstest PISA-Studie: standardisierte Erfassung der Schulleistung unabhängig von Schulformen über Ländern hinweg 37 HS 21 Testtheorie Stanine Normen    Bei Stanine („standard nine“) Normen werden anhand der Werteverteilung 9 Abschnitte mit Häufigkeiten von 4%, 7%, 12%, 17%, 20%, 17%, 12%, 7% und 4% gebildet Diese Unterteilung ergibt für normalverteilte Variablen gleiche Intervalle von der Breite einer halben Standardabweichung, Mittelwert ist 5 und SD ist 2 man teilt das Ganze noch ein bisschen mehr auf Werden manchmal bei Persönlichkeitstests verwendet Testeichung   Die Testeichung stellt den letzten Schritt einer Testkonstruktion dar (wenn er fertig gestellt ist) und dient dazu, einen Vergleichsmassstab für die normorientierte Testwertinterpretation zu erstellen Um Normwerte gewinnen zu können, wird die Verteilung der Testwerte an einer grossen Normierungsstichprobe (Eichstichprobe) ermittelt um Vergleichswerte zu erfassen => Vergleichsmassstab Normierungsstichprobe      Möglichst repräsentativ und relevant für den Einsatzbereich des Tests bei der Normstichprobe handelt es sich um eine möglichst repräsentative Zufallsstichprobe für den Einsatzbereich des Tests diese muss aber nicht repräsentativ für die Gesamtpopulation sein Für eine repräsentative Stichprobe aus der Zielpopulation für die Testeichung können Quoten-, geschichtete Stichproben oder Zufallsstichproben gezogen werden Idealerweise Zufallsstichprobe aus der Grundgesamtheit der Bezugsgruppe In der Praxis oft nicht möglich (pragmatische Überlegungen), meist Gelegenheitsstichprobe  man sucht eine Stichprobe, die hinsichtlich zentraler Merkmale der angestrebten Grundgesamtheit möglichst ähnlich ist  wenn auch das nicht möglich ist, dann ist die Frage nach der Nützlichkeit der Normstichprobe zu stellen man kann es auch einfach sein lassen In jedem Fall gilt: Im Manual müssen die Eigenschaften der Normstichprobe immer genau beschrieben sein Dokumentation der Normen im Testmanual       Geltungsbereich der Normen (Definition der Zielpopulation) Normen sollten im Testmanual dokumentiert werden, damit Anwender*innen die Angemessenheit der Normen in Hinblick auf die Fragestellung beurteilen können Erhebungsdesign bzw. Grad der Repräsentativität hinsichtlich der Zielpopulation Stichprobenumfang und -zusammensetzung Deskriptivstatistiken (Mittelwert und Standardabweichung müssen berichtet werden) Jahr der Datenerhebung Normen müssen alle 8-10 Jahre erneuert werden es wird empfohlen alle 8 Jahre die Normen zu erneuern Normen in der Praxis   In Manualen sind üblicherweise mehrere Normstichproben angegeben; z.B.:  Separat nach Geschlecht  Gestaffelt nach Bildungsgrad  Gestaffelt nach Lebensalter  Gesamtstichprobe Die Wahl der zum Vergleich verwendeten Normstichprobe ist häufig nicht trivial; die Auswahl ist abhängig von der Fragestellung zu treffen 38 HS 21 Testtheorie Beispiele  Beispiel 1: Testung einer 70-jährigen Pilotin hinsichtlich ihrer Reaktionsgeschwindigkeit. Welche Vergleichsstichprobe soll herangezogen werden? (z.B. Altersnormen? Gesamtstichprobe?) wer von den Alkoholikern trinkt am wenigsten, der darf Auto fahren  macht nicht Sinn, aber ist auch nicht fair, wenn man mit der Gesamtstichprobe vergleicht, Mindesttestwert erreicht, der erforderlich ist, um ein Flugzeug zu führen Kriteriumsorientierte Testwertinterpretation  Beispiel 2: Männer weisen höhere Interessen in Bezug auf handwerkliche Berufe auf als Frauen. Wenn für eine Berufswahl mindestens durchschnittliche handwerkliche Interessen erforderlich sind, welche Vergleichsstichprobe soll für eine weibliche Testperson herangezogen werden? (z.B. Stichprobe der Frauen? Gesamtstichprobe?) wir vergleichen mal Frauen mit Frauen, weil wir nicht nur Männer wollen, macht man oft mit Minderheiten, weil es kein fairer Vergleich ist  Probleme Kriteriumsorientierte Testwertinterpretation Kriterien     Interpretation des Testwertes erfolgt nicht in Bezug zur Bezugsgruppe sondern: Interpretation des Testwertes erfolgt in Bezug auf ein spezifisches inhaltliches Kriterium Unabhängig davon, wie viele Personen das Kriterium erfüllen kann theoretisch von allen, aber auch von keiner einzigen Person erfüllt werden Beispiele:  Pädagogische Diagnostik (Erreichen eines Lernziels, bspw. Sprache lernen: Bestimmte Anzahl Wörter erreichen)  Diagnostik in der Intervention (Evaluation des Erfolgs einer Therapie), jemand hat eine Besserung erlebt, das ist das Ziel, Vergleich mit Referenzgruppe macht hier keinen Sinn  Personalauswahl (Prüfung bestimmter Anforderungen, Selektion), wenn ich nur Bewerber habe, die diese Anforderungen nicht erfüllen, kann ich nicht den besten nehmen, sondern ich muss nochmals suchen  Verkehrspsychologische Diagnostik (Fahrtüchtigkeit), nicht nur die besten bekommen die Fahrprüfung, sondern die, welche die Kriterien erfüllen: wenn keiner erfüllt, bekommt auch keiner (auch nicht der Beste)  Pilotenauswahl (Reaktionszeit) Schwellenwerte        Häufig möchte man auch von Testwerten, die eigentlich Dimensionen erfassen, auf die Zugehörigkeit zu Gruppen schliessen Dazu ist es erforderlich, dass ein Schwellenwert («Cut-Off») festgelegt wird Der Schwellenwert kann beispielsweise inhaltlich mithilfe des Heranziehens der Inhalte der Testaufgabe beschrieben werden Beispiel: Allgemeine Depressionsskala für depressive Symptome mit 20 Items (z.B. "Während der letzten Woche war ich deprimiert/niedergeschlagen“, 0 = nie - 3 = meistens) Kann dieser Test eingesetzt werden, um Depressive von Nichtdepressiven zu trennen? Grafik: Vergleich einer Stichprobe depressiver Patienten (professionell diagnostiziert) mit einer Stichprobe von Personen ohne diese Diagnose Schwellenwerte Problem: Verteilungen/ Skalen überlappen: Gewisse Personen ohne Depression weisen vergleichbaren Wert wie gewisse Personen auf, die Depression haben 39 HS 21 Testtheorie Mögliche Cut-Offs  1: Zwei Standardabweichungen innerhalb der Differenz vom Mittelwert der diagnostizierten Population (alles rechts von 1auch viele, die diagnostiziert werden, haben keine Depression, aber wir machen fast keine Fehler, wir fassen fast alle ein, die eine Depression haben  2: Zwei Standardabweichungen außerhalb der Differenz vom Mittelwert der gesunden Population strenger Schwellenwert, fast niemand wird fälschlicherweise diagnostiziert, aber viele Personen werden auch nicht diagnostiziert, die depressiv sind  3: Näher am Mittelwert der diagnostizierten als der gesunden Population dazwischen, viele werden nicht diagnostiziert, welche eine Depression haben, aber auch geringer Anteil der Personen werden diagnostiziert, die keine Depression haben  Je nach Fragestellung/ was einem wichtig ist (bspw. Arbeitgeber, wählt evtl. eher Schwellenwert zwei, wenn es ihm wichtig ist, das Person sicher keine Depression hat) Klassifikationsentscheidungen  Richtig positiv (RP): Die Testperson erfüllt das Kriterium einer Depression und wird korrekt als depressiv klassifiziert Trefferquote  Falsch negativ (FN): Die Testperson erfüllt das Kriterium einer Depression, wird aber fälschlicherweise als nicht depressiv klassifiziert das ist der schlimmere Fehler hier Verpasserquote  Falsch positiv (FP): Die Testperson erfüllt das Kriterium einer Depression nicht, wird aber fälschlicherweise als depressiv klassifiziert Quote falscher Alarme  Richtig negativ (RN): Die Testperson erfüllt das Kriterium einer Depression nicht und wird korrekt als nicht depressiv klassifiziert Quote korrekter Ablehnungen zwei Dimensionen: «liegt das Kriterium vor» und «wurde die Person als das Kriterium klassifiziert oder nicht» Sensitivität und Spezifität  Alles auf Test bezogen (Sensitivität und Spezifität oft nicht gegeben) Sensitivität 𝑅𝑃 𝐹𝑁 + 𝑅𝑃 1 - Sensitivität 𝐹𝑁 𝐹𝑁 + 𝑅𝑃 Spezifizität 𝑅𝑁 𝐹𝑃 + 𝑅𝑁 1 - Spezifität 𝐹𝑃 𝐹𝑃 + 𝑅𝑁   Trefferquote (richtig beibehalten) Wahrscheinlichkeit, dass eine Person, die das Kriterium erfüllt, als positiv klassifiziert wird (richtig positiv) Verpasserquote (falsch abgelehnt) Wahrscheinlichkeit, ein Kriterium zu erfüllen, aber fälschlicherweise als negativ eingestuft zu werden (falsch negativ) Quote korrekter Ablehnungen (richtig abgelehnt) Wahrscheinlichkeit, dass eine Person, die das Kriterium nicht erfüllt, als richtigerweise negativ eingestuft wird (richtig negativ) Quote falscher Alarme (falsch beibehalten) Wahrscheinlichkeit, ein Kriterium nicht zu erfüllen, aber fälschlicherweise als positiv eingestuft zu werden (falsch positiv) Je nach dem ich den Schwellenwert lege, die Gruppen verändern sich Schwellenwert hat Auswirkungen darauf wie die Klassifikations-entscheidungen ausfallen Ist der Schwellenwert hoch, dann ist die Spezifität hoch und die Sensitivität gering 40 HS 21 Testtheorie Bei hohem Schwellenwert (hohe Spezifität bei geringer Sensitivität)  Wahrscheinlichkeit für «falsch positiv» wäre klein  Gleichzeitig würden jedoch viele Personen, die eine Major Depression haben nicht korrekt klassifiziert Bei geringem Schwellenwert (hohe Sensitivität bei geringer Spezifität)  Wahrscheinlichkeit für „falsch negativ“ wäre klein und es würden fast alle Personen, die eine Major Depression haben korrekt erkannt  Gleichzeitig würden jedoch viele gesunde Personen fälschlicherweise als positiv klassifiziert ROC-Kurve            Die ROC (receiver operating characteristic) Kurve ist eine Methode zur Bestimmung des optimalen Schwellenwertes Mehrere ROC-Kurven sind abgebildet Diese geben Auskunft darüber, wie gut ein Test zwischen Testpersonen, die ein Kriterium erfüllen und den übrigen Testpersonen unterscheiden kann Pro Test gibt es nur eine ROC-Kurve Jeder Punkt auf dieser Kurve steht dabei für einen Schwellenwert Für jeden dieser Schwellenwerte gibt es eine andere Sensitivität und Spezifität (bzw. 1-Spezifität wie in der Abbildung) Verläuft die Kurve nahe der Hauptdiagonalen, kann der Test nicht zwischen den Gruppen unterscheiden. Dieser Test wäre aus diagnostischer Sicht deshalb nicht zu gebrauchen. Werte auf der Gerade Random classifier 50/50 Sensitivität und Spezifität (=Münzwurf) Perfekter Schwellenwert links oben Für jeden Schwellenwert wird die Sensitivität und 1 – Spezifität berechnet Voraussetzung: Es wurde ein vorläufiges Testergebnis ermittelt und die Personen wurden klassifiziert (Diagnose) Der Wert, bei dem Distanz zur Diagonalen am höchsten ist, ist der optimale Schwellenwert mithilfe: Youden Index     Rechnerisch lässt sich der Punkt in der ROC-Kurve über den Youden-Index bestimmen YI = Sensitivität + Spezifität – 1 Mit dem Schwellenwert, für den der YI am grössten wird, gelingt die Trennung der beiden Gruppen am besten Jenseits dieses Punktes steigt die Quote falscher Alarme schneller an, als die Sensitivität zunimmt; es lohnt sich also nicht, den Schwellenwert noch niedriger zu wählen Wenn man die beste Trennung erhalten möchte, dann benutzt man diesen Index 41 HS 21 Testtheorie 08. Vorlesung – 12.11.21 Klassische Testtheorie 1 Konsequenzen von Messfehlern Problemstellung   Wenn eine Person mit demselben Testverfahren mehrmals untersucht wird, schwanken die Werte häufig über die verschiedenen Messungen hinweg Zwei Erklärungen:  Psychologische Merkmale unterliegen permanenten Schwankungen (d.h. es gibt Instabilität)  Psychologische Messungen können die Merkmale nicht genau erfassen (d.h. es gibt Messfehler) => Fokus der Testtheorie Systematische vs. unsystematische Einflüsse   Merkmalsveränderungen = systematische Einflüsse, die oft von großem Forschungsinteresse sind Messfehler = unsystematische Einflüsse, die unabhängig von den Merkmalsausprägungen der Personen sind und Forschungsergebnisse verzerren können damit beschäftigen wir uns Beispiele Systematische Einflüsse (Instabilität Merkmalsveränderungen) Tageszeitliche Schwankungen Jahreszeitliche Rhythmen Winterdepression z.B. Situative Anforderungen (bspw. nicht immer gleich extrovertiert) Lernprozesse Unsystematische Einflüsse (Messfehler) Missverständnisse bei der Instruktion Verwechslung von Antwortoptionen beim Bearbeiten der Aufgabe Fehler bei der Dateneingabe Technische Fehler (z.B. verrutschte Elektrode bei psychophysiologischer Messung) Reifungsvorgänge Psychologische Interventionen wir wollen Veränderungen z.B. bei Therapien Alternative Problemstellung   Wenn eine Person mit zwei Testverfahren untersucht werden, die dasselbe Merkmal erfassen sollen, korrelieren die Testwerte häufig nicht perfekt miteinander Zwei Erklärungen  Die beiden Testverfahren messen unterschiedliche, aber eng zusammenhängende Merkmale  Die beiden Testverfahren können die Merkmale nicht genau erfassen (d.h. auf beide Tests wirken unterschiedliche Messfehler ein) Konsequenzen von Messfehlern     Klassische Testtheorie = Messfehlertheorie Je stärker die Messungen messfehlerbehaftet sind, desto stärker unterschätzt die Korrelation zwischen beobachteten Werten den wahren Zusammenhang der Merkmale Konklusion: Wir brauchen statistische Modelle, die zwischen wahrer Merkmalsvariabilität und Messfehler trennen können, Messfehler komprimieren Und hier kommt nun unsere Klassische Testtheorie ins Spiel - bei der es in ganz zentraler Weise genau darum geht Messfehler von der wahren Varianz trennen 42 HS 21 Testtheorie Grundannahmen der KTT Klassische Testtheorie     Die Klassische Testtheorie ist eine Messfehlertheorie, die für metrische Variablen (= kontinuierliche Variablen) entwickelt wurde Grundidee: Es gibt einen wahren Wert („true score“), der die vom Messfehler bereinigte Merkmalsausprägung repräsentiert, wo kein Messfehler drin ist (fast schon «philosophisch», Gedankenkonstrukt) Der wahre Wert wird als Erwartungswert einer intraindividuellen, d.h. personenspezifischen Verteilung eines Merkmals definiert => wenn man eine Person unendlich Mal gemessen würde, wäre der wahre Wert der Mittelwert dieser Messungen (da sich Messfehler aufheben bei unendlichen Messungen) D.h. der wahre Wert ist ein mathematisches Konstrukt und sollte nicht im Sinne einer physikalischen Eigenschaft missverstanden werden! Gedankenexperiment        Angenommen, man könnte eine Person unendlich oft unter denselben Gegebenheiten mit demselben Instrument untersuchen Dann erhielte man (sofern Messfehler vorliegen) eine intraindividuelle Verteilung der beobachteten Messwerte jedes Mal einen Messwert und diesen immer wieder wiederholen und es gebe eine Verteilung, es muss einen Messfehler vorliegen, sonst würde man immer denselben Wert erhalten Der Erwartungswert (= theoretischer Mittelwert) dieser Verteilung wäre dann der wahre Wert Der Mittelwert wird deshalb verwendet, weil er die Summe der quadrierten Fehler minimiert Erwartungswert des Fehlers sollte 0 sein Eine Person hat immer einen wahren, aber v.a. auch einen Fehlerwert Grafik: Mittelwert interpretiert als wahrer Wert, Varianz als Fehlerwerte Grundgleichung der KTT    Jeder beobachtete Wert ymi einer Person m bezüglich Test i lässt sich zerlegen in den wahren Wert τmi und einen Messfehlerwert εmi (der die Abweichung des beobachteten vom wahren Wert repräsentiert) Über alle n Personen hinweg ist Yi also eine empirisch beobachtbare Variable, die durch zwei Variablen beeinflusst wird zentrale Annahme der klassischen Testtheorie Früher als Axiome bezeichnet sind grundlegende Annahmen, die bewiesen werden müssen und nicht bewiesen werden können ist aber nicht richtig, denn diese kann man überprüfen Eigenschaften von Messfehler und True-Score Variablen Der Erwartungswert einer Messfehlervariablen ist für jede Ausprägung der True-ScoreVariablen gleich 0  Der Messfehler hängt nicht davon ab, wie hoch der wahre Wert ist! (sonst wäre es systematischer Einfluss) Der unbedingte Erwartungswert einer Messfehlervariablen ist gleich 0 mehrmals messen, muss er sich rausmitteln wenn man es immer wieder misst, da die Fehler unsystematisch sind, gehen sie in beide Richtungen (siehe Grafik oben) und heben sich somit nach mehreren Messungen auf) Messfehler- und True-Score-Variablen sind unkorreliert mein wahrer Wert darf nicht mit dem Messfehler korreliert sein  Folgerung von oben Die Varianz einer beobachteten Variablen lässt sich additiv zerlegen in die Varianz der True-Score-Variablen und die Varianz der Messfehler-Variablen wie bei der Grundgleichung, hier einfach auf die Varianz übertragen E(εi|τj) = 0 E(εi) = 0 Cov(εi , τj) = 0 Var(Yi)= Var(τj) + Var(εi) 43 HS 21 Testtheorie Eigenschaften von Messfehler und True-Score Variablen (genau gleich wie oben klarer formuliert)      Werden einzelne Personen mehrfach gemessen, so mitteln sich die Messfehler aus dasselbe Prinzip gilt auch für mehrere Personen, die jeweils einmal gemessen werden Auch der unbedingte Erwartungswert ist Null und hängt nicht vom Wert des True Scores ab Da eine Messfehlervariable nur unsystematische Anteile enthält, ist sie mit jeder anderen True-ScoreVariablen unkorreliert sonst wäre es ein systematischer Einfluss, wenn meine wahre Ausprägung mit dem Messfehler korreliert, wäre Auch die Kovarianz zwischen zwei Itemvariablen lässt sich additiv zerlegen in die Kovarianz der TrueScore-Variablen und die Kovarianz der Messfehlervariablen Zusätzlich wird häufig die Annahme getroffen, dass auch die Fehlervariablen untereinander unkorreliert sind, was in empirischen Anwendungen aber nicht immer gegeben ist funktioniert nicht immer, dann nicht, wenn wir es nicht mit einer perfekt eindimensionalen Messung zu tun haben (nur ein Merkmal wird gemessen) Reliabilitätskonzept der KTT Reliabilität Kennwert dafür, inwieweit beobachtbare interindividuelle Unterschiede durch wahre Merkmalsunterschiede bedingt sind (also wie zuverlässig interindividuelle Unterschiede erfasst werden können) Formel ist da schon drin Theoretische Definition     Die Reliabilität einer beobachteten Variable ist definiert als Anteil der wahren Varianz an der Gesamtvarianz einfaches Verhältnis Varianz einer beobachteten Variablen = Var(Yi) Varianz des True-Scores = Var(τi) Kann Werte zwischen 0 und 1 annehmen  0 bedeutet, dass alle beobachteten Unterschiede messfehlerbedingt, sind Je näher bei 0, desto mehr Varianz besteht aus der Fehlervarianz und desto weniger wahre Varianz liegt vor.  1 bedeutet, dass alle beobachteten Unterschiede auf wahre Unterschiede zurückgeführt werden können, gibt es aber fast nicht Je näher bei 1, desto mehr Varianz kann durch wahre Unterschiede erklärt werden Reliabilität als differentialpsychologisches Mass     Hängt nicht nur von der Messfehlervarianz ab, sondern auch vom Ausmass wahrer Unterschiede zwischen Personen In homogenen Stichproben (mit geringer Varianz der wahren Werte) ist geschätzte Reliabilität bei gleichem Fehlereinfluss geringer als in heterogenen Stichproben Wenn es keine wahren Unterschiede gibt, ist die Reliabilität immer gleich 0! es kann nicht alles nur Messfehlervarianz sein Bspw. wenn ich im Vorlesungssaal IQ erheben würde, wäre Reliabilität nicht so hoch wie normal weil: Überdurchschnittlicher IQ, homogene Gruppe, weniger Varianz Empirische Bestimmung der Reliabilität   Da die True-Score-Varianz und die Messfehlervarianz einer Variablen unbekannt sind, kann die Reliabilität der Variablen nicht ohne weitere Zusatzannahmen bestimmt werden Hierzu muss das Merkmal mindestens zweimal gemessen werden  Paralleltestmethode zwei verschiedene Tests wie hoch korrelieren die Testwerte der Tests 44 HS 21 Testtheorie o    Häufig bei Leistungstests (sowohl Power- als auch Speed), weniger bei Persönlichkeitstests o Übungs- und Transfereffekte nicht auszuschliessen Testhalbierungsmethode man halbiert den Tests wie sind die Testhälfte miteinander korreliert Spearman-Brown-Formel, um Reliabilität wieder zu erhöhen Testwiederholungsmethode o Bei allen Merkmalen verwendbar, auch bei heterogenen Items o Nur sinnvoll, wenn:  Relativ stabile Merkmale erfasst werden  Keine (differenziellen) Lern- oder Übungseinflüsse zu erwarten sind; wenn es allgemeine Übungseffekte sind, die für alle gleich sind, wieder weniger problematisch da Werte gemeinsam angehoben werden und Korrelation somit gleichbleibt, sehr theoretisch o Idealerweise wird für 2. Testung ein Paralleltest verwendet (sehr mühsam) Konsistenzmethode wie sind die Items untereinander einzeln korreliert Messmodelle zur Reliabilitätsbestimmung Messmodelle         Liegen zur Messung eines latenten Konstrukts mehrere Messungen (z.B. in Form von Items) vor, kann anhand eines Messmodells geprüft werden, ob die Items tatsächlich dasselbe Merkmal messen. Voraussetzung zur Schätzung der Reliabilität ist, dass mehrere Messungen (z.B. Items) wirklich dasselbe Merkmal messen (Eindimensionalität) Hat man ein Merkmal mehrmals gemessen, müssen die beobachteten Variablen gewisse Homogenitätsanforderungen (anderes Wort für Eindimensionalität) erfüllen Messmodelle sind dazu da, die Homogenitätsanforderungen zu formalisieren und dadurch prüfbar zu machen o Messmodelle sind dazu da, um uns zu sagen, wie wir die Reliabilität schätzen können Die Zusammenhänge (Kovarianzen) zwischen den beobachteten Variablen (Itemwerten) lassen sich darauf zurückführen, dass diese die gleiche latente Variable erfassen, Annahme der Reliabilitätskonzepte, die Item müssen wirklich dasselbe Merkmal messen Beim Zustandekommen dieser Zusammenhänge kann der Einfluss von gemeinsamen Messfehlern ausgeschlossen werden Grundannahme impliziert, dass  die True-Score-Variablen perfekt korreliert sind  Messfehler unkorreliert sind Wir prüfen mit dem Messmodel diese Annahmen Pfadanalytische Darstellung       Die pfadanalytische Darstellung macht eine Grundannahme von Messmodellen deutlich: Die Messfehler, die auf die beobachteten Variablen Yi einwirken, sind untereinander unkorreliert Drei Variablen sind hier auch unkorreliert: Alles, was gemeinsam ist, soll die latente Variable erklären, es soll nichts mehr übrigbleiben, was korreliert Kreise: latente Variable, Quadrat: gemessene, beobachte Variable Anders formuliert: Dass die beobachteten Variablen Yi miteinander korrelieren, darf nur daran liegen, dass sie das gleiche Merkmal messen (und nicht daran, dass es gemeinsame Messfehlereinflüsse gibt) Messfehler korrelieren auch nicht miteinander! Ein latentes Merkmal Korrelation zwischen den Variablen erklärt und Messfehler unkorreliert 45 HS 21 Testtheorie Messmodelgleichung Grundgleichung der KTT: Jede beobachtete Variable Yi lässt sich zerlegen in eine TrueScore-Variable τi und eine Messfehlervariable εi Die True-Score-Variable τi kann als Funktion der latenten Variablen η dargestellt werden und ergibt sich aus der Summe des Leichtigkeitsparameters a i (Interzept) und der mit dem Diskriminationsparameter (Faktorladung λi) gewichteten latenten Variablen wahre Wert ist abhängig von dem Leichtigkeitsparameters und dem Diskriminationsparamenter Gesamtmodell Yi = τi + εi τi = ai + λi·η Yi = ai + λi · η + εi Stufe der Messäquivalenz     Unterschiedlich strenge Anforderungen an die Gleichheit Messmodelle unterscheiden darin, wie strikt die Annahmen zur Messäquivalenz sind Je nach Stufe der Messäquivalenz weisen die Items andere Messeigenschaften auf, die im Messmodell definiert werden Die Bestimmung der Reliabilität hängt davon ab, welches Messmodell gilt Unterschiede Strenge des Messmodells, hängt ab von: 1. Gleiche Faktorladungen λi: Bilden die beobachteten Variablen Unterschiede auf der latenten Variable gleich gut („äquivalent“) ab? 2. Gleiche Messfehler εi : Sind die Messfehlereinflüsse auf die beobachteten Variablen gleich gross („parallel“)? 3. Gleiche Interzepte/ y-Achsenabschnitte ai: Sind die beobachteten Variablen gleich leicht bzw. schwierig (oder nur „essentiell“ vergleichbar) Es gibt fünf verschiedene Modelle der klassischen Testtheorie!  Modelle auf tieferer Stufe sind Spezialfälle der Modelle auf höherer Stufe  Oben allgemeines Modell, und die anderen werden immer strenger und somit immer restriktiver  Modelle höherer Stufe sind sparsamer  Idealerweise wird das restriktivste Modell ausgewählt, das nicht schlechter auf die Daten passt als die weniger restriktiven Modelle (Parsimonitätsprinzip) Veranschaulichung 46 HS 21 Testtheorie Modell τ-kongenerischer Variablen   Modell mit den wenigsten Restriktionen Geht von eindimensionalen Messungen aus, bei denen sich die latente Variable auf jede Itemvariable unterschiedlich stark auswirken kann (Ladungen können sich unterscheiden)  Keine Gleichheitsrestriktionen für Diskriminationsparameter, Leichtigkeitsparameter, oder Fehlervarianzen  Das Modell hat am wenigsten Restriktionen ist das allgemeinste Modell Grundgleichung der KTT: Jede beobachtete Variable Yi lässt sich zerlegen in eine TrueYi = τi + ε Score-Variable τi und eine Messfehlervariable εi Homogenitätsanforderungen: Die True-Score-Variable τi ergibt sich aus der Summe des τi = ai + λi·η Leichtigkeitsparameters ai (Interzept) und der mit dem Diskriminationsparameter (Faktorladung λi) gewichteten latenten Variablen η wie die Grundgleichung, allgemeinstes Modell Gesamtmodell Yi = ai + λi·η + εi     Zusammenhang zwischen der latenten Variablen und den True-ScoreVariablen der Items für Tau-kongenerische Variablen Sowohl Leichtigkeitsparameter (Achsenabschnitte) als auch die Diskriminationsparameter (Steigungen) der Items dürfen sich unterscheiden aber alle müssen dasselbe Item messen Alle messen das gleiche Item, aber halt unterschiedlich stark => Alles darf variiert werden Modell essentiell τ-äquivalenter Variablen     Geht von eindimensionalen Messungen aus, bei denen die True-Score-Variablen alle gleichermaßen Ausdruck einer gemeinsamen latenten Variable sind und sich nur in der Leichtigkeit und Reliabilität unterscheiden Gleichheitsrestriktionen für Diskriminationsparameter Keine Gleichheitsrestriktionen für Leichtigkeitsparameter oder Fehlervarianzen Dieses Modell ist weder das restriktivste noch das allgemeinste der Modelle Grundgleichung der KTT: Jede beobachtete Variable Yi lässt sich zerlegen in eine True-Score Variable τi und eine Messfehlervariable εi Homogenitätsanforderungen: Gleiche Diskriminationsparameter (Faktorladung λi), d.h., die True-Score-Variablen τi sind alle gleichermaßen Ausdruck einer gemeinsamen latenten Variable η und unterscheiden sich nur in der Leichtigkeit ai (Interzept) und Fehler (εi) Gesamtmodell  Yi = τi + εi τi = ai + 1·η Yi = ai + η + εi Gleiche Diskriminationsparameter/ Faktorladungen (Steigungen), aber Leichtigkeitsparameter (Achsenabschnitte) der Items dürfen sich unterscheiden Modell essentiell τ-paralleler Variablen      Geht von eindimensionalen Messungen aus, bei denen die TrueScore-Variablen alle gleichermaßen Ausdruck einer gemeinsamen latenten Variable sind, nur in der Leichtigkeit unterscheiden Gleichheitsrestriktionen für Diskriminationsparameter und Fehlervarianzen Keine Gleichheitsrestriktionen für Leichtigkeitsparameter (daher „essentiell“) Reliabilität entspricht hier der Korrelation zweier Variablen und ist für alle Variablen gleich Restriktivstes Modell 47 HS 21 Testtheorie Grundgleichung der KTT: Jede beobachtete Variable Yi lässt sich zerlegen in eine TrueScore-Variable τi und eine Messfehlervariable εi Homogenitätsanforderungen: Gleiche Diskriminationsparameter (Faktorladung λi) und Fehlervarianzen Var(εi). D.h., die True-Score-Variablen τi sind alle gleichermaßen Ausdruck einer gemeinsamen latenten Variable η und unterscheiden sich nur in der Leichtigkeit ai Gesamtmodell Yi = τi + εi τi = ai + 1·η Var(εi) = Var(εi) Yi = ai + η + ε Anmerkung    Der Begriff „essentiell“ bedeutet, dass sich die Itemvariablen hinsichtlich der additiven Konstanten (Interzepte) unterscheiden können Werden dagegen zusätzlich gleiche Interzepte für alle Messungen eines latenten Konstrukts angenommen, resultieren die noch restriktiveren Modelle der -Äquivalenz und der -Parallelität Diese äußerst restriktiven Modelle spielen jedoch für die Varianz – und damit für die Reliabilitätsbestimmung – keine Rolle und werden daher hier nicht weiter behandelt Zusammenfassung     Im Modell der τ-Kongenerität sind Faktorladungen und Fehlervarianzen der Items variabel, sodass die Items unterschiedliche Varianzen und Kovarianzen aufweisen können Im Modell essentieller τ-Äquivalenz sind alle Faktorladungen identisch; dies impliziert, dass alle Itemvariablen dieselbe Kovarianz untereinander aufweisen Im Modell essentieller τ-Parallelität sind zusätzlich zu den Faktorladungen auch alle Fehlervarianzen identisch; dies impliziert, dass alle Itemvariablen dieselbe Kovarianz untereinander und außerdem auch dieselbe Varianz aufweisen. In der Praxis fangen wir mit dem allgemeinen Modell an und schauen Schritt für Schritt, ob auch andere Modelle zutreffen können (je restriktiver desto besser, aber nicht schlechter für unsere Daten als die weniger restriktiven Modelle => Parsimonitätsprinzip) 48 HS 21 Testtheorie 09. Vorlesung – 19.11.21 Klassische Testtheorie 2 Wiederholung: Messmodelle Stufen der Messäquivalenz       Messmodelle unterscheiden sich darin, wie strikt die Annahmen zur Messäquivalenz sind Je nach Stufe der Messäquivalenz weisen die Items andere Messeigenschaften auf, die im Messmodell definiert werden Die Bestimmung der Reliabilität hängt davon ab, welches Messmodell gilt Modelle auf tieferer Stufe sind Spezialfälle der Modelle auf höherer Stufe Modelle höherer Stufe sind sparsamer Idealerweise wird das restriktivste Modell ausgewählt, das nicht schlechter auf die Daten passt als die weniger restriktiven Modelle (Parsimonitätsprinzip) Überprüfung der Messäquivalenz         Die Messmodelle mit ihren spezifischen Modellannahmen können explizit formuliert und (anhand der CFA) überprüft werden Passt die modellimplizierte Kovarianzmatrix zu der beobachteten Kovarianzmatrix? Weicht unser empirischer Datensatz zu sehr von dem Modell ab? Anhand eines statistischen Tests kann geprüft werden, ob der Unterschied zwischen der empirischen und der modelltheoretisch implizierten Kovarianzmatrix statistisch bedeutsam ist Konfirmatorische Faktorenanalyse (Sitzung 11) werden wir da noch genauer besprechen nicht nur ein Variablenzusammenhang, man kann prüfen, ob ein ganzes Modell zu den Daten passt, man schaut sich eine ganze Kovarianzmatrix an Sobald geprüft wurde, welches Messmodell zu den Daten passt, weiss man auch, welches Reliabilitätsmass verwendet werden darf. Es gibt diverse Computerprogramme, welche Strukturgleichungsmodelle berechnen. Auch in R gibt es diese Möglichkeit. Es gibt verschiedene Möglichkeiten, die Messäquivalenz zu überprüfen, bspw. mit dem χ2-Test Des Weiteren gibt es deskriptive Gütekriterien, mit denen Modelle beurteilt werden können. χ2-Test       Der χ2-Test kann verwendet werden, um zu überprüfen, ob ein bestimmtes Messmodell für die Daten geeignet ist. Der Test beruht auf der Maximum-Likelihood-Methode, welche häufig für die Überprüfung der Messäquivalenz verwendet wird. Prüft die Nullhypothese, dass sich die modellimplizierte Kovarianzmatrix (und evtl. Mittelwertevektor) nicht von der beobachteten Kovarianzmatrix (und evtl. Mittelwertevektor) unterscheidet Matrizen sind identisch Wenn der X2-Test signifikant (Nullhypothese wird abgelehnt), dann passen die Daten nicht zu dem Modell und wenn er nicht signifikant ist (Nullhypothese kann nicht abgelehnt werden), dann passen die Daten zum Modell Bei statistischen Tests wird geprüft, ob sich die modelltheoretische und die empirische Kovarianzmatrix signifikant voneinander unterscheiden. Die Nullhypothese wäre dabei, dass die Matrizen identisch sind, das Modell also angenommen werden kann Test ist dann nicht signifikant 49 HS 21      Testtheorie Resultierende Prüfgröße ist χ2-verteilt mit s-t Freiheitsgrade o s = Anzahl empirischer Informationen (Varianzen, Kovarianzen, ggf. Mittelwerte) die, die verfügbar sind o t = Anzahl zu schätzender Modellparameter (Fehlervarianzen, Diskriminationsparameter, Varianz der latenten Variablen, ggf. Leichtigkeitsparameter) Im Idealfall will man, dass man mehr empirische Informationen hat, als dass man Parameter schätzen will, mehr Testvariablen verfügen, als dass wir Modellinformationen schätzen wollen (Falls umgekehrt hätten wir keine Freiheitsgrade) Nicht signifikanter χ2-Wert (p > .01) zeigt an, dass das Modell zu den Daten passt Nullhypothese kann nicht abgelehnt werden Eine Voraussetzung für dem χ2-Test ist die Normalverteilung der manifesten Variablen. Ist die Annahme der Normalverteilung verletzt, kann eine Korrektur des χ2-Test vorgenommen werden. Beispiel: Realness Scale wir wollen schauen, wenn wir diese 3 Items nehmen, was für ein Modell der Äquivalenz passt Empirisch beobachtete Mittelwert- und Kovarianzstruktur Insgesamt 9 verfügbare Informationen (3 Mittelwerte, 3 Varianzen, 3 Kovarianzen) haben wir in der Stichprobe von 505 Personen beobachtet Beispiel Empirisch beobachtete Kovarianzmatrix Modellimplizierte Kovarianzmatrix 50 HS 21 Testtheorie Messmodell τ-kongenerischer Variablen Wie wird das abgebildet? Pfadanalytische Darstellung p = unterschiedliche Faktorladungen (= Diskriminationsparamenter), da erlaubt in diesem Modell ɛ = unterschiedliche Fehlervarianzen Implementierung in R Modell τ-kongenerischer Variablen Zunächst muss das Modell nach gewissen Konventionen spezifiziert werden Zur Schätzung eines Messmodells kann man die Funktion CFA (= conformatory factor analysis) aus dem Paket lavaan verwenden. Fit = Objektiv in dem das gespeichert werden soll in Prüfung: keine Fragen zu dieser Formel 51 HS 21 Testtheorie Beispiel- Ergebnisse Problem: Rechts sieht man, dass 9 Parameter (t) geschätzt werden müssen => oben haben wir gesehen, dass wir 9 Informationen (s) haben => s-t = 9-9 = 0  Wir erhalten keine Chi-Quadrat-Prüfgrösse da wir 0 Freiheitsgrade haben  Das nennt man «Perfekte Passung», heisst aber nur so, weil wir es nicht überprüfen können  Passt das Modell nun gut zu den Daten? Müssen wir bei 3 Variablen einfach so akzeptieren, da wir ja keine Prüfgrösse haben  Es braucht immer mindestens 1 Freiheitsgrad, um die Prüfgrösse zu ermitteln  Bei vier Variablen hätten wir genügend Freiheitsgrade  Wieso müssen wir 9 Parameter schätzen? o Zuoberst sehen wir unsere Faktorladungen: Normalerweise wird eine Faktorladung auf 1 gesetzt, um die Skalierung zu bestimmen => müssen nicht mehr geschätzt werden o Zusätzlich müssen die Interzepte geschätzt werden Itemreliabilität bestimmen: 1. Standardisierung der Fehlervarianz  1 – standardisierte Fehlervarianz = Reliabilität des Items  Da dann die Fehler weg sind, nur noch «normale» Varianz  Diese Fehlervarianzen sieht man im untersten Block ganz rechts 2.  Quadrieren der standardisierten Faktorladungen  Alternativ kann man die standardisierten Faktorladungen quadrieren: 0.692 quadrieren das sind die Faktorladungen dann ergibt sich auch die Itemreliabilität (Anteil der beobachteten Varianz, die dieses Item aufklärt) Wir können, da die Modelle geschachtelt sind, schauen, ob das strenge Modell signifikant von diesem Model abweicht, also ob es besser oder schlechter ist 52 HS 21 Testtheorie Messmodell essentiell τ-äquivalenter Variablen Pfadanalytische Darstellung 1 = Faktorladungen sind alle gleich (Diskriminationsparameter) ɛ = unterschiedliche Fehlervarianzen Implementierung in R Modell essenziell τ-äquivalenter Variablen Beispiel   Wir haben zwei extra Informationen, da nicht mehr nur die Faktorladung eines Items auf 1 gesetzt ist, sondern die Faktorladungen aller Variablen ist signifikant => Signifikant heisst, dass Modelle ungleich sind! o Faktorladungen können also in der Realität nicht gleichgesetzt werden o Wenn wir hier merken es passt nicht, dann passen alle anderen Modelle auch nicht, weil diese ja geschachtelt sind 53 HS 21 Testtheorie Fazit      Das Modell τ-äquivalenter Variablen muss verworfen werden Damit müssen auch die noch restriktiveren Modelle verworfen werden Wir gehen hier also von einem Modell τ-kongenerischer Variablen aus Items messen die latente Variable mit unterschiedlicher Diskriminationsfähigkeit und Zuverlässigkeit und unterscheiden sich auch in ihrer Leichtigkeit Somit müssen wir Omega zur Reliabilitätsschätzung nutzen (hier ω = .85) Messäquivalenz und Reliabilität    Die verschiedenen Stufen der Messäquivalenz implizieren Gleichheit vs. Ungleichheit der Itemvarianzen und -kovarianzen Da die Reliabilität als Varianzverhältnis definiert ist, ist die Stufe der Messäquivalenz auch für die Reliabilitätsschätzung zentral Art der Reliabilitätsschätzung ist also abhängig von der Stufe der Messäquivalenz Modellvoraussetzung Modell τ-kongenerischer Variablen Koeffizient McDonalds Omega Modell (essenziell) τ-äquivalenter Variablen Cronbachs Alpha Formel (Omega darf man auch nutzen, aber nicht Spearman-BrownFormel) Modell (essenziell) τ-paralleler Variablen Spearman-Brown-Formel der Testverlängerung McDonald’s Omega        Anteil der wahren Varianz an der Gesamtvarianz der Testwertvariablen Es wird berechnet, indem der Anteil der wahren Varianz geteilt wird durch die Summe aus der wahren Varianz und der Fehlervarianz Basiert auf dem Modell der τ-Kongenerität Kann nicht nur bei τ-kongenerischen Modellen benutzt werden kann auch für essentiell τ-äquivalente und essentiell τ-parallele Modelle berechnet werden Führt zu angemessener Schätzung der Reliabilität, wenn alle Itemvariablen eindimensionale Messungen desselben Konstrukts darstellen Voraussetzung für die Reliabilitätsbestimmung mit dem McDonalds Omega sind unkorrelierte Messfehler Setzt keine Gleichheitsrestriktionen bezüglich der Diskriminationsparameter/Faktorladungen und Fehlervarianzen voraus 54 HS 21 Testtheorie Cronbach’s Alpha        Anteil der wahren Varianz an der Gesamtvarianz der Testwertvariablen Alle Itemvariablen müssen dieselbe Kovarianz untereinander aufweisen Basiert auf dem Modell der (essenziellen) τ-Äquivalenz Führt zu angemessener Schätzung der Reliabilität, wenn alle Itemvariablen eindimensionale Messungen desselben Konstrukts darstellen und gleiche Faktorladungen aufweisen Vom Cronbach’s Alpha kann nicht auf die Dimensionalität der Messung geschlossen werden Berücksichtigt auch Anzahl der Testitems (p) Setzt keine Gleichheitsrestriktionen bezüglich der Fehlervarianzen voraus Spearman-Brown-Formel der Testverlängerung       Spearman-Brown-Formel dient dazu, die Reliabilität eines Tests zu berechnen, nachdem man seine Länge verändert hat (Länge = Anzahl Items) Basiert auf dem Modell der (essenziellen) τ-Parallelität Führt zu angemessener Schätzung der Reliabilität, wenn alle Itemvariablen eindimensionale Messungen desselben Konstrukts darstellen, gleiche Faktorladungen und gleiche Fehlervarianzen aufweisen Die Formel kann auch verwendet werden, um zu berechnen, wie viel länger ein Test sein müsste, um seine Reliabilität auf einen bestimmten Wert anzuheben Aber: o Items müssen von gleicher Qualität sein o Praktische Grenzen der Testverlängerung (Zumutbarkeit, Ermüdung, Motivation) Spearman-Brown-Formel kann nur bei Modellen der essentiellen τ-Parallelität berechnet werden und ist somit strenger als Cronbach’s Alpha Beispiel: Testverlängerung        Ein Test hat 20 Items und eine Reliabilität von. 70 Es soll eine Reliabilität von .90 erreicht werden Bei welcher Testlänge (Itemanzahl) wir diese Reliabilität erreicht? Lohnt sich die Verlängerung? Items müssen von gleicher Qualität sein Praktische Grenzen der Testverlängerung (Zumutbarkeit, Ermüdung, Motivation) Kosten Schätzung individueller Merkmalsausprägungen Zentrales Anliegen der Psychodiagnostik     Messung individueller Ausprägungen von Merkmalen Ziel: inter- oder intraindividuelle Vergleiche latenter Merkmale (Vergleich von Werten zwischen Personen, oder z.B. vorher und nachher von einer Therapie) Latente Merkmalsausprägungen werden über manifeste Werte der Itemvariablen geschätzt Grundsätzlich: Nur reliable Messungen führen zu aussagekräftigen Punktschätzungen, die besonders für diagnostische Fragestellungen eine zentrale Voraussetzung darstellen um auch ein enges Konfidenzintervall zu haben Messung latenter Personenmerkmale   Ähnlich zur Regression kann anhand der beobachteten Itemwerte einer Person ihr erwarteter Wert auf der latenten Variablen η („Faktorwert“) geschätzt werden wie eine lineare Regression Hierfür wird aus den Modellparametern für jede beobachtete Variable i ein „Faktorwertkoeffizient“ berechnet 55 HS 21      Testtheorie Diese Koeffizienten fungieren bei der Vorhersage anhand der beobachteten Variablen als Regressionsgewichte In lavaan können Faktorwerte mit der Funktion predict(fit) geschätzt werden Häufig wird zur Schätzung der latenten Merkmalsausprägung einfach der Summen- oder Mittelwert der Items verwendet ist üblich Dieser Wert ist aber eigentlich nur bei (essenziell) τ-parallelen Variablen proportional zum Faktorwert da alle die gleichen Faktorladungen haben, wenn man die Werte zusammennimmt, dann werden die Variablen nicht gewichtet für ihre Bedeutsamkeit, wenn sie alle gleich sind, kann man sie zusammennehmen Liegt z.B. ein τ-kongenerisches Modell und somit Unterschiede in den Faktorladungen vor, ist die Bedeutung des Summen- oder Mittelwerts nicht (völlig) klar Konfidenzintervall             Wie gut stimmt Yi mit dem wahren Wert Ti überein? Hängt von der Reliabilität des Tests ab, es kommt darauf an, wie gross unser Messfehler ist Ausmaß der Unsicherheit kann durch Konfidenzintervall um den geschätzten wahren Wert quantifiziert werden Gibt den Bereich an, in dem der wahre Wert Ti mit einer bestimmten Irrtumswahrscheinlichkeit liegt Das Konfidenzintervall kennzeichnet den Bereich um einen Testwert, in dem sich mit einer z.B. 95% Sicherheit der wahre Wert befindet Das Konfidenzintervall kann ohne Standardisierung berechnet werden Schritt 1: Zunächst muss der Standardmessfehler bestimmt werden (gibt an, wie stark die zufälligen Messfehler um den wahren Wert streuen)  SE ist der Standardmessfehler = Wurzel aus der Fehlervarianz  SD Y ist die Standardabweichung des Tests  Rel (Y) ist die Reliabilität des Testverfahrens Wie zu erkennen ist, wird der Standardmessfehler mit ansteigender Reliabilität kleiner und mit abnehmender Reliabilität grösser Je höher die Reliabilität ist, desto kleiner ist der Standardmessfehler, was auch das Konfidenzintervall schmaler macht Schritt 1: Standardmessfehler bestimmen Schritt 2: z-Wert für gewünschte Irrtumswahrscheinlichkeit bestimmen (diese Grenzen geben den Bereich an, in dem der wahre Wert mit einer Wahrscheinlichkeit von .99 oder .95 liegt)  Konfidenzintervall 95 %: z-Wert zweiseitig = 1.96  Konfidenzintervall 99 %: z-Wert zweiseitig = 2.58 Schritt 3: Bestimmung der unteren und oberen Grenzen des Konfidenzintervalls bestimmt werden Die Grenzen werden berechnet, in dem der z-Wert für die Irrtumswahrscheinlichkeit mit dem Standardmessfehler multipliziert wird, und dann entweder zum Testwert addiert wird (für die obere Grenze) oder vom Testwert abgezogen wird (für die untere Grenze). Beispiel    Intelligenztest mit M =100, SD = 15, Rel(Y) = .89 Person erzielt Testwert (Yi) = 130 Liegt Hochbegabung vor (Irrtumswahrscheinlichkeit: 5%)? 56 HS 21 Testtheorie Ich kann nicht ausschliessen, dass mein wahrer Wert unter 130 liegt, somit kann ich nicht davon ausgehen, dass ich hochbegabt bin  Welchen Testwert müsste eine Person erreichen, um zu der Gruppe der hochbegabten gezählt zu werden?  Antwort: 140 Konfidenzintervall kleine Konfidenzintervalle sind besser Empfehlung   Da mit sinkender Reliabilität die Konfidenzintervalle nicht nur sehr breit, sondern auch die Punktschätzungen ungenau werden, sollten Tests mit einer Reliabilität Rel (Y) < .80 für die Individualdiagnostik möglichst nicht verwendet werden. Besonders bei der Individualdiagnostik (auch auf Populationsebene) ist es wichtig, dass das Konfidenzintervall nicht zu breit wird, um eine genauere Einschätzung treffen zu können Kritische Differenzen    Wie hoch muss der Unterschied zwischen zwei Testwerten mindestens ausfallen, damit man ausschliessen kann, dass der Unterschied auf den Messfehler zurückzuführen ist? Unterscheiden sich zwei Testwerte aus einem Test? Unterscheiden sich zwei Testwerte aus verschiedenen Tests? (Annahme gleicher Standardabweichungen, z.B. durch Standardisierung) 57 HS 21 Testtheorie Beispiel 1    Heike hat einen niedrigen Testwert im verbalen (Y = 105) als im mathematischen (Y = 120) Subtest eines Intelligenztests Ist Heike’s verbale Intelligenz niedriger als ihre mathematische Intelligenz? M = 100, SD = 15, Rel(Mathe) = .90, Rel(Verbal) = .80 kritische Differenz, die mindestens vorliegen muss Beispiel 2       Zwei Studierende füllen einen verbalen Intelligenztest aus. Person A erzielt dabei 125 Punkte, Person B dagegen 110 Punkte. Der Mittelwert des Tests beträgt 100 Punkte, die Standardabweichung 15. Die Reliabilität des Tests beträgt .80. Ist der Unterschied zwischen den beiden Personen signifikant? Für zα kann 1.96 verwendet werden.  Hier können beide Formeln verwendet werden (Sie sind identisch, wenn man sie umformen würde)bei der zweiten Formel muss man für Rel(Y1) und Rel(Y2) dieselbe Reliabilität nehmen (hier: .80), da es derselbe Test ist 𝐷𝑘𝑟ⅈ𝑡 = 1.96 ⋅ 15 ⋅ √(2 ⋅ [1 − 0.80] = 18.6 Wird 110 + 18.6 gerechnet, ergibt sich ein Wert von 128.6, erst ab diesem Wert kann von einem signifikanten Unterschied gesprochen werden.   Anwendungsbeschränkungen der KTT    Messmodelle der klassischen Testtheorie sind nur zur Analyse metrischer beobachteter Variablen geeignet nicht für dichotome oder kategorialen Variablen Bei Variablen mit geordneten Antwortkategorien sind sie nur eingeschränkt einsetzbar Idealerweise sollte man stattdessen Messmodelle für kategoriale oder ordinale Items verwenden (Item-Response-Theorie) 58 HS 21 Testtheorie 10. Vorlesung – 26.11.21 Grundlagen der Item-Response Theorie Übersicht zur Item-Response Theorie Beobachtbare Variablen (manifeste Variablen) kategorial kontinuierlich kategorial Latente Klassenanalyse Latente Profilanalyse kontinuierlich Latent-Trait-Modelle (basierend auf ItemResponse-Theorie) Latent-Trait-Modelle (basierend auf klassischer Testtheorie) Latente Variablen          Klassische Testtheorie haben wir genutzt, um vom manifesten Antwortverhalten auf kontinuierliche Variablen zu schliessen, um wiederum auf dahinterliegende latente Variablen zu schliessen (welche auch kontinuierlich verteilt waren) Wir brauchen andere Modelle, wenn die beobachtbare oder latente Variable nicht kontinuierlich ist Zwei Klassen von Variablen: Beobachtbare Variablen (manifeste Variable) und latente Variablen Latent-Trait-Modelle: Modelle der letzten zwei Vorlesungen (beide Variablen sind kontinuierlich) Latente Profilanalyse: Erfassung wie häufig ich Tierprodukte esse (= kontinuierliche Variable), basierend auf diesen kontinuierlichen Werten kann ich Typen in der Gesellschaft identifizieren, welche die latente Variable ist, z.B. Flexitarier, Vegetarier, Fleischesser, Veganer unterschiedliche Kategorien von Personen Latente Klassenanalyse: Freizeittypen, Hobbys: Wer spielt Tennis, wer hat ein Pferd? identifiziere dazu noch Typen (z.B. Indoor-Freizeittypen/Outdoor-Freizeittypen) Latent-Trait-Modelle: Wir beobachten eine kategoriale Variable und wollen auf eine kontinuierliche Variable schliessen Bspw. Intelligenztest, bei dem Aufgaben entweder richtig oder falsch sein können (kategorial), und wollen auf Intelligenz schliessen Ziel der Gruppenbildung Übersicht zur Item-Response Theorie Oberbegriff für Messmodelle mit kategorialen beobachtbaren Variablen (d.h. Items) und kontinuierlichen latenten Variablen (d.h. wahren Merkmalsausprägungen)  Gruppe von Verfahren alle Modelle = ItemResponse-Theorie  Eindimensional: Nur eine latente Variable 59 HS 21 Testtheorie Grundlegende Idee       Annahme einer stochastischen (Wahrscheinlichkeitsbeziehung) Beziehung zwischen dem beobachtbarem Antwortverhalten einer Person (Item-Response) und die latenten Variable (Persönlichkeitsmerkmal) Wahrscheinlichkeitsbeziehung wird in einer logistischen Funktion dargestellt (Siehe Grafik) Lösungswahrscheinlichkeit von 0-1, 0: Ich löse es auf keinem Fall, 1: Ich löse es auf jeden Fall Lösungswahrscheinlichkeit wird dabei zum einen von der Aufgabenschwierigkeit und zum anderen von der Merkmalsausprägung der Person bestimmt Die beobachtbaren Variablen liegen in Form von kategorial geordneten (oder auch dichotomen) Antworten vor, die wahren Merkmalsausprägungen sind dagegen kontinuierlich. Auch bei der Item-Response-Theorie ist eine Voraussetzung, dass die Itemvariablen nur eine latente Variable erfassen, es wird demnach von Eindimensionalität ausgegangen Verteilung von dichotomen Items Itemschwierigkeit     Eine dichotome Variable Yi kann zwei Ausprägungen annehmen, z.B. 0 (= falsch) und 1 (= richtig) Die Itemschwierigkeit ist die Wahrscheinlichkeit, dass Yi den Wert 1 annimmt, also P (Yi =1) Die Itemschwierigkeit kann anhand des Stichprobenmittelwerts erwartungstreu geschätzt werden Wahrscheinlichkeit von 1 Itemschwierigkeit Itemvarianz    Die Itemvarianz entspricht dem Produkt der Wahrscheinlichkeiten der beiden Antwortkategorien:  P(Yi =1) * P(Yi =0) Wahrscheinlichkeit das Item zu lösen * die Wahrscheinlichkeit das Item nicht zu lösen Umso grösser die Itemvarianz, je ähnlicher die beiden Wahrscheinlichkeiten sind (maximal .25) Ergibt sich direkt aus der Itemschwierigkeit (siehe Vorlesung 6) Produkt-Moment Korrelation      Bivariate Zusammenhänge von dichotomen Variablen werden häufig mit der Produkt-MomentKorrelation berechnet Diese wird bei dichotomen Variablen Phi (φ) genannt Merke: Phi hat häufig einen eingeschränkten Wertebereich (kann also nicht den maximalen Wert von 1 erreichen) Phi kann nur 1 sein, wenn beide Variablen die gleiche Schwierigkeit haben Phi ist umso kleiner, je unterschiedlicher die Schwierigkeiten der beiden Items sind Annahmen und Eigenschaften des Rasch-Modells (1 PL Modell) 1 PL = 1 Parameterlogistisches Modell, nur 1 Parameter, der besonders wichtig ist neben dem Personenparameter Annahmen des Rasch-Modells   Annahme 1: Alle beobachteten Variablen erfassen in homogener Weise das gleiche latente Merkmal („Rasch-Homogenität“) auch in der KTT dieselbe Annahme kann man auch überprüfen Annahme 2: Über das latente Konstrukt hinaus bestehen keine Zusammenhänge zwischen den beobachteten Variablen („Lokale stochastische Unabhängigkeit“) 60 HS 21 Testtheorie Annahme 1: Rasch-Homogenität     Die Annahme geht davon aus, dass alle beobachteten Variablen in homogener Weise das gleiche latente Merkmal erfassen Antwortverhalten/Lösungswahrscheinlichkeit wird nur durch zwei Faktoren erzeugt:  Personenparameter wahre Merkmalsausprägung einer Person/Ausprägung auf der latenten Variable  Itemschwierigkeitsparameter Aufgabenschwierigkeit Bei der IRT wird die Schwierigkeit der Items angeschaut, nicht wie bei der KTT die Leichtigkeit Keine weiteren systematische Einflüsse (z.B. Leseverständnis) auf die Lösungswahrscheinlichkeit eines Items Alle Items messen somit dasselbe latente Merkmal; stellen aber – in Form unterschiedlicher „Itemschwierigkeiten“ – unterschiedlich hohe Anforderungen an die Testpersonen Annahme 1 (Rasch-Homogenität) kommt in der Grundgleichung des Rasch-Modells zum Ausdruck Annahmen mit Formel darstellen Wahrscheinlichkeitsformel Eulersche Zahl: fester Parameter       Nur abhängig vom Itemschwierigkeitsparameter und dem Personenparameter Je geringer der Personenparameter und je höher Itemschwierigkeitsparameter), desto geringer ist die Lösungswahrscheinlichkeit Je grösser der Personenparameter und je geringer die Itemschwierigkeit, desto höher die Lösungswahrscheinlichkeit Diese logistische IC-Funktion (=Item-Characteristic) besagt, dass bei einer höheren Merkmalsausprägung eine höhere Lösungswahrscheinlichkeit resultiert, die asymptotisch gegen 1 geht Mit einer niedrigeren Merkmalsausprägung geht eine niedrigere Beantwortungswahrscheinlichkeit einher, die asymptotisch gegen 0 geht Lösungswahrscheinlichkeit hängt damit nur von 2 Faktoren ab: Merkmalsausprägung und Itemschwierigkeitsparameter Merke     Der Itemschwierigkeitsparameter unterscheidet sich konzeptuell und interpretativ vom Schwierigkeitsindex der Itemanalyse (Sitzung 8) und Interzept in der KTT (Sitzung 7) Schwierigkeitsindex beschreibt im dichotomen Fall, die mit 100 multiplizierte relative Lösungshäufigkeit eines Items beschreibt die Schwierigkeit, desto tiefer, desto schwieriger Leichtigkeitsparameter der KTT (Interzept) beschreibt die inhaltliche Leichtigkeit im Sinn der latenten Variable Itemschwierigkeit in der IRT beschreibt die Schwierigkeit im inhaltlichen Sinne der latenten Variable 61 HS 21 Testtheorie Beispiel In den letzten 2 Wochen, habe ich… 1. mir häufig Sorgen gemacht. 2. mich völlig antriebslos gefühlt. 3. das Leben als völlig sinnlos empfunden. 4. wenig positive Gefühle empfunden. dichotome Items: entweder ja oder nein   Nehmen wir an, dass sich für Item 4 („In den letzten 2 Wochen habe ich wenige positive Gefühle empfunden“) in einer Stichprobe ein geschätzter Schwierigkeitsparameter von 𝛼 =-1.00 ergeben hat dieses -1 ist geschätzt und normiert Wir setzen diesen Wert nun in die Gleichung ein und berechnen für Personen mit verschiedenen Ausprägungen auf der latenten Variable (“Personenwerten“) die erwartete Wahrscheinlichkeit, das Item zu bejahen y-Achse: Lösungswahrscheinlichkeit von 0-1 x-Achse: Latente Variable Personenparameter Diese Person hat auf der latenten Variable einen Wert 0 und unsere Itemschwierigkeit war -1. einsetzen in die Gleichung Erhalten dann eine Lösungswahrscheinlichkeit von .73 Diese Person hat auf der latenten Variable einen Wert -1 und unsere Itemschwierigkeit war -1. einsetzen in die Gleichung Erhalten dann eine Lösungswahrscheinlichkeit von .5 Diese Person hat auf der latenten Variable einen Wert 2 und unsere Itemschwierigkeit war -1. einsetzen in die Gleichung Erhalten dann eine Lösungswahrscheinlichkeit von .95 Was geschieht also, wenn der Personenparameter und die Itemschwierigkeit den gleichen Wert aufweisen?  Wir erhalten eine Wahrscheinlichkeit von 50%! 62 HS 21 Testtheorie Itemcharakteristische Funktion Beispiel Item Y4 mit Schwierigkeitsparameter von 𝛼 =-1.00 Bedeutung des Schwierigkeitsparameters Beispiel Item Y4 mit Schwierigkeitsparameter von 𝛼 =-1.00  Der Schwierigkeitsparameter α entspricht der Stelle von η, an der die geschätzte bedingte Lösungswahrscheinlichkeit des Items 0.5 ist.  Je grösser α, desto geringer die bedingte Lösungswahrscheinlichkeit, d.h. desto schwieriger das Item.  Ein Item ist schwieriger, je höher der Schwierigkeitsparameter ist. Schwierigkeitsparameter und Personenwerte Beispiel Item Y4 mit Schwierigkeitsparameter von 𝛼 =-1.00  Schwierigkeitsparameter αi und Personenwerte ηm lassen sich auf derselben Skala (Joint Scale) anordnen. Die Wahrscheinlichkeit, dass eine Person m ein Item i löst (bzw. im Sinne des Konstrukts antwortet), hängt nur von der Differenz ηm – αi ab.  Beispiel: Personen 1, 2 und 3 mit den Personenwerten -2, 0 und 2.  Wenn die Differenz zwischen Personenparameter und Itemschwierigkeit negativ ist, dann ist die Lösungswahrscheinlichkeit geringer 0.5  Wenn der Personenparameter und die Itemschwierigkeit genau übereinstimmt, dann ist die Lösungswahrscheinlichkeit 0.5  Wenn der Personenparameter grösser ist als die Itemschwierigkeit, dann ist die Lösungswahrscheinlichkeit grösser als 0.5 Parallelität der Itemcharakteristiken Beispiel Items Y4 (𝛼 =-1.00) in blau und Y1 (𝛼 =-2.28) in rot  Im Vergleich zu Y4 ist Y9 also leichter (der Schwierigkeitsparameter ist kleiner), da die geschätzte bedingte Lösungswahrscheinlichkeit für alle möglichen Werte von η größer ist.  Wichtige Eigenschaft des Rasch-Modells: Die Itemcharakteristikkurven können sich nur hinsichtlich der Lage/Position, aber nicht hinsichtlich der Form unterscheiden alle haben dieselbe Form  Die gleiche Steigung, verschieben sich einfach auf der x-Achse 63 HS 21 Testtheorie Spezifische Objektivität der Vergleiche Beispiel Items Y4 (𝛼 =-1.00) in blau und Y1 (𝛼 =-2.28) in rot  Alle Steigungen sind gleich  Differenz zwischen zwei Personenwerten ist gleich, egal welches Item betrachtet wird (d.h. Vergleich zweier Messobjekte ist unabhängig vom Messinstrument)  Vergleich der Merkmalsausprägungen zweier Personen kann unabhängig davon erfolgen kann, ob einfache oder schwierige Items verwendet werden  Differenz zwischen zwei Schwierigkeitsparametern ist für alle Personen gleich => Vergleich der Schwierigkeitsparameter zweier Items kann unabhängig davon erfolgen, ob Personen mit niedrigen oder hohen Merkmalsausprägungen untersucht werden  …das heisst aber nicht, dass jedes Item über die Merkmalsausprägungen verschiedener Personen gleich viel Information liefert…  Vorteilhaft, weil ich nicht mehr alle Items vorgeben muss  Items diskriminieren immer am besten, wenn die Lösungswahrscheinlichkeit 0.5 ist, haben dann am meisten Varianz, d.h. wenn die Itemschwierigkeit genau mit der Merkmalausprägung übereinstimmt Iteminformationsfunktion (Varianz) Beispiel Item Y4 mit 𝛼 =-1.00  Items unterscheiden sich in ihrem Informationsgehalt bei verschiedenen Personenparametern  Höchster Informationszuwachs am Wendepunkt der Itemcharakteristischen Funktion (wenn Personenparameter mit den Schwierigkeitsparameter übereinstimmt) => 50/50 Wahrscheinlichkeit  Varianz (y-Achse) ist dann am höchsten, wenn die Itemschwierigkeit mit dem Personenparameter übereinstimmt  Bei η=-1 ist Item Y4 am informativsten, da Lösen und Nicht-Lösen (bzw. Bejahen und Verneinen) gleich wahrscheinlich sind  Wenn der Unterschied zwischen der Itemschwierigkeit und dem Personenparameter grösser wird, wird die Varianz kleiner Beispiel: Itemschwierigkeit 𝛼i =0  Liegen die Personenparameter wie im Fall von η1 = -1 und η2 = 1 nahe bei 𝛼i = 0, führt die Fähigkeitsdifferenz Δ1 = η2 -η1= 2 der Personen 1 und 2 zu einem grossen Unterschied in der Lösungswahrscheinlichkeit (εi = .73 .27 = .46).  Liegen die Personenparameter wie im Fall von η3 = 2 und η4 = 4 nicht nahe bei 𝛼i = 0, führt die Differenz Δ2 = η4 - η3 = 2 der Testpersonen 3 und 4 trotz gleicher Grösse zu einem geringen Unterschied ε2 in der Lösungswahrscheinlichkeit (ε2 = .98 - .88 = .10).  Wendepunkt der logistischen Funktion liegt immer bei 0.5 Lösungswahrscheinlichkeit abgetragen auf der latenten Variable bzw. Personenparameter, d.h. = Itemschwierigkeit 64 HS 21 Testtheorie Testinformationsfunktion    Für einen aus p Items bestehenden Test lässt sich die Testinformation berechnen Die Testinformationsfunktion gibt an, wie viel Information in den Daten zur Schätzung eines Parameters enthalten ist  Summe der Itemvarianzen Testinformation kann vergrössert werden durch  Vermehrung der Itemanzahl und/oder  Vergrösserung der einzelnen Iteminformationsbeiträge (siehe «Adaptives Testen») die Items geben, die am meisten Informationen bringen Annahme 2: Lokale stochastische Unabhängigkeit       Lokalen stochastische Unabhängigkeit bedeutet, dass die Antworten auf jeder Stufe der latenten Variablen unabhängig voneinander sind. d.h. die Antworten auf zwei Items sind bei gegebener Personenvariable paarweise voneinander unabhängig Die Zusammenhänge zwischen den Items sind allein darauf zurückzuführen, dass sie dasselbe Konstrukt erfassen, Antworten auf unterschiedlichen Items hängen nur von der Ausprägung der latenten Variablen ab Hält man die latente Variable η auf einer lokalen Stufe konstant, ist die Korrelation zwischen Items gleich 0 Ist diese Annahme erfüllt, so hängt die Lösungswahrscheinlichkeit einer Aufgabe von der Ausprägung des latenten Merkmals ab und wird nicht durch die Beantwortung einer vorangegangenen Aufgabe beeinflusst Zentrale Bedingung für die Parameterschätzung und für die empirische Kontrolle der Modellkonformität Die lokale stochastische Unabhängigkeit ist eine Annahme der IRT, aber auch in der Klassischen Testtheorie ist diese Annahme in Form der Homogenitätsannahme enthalten Beispiel   Normale Stichprobe von 100 Personen in der Bevölkerung Positive Korrelation zwischen zwei Items, wenn man das eine mehr bejaht, desto mehr bejaht man das andere das wollen wir ja auch, dass diese korrelieren, da sie ja dasselbe messen sollten  Lokale stochastische Unabhängigkeit besagt, dass diese Korrelation verschwinden soll, wenn wir das latente Merkmal auf einer lokalen Stufe konstant halten  Wir haben eine hypothetische klinische Stichprobe und diese hätten alle genau denselben Wert in der Depression auf der latenten Variable Depression habe alle genau dieselbe Ausprägung, dann sollte die Korrelation verschwinden  Zusammenhang verschwindet Vorzüge des Rasch Modells 1. Summenwert als erschöpfende Statistik    Anzahl der gelösten Aufgaben bzw. bejahten Items (S) ist ein erschöpfender („suffizienter“) Schätzwert für den Personenwert ηm Es kommt nur darauf an, wie viele Items bejaht wurden, nicht aber welche da nach diesem Modell alle Items ja nur ein latentes Merkmal messen und sich die Items alle nicht unterscheiden Entspricht in dieser Hinsicht dem Modell (essentiell) τ-paralleler Variablen (alle dieseleben Fehlervarianzen und dieselben Diskriminationsparameter) 65 HS 21 Testtheorie 2. Stichprobenunabhängigkeit   Auch die Itemparameter sind erschöpfende Statistiken unabhängig von der Stichprobe der Personen unabhängig davon welche Person, das Item bejaht Es kommt nur darauf an, wie viele Personen das Item bejaht haben, nicht aber welche Parameterschätzung Joint Maximum-Likelihood-Schätzung    Das JML-Schätzverfahren ist eine Herangehensweise, bei der gleichzeitig (daher die Bezeichnung „joint“) die Item- und Personenparameter geschätzt werden Iteratives Verfahren, bei dem die Likelihoodfunktion maximiert wird Likelihood-Schätzung zur Schätzung der Parameter sagt nichts über die Passung der Daten mit den Modellannahmen aus (Verfahren müssen wir nicht ableiten können Prüfung) Normierung      Da Personenwerte und Itemparameter nicht eindeutig bestimmt sind, muss man sie für die konkrete Anwendung normieren Was wir messen wollen, ist ja eine latente kontinuierliche Variable und wir nehmen auch an, dass die Itemschwierigkeit kontinuierlich ist Häufig werden Itemparameter innerhalb eines Tests so normiert, dass sie in Summe 0 ergeben („Summennormierung“)  Negative Werte drücken Items mit hoher Lösungswahrscheinlichkeit aus  Positive Werte drücken Items niedriger Lösungswahrscheinlichkeit aus Damit werden auch die Personenparameter normiert  Negative Personenparameter zeigen an, dass Testpersonen geringe Merkmalsausprägungen aufweisen  Positive Personenparameter sprechen für hohe Merkmalsausprägungen Man kann es auch immer anders normieren Überprüfung der Modellpassung      Es muss untersucht werden, ob Modellkonformität besteht, das bedeutet, dass geprüft wird, ob die empirisch gefundenen Daten und die Modellannahmen (zwei Annahmen des Rasch-Modells) zueinanderpassen Das Rasch-Modell hat einige positive Eigenschaften, die es für die Testkonstruktion attraktiv machen (z.B. Summenwert als suffiziente Statistik) Ich kann unterschiedliche Items für unterschiedliche Gruppen verwenden und diese messen dann wirklich immer dasselbe Allerdings muss sichergestellt werden, dass die Annahmen des Modells in der konkreten Anwendung erfüllt sind Hierzu werden verschiedene testbare Konsequenzen untersucht, die sich direkt aus den Annahmen des Rasch-Modells ableiten lassen (entweder Modelltests oder graphisch visuell überprüfen siehe unten) Vorteil dieses Modells: Test kurzhalten, weil ich die Items auswählen kann, die am meisten Varianz erzeugen adaptives Testen: Ich kann für bestimmte Personen genau die Items auswählen, welche mir am meisten Informationen liefern (d.h. am meisten Varianz) 66 HS 21 Testtheorie Gleichheit der Parameter in Substichproben        Aus dem Rasch-Modell folgt, dass die Itemparameter (bei gleicher Normierung) in allen Subpopulationen denselben Wert aufweisen müssen verschiedene Gruppen, aber immer dieselbe Itemparameter Bei bekannten Subpopulationen (z.B. Männer und Frauen) werden die Itemparameter anhand der jeweiligen Substichproben geschätzt und verglichen unterscheiden sich die Parameter oder nicht? Zwei verschiedene Tests: Likelihood-Quotienten Test oder Wald-Test Likelihood-Quotienten Test  Überprüft den gesamten Test (das gesamte Modell)  Vergleicht Passung zwischen Aufgabenparametern und den Daten in Gesamtstichprobe mit Teilstichproben  Signifikantes Ergebnis = Modell gilt nicht (die beiden sind nicht gleich, es gibt einen Unterschied) Wald-Test  Überprüft einzelne Items oder gesamten Test  Vergleich der Schätzungen der Aufgabenparameter in Teilstichproben  bei diesem Test ist es möglich, die Gleichheit von Itemparametern über zwei Stichproben hinweg zu testen  Signifikantes Ergebnis = Modell gilt nicht dann kann man nicht davon ausgehen, dass Rasch-Homogenität vorliegt, weil dann unterscheiden sie sich irgendwie, sie sind nicht gleich man kann auch sagen Rasch-Homogenität liegt vor, aber nur für gewisse Gruppen (z.B. nur für junge Leute) Probleme mit Tests: Bei grossen Stichproben sinkt die Wahrscheinlichkeit, dass ein Verfahren die Voraussetzungen des Rasch-Modells erfüllt (da signifikant bedeutet, dass das Modell nicht gilt) Alternative: Graphischer Test (siehe nächste Seite) Grafischer Modelltest Gegenüberstellung der nach dem Rasch-Modell geschätzten Itemparameter der Testskala „Alltagswissen“ aus dem Adaptiven Intelligenz Diagnostikum, einerseits für Kinder aus Deutschland und der Schweiz, verglichen mit denen aus Österreich  Itemschwierigkeitsparameter liegen genau auf der Geraden also liegt Rasch-Modell vor  Itemschwierigkeitsparameter sind nicht davon abhängig, ob man den Test an deutschen Kindern oder an Schweizer Kindern durchgeführt hat  Die Itemparameter werden in einem Streuungsdiagramm abgetragen je näher die Werte an der Hauptdiagonalen liegen, desto eindeutiger ist die Rasch-Homogenität Itemselektion     Bei Modellinkonformität können Items gegebenenfalls nachgebessert oder entfernt werden o Differential Item Functioning (DIF) kann aber auch modelliert werden (wir lassen es so, aber wenn sich z.B. Männer und Frauen unterscheiden, dann müssen wir berücksichtigen, dass es bei Männern anders ist als bei Frauen und mitmodellieren Moderatorvariable) Wenn Items hinsichtlich ihrer Anforderungen an das interessierende Merkmal über Subpopulationen oder Populationen hinweg systemisch variieren Variable kann man als Moderatorvariable bei der Modellierung berücksichtigen Bei einem Mangel an Modellkonformität kann eine Itemselektion/-revision durchgeführt werden oder ein 2PL-/3PL-Modell verwendet werden. Führt auch dies nicht zu einer Modellkonformität, müssen die Modellannahmen verworfen werden. 67 HS 21 Testtheorie 2- und 3-Parameter Logistische Modelle 2 PL-Modell       Das dichotome Birnbaum-Modell (2 PL-Modell) verwendet ebenfalls die logistische IC-Funktion Im Unterschied zum Rasch-Modell, enthält es zusätzlich zu Personen- und Itemparameter einen Diskriminationsparameter 𝝀𝒊 Während das Rasch-Modell für alle Items dieselbe Steigung der ICFunktion annimmt, erlaubt das 2 PL-Modell unterschiedliche Steigungen Der Diskriminationsparameter beschreibt, wie sensitiv ein Item für Merkmalsunterschiede ist (analog zur Trennschärfe oder dem Diskriminationsparameter aus dem Modell τ-kongenerischer Variablen) Je kleiner der Diskriminationsparameter, desto flacher wird die IC-Funktion und desto schlechter/weniger gut kann das Item Personen mit höherer von Personen mit niedriger Merkmalsausprägung trennen. Andererseits ist ein Zugewinn an Sensitivität im oberen und unteren Bereich der Merkmalsausprägung zu verzeichnen in den Extrembereichen 3 PL-Modell     Das dichotome Rate-Modell von Birnbaum (Dreiparameter Logistisches Modell) verwendet ebenfalls die logistische IC-Funktion Zusätzlich zum 2 PL-Modell verwendet es einen Rate-Parameter 𝝆𝒊 Dieser Parameter berücksichtigt, dass z.B. bei Single-Choice Aufgaben mit 5 Antwortalternativen in einem Leistungstest mit einer 20% Ratewahrscheinlichkeit zu rechnen ist, in einem Leistungstest, bei dem ein Item zwei Antwortoptionen enthält, ist die Wahrscheinlichkeit, per Zufall korrekt zu antworten, 50% Ratewahrscheinlichkeit Bei einer geringen Merkmalsausprägung geht die Lösungswahrscheinlichkeit nicht gegen 0, sondern gegen die Ratewahrscheinlichkeit. 2 Items mit Ratewahrscheinlichkeiten 𝝆𝟏 = 0 und 𝝆𝟐 = .20  Bei geringer Merkmalsausprägung geht Lösungswahrscheinlichkeit von Item 2 nicht gegen 0 (wie im Rasch- Modell) sondern gegen .20, d.h. die Ratewahrscheinlichkeit da man auch mit Raten es richtig haben könnte, unabhängig davon wie der Personenparameter ist  Wenn der Rate-Parameter 𝝆𝒊 = 0 ist, entspricht das Modell dem 2 PL-Modell Adaptives Testen Konventionelles Testen    Alle Personen bearbeiten dieselben Items in derselben Reihenfolge (bei Leistungstests oftmals in aufsteigender Schwierigkeit) Eine zentrale Frage ist, ob leistungsfähigen Personen die ersten („einfachen“) Aufgaben nicht zu leicht und den weniger leistungsfähigen viele der später vorgegeben („schwierigen“) Items nicht zu schwerfallen Vorgabe dieser Items bringt wenig Information 68 HS 21 Testtheorie Adaptives Testen         Beim adaptiven Testen erhalten die verschiedenen Testpersonen unterschiedliche Items Die Auswahl der zu bearbeitenden Items ist am vorherigen Antwortverhalten orientiert Einer Person werden sukzessive (oftmals computerbasiert) diejenigen Items dargeboten, die maximal zur Schätzung ihres Personenwerts beitragen (d.h. deren Schwierigkeit möglichst nah am Personenwert liegt) Der Testperson wird jeweils das Item präsentiert, bei dem der höchste diagnostische Informationsgewinn erwartet wird Eine wichtige Voraussetzung liegt darin, dass alle Items das gleiche Merkmal messen müssen Nach jeder Antwort wird der Personenwert neu geschätzt, bis ein vorher festgelegtes Mass an Präzision erreicht wir Voraussetzung ist eine „Itembank“ mit Rasch-homogenen Items mit unterschiedlicher Schwierigkeit Item-Response-Theorie für Persönlichkeit schwierig wegen Schwierigkeit Ablauf Adaptives Testen   Zu Beginn wird entweder ein Item mittlerer Schwierigkeit vorgegeben (z.B. aus Kalibrierungsstichproben), oder ein „Eisbrecher-Item“, das eine hohe Lösungswahrscheinlichkeit hat (z.B. 80%), um allen Personen einen guten Einstieg in die Testung zu ermöglichen Nach jeder Antwort (Gruppe von Antworten) wird der Personenwert neu geschätzt: Bei Lösung schwierigeres und bei nicht-Lösung leichteres Item  Tailored Testing (computerbasiert)  Branched Testing (paper-pencil) nur bestimmte Aufgabenpakete zu machen abhängig davon wie viele Aufgaben man richtig gelöst hat oder nicht, die Versuchsleitung muss die Antwort jedoch direkt kontrollieren Beispiele 69 HS 21 Testtheorie 11. Vorlesung – 10.12.21 Exploratorische Faktorenanalyse Ziele und Annahmen der Exploratorischen Faktorenanalyse Historisches   Spearman (1904): Beobachtung, dass Schulnoten relativ hoch miteinander korrelierten Annahme, dass jede Schulleistung durch ein gewisses Mass an genereller Begabung (g- Faktor) zustande kommt, aber auch spezifische Begabungen (s-Faktoren) eine Rolle spielen (Generalfaktorenmodell bzw. Zweifaktorenmodell)  Konkurrierendes Modell: Thurstone (1931): Modell mehrerer gemeinsamer Faktoren („Multiples Faktorenmodell“) Es gibt keinen g-Faktor; mehrere (m) gemeinsame Faktoren (F) wirken in unterschiedlichem Mass auf alle Testvariablen. Pro Test gibt es zusätzlich noch jeweils einen spezifischen Faktor. (s, wie vorher) Verschiedene latente Konstrukte (Fi, Fj, Fm) sind dafür verantwortlich, dass unsere Leistung in einer bestimmten Aufgabe so ist wie sie ist.  Grundidee also: Wieso korrelieren Leistungen in verschiedenen Bereichen also miteinander Zielsetzung  Strukturfindung, wir haben noch keine Idee  Die EFA kann als exploratives Verfahren verwendet werden. Sie kann allerdings nicht benutzt werden, um Hypothesen zu prüfen.  EFA wird genutzt, um Erklärungsmodelle für Korrelationen zwischen Itemvariablen durch latente Faktoren zu finden  Annahme, dass latente Konstrukte (z.B. Extraversion) die Beantwortung der Items (z.B. Items aus einem Persönlichkeitstest) beeinflussen Zusammenhänge zwischen Variablen mit möglichst geringer Anzahl von latenten Faktoren erklären kann  Ähnliche Items werden daher von derselben Person ähnlich beantwortet  Ziel ist es, eine möglichst geringe Anzahl latenter Faktoren zu identifizieren, die die Daten gerade noch angemessen abbilden ich muss nicht alles abfragen, wenn ich z.B. schon weiss, dass die Person extravertiert ist Einfachstruktur       „Einfachstruktur“ bedeutet, dass jede Variable möglichst nur auf einem Faktor eine hohe Ladung aufweist und auf die anderen Faktoren nur gering oder am besten gar nicht laden soll EFA soll möglichst geringe Anzahl von Faktoren extrahieren Items sollen mit einem einzigen Faktor klar zusammenhängen, während zu den verbleibenden Faktoren kein oder nur ein minimaler Zusammenhang bestehen soll Erlaubt sparsame Erklärung der erhobenen Testdaten und eindeutige Interpretation der Faktoren (d.h. der inhaltlichen Bedeutung eines hypothetischen Konstrukts) Wollen nicht, dass es zahlreiche möglichen Erklärungen gibt Interpretation möglich: «Dieses Item ist ein Indikator für diesen Faktor» 70 HS 21 Testtheorie Anwendungsbereiche     Mit der EFA kann unter anderem untersucht werden, ob Items aus einem Test unidimensional sind, wie viele Faktoren notwendig sind, um die Informationen zu reduzieren, und wie die erhaltenen Faktoren inhaltlich interpretiert werden können. Datenreduktion, Strukturfindung  Was sind die zugrundeliegenden Dimensionen (Faktoren)? z.B. was ist die Struktur der Persönlichkeit  umfassend, aber sparsam beschreiben  Was ist die geringstmögliche Anzahl von Faktoren, die die Daten noch angemessen wiedergeben? Auswahl geeigneter Items  Welche Items genügen den Anforderungen an einen „guten“ Test? Ausreichend hoch.  Laden alle Items auf einen gemeinsamen Faktor und nicht auf andere? Untersuchung der strukturellen Validität (konfirmatorische Faktorenanalyse)  Laden alle Items auf den intendierten Faktoren?  Lassen sich verschiedene Faktoren unterscheiden? Beispiel Anhand welcher Anzahl an Faktoren können Persönlichkeitsunterschiede umfassend beschrieben werden?    Adjektive, um Persönlichkeit zu beschreiben Personen füllen Fragebogen aus, wie viel ein Adjektiv auf sie zutrifft Daten korrelieren und schauen welche Adjektive zusammenhängen  bestimmte Personen, welche bestimmte Adjektive aufweisen, dass diese auch andere Adjektive aufweisen Was dabei rauskommt: BIG-FIVE, man kann all diese Adjektive zu den Big 5 zusammenfassen EFA vs. CFA Exploratorische Faktorenanalyse (EFA) Theoriefrei („struktursuchend“) Kann nicht zum Prüfen von Hypothesen verwendet werden Datenreduzierend Keine Vorannahmen über Faktorenanzahl oder Zugehörigkeit von Items zu bestimmten Faktoren Konfirmatorische Faktorenanalyse (CFA) Theoriegeleitet („strukturprü fend“) Prüft Hypothesen Gibt Antworten auf die Frage, ob eine (oder mehrere) intendierte/ theoriegeleitete Strukturen zu den Daten passen Konkrete Vorannahmen über Faktorenanzahl oder Zugehörigkeit von Items zu bestimmten Faktoren dieses Item soll auf diesen Faktor laden Wichtige Begriffe    Ladung: Gewichtungskoeffizient des Items auf dem Faktor, bei unkorrelierten Faktoren ist die Ladung auch die Korrelation zwischen Item und Faktor Kommunalität: Anteil der Varianz einer Itemvariable, die durch alle Faktoren aufgeklärt wird (je höher, desto bessere Repräsentation der Variable durch Faktoren) => Eigenschaft eines Items Eigenwert: Anteil der Varianz aller Itemvariablen, die durch einen Faktor aufgeklärt wird (je höher, desto mehr Varianz erklärt ein Faktor) => Eigenschaft des Faktors (ein Faktor hat hohen/ niedrigen Eigenwert) 71 HS 21 Testtheorie o Beispiel: IQ-Test entwickeln, Modell, von dem man hoffen würde, dass ein Faktor einen sehr hohen Eigenwert hat, und falls es andere Faktoren gibt, die sollten nichts damit zu tun haben, diese sollten einen sehr geringen Eigenwert haben  Insgesamt aufgeklärte Varianz = Summe der Eigenwerte der extrahierten Faktoren geteilt durch die Anzahl der Variablen  bezieht sich nicht auf die Kommunalität, sondern auf die Eigenwerte  Wird niemals 100% sein  Faktorwert: Ausprägung einer Person auf einem Faktor  besser als den Summenwert zu nehmen Ablauf EFA 1. Erhebung der Rohwerte  wie Beispiel vorher: Personen nach Adjektiven befragen  Werte werden z-standardisiert 2. Berechnung der Korrelationsmatrix (auch Kovarianzmatrix möglich) 3. Aufstellung eines Faktormodells 4. Auswahl einer faktorenanalytischen Methode 5. Extraktion einer angemessenen Faktorenanzahl  Wie viele Faktoren braucht man? 6. Wahl einer angemessenen Rotationstechnik 7. Beurteilung der Modellgüte und des Ladungsmusters Faktormodell Fundamentaltheorem „Antwortmuster“ einer Person auf mehrere Items kann durch eine endliche Anzahl von gemeinsamen und spezifischen Faktoren erklärt werden  gleiche Gleichung wie letzte Vorlesung  Residualvariable = Spezifischen Anteil einer Aufgabe (bspw. Merkfähigkeit mit Zahlen vs. Merkfähigkeit mit Karten messen) Varianzzerlegung Unter der Annahme, dass die Faktoren nicht mit den Residualvariablen korrelieren, lässt sich die Varianz einer beobachteten Variablen in zwei Teile zerlegen: erklärte und unerklärte Varianz  Wenn ich noch einen Faktor extrahiere, könnte ich die erklärte Varianz erhöhen und die unerklärte reduzieren) Kommunalität und Spezifität   Kommunalität ist, der durch die gemeinsamen Faktoren erklärte, Varianzanteil einer beobachteten Variablen (Summe quadrierter Ladungen pro Item), die Kommunalität liegt zwischen 0 und 1, wobei eine hohe Kommunalität gleichzeitig eine geringere Spezifität bedeutet,  erklärte Varianz Spezifität (Uniqueness) ist der nicht durch die gemeinsamen Faktoren bestimmte Varianzanteil (der sich aus wahren spezifischen Anteilen und Messfehler zusammensetzt), eine Spezifität von 0 bedeutet, dass ein Item vollständig durch die gemeinsamen Faktoren erklärt werden, kann Anteil der Residualvarianz an der beobachteten Varianz 72 HS 21 Testtheorie 1, da wir die Werte z-standardisiert haben! Eigenwert      Der Anteil der Varianz, der ein Faktor über alle Items hinweg erklärt Bei unkorrelierten Faktoren ist dies die Summe der quadrierten Faktorladungen aller Items über einen Faktor hinweg  bei unkorrelierten Faktoren kann man dies direkt berechnen, wenn die Faktoren korreliert sind, ist es ein bisschen komplizierter Je grösser der Eigenwert, desto besser können die Korrelationen der Items durch den Faktor erklärt werden  desto mehr kann erklärt werden, wie die Variablen zusammenhängen, desto mehr Unterschiede zwischen Personen können erklärt werden Entscheidungskriterien zur Faktorenextraktion basieren auf Eigenwerten  wie viele Faktoren man braucht und welche Faktoren bedeutsam sind, wird über die Eigenwerte entschieden, d.h. in der Regel wird angenommen, dass Faktoren mit einem grossen Eigenwert eine Rolle spielen, diese werden extrahiert, während Faktoren mit geringen Eigenwerten als weniger bedeutsam angesehen werden und vernachlässigbar oftmals sind, dazu gibt es bestimmte Regeln, welche wir später noch anschauen Eigenwert des Faktors bestimmt, ob dieser interpretiert wird oder nicht und je höher der Eigenwert, desto bedeutsamer der Faktor Wir haben unser Faktormodell aufgestellt und wir haben jetzt eine Reihe von Items und wir nehmen an, es gibt gemeinsame Faktoren und es gibt spezifische Faktoren, und wir wollen jetzt diese Faktorwerte schätzen, dazu gibt es mehrere Verfahren siehe unten Schätzmethoden Auswahl der Schätzmethode Schätzmethoden 1. Hauptachsenanalyse (Principal Factor Analysis, PFA) 2. Maximum-Likelihood-Faktorenanalyse (ML-EFA) 3. Anderes verbreitetes Verfahren - die Hauptkomponentenanalyse (Principal Component Analysis - PCA) wird hier nicht behandelt   Das Ziel der ersten beiden Verfahren ist, Unterschiede zwischen der empirischen und der modellimplizierter Korrelationsmatrix zu minimieren  wie wir auch in letzter Vorlesung festgestellt haben, es wird wieder die empirische Korrelationsmatrix genommen, welche wir erhoben haben und diese wird mit einer ganzen Reihe von potenziellen, hypothetischen modellimplizierten Korrelationsmatrixen verglichen und die, die am wenigsten abweicht, bei der wird gesagt, die passt gut so, das nehmen wir, das Modell Die PCA (ist im engeren Sinne gar keine Faktorenanalyse) fragt, wie sich die auf eine latente Variable hochladende Variablen durch einen Sammelbegriff (Komponente) zusammenfassen lassen. Dabei gilt die Annahme, dass die Variablen messfehlerfrei erhoben, wurden  anstatt der Varianzen (in der Diagonalen bei der Korrelationsmatrix) stehen da Einsen, da bei der PCA angenommen wird, dass alles messfehlerfrei gemessen wurde, führt auch zu anderen Schätzungen  Leicht anderes Ziel Hauptachsenanalyse (Principal Factor Analysis, PFA)   Eigenwerte als Kriterium für die Faktorenextraktion Berücksichtigt Spezifitäten der Itemvariablen bei der Berechnung der Eigenwerte. Das heisst es wird angenommen, dass ein Teil der beobachteten Varianz nicht durch gemeinsame Faktoren erklärt 73 HS 21        Testtheorie werden kann (Messfehler, wie in der KTT) es wird angenommen, dass es ein Residualwert geben muss Für die Korrelationsmatrix bedeutet dies, dass die Einsen in der Diagonalen durch Schätzungen für die Kommunalitäten der Items ersetzt werden (diese sind entsprechend kleiner als eins und maximal so gross wie die Itemreliabilität  Reliabilität gibt der Anteil der wahren Varianz einer Variable an und der Faktor kann nicht mehr erklären als es wahre Varianz gibt, d.h. die Kommunalität eines Items kann nicht grösser sein, als die wahre Varianz, die es gibt bzw. der Faktor kann nicht höher mit dem Item korrelieren, als das Item mit sich selbst korreliert) Die Hauptachsanalyse fängt da an, sie beginnt Kommunalitäten zu schätzen und gibt dem Items Kommunalitäten und gibt den Items Eigenwerte Iterative Schätzung da anfänglich weder Kommunalitäten noch Eigenwerte bekannt sind („Kommunalitätenproblem“)  alles, was wir haben, sind Varianzen Basierend auf Initialschätzungen für die Kommunalitäten erfolgt Berechnung der Eigenwerte und der Spezifitäten Diese Schätzungen werden dann in einem nächsten Schritt für eine verbesserte Schätzung der Kommunalitäten verwendet, auf die wiederum eine erneute Berechnung der Eigenwerte erfolgt  wird immer wieder gemacht bis eine gute Anpassung an die Varianz-/Kovarianzstruktur erfolgt Man schaut dann wie viele Faktoren kommen da raus Das iterative Vorgehen ist beendet, wenn sich die Schätzung der Kommunalitäten von einer Iteration zur nächsten nicht mehr substantiell ändert das wird „Konvergenzkriterium“ genannt Theoretisch können p-1 Faktoren extrahiert werden (1 Faktor weniger als Items vorhanden sind p= Items) Maximum-Likelihood-Faktorenanalyse       Wieder Ziel, sich an die empirische Kovarianzmatrix anzunähern Annahme, dass die Verteilung der beobachtbaren Itemvariablen einer multivariaten Normalverteilung folgt gilt eigentlich auch für die Hauptachsenanalyse, aber das Verfahren ist ein bisschen weniger anfällig für Fehler Minimierung einer Diskrepanzfunktion (Log-Likelihood Funktion) zwischen der modellimplizierten Korrelationsmatrix und der empirischen Korrelationsmatrix Funktion möglichst klein halten Vorteile: Faktorenanalytisches Modell kann statistisch getestet werden und für die geschätzten Parameter können Standardfehler und Konfidenzintervalle bestimmt werden Nachteil: Aber ziemlich abhängig von Annahme der multivariaten Normalverteilung Die Identifikation eines ML-EFA-Modells muss anhand der Freiheitsgrade des Modells (df) überprüft werden Bei der Maximum-Likelihood-Faktorenanalyse können die Parameter nur geschätzt werden, wenn die Anzahl Freiheitsgrade > 0 ist. Ansonsten ist das Modell nicht identifiziert und die Parameter können nicht geschätzt werden es muss auch hier wieder genügend Freiheitsgrade geben Wir haben unser Schätzverfahren, dieses schätzt Eigenwerte und Kommunalität, jetzt haben wir das geschätzt und jetzt ist die Frage: Wann hört man auf? Wie viele Faktoren brauchen wir denn? Wie viele Faktoren sollen wir extrahieren? Wann soll man aufhören Faktoren zu extrahieren? Abbruchkriterien der Faktorenextraktion Wie viele Faktoren sollen extrahiert werden?    Ziel der EFA besteht darin, ein Modell mit möglichst geringer Anzahl von Faktoren zu finden (möglichst sparsam), das aber trotzdem eine gute Modell-Daten-Passung aufweist Beurteilung der relativen Bedeutung der Eigenwerte: Faktoren, die keine bedeutsame gemeinsame Varianz erklären können, sollten in der weiteren Analyse nicht mehr berücksichtigt werden Um über die Anzahl der relevanten Faktoren zu entscheiden, existieren verschiedene „Abbruchkriterien“ 74 HS 21 Testtheorie Abbruchkriterien     Kaiser-Guttman-Kriterium  einfachste Kriterium, wird manchmal auch Eigenwertkriterium genannt Elbow-Kriterium (auch „Scree-Test“ genannt) Parallelanalyse Modelldifferenztest (nur für ML-EFA) Kaiser-Guttman-Kriterium      Eigenwerte müssen grösser 1 sein (oder grösser als durchschnittlicher Eigenwert)  Modell weist dadurch gute Passung auf Im Falle einer Korrelationsmatrix ist die durchschnittliche Varianz 1 und entsprechend werden Faktoren mit einem Eigenwert grösser 1 als relevant angesehen Es berücksichtigt somit nur solche Faktoren, die mehr Varianz erklären als die Varianz eines durchschnittlichen Items Vorteil: Einfachheit  man muss nicht viel überlegen Nachteil: Es werden in der Regel zu viele Faktoren extrahiert  wir haben also zu viele Faktoren, wir brauchen aber gar nicht so viele, es ist nicht zu streng genug, zu liberal Elbow Kriterium      Beurteilung der relativen Grösse der Eigenwerte Man schaut sich die Eigenwerte im Vergleich an Scree Plot (Faktoren mit kleinen Eigenwerten werden als Geröll unter der Klippe ohne Relevanz erachtet) beim Knick = Geröll, nur die vor dem Geröll sind relevant (Beispiel 1: zwei Faktoren wären relevant) Vorteil: Zuverlässig bei eindeutigem Eigenwerteverlauf (links  man würde zwei Faktoren extrahieren) Nachteil: Unklar bei uneindeutigem Eigenwerteverlauf (b) wo ist der Knick? Parallelanalyse  Wir wollen unsere erhobenen Daten erklären => welche Eigenwerte erhalten wir bei irgendwelchen Zufallsdaten  Ermittlung von Eigenwerten für unkorrelierte Zufallsdaten  kann man sich z.B. mit R erstellen  Diese werden dann mit den empirischen Daten verglichen  Als relevant werden jene Faktoren der empirischen Daten erachtet, die grösser sind als die Eigenwerte der Zufallsdaten Eigenwerteverlauf für das Beispiel (schwarz) und für die Parallelanalyse (grau). Das Kaiser-Guttman-Kriterium ist mit einer gestrichelten Linie für die durchschnittliche Varianz der Items (eins) bzw. einer gepunkteten Linie für den durchschnittlichen Eigenwert der Faktoren (0.55) gekennzeichnet  Simulierte ist die, die auf Zufallsdaten beruht 75 HS 21    Testtheorie Nur die Faktoren extrahieren, welche über der gestrichelten Linie ist (also hier zwei) Durchschnittliche Varianz der Items: Kaiser-Guttman-Kriterium Man sollte am ehesten Parallelanalyse, das ist das Verfahren, das statistisch am sichersten abgesichert ist Item: Antwort auf ein Testitem, welche man erhoben hat, z.B. wie neugierig jemand ist Faktor: Latente Variable, etwas, was ich annehme, dass Zusammenhänge zwischen meinen Testantworten erklären, kann  beobachtete Variablen Modelldifferenztest      Vergleicht die Anpassungsgüte zweier Modelle mit unterschiedlicher Faktorenanzahl Prüfgrösse χ² errechnet sich aus der Differenz der Log-Likelihood-Werte der beiden Modellfunktionen Signifikanter Test = zusätzliche Faktoren erlauben signifikant bessere Anpassung der modelltheoretischen an die empirische Korrelationsmatrix das grössere Modell (d.h. das Modell, welches mehr Faktoren enthält) passt dann besser zu den Daten als das sparsamere Modell Nicht signifikanter Test = das sparsamere Modell mit weniger Faktoren reicht aus, um das Korrelationsmuster der Items abzubilden Sensitiv gegenüber der Annahme der multivariaten Normalverteilung Beispiel: ML-Faktorenanalyse Empirische Korrelationsmatrix   6 Items (3 sollen Empathie, 3 Identitätsprobleme messen) Bei psychischen Störungen gibt es vor allem zwei grosse Bereiche der Probleme Diagonalen: Korrelation der Items mit sich selbst (nicht 1) Wir wollen wissen wie viele Faktoren brauchen wir, um diese Daten abzubilden?  könnte man hier auch die konfirmatorische Faktorenanalyse benutzen? Könnten wir auch theoretisch machen, es ist hier jetzt aber zum Beispiel so, dass wir einfach schauen wollen, wie viele wir benötigen 6 Items, theoretisch könnten wir (p-1) 6-1 Items extrahieren Bartlett-Test auf Sphärizität      Bevor ein faktorenanalytisches Modell spezifiziert wird, kann geprüft werden, ob eine Spezifikation überhaupt sinnvoll ist Hierzu wird die Gültigkeit des Nullmodells geprüft, d.h. dass es in der Population keine Zusammenhänge zwischen den beobachteten Variablen gibt => keine Korrelationen zwischen den Items Wäre das Nullmodell gültig, bräuchte man kein spezifiziertes Modell zur Erklärung der Zusammenhänge  die Korrelationen sind ja insgesamt so gering, dass wir überhaupt das hier uns gar nicht weiter anschauen müssen  prüft ob die Korrelationen überhaupt bedeutsam sind, um eine Faktorenanalyse überhaupt bedeutsam sind Wenn das Nullmodell nicht gilt, dann kann man die Faktorenanalyse anschauen Bei einer Korrelationsmatrix entspricht dieser Test dem sogenannten Bartlett-Test auf Sphärizität 76 HS 21 Testtheorie Spezifikation in R  Zur Schätzung einer Ausgangslösung in R lavaan ist das R-Paket semTools notwendig     Die Schätzung wird mit schrittweise erhöhter Anzahl von Faktoren wiederholt Unrotate = Ohne Rotation Hier sagen wir wie viele Faktoren wir schätzen, hier 1 Dann macht man das immer wieder, mit 2, dann mit 3 usw. dann kann man auch schon vergleichen und schauen, ob das überhaupt noch was bringt, noch mehr Faktoren zu extrahieren Modellgütekoeffizienten X2-Test sollte möglichst nicht signifikant werden dann ist es eine gute Passung zu den Daten RMSEA soll kleiner als 0.05 sein AIC, BIC müssen möglichst klein sein CFI, TLI möglichst gross, grösser als 0.97    Modell mit 2 Faktoren: X2-Wert ist okay, RMSEA ist gut, AIC und BIC deutlich geringer als Modell mit 1 Faktor, CFI und TLI auch sehr hoch  also besseres Modell Modell mit 3 Faktoren: keine Freiheitsgerade mehr, um Sachen zu schätzen, kann keine Gütekoeffizienten mehr schätzen, man kommt nicht weiter mit 3 Faktoren Bei 6 Items macht es sowieso keinen Sinn mehr als 2 Faktoren zu extrahieren, denn man will immer 3 Informationen pro Faktor haben,  wenn wir so viele Faktoren extrahieren, dann können wir auch auf der Itemebene bleiben, die Datenreduktion ist dann nicht gelungen Anfangslösung bei 2 Faktoren Der erste Faktor kontrastiert/ unterscheidet Fähigkeit zur Empathie vs. Fähigkeit zur Identität, die ersten 3 Ladungen sind negativ, und positiv für die letzten 3 Ladungen Der zweite Faktor repräsentiert den Teil, den allen Variablen gemeinsam ist  hohe gemeinsame Faktorladungen, Korrelation zwischen Item und Faktor, das macht keinen Sinn, wie wir damit umgehen, schauen wir noch an 77 HS 21 Testtheorie Bei unkorrelierten Faktoren: Die Kommunalität für y1 ergibt sich z.B. aus (-0.396)2+(0.624)2=.55, d.h. 55% der Varianz der Variable wird durch die beiden Faktoren erklärt Hier Unterschied zur konfirmatorischen Faktoranalyse: Wir haben ja nicht vorher festgelegt, welche Items auf welchen Faktor laden soll, ich habe einfach gesagt, Modell entscheide du das und gib mir erstmal eine erste Lösung  gibt ja unendlich viele Lösung, die das Modell machen könnte Identifizierbarkeit und Anfangslösung    In der Anfangslösung sind die Faktoren unkorreliert Dadurch entspricht die Faktorladung der Korrelation zwischen Variable und Faktor Ausserdem entspricht die Kommunalität (d.h. der Anteil der Varianz einer beobachteten Variablen, der durch Faktoren erklärt wird) der Summe der quadrierten Faktorladungen Höhe der Ladungen     Was bedeutet das, wenn ich die Faktoren extrahiert habe? Die inhaltliche Bedeutung der Faktoren ergibt sich aus den Ladungen Je grösser die Ladung, desto stärker sollte die Variable bei der Interpretation des Faktors berücksichtigt werden Daumenregel, dass Ladungen mit einem Betrag > .30 (oder > .40) bedeutsam sind  Diese Regel ist aber nicht unumstritten, da Faktorladungen mit einem Schätzfehler verbunden sind, der grösser oder kleiner ausfallen kann  Bei EFAs, die auf der ML-Methode basieren, kann die Faktorladung auf Signifikanz geprüft bzw. das Konfidenzintervall der Faktorladung ausgegeben und berücksichtigt werden Ladungsdiagramm         Die Ergebnisse können als Ladungsdiagramm dargestellt werden Was für einen Wert eine Person auf Faktor 1 hat, hat keinen Zusammenhang mit dem Wert, welche die Person auf Faktor 2 hat unkorreliert daher rechtwinklig Die Faktoren entsprechen den Achsen, die Variablen den Punkten Es zeigt sich, dass alle Variablen auf Faktor 2 hochladen, und Faktor 1 zwischen Empathie und Identität differenziert Faktor 2: alle haben einen hohen Wert, Faktor 1 ist der Faktor, welcher zwischen Empathie und Identität differenziert Wie können wir nun die Faktoren interpretieren? => Rotation Wir können mithilfe von den Modellen die Faktoren rotieren und dadurch zu anderen Faktorenladungen kommen Oder weiterer Schritt: Ich akzeptiere, dass die Faktoren korreliert sind, d.h. sie müssen nicht im rechten Winkel stehen, Werte sind dann abhängig voneinander Faktorenrotation Rotation     In unserem Beispiel liess sich die Anfangslösung einigermassen sinnvoll interpretieren, was aber nicht der Fall sein muss Die Anfangslösung ist (bei mehr als einem Faktor) arbiträr und nur eine von vielen möglichen faktoriellen Repräsentationen, die die Datenstruktur mit gleicher Anpassungsgüte beschreiben Ziel: selbst die beste Lösung feststellen, welche ist die beste Rotation Um die Interpretierbarkeit zu erleichtern, werden die Faktoren bzw. Ladungen der Anfangslösung häufig gemäss bestimmter Optimalitätskriterien transformiert („rotiert“) man möchte ja, dass die Items auf einem Faktor sehr hochladen und auf den anderen Faktor sehr niedrig, weil man möchte, dass die Faktoren gut zu interpretieren sind 78 HS 21 Testtheorie Einfachstruktur    Die meisten Rotationsverfahren orientieren sich an Thurstones (1947) Kriterium der Einfachstruktur Damit ist gemeint, dass jede Variable möglichst nur auf einem Faktor eine hohe Ladung („Primärladung“), auf den anderen Faktoren dagegen keine oder nur geringe Ladungen („Sekundärladungen“) aufweisen sollte Um eine Einfachstruktur der Ladungen zu erreichen, können entweder orthogonale oder oblique Rotationen verwendet werden Orthogonale Rotation     Bei orthogonalen Rotationen bleibt die Unkorreliertheit der Faktoren erhalten (d.h. sie stehen weiterhin in einem rechten Winkel zueinander) Varimax-Rotation: Faktoren werden so rotiert, dass die Varianz der quadrierten Ladungen maximiert wird (d.h. dass die quadrierten Ladungen entweder sehr hohe oder sehr niedrige Werte aufweisen)  pro Item schaut man sich die Varianz der Ladungen an und diese soll möglichst gross sein = extreme Unterschiede zwischen den Ladungen Es gibt zahlreiche weitere orthogonale Rotationsverfahren wie z.B. Quartimax, Equamax oder Geomin, die hier nicht behandelt werden Ladungen können wie Korrelationen zwischen Faktoren und Items interpretiert werden, bei der obliquen Rotation ist dies nicht mehr der Fall Oblique Rotation     Oblique Rotationen erlauben korrelierte Faktoren und erreichen häufig eine bessere Annäherung an Einfachstruktur Quartimin-Rotation: Faktoren werden so rotiert, dass die Kovarianz der quadrierten Ladungen, die zu verschiedenen Faktoren gehören, minimiert wird wie die Ladungen zusammenhängen zwischen verschiedenen Faktoren, die wird minimiert Zahlreiche weitere oblique Rotationsverfahren wie z.B. Promax oder Prokrustes, die hier nicht behandelt werden Beachte: Ladungen können nicht mehr wie Korrelationen zwischen Faktoren und Items interpretiert werden, wie das im Fall der orthogonalen Rotation möglich ist Ladungsdiagramme Bei der Anfangslösung: Der eine Faktor ist das, was beiden Konstrukten gleich ist, der andere Faktor ist das, was beide unterscheidet Jetzt: Die drei Items messen das Identitätskonstrukt, die anderen drei das Empathie Konstrukt  Bessere Interpretation  Varimax-Rotation: Einfach im Faktorraum verschoben, Variablen sind immer noch gleich im Verhältnis, was dazu führt, ist, dass auf den Faktor 1 die unteren Items besonders hochladen und auf Faktor 2 die oberen besonders hoch, die unteren gehen bei Faktor 2 gegen null, und bei Faktor 1 gehen die oberen gegen null  sehr viel bessere Lösung für uns zum Interpretieren: bei Faktor 1 scheinen die unteren 3 Items wichtig zu sein, beim Faktor 2 die anderen 3 Items 79 HS 21 Testtheorie  Quartimin-Rotation: Die Items sind noch näher an null, ist also noch besser zu interpretieren als die Varimax-Rotation, dafür gibt man die Unkorreliertheit auf, weil Identitäts- und Empathieprobleme auch korreliert sind => Einfachstruktur hier bei der obliquen Quartamin-Rotation am besten  Es ist eigentlich nicht mehr in einem rechten Winkel, aber zur besseren Veranschaulichung wird es wieder in einen rechten Winkel gezwungen  Darstellung ist hier also irreführend Nochmals: Wir haben in der Faktorenanalyse abstrakte/ latente Faktoren (in Beispiel Identität und Empathie) und die Rotation erlaubt uns, diese interpretierbar zu machen. Spezifikation in R  Zur Rotation in R lavaan ist ebenfalls das R-Paket semTools notwendig Beispiel: Varimax-Rotation Faktor 1 hat bei 1-3 eher niedrige Ladungen, aber bei 4-6 hohe Ladungen  Nicht perfekt, da y3 auch .30 hat bei Faktor (siehe Daumenregel) Faktor 2 haben 4-6 geringe Ladungen, aber bei 1-3 hohe Ladungen z.B. Faktor 1 ist Identität und Faktor 2 Empathie  Faktoren sind unkorreliert, da die VarimaxRotation keine Korrelation zwischen den Faktoren erlaubt Beispiel: Quartimin-Rotation Faktor 1 und Faktor 2 sind hier korreliert, da dies bei der Quartimin-Rotation erlaubt ist Zudem werden Ergebnisse noch höher und besser bzw. klarer und erlauben somit eine noch bessere Interpretation Achtung: Faktoren müssen nicht unbedingt hoch korrelieren  Sollten sie aber sehr gering sein, könnte es allerdings ein Indiz sein, dass oblique Rotation keinen Sinn macht 80 HS 21 Testtheorie Ladungsmatrix und Strukturmatrix   Da bei obliquen Rotationen die Faktoren korreliert sind, entsprechen die Ladungen nicht mehr den Korrelationen zwischen den Faktoren und den beobachteten Variablen Es wird daher bei der obliquen Rotation unterschieden zwischen der Ladungsmatrix und der Strukturmatrix  Die Ladungsmatrix oder Mustermatrix („factor pattern matrix“) enthält die Ladungen im rotierten Faktorenmodell  Die Strukturmatrix („factor structure matrix“) enthält die Korrelationen der Faktoren mit den Variablen Modellevaluation und Itemauswahl Modellgütekoeffizienten   Es gibt verschiedene Modellgütekoeffizienten. Wie hoch die Koeffizienten für eine ausreichende Güte sein sollen, hängt häufig davon ab, wie viele Faktoren ein Modell umfasst. Je nach Koeffizienten unterscheiden sich die Bereiche, in denen die Werte liegen dürfen (manche reichen nur von 0 bis 1, andere können auch höher werden), weshalb keine generellen Aussagen getroffen werden können Itemauswahl   EFA kann dazu verwendet werden, Items zu identifizieren, die einen bestimmten Faktor besonders gut messen Vor der Zusammenfassung solcher Items zu einer Skala sollten mindestens drei Aspekte berücksichtigt werden: 1. Hohe Faktorladungen bei inhaltlicher Validität  hohe Faktorladung (grösser als .30/.40), aber sie sollten sich nicht komplett theoriefrei interpretieren, Items sollten auch zusammen inhaltlich Sinn machen. Bspw. wenn ich Items mit hohen Ladungen finde und auswähle, kann es sein, dass es sich um sehr ähnliche Items handelt => inhaltliche Validität gefährdet, da nicht mehr ganzes Konstrukt abgedeckt ist 2. Möglichst wenige/ keine Sekundärladungen Das bedeutet nicht, dass Faktoren untereinander nicht korrelieren dürfen. Bei der Sekundärladung geht es darum, dass Items auf einen Faktor hochladen sollen (Primärladung) und auf die anderen Faktoren dagegen nur gering (Sekundärladung) 3. Mindestens 3 bis 5 Items pro Konstrukt  wollen die Skala ja noch testen Fazit    EFA dient der Datenreduktion und dem Auffinden von Strukturen, sie sollte nicht eingesetzt werden, wenn klare Hypothesen zur Struktur geprüft werden sollen (siehe CFA) Bei der Durchführung der EFA muss entschieden werden,  mit welcher Methode die Faktoren (bzw. Komponenten) extrahiert werden sollen  wie viele Faktoren (bzw. Komponenten) extrahiert werden sollen  wie die Faktoren rotiert werden, soll, um die Interpretation zu erleichtern  Es liegen viele Entscheidungen in den Händen des Untersuchers  d.h. unterschiedliche Ergebnisse sind möglich Im Rahmen der Testtheorie kann die EFA in verschiedenen Schritten eine Rolle spielen, bei der induktiven Testkonstruktion, aber auch bei der Auswahl von Items 81 HS 21 Testtheorie 12. Vorlesung – 3.12.21 Konfirmatorische Faktorenanalyse (CFA) Grundlagen der Faktorenanalyse Hintergrund    Faktorenanalyse ist eine Verallgemeinerung der Testmodelle, welche wir schon gehabt haben Alle bisher behandelten Messmodelle der KTT und IRT gehen davon aus, dass sich Personen bezüglich des zu messenden Merkmals auf einer gemeinsamen latenten Variablen anordnen lassen, es gibt ein zugrundeliegendes Merkmal (= latente Variable) und diese Variable könnte man auch als einen Faktor bezeichnen Die Messmodelle für metrische beobachtete Variablen können insofern als Spezialfälle der eindimensionalen konfirmatorischen Faktorenanalyse verstanden werden Wiederholung   In allen eindimensionalen Messmodellen werden die beobachteten Variablen in eine gemeinsame latente Variable und Messfehlervariable zerlegt Das allgemeinste eindimensionale Messmodell für metrische beobachtete Variablen ist das Modell τ-kongenerischer Variablen die beobachteten Variablen können sich in den Diskriminationsparameter unterscheiden und auch in den Fehlervarianzen Faktorenanalyse    Die Grundidee der Faktorenanalyse ist eine Verallgemeinerung dieser Messmodelle Hier werden die beobachteten Variablen in eine Linearkombination von latenten Variablen (Faktoren) und Residualvariablen zerlegt Gewichtete Summenbildung der latenten Variablen es gibt also mehrere gemeinsame latente Variablen bzw. Faktoren Messfehler vs. Residualvariablen   Im Unterschied zu den bisher behandelten „True-Score“- Messmodellen wird bei der Faktorenanalyse nicht davon ausgegangen, dass der Anteil einer beobachteten Variablen, der nicht durch die latenten Variablen bestimmt wird, ausschließlich Messfehlereinflüsse repräsentiert Stattdessen wird allgemeiner von Residualvariablen gesprochen, die zwei verschiedene Einflussquellen haben können  Messfehler  Wahrer spezifischer Anteil, der mit keiner anderen Variable im Modell geteilt wird (aber durch Hinzufügen von weiteren Variablen sichtbar werden könnte) hier auch systematische Varianz (im Gegensatz zu der klassischen Testtheorie) Varianzzerlegung Unter der Annahme, dass die Faktoren nicht mit den Residualvariablen korrelieren, lässt sich die Varianz einer beobachteten Variablen in zwei Teile zerlegen: Erklärte Varianz (welche wir durch die Zunahme unserer latenten Faktoren erklären können) und unerklärte Varianz (Residualvarianz: Messfehler und potenzielle systematische Varianz, welche wir nicht erklärt haben) 82 HS 21 Testtheorie Kommunalität und Spezifität   Kommunalität ist, der durch die gemeinsamen Faktoren erklärte Varianzanteil einer beobachteten Variablen (= Summe quadrierter Ladungen pro Item) können wir erklären Spezifität (Uniqueness) ist der nicht durch die gemeinsamen Faktoren bestimmte Varianzanteil (= der sich aus wahren spezifischen Anteilen und Messfehler zusammensetzt) können wir nicht erklären Ziel der Konfirmatorischen Faktorenanalyse (CFA)   Ziel der konfirmatorischen Faktoranalyse ist es, ein Modell, das theoretisch begründet wurde, zu überprüfen und ggf. zu bestätigen oder zu widerlegen o Hierzu muss a priori festgelegt werden, wie viele Faktoren zu Erklärung beobachtbarer Unterschiede und Zusammenhänge benötigt werden und welche beobachteten Variablen auf welchen Faktor laden konfirmatorisch = Theoriegeleitet, wir wollen eine Theorie bestätigen, explorativ = keine inhaltlichen Überlegungen gemacht, struktursuchend, wir wissen nicht, ob ein oder mehrere Faktoren gibt, wir wollen wissen wie die Dimensionalität eines Tests ist oder eines Konstrukts, o z.B. kann man Unterschiede im affektiven Erleben nur durch einen Faktor erklären (d.h. nur eine Dimension: gute Laune, schlechte Laune) oder mehrere Faktoren (zwei Dimensionen: positiver und negative Affekt und diese sind unabhängig voneinander) Vergleich CFA/ EFA EFA: 2 Faktoren; orthogonale Rotation - Gestrichelte Linie = schwache/ keine Ladung Durchgezogene Linie = Ladung auf Faktor  Hier haben also Item 1-3 Ladungen auf Faktor 1, und Items 4-6 Ladungen auf Faktor 2  Faktoren korrelieren nicht CFA: 2 unkorrelierte Faktoren - Nur noch durchgezogene Linie, da a priori die Items den Faktoren zugeordnet wurden  Nur Ladungen zu diesem Faktor werden angeschaut  Man kann bspw. nicht direkt überprüfen, ob Item 4 nicht doch besser zu F1 gehört EFA: 2 Faktoren; oblique Rotation - Gestrichelte Linie = schwache/ keine Ladung Durchgezogene Linie = Ladung auf Faktor  Hier haben also Item 1-3 Ladungen auf Faktor 1, und Items 4-6 Ladungen auf Faktor 2  Faktoren korrelieren, siehe Pfeile CFA: 2 korrelierte Faktoren - Durchgezogene Linie = Ladung auf Faktor  Faktoren korrelieren wieder untereinander, was a priori festgelegt wird 83 HS 21 Testtheorie CFA: Hierarchisches Modell CFA: 1 Faktor  Noch ein gemeinsamer Faktor (siehe gFaktor Intelligenz)  Nur ein gemeinsamer g-Faktor  Anhand der konfirmatorischen Faktoranalyse können a priori mehrere Modelle (siehe bspw. die 4 oben) festgelegt und miteinander verglichen werden! Bspw. wenn ich zwei Theorien habe und schauen will, welche besser ist Grundfragen der Konfirmatorischen Faktorenanalyse     Ist das Modell korrekt spezifiziert? Ist das Modell identifiziert? Wie können die Modellparameter geschätzt werden? Ist das Modell gültig? Oder ist ein sparsameres Modell oder ein Modell mit mehreren Parametern gültig? Modellspezifikation    Zu Beginn jeder konfirmatorischen Faktorenanalyse müssen die theoretischen Vorstellungen in ein empirisch testbares dimensionales Modell übertragen werden das bedeutet, dass bspw. dargestellt werden muss, wie der in einer Hypothese formulierte Zusammenhang zwischen Indikatorvariable und latenten Variable aussieht Hierzu werden Restriktionen an die Modellparameter gestellt  diese Modellrestriktionen ergeben sich aus theoretischen Überlegungen und aus der Notwendigkeit der Skalierung Die Modellspezifikation kann graphisch, anhand von Modellgleichungen oder in Matrixschreibweise dargestellt werden Beispiel   Wir haben einer Stichprobe einen kurzen Fragebogen zur Erfassung des Selbstwertgefühls (3 Items) und der Selbstkonzeptklarheit (3 Items) vorgegeben  Selbstwertgefühl: 3 Items, z.B. „Ich akzeptiere mich so wie ich bin“  Selbstkonzeptklarheit: 3 Items, z.B. „Ich habe klare Zielvorstellungen“  wie gut man über sich selbst Bescheid weiss, und weiss was man möchte Wir nehmen an, dass das Selbstwertgefühl und die Selbstkonzeptklarheit positiv korreliert sind ist aber nicht ein und dieselbe latente Variable Wir wollen testen, ob es sich wirklich um zwei, jedoch korrelierte, aber dennoch unterschiedliche Merkmale handelt dies können wir jetzt mit der konfirmatorischen Faktorenanalyse überprüfen Modellspezifikation anhand Modellgleichungen  Y1-Y6 = beobachten Variablen (Items) o Y1-Y3: beschreiben Selbstwertgefühl, Y4-Y6: beschreiben Selbstkonzeptklarheit  a1-6: 6 Verschiedene Leichtigkeitsparameter  n1= Selbstwertgefühl, n2 = Selbstkonzeptklarheit zwei latente Variablen  Unterschiedliche Diskriminationsparameter λ Faktorladungen (Zahlen bedeuten auf was sie laden: bspw. Item 4 = 42  Item 4 lädt auf Faktor 2)  Residualvarianzen: Unten: Annahme, dass die Fehlervarianzen unkorreliert sind und Annahme, dass die Fehlervarianzen sich unterscheiden können 84 HS 21 Testtheorie Grafische Darstellung der Modellspezifikation         CFA: 2 korrelierte Faktoren Pfaddiagramm Die theoretische Annahme, welche Items zu welchem Faktor gehören, wird in der graphischen Darstellung sichtbar. n1 und n2 sind positiv korreliert, sieht man hier auf dieser Grafik auch o Rot: Annahmen, die wir auch machen: Dargestellt was nicht dargestellt ist: Die anderen Faktorladungen sind auf 0 gesetzt o Links: Annahme, dass die Fehlervarianzen unkorreliert sind und Annahme, dass die Fehlervarianzen sich unterscheiden können Diskriminationsparameter λ11 und λ42 auf 1 fixiert  wir müssen latente Variablen bzw. Faktoren skalieren, um dies zu tun, kann man die die Ladung des ersten Faktors (oder die des am meisten reliablen Faktors) auf 1 setzen (ist eine Konvention, welche wir machen) o Etwas muss festgelegt werden, damit man eine Metrik erhält =Skalierung Alternative Skalierung: Varianz der latenten Variable auf 1 setzen und dafür Faktorladungen frei schätzen diese Wahl hat man Weitere Annahme: Wir nehmen an, dass alle Faktorladungen von n1, welche auf 4, 5, 6 gehen, 0 sind und alle Faktorladungen von n2, welche auf 1, 2, 3 gehen, auch gleich 0, weil wir annahmen, dass die ersten drei Items ausschliessend Selbstwertgefühl erheben und die letzten drei Selbstkonzeptklarheit und wir nehmen an, dass alle Zusammenhänge ausschliesslich durch die Korrelation zwischen den latenten Variablen erklärt werden können Die Items, welche nicht zu den jeweiligen Skalen gehören auch nicht auf den jeweiligen Faktoren laden sollen, daher = 0 Skalierung der Faktoren    Faktoren sind als latente Variablen hinsichtlich ihrer Metrik nicht definiert, sodass eine Skalierung vorgenommen werden muss sowohl die Varianz als auch der Erwartungswert eines Faktors sind nicht eindeutig bestimmt Fixierung der Faktorvarianz auf den Wert 1 (Standardisierung der latenten Variable) oder Fixierung je einer Faktorladung pro Faktor auf den Wert 1 (Varianz des Faktors = erklärte Varianz des Referenzitems => siehe Beispiel oben) Fixierung des Erwartungswerts des Faktors auf den Wert 0 (Standardisierung der latenten Variable) oder Fixierung je eines Interzepts pro Faktor auf den Wert 0 (Erwartungswert des Faktors = Mittelwert des Referenzitems) Modellspezifikation in R (lavaan) Die modellimplizierten Restriktionen an die Parameter werden von Iavaan automatisch bestimmt! 85 HS 21 Testtheorie Modellidentifikation Identifizierbarkeit        Ein Messmodell gilt als „identifiziert“, wenn das lineare Gleichungssystem des Messmodells gelöst werden kann Nachdem das Modell spezifiziert wurde, stellt sich also die Frage, ob die verfügbaren Informationen überhaupt ausreichen, um das Modell zu bestimmen Unter „verfügbaren Informationen“ werden hier die Kovarianzmatrix und die Erwartungswerte (Mittelwerte) der beobachteten Variablen verstanden  diese stammen nicht aus der Theorie, sondern aus den erhobenen Daten Zu den schätzenden Modellparameter gehören unter anderem sämtliche Faktorladungen, die Fehlervarianzen, die Faktorvarianzen und -kovarianzen sowie Interzepte und Erwartungswerte der Faktoren. Anzahl der empirisch verfügbaren Informationen muss Anzahl der zu schätzenden Modellparameter übersteigen, da ansonsten keine Freiheitsgrade zur Überprüfung des Modells vorliegen Um ein Modell überprüfen zu können, müssen mehr Informationen als zu schätzende Parameter vorliegen. Das bedeutet, erst ab einem Freiheitsgrad über 0 kann ein Modell überprüft werden. o Bei 0 ist das Modell gerade identifiziert, allerdings brauchen wir mehr als 0, damit wir das Modell auch tatsächlich testen können Die notwendige Identifizierbarkeitsbedingung zur Analyse von Kovarianz- und Erwartungsstrukturen lautet (p = Anzahl der Variablen) Ausserdem muss jeder Faktor skaliert werden:  Hierzu wird zum einen die Ladung einer beobachteten Variablen auf einen Wert ungleich 0 (z.B. 1) oder die Varianz des Faktors auf einen Wert größer 0 (z.B. 1) festgelegt  Zum anderen wird der Erwartungswert für jeden Faktor oder ein Leichtigkeitsparameter pro Faktor auf einen Wert (z.B. 0) festgelegt Beispiel M: Mittelwerte Varianzen: Diagonale Kovarianzen: In dem darunter liegenden Dreieck Bei p=6 beobachteten Variablen ergeben sich p=6 Erwartungswerte sowie (p⋅(p+1)) /2 = (6⋅7)/2=21 Varianzen und Kovarianzen, also insgesamt 27 verfügbare Informationen Das spezifizierte Modell umfasst insgesamt 19 Parameter:  4 Faktorladungen (da eine Faktorladung (11/42) pro Faktor auf 1 fixiert wird)  6 Leichtigkeitsparameter (da die Erwartungswerte der Faktoren auf 0 fixiert werden)  6 Fehlervarianzen  2 Faktorvarianzen  1 Kovarianz zwischen den Faktoren  Damit ist die notwendige Identifizierbarkeitsbedingung erfüllt (19 ≤ 27). wir haben mehr Parameter zur Verfügung als das wir schätzen wollen Zentrierte Variablen  Oftmals werden die Leichtigkeitsparameter nicht beachtet, da sie für die Zusammenhänge (zwischen Faktoren sowie zwischen Faktoren und Variablen) nicht relevant sind 86 HS 21    Testtheorie In diesen Fällen werden die zentrierten beobachteten Variablen verwendet (die alle einen Erwartungswert von 0 haben) und es wird lediglich die Kovarianzstruktur untersucht Zentrieren = Mittelwert über den Erwartungswert von allen beobachteten Variablen abzieht, so dass alle beobachteten Variable einen Erwartungswert von 0 haben Wir werden uns im Folgenden nur auf die Kovarianzstruktur beziehen Beispiel       Bei Verwendung von zentrierten Variablen (ohne Erwartungswerte) ergeben sich 21 verfügbare Informationen 4 Faktorladungen (da eine Faktorladung pro Faktor zu Normierungszwecken auf 1 fixiert wird) 6 Fehlervarianzen 2 Faktorvarianzen 1 Kovarianz zwischen den Faktoren Damit ist die notwendige Identifizierbarkeitsbedingung ebenfalls erfüllt (13 ≤ 21) Identifikationsstatus    Überidentifizierte Modelle (df > 0): Modelle, bei denen alle Parameter bestimmt werden können und die weniger Parameter enthalten als Informationen verfügbar sind (nur in diesem Fall hat das Modell empirischen Gehalt, d.h. es kann überprüft und ggf. verworfen werden) alle Parameter werden geschätzt (Genau) identifizierte Modelle (df = 0): Modelle, bei denen alle Parameter bestimmt werden können und die genauso viele Parameter enthalten, wie Informationen verfügbar sind aber wir haben keine zusätzlichen Informationen, um die Güte des Modells zu bestimmen Unteridentifizierte Modelle (df < 0): Modelle mit Parametern, die nicht anhand der verfügbaren Informationen bestimmt werden können es liegt nicht genügend Informationen vor, um die Parameter zu schätzen, die Strukturgleichung kann nicht gelöst werden, Wenn ein Modell unteridentifiziert ist, liegt dies daran, dass zu wenige verfügbare Informationen vorliegen. Über die Hypothesen kann keine Aussage getroffen werden, da diese nicht geprüft werden können. Schätzmethoden   Bei allen Schätzmethoden wird die vom Modell implizierte Kovarianzmatrix so geschätzt, dass sie (1) die Modellrestriktionen erfüllt und (2) möglichst nahe an der beobachteten Stichprobenmatrix (empirischen Daten) liegt Die Schätzmethoden unterscheiden sich aber in  den Diskrepanzfunktionen, die minimiert werden  den Voraussetzungen, die erfüllt sein müssen (wichtigste Unterschiede)  den verschiedenen Schätzeigenschaften Maximum-Likelihood-Methode      Mit der ML-Methode werden die Parameter so geschätzt, dass die beobachtete Stichprobenmatrix maximal wahrscheinlich ist, ohne dabei die Modellrestriktionen zu verletzen Erlaubt nicht nur die Schätzung der Parameter, sondern auch der Standardfehler und Konfidenzintervalle Erlaubt die statistische Überprüfung der Gesamtanpassung des Modells Die Likelihood ist maximal, wenn die Differenz zwischen den beiden Modellen am geringsten ist je kleiner die Differenz zwischen der empirischen Kovarianzmatrix und der Populationskovarianzmatrix, desto grösser ist demnach auch der Wert der ML-Methode Unter asymptotischen Bedingungen (d.h. wenn die Stichprobengröße gegen unendlich strebt) liefert die ML-Methode erwartungstreue, effiziente und konsistente Schätzungen d.h. mit kleinen Stichproben kann man diese Methode nicht benutzen 87 HS 21 Testtheorie Voraussetzungen der ML-Methode     Multivariate Normalverteilung der beobachteten Variablen Unabhängige Beobachtungen (einfache Zufallsstichprobe) verletzt, wenn die Beobachtungen voneinander abhängen, bspw. bei Messwiederholungen Korrekte Spezifikation des Modells Hinreichend grosse Stichprobe  Ab welcher Stichprobengrösse die Schätzeigenschaften gelten, ist umstritten und hängt von verschiedenen Bedingungen ab (z.B. Anzahl der Modellparameter)  Um die Frage im konkreten Fall zu klären, wird idealerweise für das gegebene Modell und die gegebene Stichprobengröße eine Monte-Carlo-Simulationsstudie durchgeführt man simuliert mit Zufallsdaten wie die Modelle aussehen würden und ab welcher Stichprobengrösse bestimmte Annahmen verworfen werden (Mit der Monte-CarloSimulationsstudie kann berechnet werden, ob die Stichprobengrösse für das gegebene Modell ausreichend gross ist.) Abweichung von der Normalverteilung?    Bei gravierender Abweichung von Normalverteilung werden die Parameter zwar noch erwartungstreu geschätzt, aber die Standardfehler werden unterschätzt (d.h. die Parameter werden fälschlicherweise signifikant) wenn der Standardfehler klein ist, werden die Werte eher signifikant (wollen wir vermeiden) Gravierende Abweichungen liegen vor, wenn die Schiefe der beobachteten Variablen vom Betrag her > 2 und der Exzess > 7 ist (bzw. der multivariate Exzess > 3 ist) Daumenregel Verwendung von verteilungsfreien Schätzverfahren (z.B. WLS-Methode, siehe unten) Weighted-Least-Squares-Methode    Bei nicht-normalverteilten Werten kann die Weighted-Least-Squares-Methode angewendet werden Mit der WLS-Methode werden die Parameter so geschätzt, dass die gewichtete Differenz zwischen der Stichprobenkovarianzmatrix und der vom Modell implizierten Matrix minimiert wird man möchte, dass die Stichprobenkovarianzmatrix möglichst nah dran ist an der vom Modell implizierten Matrix Aber: Erfordert sehr grosse Stichproben (N über 5000, daher wird häufig auf eine Modifikation der WLS-Methode zurückgegriffen, das sog. WLSMV („mean- and varianceadjusted“) Schätzverfahren für kleinere Stichproben braucht man dies Beispiel: ML-Schätzung Std.all die standardisierten Werte anschauen Kovarianz standardisiert ergibt die Korrelation hier bei 0.935 (sehr hoch) 88 HS 21 Testtheorie Modellevaluation Beurteilung der Modellanpassungsgüte    Die Qualität eines Modells ergibt sich aus dem Vergleich der empirischen mit der geschätzten, vom Modell implizierten, Kovarianzmatrix Je geringer die Diskrepanz zwischen der im Modell implizierten Matrix und der beobachteten Matrix, je höher ist die Modellanpassungsgüte je näher die Theorie an den Daten ist Verschiedene Beurteilungsaspekte:  Gesamtanpassung des Modells  Beurteilung der einzelnen Modellparameter (Signifikanz der Parameter) Statistische Prüfungen von Modellen      Überidentifizierte Modelle enthalten empirisch testbare Restriktionen bzw. Erwartungen an die Kennwerte (d.h. Varianzen und Kovarianzen) der beobachteten Variablen Zur Überprüfung von Modellen wird die Nullhypothese getestet, dass sich die Kovarianzmatrix der beobachteten Variablen, von der, gemäss Modell erwarteten, Kovarianzmatrix in der Population nicht unterscheidet Ist die Wahrscheinlichkeit, unter Annahme der Nullhypothese die Kovarianzmatrix in der Stichprobe zu finden, nur gering (z.B. < .05), muss das Modell verworfen werden dies bedeutet bei einer angenommenen Fehlerwahrscheinlichkeit von 5%, dass die beiden Modelle nicht gut übereinstimmen bzw. überzufällig voneinander abweichen Fehler 1. Art ist deshalb gering Hierzu wird aufgrund der Stichprobendaten eine modellkonforme Populationskovarianzmatrix geschätzt (d.h. eine Matrix, die die Erwartungen an die Varianzen und Kovarianzen erfüllen muss) Populationskovarianzmatrix wird folgenderweise berechnet: Aufgrund der Stichprobendaten wird eine Kovarianzmatrix berechnet, welche zu den theoretischen Annahmen passt Dann wird geprüft, ob die Abweichungen zwischen der beobachteten und der vom Modell implizierten Matrix zufällig sind d.h. es wird geprüft, ob die Wahrscheinlichkeit überzufällig hoch ist, die erwartete Kovarianzmatrix in der Stichprobe tatsächlich zu finden Werte möglichst nah an den beobachteten Werten Diagonale: Varianz χ2-Test      Prüft die Nullhypothese, dass sich die modellimplizierte Kovarianzmatrix nicht von der beobachteten Kovarianzmatrix unterscheidet Die Teststatistik (χ²-Wert) ergibt sich aus dem Wert der Diskrepanzfunktion (F) mal n-1 Die Freiheitsgrade (df) des Tests entsprechen der Differenz zwischen der Anzahl der verfügbaren Informationen und der Anzahl der zu schätzenden Modellparameter Nicht signifikanter χ2-Wert (p grösser als .05) zeigt an, dass das Modell zu den Daten passt Ist der Wert signifikant (p kleiner als .05), dann passen die theoretischen Annahmen nicht auf die erhobenen Daten Probleme des χ2-Tests  Da die Stichprobengrösse in die Teststatistik einfliesst, hat der Test bei grossen Stichproben eine grosse Power, d.h. er wird schon bei kleinen (praktisch unbedeutenden) Abweichungen signifikant 89 HS 21   Testtheorie Sind die Verteilungsannahmen verletzt oder ist die Stichprobe zu klein, führt der Test verstärkt zu Fehlern erster Art (d.h. korrekte Modelle werden verworfen) Die Annahme, dass das Modell in der Population exakt gilt, ist sehr streng (und ignoriert andere Kriterien wie Sparsamkeit  Parsimonitätsprinzip)  Sparsamkeit bedeutet, dass ein Modell nicht zu komplex wird, sondern nur die Parameter enthält, welche für die Beschreibung des Modells benötigt werden Beispiel: ML Schätzung p-Wert unter 0.05 Modell passt nicht ideal, gibt ein Modell, welches besser passen würde Closeness-of-Fit-Koeffizienten      Anstatt die exakte Gültigkeit eines Modells zu testen, kann anhand von Closeness-of-FitKoeffizienten überprüft werden, ob der Approximationsfehler (d.h. das Ausmass der Abweichung zwischen den beiden Modellen) in einem bestimmten Bereich liegt wie nah kommen die Daten ran Der gebräuchlichste ist der Root Mean Square Error of Approximation (RMSEA) soll möglichst klein sein Der RMSEA relativiert das Ausmass der Abweichung anhand der Freiheitsgrade, d.h. begünstigt sparsamere Modelle je mehr Freiheitsgerade, desto kleiner der RMSEA, je mehr Freiheitsgerade, desto grösser der RMSEA Wenn ich mehr Freiheitsgrade habe, darf das Modell auch mehr abweichen RMSEA < .08 weist auf eine gute Modellapproximation hin <.05: ist sehr gut Modellvergleiche    Die Güte eines Modells kann auch durch den Vergleich eines Modells mit einem konkurrierenden Modell überprüft werden (Nicht nur wie gut mein Modell zu den Daten passt, sondern auch ob Modell A oder Modell B besser passt) Es kann dabei zwischen geschachtelten und nicht geschachtelten Modellen unterschieden werden Verschiedene Tests und Koeffizienten:  χ²-Differenz-Test  Informationstheoretische Masse  Incremental-Fit-Indices Beispiel alle Modelle sind nicht gute Modelle  RMR und RMSEA sollen möglichst klein sein 90 HS 21 Testtheorie χ²-Differenz-Test      Wenn zwei Modelle ineinander verschachtelt sind, kann der χ²-Differenz-Test (bzw. Likelihood-RatioDifferenz-Test) angewendet werden „Verschachtelt“ heisst, dass ein Modell aus einem übergeordneten Modell durch spezifische Restriktionen hervorgeht Zur Prüfung wird die Differenz der χ²-Werte beider Modelle bestimmt, deren Verteilung ebenfalls einer χ²-Verteilung folgt Für die χ2-Werte gibt es keine Cut-Off-Werte, es muss mittels einer χ2-Tabelle auf Signifikanz geprüft werden Der Differenz-Test sollte dabei nicht signifikant ausfallen Incremental-Fit-Indices      Incremental-Fit-Indices vergleichen die Anpassungsgüte eines Modells mit der des Unabhängigkeitsmodells („baseline model“ bzw. „null model“) schlechtestes aller Modelle Das Unabhängigkeitsmodell ist das „schlechteste“ aller Modelle und nimmt an, dass die Kovarianzen aller beobachteten Variablen gleich 0 sind Differenz sollte so gross wie möglich sein Incremental-Fit-Indices geben an, um wieviel „besser“ das getestete Modell ist Relativ unabhängig von der Stichprobengröße, womit ein Problem des χ²-Tests umgangen wird Comparative Fit Index (CFI)    Einer der verbreitetsten Incremental-Fit-Indices ist der Comparative Fit Index Sparsame Modelle werden (im Gegensatz zum Tucker-Lewis Index) nicht bevorzugt Werte des CFI > .97 sprechen für eine gute Modellpassung 0.9 akzeptabel Formel nicht können für Prüfung Tucker-Lewis Index (TLI)    Ebenfalls weit verbreitet ist der Tucker-Lewis Index (bzw. Nonnormed Fit Index) Im Unterschied zum CFI begünstigt der TLI sparsame Modelle stärker Die Kriterien («cut offs») für eine gute Modellanpassung entsprechen denen des CFI auch Werte über .97 (0.9 akzeptabel) Zusammenfassung: Fit Indices variiert, sind keine harten Kriterien, sondern Konventionen (Guidelines) 91 HS 21 Testtheorie Einbettung in die Testkonstruktion Eine häufig gewählte Vorgehensweise (bei einem neu zu konstruierenden Verfahren z.B. mit einer Mischstrategie): 1. Items entwickeln (ursprünglicher Itempool) und Daten erheben (Datensatz 1) 2. Exploratorische Faktorenanalyse, um die Faktorstruktur zu festzulegen und aus dem ursprünglichen Itempool jene Items zu identifizieren, die das zu messende Merkmal am besten repräsentieren (an Datensatz 1) 3. Neue Daten erheben (Datensatz 2) 4. Konfirmatorische Faktorenanalyse an Datensatz 2, um zu sehen, ob sich die zuvor beschriebenen Ergebnisse (der EFA) bestätigen lassen 92

Testtheorie Einführung: Psychometrische Tests, Messung & Skalen

Products

Support

Testtheorie Einführung: Psychometrische Tests, Messung & Skalen

Add this document to collection(s)

Add this document to saved

Suggest us how to improve StudyLib