Faktorielle Struktur des Strengths and Difficulties Questionnaire
(SDQ) und Testinformation seiner Subskalen gemäß Item Response
Theory-Modellen
Ferdinand Keller1, Alexandra Langmeyer2 & Jost Reinecke3
1 Universität Ulm, Klinik für Kinder- und Jugendpsychiatrie/Psychotherapie2 Deutsches Jugendinstitut e.V. München3 Universität Bielefeld, Fakultät für Soziologie
XXXV. Kongress der Deutschen Gesellschaft für Kinder- und Jugendpsychiatrie, Psychosomatik und Psychotherapie (DGKJP)
22.03. – 25.03.2017 , Ulm
2
Strengths and Difficulties Questionnaire (SDQ) (R. Goodman)
� Messung von psychosozialen Problemen (ICD, WHO, 1992) und Stärken
(prosoziales Verhalten) von Kindern im Alter von 3 – 16 Jahren in
den letzten 6 Monaten
� 25 Items mit 5 Subskalen: Hyperaktivität/Unaufmerksamkeit,
Emotionale Probleme, Verhaltensprobleme, Verhaltensprobleme
mit Gleichaltrigen, Prosoziales Verhalten
� Eltern-, Kinder- und Lehrerversion mit Cut-off Werten
� in über 60 Sprachen übersetzt
� Screening zur klinischen Diagnose und Forschungsinstrument
� Validiert an CBCL (z.B. Woerner et al., 2000)
� Antwortformat 3-stufig: 0=“Trifft nicht zu“, 1=“Trifft teilweise zu“,
2=“Trifft eindeutig zu“
� Problem: oft mehrere Aussagen in einem Item
3
Interne Konsistenz und Trennschärfen: Emotionale Probleme
Stone et al. (2010)
pairfam AID:A
Emot. Probleme (α) .66(.60-.76)
.68 .66
Oft unglücklich oder niedergeschlagen;weint häufig
.47 .46
Klagt häufig über Kopfschmerzen,
Bauchschmerzen oder Übelkeit
.30 .30
Hat viele Sorgen; erscheint häufig bedrückt .50 .47
Hat viele Ängste; fürchtet sich leicht .51 .46
Nervös oder anklammernd in neuen
Situationen; verliert leicht das
Selbstvertrauen
.45 .44
Trennschärfen
4
AuswertungGesamtproblemwert = Summenscore aus allen negativen
Skalen
Quelle: www. sdqinfo.com
Total difficulties score und Prosoziales Verhalten
CFA-Modelle zum SDQ (Goodman et al., 2010)
CFA-Modelle zum SDQ (Goodman et al., 2010)
8
Konfirmatorische Faktorenanalyse: Bifactor
1-factor first order model 5-factor bifactor model
Kobor et al., 2013
9
Methodischer Hintergrund� „Früher“: Faktorenanalyse (konfirmatorisch) und Item response theory (IRT; probabilistische
Testmodelle) sind „zwei verschiedene Welten“.
„Heute“: ineinander überführbar, aber unterschiedliche Vorteile:
� IRT gut geeignet bei Items mit wenig Kategorien und schiefer Verteilung; informiert über
Kategorien-Schwellenwerte, Testinformation über den latenten trait hinweg, ermöglicht
Stichprobenunabhängigkeit (wenn RM gilt)
� Trotzdem: IRT kaum (gar nicht?) angewandt bei SDQ Eltern, selten bei SDQ Selbsturteil
a) IRT bei jeder Subskala: besteht Unidimensionalität, passt Rasch-Modell,
wie liegen die Schwellenwerte, Messgenauigkeit über den Skalenbereich?
b) IRT bei total difficulties score (TDS): dto.,
bifactor-Analyse mit multidim. IRT-Modell: Generalfaktor TDS?
c) Vergleichbarkeit der Itemparameter in zwei Stichproben?
d) Vergleichbarkeit der Testinformation von SDQ Eltern und SDQ selbst
Fragestellung
10
Studie „Panel Analysis of Intimate Relationships
and Family Dynamics“ (pairfam)
� Beziehungs- und Familienpanel
� DFG geförderte, interdisziplinäre Längsschnittstudie
� Laufzeit: 14 Jahren bis 2023
� Kohorten Design:
Welle 1: 4334 (91-93), 4016 (81-83), 4052 (71-73) Ankerinterviews
� Multi-Actor-Ansatz
11
Stichprobenpairfam Welle 2 und AID:A 2009
pairfam AID:A
N 1078 1346
N Mütter (%) 744 (69) 1275 (94.7)
Alter in Jahren M (SD) 36.6 (2.5) 38.2 (5.7)
höchster Schulabschluss CASMINFachhochschulreife/Abitur (%)mittlere Reife (%)
31.243.2
66.924.9
Kind Mädchen (%) 49.0 48.9
Alter Kind in JahrenM(SD)Range
10.1 (2.0)7-16
7.2 (0.8)5-8
Ostdeutschland (%) 20.5 20.5
12
Statistik….
� IRT-Modelle:
� Rasch-Modell (partial cedit model (PCM)): Winmira (v. Davier, 2001)
� Generalisiertes PCM: R package mirt
� Graded response model (GRM): Mplus, mirt
(Mplus: MLR und WLSMV Schätzung)
� Bifactor-Modell auf Basis des GPCM: mirt
� Reliabilität der Faktoren in bifactor-Modell: omega-Koeffizienten
(eigene Berechnungen, gemäß Rodriguez et al. (2016). Psychological Methods)
Chalmers, R.P. (2012). mirt: A Multidimensional item response theory package for the R environment. Journal of Statistical Software, 48(6), 1-29.
13
Interne Konsistenz und Trennschärfen: Emotionale Probleme
Stone et al. (2010)
pairfam AID:A
Emot. Probleme (α) .66(.60-.76)
.68 .66
Oft unglücklich oder niedergeschlagen;weint häufig
.47 .46
Klagt häufig über Kopfschmerzen,
Bauchschmerzen oder Übelkeit
.30 .30
Hat viele Sorgen; erscheint häufig bedrückt .50 .47
Hat viele Ängste; fürchtet sich leicht .51 .46
Nervös oder anklammernd in neuen
Situationen; verliert leicht das
Selbstvertrauen
.45 .44
Trennschärfen
IRT Analysen zu Total difficulties score für pairfa m: graded response model
Trace lines for item 17
θ
P(θ
)
0.0
0.2
0.4
0.6
0.8
1.0
-4 -2 0 2 4
P1P2P3
Trace lines for item 6
θ
P(θ
)
0.0
0.2
0.4
0.6
0.8
1.0
-4 -2 0 2 4
P1P2P3
Trace lines for item 16
θ
P(θ
)
0.0
0.2
0.4
0.6
0.8
1.0
-4 -2 0 2 4
P1P2P3
17 = steals6 = worries16 = reflects
IRT Analysen zu Total difficulties score für pairfa m: graded response model
16
Standard errors of measurement (SE) (I)Partial Credit Model (full line) and Generalized PCM (dashed line); Stichprobe: pairfam
-3 -2 -1 0 1 2 3
0.00.51.01.52.02.53.0
theta
SE
(the
ta)
Emotional Problems
-3 -2 -1 0 1 2 3
0.00.51.01.52.02.53.0
theta
SE
(the
ta)
Hyperactivity/Inattention
-3 -2 -1 0 1 2 3
0.00.51.01.52.02.53.0
theta
SE
(the
ta)
Peer Problems
-3 -2 -1 0 1 2 3
0.00.51.01.52.02.53.0
theta
SE
(the
ta)
Conduct Problems
17
Standard errors of measurement (SE) (II)
-3 -2 -1 0 1 2 3
0.00.51.01.52.02.53.0
theta
SE
(the
ta)
Prosocial Behaviour
-3 -2 -1 0 1 2 3
0.00.51.01.52.02.53.0
theta
SE
(the
ta)
Total Difficulties Score
Partial Credit Model (full line) and Generalized PCM (dashed line); Stichprobe: pairfam
Keller, F., & Langmeyer, A. (in press). An item response theory analysis of the Strengthsand Difficulties Questionnaire (SDQ). European Journal of Psychological Assessment
TDS: Faktorladungen des bifactor-Modells und Reliabilität
Bifactor-Modell berechnet alsmultidim. IRT-Modell (GPCM):
Interpretation:Alle Items laden auf demGeneralfaktor, aber auch auf ihrem spezifischen Faktor
ReliabilitätOmega = .88OmegaH (G-Faktor) = .69
Omega: Subskala gesamtOmega(HS): bereinigt um Anteil Generalfaktor
19
Category threshold parameterspairfam (P) and AID:A (A)
-3
-2
-1
0
1
2
3
threshold 1 P threshold 2 P threshold 1 A threshold 2 A
Literatur SDQ self-report
1) Goodman et al. (2010).
2) Patalay, P., Fonagy, P., et al. (2015). A general psychopathology factor in early adolescence. British Journal of Psychiatry, 207(1), 15-22Generalfaktor und zwei spezifische Faktoren: internalisierend und externalisierend.
3) Carragher, N. e al. (2016). The structure of adolescent psychopathology: a symptom-level analysis. Psychological Medicine, 46, 981–994SDQ ohne die ”reverse-coded” items, und kombiniert mit anderen Messinstrumenten:Generalfaktor (”psychopathology”) und drei spezifische
Faktoren: internalisierend, external. und ”thought disorder”
SFB 882 „Von Heterogenitäten zu Ungleichheiten“ ○ http://www.sfb882.uni-bielefeld.de/ ○ Gefördert durch die Deutsche Forschungsgemeinschaft (DFG) 21
Studiendesign der Dortmunder Schülerbefragung
Jahr5
6
7
9
10
11
2012 2013 2014
Klasse
11
10
9
8
7
6
5
22
Vergleich Eltern- und Selbsturteil in SEMStichprobe: pairfam und Dortmund 2012; PCM (full line) and GPCM (dashed line)
-3 -2 -1 0 1 2 3
0.00.51.01.52.02.53.0
theta
SE
(the
ta)
Emotional Problems
-3 -2 -1 0 1 2 3
0.0
0.5
1.0
1.5
2.0
2.5
3.0
theta
SE
(the
ta)
Prosocial (self-report)
23
Zusammenfassung
a) IRT bei Subskala: Unidimensionalität, passt Rasch-Modell, Schwellenwerte?
- Rasch-Modell zu restriktiv, generalisiertes RM besser
- Unidimensionalität: ja, außer Hyperaktivität/Unaufmerksamkeit (2-dim.)
- Problemsubskalen messen nur im oberen Bereich gut (Prosozial im unteren)
b) IRT bei total difficulties score (TDS): dto.,
bifactor-Analyse mit multidim. IRT-Modell: Generalfaktor TDS?
- essentiell unidimensional, alle Items laden auf Generalfaktor; Subskalen sind
von zusätzlichem Wert.
[generell: internal. und external. Verhalten in einen Summenwert/Faktor?]
- gute Testinformation über einen breiten Bereich
c) Vergleichbarkeit der Itemparameter in zwei Stichproben?
- gute Vergleichbarkeit der Schwellen, außer in problemat. Items (stiehlt)
d) Vergleichbarkeit der Testinformation von SDQ Eltern und SDQ selbst
- sehr ähnliche Testinformationsfunktion bei bisher berechneten Subskalen
Klinik für Kinder- und Jugendpsychiatrie / Psychotherapie des Universitätsklinikums Ulm
Steinhövelstraße 589075 Ulm
www.uniklinik-ulm.de/kjpp
Ärztlicher Direktor: Prof. Dr. Jörg M. Fegert
25
Literatur (I)
Becker, A., Woerner, W., Hasselhorn, M., Banaschewski, T., & Rothenberger, A. (2004). Validation of the parent and teacher SDQ in a clinical sample. European Child & Adolescent Psychiatry, 13(2), ii11-ii16.
Böhnke, J.R., & Croudace, T.J. (2015). Factors of psychological distress: clinical value, measurement substance, and methodological artefacts. Social Psychiatry and Psychiatric Epidemiology, 50, 515-524.
Böhnke, J.R., & Lutz, W. (2014). Using item and test information to optimize targeted assessments of psychological distress. Assessment, 21, 679-693.
Brunner, M., Nagy, G., & Wilhelm, O. (2012). A tutorial on hierarchically structured constructs. Journal of Personality, 80, 796-846.Caci, H., Morin, A.J.S., & Tran, A. (2015). Investigation of a bifactor model of the Strengths and Difficulties Questionnaire. European Child and
Adolescent Psychiatry, 24, 1291-1301.Cai, L. (2010). A two-tier full-information item factor analysis model with applications. Psychometrika, 75, 581-612.Cai, L., Yang, J.S., & Hansen, M. (2011). Generalized full-information item bifactor analysis. Psychological Methods, 16, 221-248.Chalmers, R.P. (2012). mirt: A Multidimensional item response theory package for the R environment. Journal of Statistical Software, 48(6), 1-
29.Chen, W.H., & Thissen, D. (1997). Local dependence indexes for item pairs using item response theory. Journal of Educational and Behavioral
Statistics, 22, 265-289.DeMars, C. (2010). Item response theory. New York: Oxford University Press.Dumenci, L., & Achenbach, T.M. (2008). Effects of estimation methods on making trait-level inferences from ordered categorical items for
assessing psychopathology. Psychological Assessment, 20, 55-62.Gignac, G.E. (2014). On the inappropriateness of using items to calculate total scale score reliability via coefficient alpha for multidimensional
scales. European Journal of Psychological Assessment, 30(2), 130-139.Goodman, A., Lamping, D.L., & Ploubidis, G.B. (2010). When to Use Broader Internalising and Externalising Subscales Instead of the
Hypothesised Five Subscales on the Strengths and Difficulties Questionnaire (SDQ): Data from British Parents, Teachers and Children. Journal of Abnormal Child Psychology, 38, 1179-1191.
Goodman, R. (1997). The Strengths and Difficulties Questionnaire: A research note. Journal of Child Psychology and Psychiatry, 38, 581-586.Goodman, R. (2001). Psychometric properties of the Strengths and Difficulties Questionnaire. Journal of the American Academy of Child and
Adolescent Psychiatry, 40, 1337-1345.Heiervang, E., Stormark, K. M., Lundervold, A. J., Heimann, M., Goodman, R., Posserud, M. B., ... & Gillberg, C. (2007). Psychiatric disorders in
Norwegian 8-to 10-year-olds: an epidemiological survey of prevalence, risk factors, and service use. Journal of the American Academy of Child & Adolescent Psychiatry, 46(4), 438-447.
Hagquist, C. (2007). The psychometric properties of the self-reported SDQ: An analysis of Swedish data based on the Rasch model. Personality and Individual Differences, 43, 1289-1301.
Jennrich, R. I., & Bentler, P. M. (2011). Exploratory bi-factor analysis. Psychometrika, 76(4), 537-549.Kóbor, A., Takács, Á., & Urbán, R. (2013). The bifactor model of the Strengths and Difficulties Questionnaire. European Journal of Psychological
Assessment, 29(4), 299 – 307.
26
Literatur (II)
Klasen, H., Woerner, W., Wolke, D., Meyer, R., Overmeyer, S., Kaschnitz, W., ... & Goodman, R. (2000). Comparing the German versions of the strengths and difficulties questionnaire (SDQ-Deu) and the child behavior checklist. European Child & Adolescent Psychiatry, 9(4), 271-276.
Masters, G. N. (1982). A Rasch model for partial credit scoring. Psychometrika, 47, 149–174.Muraki, E. (1992). A generalized partial credit model: Application of an EM algorithm. Applied Psychological Measurement, 16, 159-176.Niclasen, J., Skovgaard, A.M., Nybo Andersen, A.-M., Somhovd, M.J., & Obel, C. (2013). A confirmatory approach to examining the factor
structure of the Strengths and Difficulties Questionnaire (SDQ): A large scale cohort study. Journal of Abnormal Child Psychology, 41, 355-365.
Patalay, P., Fonagy, P., Deighton, J., Belsky, J., Vostanis, P., & Wolpert, M. (2015). A general psychopathology factor in early adolescence. The British Journal of Psychiatry, 207(1), 15-22.
Prady, S.L., Pickett, K.E., Croudace, T., Mason, D., Petherick, E.S., McEachan, R.R., Gilbody, S., & Wright, J. (2016). Maternal psychological distress in primary care and association with child behavioural outcomes at age three. European Child and Adolescent Psychiatry.
Reckase, M.D. (2009). Multidimensional item reponse theory. New York: Springer-Verlag.Reise, S.P. (2012). The rediscovery of bifactor measurement models. Multivariate Behavioral Research, 47, 667-696.Reise, S.P., Moore, T.M., & Haviland, M.G. (2010). Bifactor models and rotations: Exploring the extent to which multidimensional data yield
univocal scores. Journal of Personality Assessment, 92, 544-559.Rodriguez, A., Reise, S.P., & Haviland, M.G. (2016). Evaluating bifactor models: Calculating and interpreting statistical indices. Psychological
Methods.Rost, J., & von Davier, M. (1994). A conditional item-fit index for Rasch models. Applied Psychological Measurement, 18, 171-182.Samejima, F. (1969). Estimation of latent ability using a response pattern of graded scores. Psychometric Monograph Supplement, 34
(Monograph No. 17).Stone, L. L., Otten, R., Engels, R. C., Vermulst, A. A., & Janssens, J. M. (2010). Psychometric properties of the parent and teacher versions of
the strengths and difficulties questionnaire for 4-to 12-year-olds: a review. Clinical Child and Family Psychology Review, 13(3), 254-274.Stone, L. L., Otten, R., Ringlever, L., Hiemstra, M., Engels, R. C., Vermulst, A. A., & Janssens, J. M. (2013). The parent version of the strengths
and difficulties questionnaire. European Journal of Psychological Assessment, 29(1), 44-50.Stone, L. L., Janssens, J. M., Vermulst, A. A., van der Maten, M., Engels, R. C., & Otten, R. (2015). The Strengths and Difficulties Questionnaire:
Psychometric properties of the parent and teacher version in children aged 4-7. BMC Psychology, 3:4.Van Roy, B., Veenstra, M., & Clench-Aas, J. (2008). Construct validity of the five-factor Strengths and Difficulties Questionnaire (SDQ) in pre-,
early- and late adolescence. Journal of Child Psychology and Psychiatry, 49, 1304-1312.Von Davier, M. (2001). WINMIRA 2001 user’s guide. Kiel: IPNWirth, R.J., & Edwards, M.C. (2007). Item factor analysis: Current approaches and future directions. Psychological Methods, 12, 58-79.Woerner, W., Becker, A., & Rothenberger, A. (2004). Normative data and scale properties of the German parent SDQ. European Child &
Adolescent Psychiatry, 13(2), ii3-ii10.
IRT Analysen zu Subskalen für pairfam und AID:A (ges trichelt): Testinformationskurven unter dem graded response mode l
-4 -2 0 2 4
0
2
4
6
8
theta
Info
rmat
ion
Emotional ProblemsEmotional Problems
-4 -2 0 2 4
0
2
4
6
8
theta
Info
rmat
ion
Hyperactivity/Inattention
-4 -2 0 2 4
0
2
4
6
8
theta
Info
rmat
ion
Peer Problems
-4 -2 0 2 4
0
2
4
6
8
theta
Info
rmat
ion
Conduct Problems
IRT Analysen zu Subskalen für pairfam: Testinformationskurven unter dem graded response mo del
-4 -2 0 2 4
0
2
4
6
8
theta
Info
rmat
ion
Prosocial Behaviour
-4 -2 0 2 4
0
2
4
6
8
theta
Info
rmat
ion
Total difficulties score
29
Interne Konsistenz und Trennschärfen: Hyperaktivität
Stone et al. (2010)
pairfam AID:A
Hyperaktivität (α) .76 (.58-.85)
.78 .78
Unruhig, überaktiv, kann nicht lange stillsitzen
.59 .59
Ständig zappelig .60 .57
Leicht ablenkbar, unkonzentriert .65 .64
Denkt nach bevor er / sie handelt (R) .42 .40
Führt Aufgaben zu Ende; gute Konzentrationsspanne (R)
.58 .56
Trennschärfen
30
Interne Konsistenz und Trennschärfen: emotionale Probleme
Stone et al. (2010)
pairfam AID:A
Emot. Probleme (α) .66(.60-.76)
.68 .66
Oft unglücklich oder niedergeschlagen;weint häufig
.47 .46
Klagt häufig über Kopfschmerzen,
Bauchschmerzen oder Übelkeit
.30 .30
Hat viele Sorgen; erscheint häufig bedrückt .50 .47
Hat viele Ängste; fürchtet sich leicht .51 .46
Nervös oder anklammernd in neuen
Situationen; verliert leicht das
Selbstvertrauen
.45 .44
Trennschärfen
31
Interne Konsistenz und Trennschärfen: Verhaltensprobleme
Stone et al. (2010)
pairfam AID:A
Verhaltensprobleme (α) .58(.46-.76)
.57 .50
Streitet sich oft mit anderen Kindern oder
schikaniert sie
.40 .34
Stiehlt zu Hause, in der Schule oder
anderswo
.24 .10
Lügt oder mogelt häufig .41 .33
Im allgemeinen folgsam; macht meist, was
Erwachsene verlangen (R)
.29 .30
Hat oft Wutanfälle; ist aufbrausend .36 .32
Trennschärfen
32
Interne Konsistenz und Trennschärfen: Verhaltensprobleme mit Gleichaltrigen
Stone et al. (2010)
pairfam AID:A
Verhaltensprobleme mit Gleichaltrigen (α) .53(.30-.76)
.62 .59
Einzelgänger; spielt meist alleine .44 .43
Hat wenigstens einen guten Freund oder
eine gute Freundin (R)
.34 .28
Im allgemeinen bei anderen Kinder
beliebt (R)
.39 .38
Kommt besser mit Erwachsenen aus als
mit anderen Kindern
.34 .36
Wird von anderen gehänselt oder
schikaniert
.37 .32
Trennschärfen
33
Interne Konsistenz und Trennschärfen: Prosoziales Verhalten
Stone et al. (2010)
pairfam AID:A
Prosoziales Verhalten (α) .67(.54-.84)
.63 .61
Teilt gerne mit anderen Kindern
(Süßigkeiten, Spielzeug, Buntstifte usw.)
.33 .33
Rücksichtsvoll .38 .41
Lieb zu jüngeren Kindern .32 .30
Hilfsbereit, wenn andere verletzt, krank
oder betrübt sind
.46 .37
Hilft anderen oft freiwillig (Eltern, Lehrern
oder anderen Kindern)
.43 .41
Trennschärfen
34
Analyse für ordinale Daten mit WLSMV-Schätzmethode (Mplus)
Konfirmatorische Faktorenanalyse (CFA)
Model Χ2 df Χ2/df CFI TLI RMSEA
5-factor first order pairfam 1040.77* 265 3.9 .92 .91 .05
AID:A 860.77* 265 3.3 .93 .92 .04
1-factor first order pairfam 2595.19* 275 9.4 .77 .76 .09
AID:A 2900.89* 275 10.6 .71 .69 .08
5-factor bifactor pairfam 722.09* 240 3.1 .95 .94 .04
AID:A 672.53* 240 2.8 .95 .94 .04
5-factor bifactor; general nur auf TDS
pairfam 745.83* 244 3.1 .95 .94 .04
AID:A 659.61* 222 2.9 .95 .94 .04
* p < .001