Benjamin Boerebach, Esther Helmich
NVMO workshop 12 juni 2014
programma
13.30 Voorstelronde
13.45 onzekerheid in onderzoek (intro)
14.15 onzekerheid in kwalitatief onderzoek
14.30 onzekerheid in kwantitatief onderzoek
14.45 workshops verdieping in kwalitatief óf
kwantitatief onderzoek (incl pauze)
16.30 terugkoppeling en afronding
17.00 einde
Actueel discussie onderzoek
Publication bias
1000
900
800
700
600
500
400
300
200
100
0
2013
2012
2011
2010
2009
2008
2007
2006
2005
2004
2003
2002
2001
2000
Is dit een primaire taak van de
onderzoeker?
• Ik doe gewoon mijn eigen
onderzoek
• Ik moet publiceren
• Dat zal toekomstig onderzoek
moeten uitwijzen
• Ik kan daar niets zinnigs over
te zeggen
Wat is de het doel van
wetenschap?
• Bewijzen dat je
hypothese/theorie
juist is
• Bewijzen dat je
hypothese/theorie
onjuist is
Karl Popper
• Quote: “A theory in the
empirical sciences can
never be proven, but it
can be falsified, meaning
that it can and should be
scrutinized by decisive
experiments. If the
outcome of an experiment
contradicts the theory,
one should refrain from ad
hoc manoeuvres that
evade the contradiction
merely by making it less
falsifiable.”
Falsificeren of falsificatie?
Bewijzen dat je
hypothese/theorie juist is
Bewijzen dat je
hypothese/theorie onjuist
is
Spin
Spin
• over
Spin away, embrace uncertainty
Onzekerheid
in wetenschappelijk onderzoek
• Welke vraag stel je? (En welke niet?)
• Wie doen er mee? (En wie vallen erbuiten?)
• Waar kijk je naar? (En wat wil je niet weten?)
• Wat wil je zien? (En wat zie je liever niet?)
• Welk verhaal vertel je? (Wat laat je weg?)
Welke vraag stel je?
Wie doen er mee?
Waar kijk je naar?
Wat wil je zien?
Welk verhaal vertel je?
causal assumptions, confounders and other
biasing factors that can spoil your research
Correlation and causation
Causation?
Confouding
confounding
confounding
No causation
Causation
Correlation
Confounder selection
• Example highlights the importance of careful selection and
adjustment of the appropriate confounders
• Workshop:
• How do we find and select the appropriate confounders?
• Causality theory developed by Prof. Judea Pearl and
collegues
Other sources of bias
•
•
•
•
•
Design bias
Selection bias
Measurement bias
Response bias
Drop out
Other sources of bias
•
•
•
•
•
Design bias
Selection bias
Measurement bias
Response bias
Drop out
Non-response modelleren
• Niet volledig at random
• je hebt (beperkte) data van je nonresponders
• je hebt geen data van je nonresponders, maar kunt op basis van
ander onderzoek wel aannames doen
over je responders/nonresponders
Drop-out or response bias
• Wegen van de cases bij de inverse
probability of response of probability
of drop-out
• Bereken voor iedere participant de
kans dat hij uitvalt of niet-reageert
op basis van alles wat je wel weer
van deze persoon
Weging cases
Proefpersoo Kans op
n
drop out of
respons (p)
Weging
drop out (p)
Weging
respons
(1/p)
1
0.10
0.10
10
2
0.25
0.25
4
3
0.50
0.50
2
4
0.75
0.75
1,33
5
0.90
0.90
1,11