KOM samenvatting + begrippenlijst
Hester Koning
Introductie
Kenmerken sociaal-wet. onderzoek:
 Empirisch (= systematische waarneming  hh-baarheid)
 Controleerbaar (peer review: tijdschrift stuurt anoniem door naar andere wet.schappers
om te controleren) ⟹ kwaliteit hoog
 Probabilistisch (= op basis van kans, dus niet deterministisch > nat-wet)
1. Idee/theorie
Theorie = onderlinge samenhang v denkbeelden, hypothesen en verklaringen  toetsen
Kenmerken goede wet.theorie:
 Ondersteund door data (uit wet. Onderzoek)
 Falsifieerbaar  ontkracht/weerlegd worden
ahv verzamelde gegevens
 Spaarzaam (parsimonious) > niet complexer
maken
2. Onderzoeksvragen, 2 soorten:
A. Fundamenteel (basic)  nieuwe kennis
opdoen
B. Toegepast (applied)  kennis omzetten in
praktijk in concrete situatie
3. Onderzoeksontwerp
Zijn de gegevens kwantitatief (cijfers) of kwalitatief (niet-cijfers)
Bij wie worden empirische gegevens verzameld? + consequenties?
4. Hypothesen  voorspellingen (soms wel/niet)
5. Dataverzameling + data-analyse  publicatie!
2 situaties:
1. Ondersteunende data ⟹ versterking theorie
2. Niet-ondersteunende data ⟹ herziening theorie/verbeterd onderzoeksontwerp +
waarom?
Waarom kwalitatief onderzoek?
o Sociale fenomenen begrijpen vanuit hun natuurlijke context (in hun schoenen)
o om empirische patronen te vinden
o kan startpunt zijn voor theorievorming: ontwikkeling nieuwe theorie of
aanpassing/uitbreiding bestaande theorie
patronen in: gesproken/geschreven teksten, observaties van gedrag en interacties,
beeldmateriaal, etc
kenmerken kwalitatief onderzoek:
1. onderzoeker is geïnteresseerd in natuurlijke omgeving vd respondent
2. onderzoeker heeft contextuele benadering
3. het perspectief vd respondenten staat centraal
4. via specifieke observaties probeert de onderzoeker de sociale werkelijkheid te
omschrijven in al haar diversiteit en naar algemeenheden te zoeken die nieuwe
theorieën vormen of bestaande theorieën aanpassen
inductief onderzoek: op zoek naar bredere patronen om theorie te vormen
onderzoeksvraag van kwalitatief onderzoek herkennen aan SPI(C)E:
Setting: waar, in welke context
Perspective: voor wie?
Interest: wat?
(Comparison: vergeleken met wat?)
Evaluation: met welk resultaat  wat wordt onderzocht? (ww), zegt iets over “I”
Data-verzameling in kwalitatief onderzoek
2 dataverzamelingsmethodes:
1. kwalitatief interview
= gesprek: interviewer stelt vragen en geïnterviewde (informant/respondent) geeft
antwoord
2. focusgroep
- interactie tussen deelnemers
onderzoeker is geïnteresseerd, maar anonimiteit en vertrouwelijkheid moeilijk waar
te borgen
- onderwerp is specifieker
- interviewer is moderator: stelt vragen van de onderzoeker, gesprek niet afdwalen,
iedereen aan de beurt.
- Groepssamenstelling: 1 moderator + 6-10 personen
 Homogene groep qua achtergrond, breed scala aan ervaringen (heterogeen)
- soms buitenstander inhuren om barrière te verkleinen
soorten interviews:
A. ongestructureerd: alleen een onderwerp (weinig respondenten), vaak weinig info
bekend
B. semi-gestructureerd: meerdere (sub-)onderwerpen (meer respondenten), meer info
bekend
C. gestructureerd: alles vastgelegd in een survey
met een steekproef verzamel je data, analyseren en koppel je het resultaat terug aan
bredere populatie.
Hoe participanten selecteren bij steekproef?
- Eenvoudig bereiken
- Al een groepje
- Specifieke voorwaarden
Verschillende soorten selecte steekproeven:
 Doelgerichte steekproef (purposive sample)
 Specifieke voorwaarden
 Case study logic: op zoek naar specifieke individuen met belangrijke info > elk
verhaal is waardevol
 Sample for range: op zoek naar zo breed mogelijke scala aan ervaringen
 Gemakssteekproef (convencience sample)
 Eenvoudig bereiken, onderzoeker minste inspanning
 Quota steekproef (doelgericht)
 Vaststellen hoeveel respondenten met specifieke kenmerken
 Sneeuwbal steekproef
 Vorm doelgerichte steekproef
 Deelnemers bevelen anderen aan
 Sequentiële steekproef

Criteria worden tijdens onderzoek aangepast
Interviewen is moeilijk: veel in hersenen > geef respondent tijd
 Verloop gesprek hangt af van moderator: moderator bewust van eigen rol, en gesprek in
goede banen leiden (focusgroep)
 Moderator kan doorvragen om achter te komen wat respondent echt bedoelt
 Moderator bewust van non-verbale signalen respondent (liegen?)
 Belang van verstandhouding (rapport)
Gesprek opgenomen en volledig uitgetypt in transcript (nu: software + checken)
Tijdens gesprek: field notes = aantekeningen > waardevol voor analyseren data
Alternatieve dataverzamelingsmethode: observatie (waarnemen gedragingen,
gebeurtenissen en interacties)  tv-programma’s
Keuze’s observatieonderzoek:
1. Participerend vs niet-participerend
Deel groep vs buitenaf
Participerend: onderzoeker kan fenomenen goed observeren > goede kwaliteit
gegevens, maar: onderzoeker kan té betrokken raken (= going native)
Niet-participerend: meer afstand > objectievere observaties, maar mogelijkheid tot
misinterpretaties
2. Verhuld vs onverhuld
Mensen weten niet dat ze geobserveerd worden vs wel
3. Systematisch vs niet-systematisch
Fenomenen waar naar gekeken van te voren vastgelegd vs niet
Kiezen site (plaats) van observatieonderzoek  toegang verkrijgen via gatekeeper.
Key informant = contactpersoon, wijst je de weg, geeft info
Field notes:
a. Directe observaties (chronologie, fysieke beschrijvingen)
b. Inferentes (interpretatie onderzoeker)
c. Eigen gevoelens (alleen CA)
d. Analyse (koppeling observaties aan theorie)
Aanwezigheid onderzoeker en het feit dat participanten weten dat ze geobserveerd worden
gaan ze zich anders gedragen = reactiviteit > hawthorne effect: weten geobserveerd
⟹ slechte kwaliteit gegevens
Daarom: op zoek naar alternatief: verzamelen van bestaande gegevens (niet-reactief)
 Gegevens van ander onderzoek (secundaire data): CBS, PISA
 Gegevens verzameld zonder als doel onderzoek (afval, insta)
Bij analyseren van bestaand tekst-, geluid- of beeldmateriaal kijk je naar inhoud en betekenis
- Steekproeven: in tijdperiode
- Toegankelijkheid bestaande gegevens soms moeilijk: hoge kosten, moeilijk te
gebruiken, ethische bezwaren > niet zomaar gebruiken wat je tegenkomt
- Geschiktheid bestaande gegevens: komen gehanteerde definities overeen?,
gegevens volledig?
Kwalitatieve data-analyse
Triangulatie = het combineren van verschillende dataverzamelingsmanieren (observatie +
interview, bestaande gegevens + interview, kwalitatieve gegevens + kwantitatieve gegevens,
deel onderzoek met meerdere onderzoekers doen). ⟹ kwali hoog en ondersteuning theorie.
ETHIEK > richtlijnen binnen WS en wetgeving om misstanden te voorkomen
Ethische principes: Belmont report
 Respect voor personen
 Autonomie deelnemers gewaarborgd (informed consent: participanten leren
alles over onderzoek en alle risico’s en voordelen > geen misleading, geen
oneigenlijke druk/dwang) = zelf kiezen of je mee wil doen
 Speciale bescherming voor kwetsbare personen (kids, beperking, gevangenen)
 Goeddoen (beneficence)
 Bescherming tegen schade (fysiek, psychisch, persoonsgegevens)
Anonymous study: geen mogelijke identificerende info
Confidential study: sommige identificerende info vragen voor contact, maar
ervoor zorgen dat ze niet naar buiten komen.
 Balans tussen (kans op) schade en mogelijke opbrengst
 Rechtvaardigheid (justice)
 Balans tussen deelnemers en personen die profiteren vd uitkomsten
Ethische principes: toevoeging APA
 Betrouwbaarheid en verantwoordelijkheid (fidelity en responsibility)
- Vertrouwensrelatie tussen onderzoeker en deelnemer
- Accepteren van verantwoordelijkheid om professioneel te gedragen
 Integriteit (integrity)
- Streven nauwkeurig, waarheidsgetrouw (niet liegen) en eerlijk (alles vertellen)
Data fabrication = het maken van je eigen data dat past bij je hypothese
Data falsification = het beïnvloeden van de resultaten door sommige dingen weg te laten.
Informed consent = deelnemer vooraf geïnformeerd
- over onderzoek
- welke gegevens wel/niet worden verzameld
- mogelijke risico’s en/of voordelen
- Hoe privacy gewaarborgd
Kwetsbare groepen ondertekenen niet zelf
Onderdeel van onderzoeksprotocol > goedgekeurd door ethische commissie
Hoe zien verzamelde data eruit?
Interviews/focusgroepen  transcripten, field notes
Observaties  field notes
Bestaande gegevens  archiefstukken, nieuwsberichten, dagboeken
Dit worden (digitale) tekstbestanden
Doel kwalitatieve data-analyse: sorteren, zodat specifieke processen/patronen
onderscheiden kunnen worden.  inductie: observaties/data > patronen > theorie
5 stappen in kwalitatieve data-analyse:
1. Data management en voorbereiding
◊ Data management (plan) (DMP)
o Data opslag tijdens en na afloop vh onderzoek
o Delen van data met andere onderzoekers
▫ Doel:
▫ Transparantie, controleerbaarheid, reproduceerbaarheid
▫ Waarborgen privacy vd deelnemers (“principe van goeddoen”)
- Anoniem onderzoek: bij dataverzameling geen persoonsgegevens verzamel
- Vertrouwd onderzoek: onderzoekers voorkomen dat persoonlijke data
bekend worden (bijv door de-identificatie (pseudoniemen).
2. doornemen en reduceren vd data
◊ transcriberen vd data
◊ (evt) samenvatten interviews
◊ Arceren belangrijke passages tekst
◊ Herlezen, digitaliseren en ordenen field notes
3. Coderen vd data
◊ Coderen: labels toekennen aan betekenisvolle tekstdelen
◊ 3 typen codes:
1. Attribute codes
= achtergrond- of demografische info respondent
Functie: op kenmerken zoeken of sorteren
2. Index codes
= grote stukken tekst en geven brede/algemene onderwerpen aan
Functie: vereenvoudigt het zoeken naar relevante fragmenten
3. Analytic codes
= betekenis van specifieke (kleine) stukken tekst en komen deels uit
literatuur, deels uit verzamelde gegevens
Functie: gebruikt voor data-analyse
Inconvenience sample = verzameling gebeurtenissen/mensen die maken dat de
onderzoeker de interpretaties in twijfel moet trekken (“mensen die niet passen in je verhaal”)
Voldoende gegevens?  sample for range = proberen saturatie te bereiken (= niet meer
tot nieuwe ervaringen komen). Kwalitatief onderzoek is iteratief (/cyclisch proces) = data
verzamelen > analyseren > meer mensen toevoegen tot saturatiepunt
4. memo’s schrijven
Memo’s = aantekeningen voor jezelf bij data-analyse (verschil field notes)
 Koppelingen van codes aan literatuur (stap 3)
 Complexiteiten vd onderzoeksvraag
 Beslissingen
 Software
 Memo’s later bruikbaar voor schrijven onderzoeksrapport > ondersteunen
onderzoeksproces
5. construeren en toetsen van modellen
Zo sociale werkelijkheid omschrijven en zo zoeken naar algemeenheden die nieuwe
theorieën vormen of bestaande theorieën aan te passen
Verkaringsmodellen: beschrijvingen/visuele weergaven van theorieën
 Verklaringsmodellen moeten een sterke basis hebben in empirische gevens
 Onderzoeker moet alternatieve verklaringen evalueren
 Onderzoeker moet bij dataverzameling actief opzoek gaan naar personen wiens
ervaringen de voorlopige conclusies ontkrachten (inconveniece sample?)
⟹ kwaliteit vd bevindingen vergroot
Correlationeel onderzoek 1
C
A
P
S
Onderzoeksvraag correlationeel: relatie tussen 2 theo begrippen.
Constructs: theo begrippen > kenmerken v mensen
Association: verband/relatie tussen 2 theo begrippen
Kan pos/neg zijn = richting vd relatie
 Oorzaak-gevolg verband = causaliteit
Voorwaarden voor causaliteit:
1. Covariance (covariantie): relatie oorzaak-gevolg (verandering x = verandering y)
2. Temporal precedence (volgorde tijd): oorzaak voorafgaan aan gevolg
3. Internal validity (interne validiteit): alternatieve verklaringen uitgesloten
Population: groep mensen/dieren/objecten
Setting: locatie
Data verzamelen cor.:
 (systematische) observaties (> natuurlijke setting) > hoe-vraag, weinig bekend
 Bestaande gegevens/big data/administratieve data
 Vragenlijsten (survey) (verschillende vormen)
- je meet nauwkeurig
- verschillende aspecten van hetzelfde theo begrip meten
kenmerken 2 soorten:
1. fysieke kenmerken (vb: lengte, gewicht, reactietijd)
2. theoretische begrippen (constructs)  moeten meetbaar (in variabele) gemaakt
worden
= operationalisatie
I.
begrippen definiëren = conceptuele definitie
II.
meetinstrument kiezen = operationele definitie
likert schaal = 3 punten toekennen aan: strongly disagree – disagree – agree – strongly agree
categorische variabelen = geven geen hoeveelheden, maar categorieën aan
kwantitatieve variabelen = getallen geven wel hoeveelheden aan
Kwantitatieve
variabelen
Categorische
variabelen
Nominaal
meetniveau
Ordinaal
meetniveau
Interval
meetniveau
Ratio
meetniveau
(namen/woor
den/categorie
ën)
(kwali/kwanti
met logische
ordening van
slecht naar
beter)
(nat.
Ordening >
gelijke
verschillen
hebben
dezelfde
betekenis
(interval
tussen
verschillen
1= appel, 2 =
peer…
0 = strongly
disagree, 1 =
disagree, 2 =
agree, 3 =
strongly agree
>wordt
interval (gem:
3,6)
geen
absoluut
nulpunt
Wel absoluut
nulpunt
Generaliseren > uitspraak over grote groep op basis van kleine groep
= inferentie  steekproef!
- Externe validiteit  betrouwbaarheid: kan je wel die uitspraak over
kleine groep over grote groep zeggen?
Selecte SP
Niet gebaseerd op kansen (vertekend = biased)
Generalisatie nauwelijks mogelijk
Lage ext. Validiteit





Doelgerichte steekproef (purposive sample)
 Specifieke voorwaarden
 Case study logic: op zoek naar specifieke
individuen met belangrijke info > elk verhaal
is waardevol
 Sample for range: op zoek naar zo breed
mogelijke scala aan ervaringen
Gemakssteekproef (convencience sample)
 Eenvoudig bereiken, onderzoeker minste
inspanning
Quota steekproef (doelgericht)
 Vaststellen hoeveel respondenten met
specifieke kenmerken
Sneeuwbal steekproef
 Vorm doelgerichte steekproef
 Deelnemers bevelen anderen aan
Sequentiële steekproef
 Criteria worden tijdens onderzoek aangepast
Aselecte SP
Evenveel kans op meedoen
Representatief hele populatie
Generalisatie mogelijk
Hoge ext. Validiteit




Enkelvoudige aselecte SP
Random mensen kiezen (computer)
Gestratificeerde aselecte SP
Verdeling van deelpopulatie, van elke deelpopulatie een
deel in je SP
(1: op basis van populatieverhouding, of 2: oversampling =
expres bepaalde strata vaker laten voorkomen)
Cluster SP
(random clusters (vb: scholen) kiezen, iedereen vd cluster
doet mee)
Getrapte (multistage) SP
(als binnen elk cluster random wordt gekozen)

Gecombineerde SP: 2 soorten
gecombineerd
Non-response = niet meedoen/beantwoorden van vragen
Item non-response = mensen beantwoorden bepaalde vragen niet
Correlationeel onderzoek 2
Data laten zien in grafieken, maar welke hangt af van meetniveau (noir)
Nominaal meetniveau
Beschrijvende statistieken: percentage, modus (= meeste)
Grafiek: staafdiagram
Interval/ratio (1)
Beschrijvende statistieken: gemiddelde, standaardafwijking
Grafiek: histogram (continue variabele)
Interval/ratio (2)
Beschrijvende statistieken: mediaan, interkwartielafstand (IQR)
Grafiek: boxplot
Interval/ratio met 2 variabelen
Beschrijvende statistieken: Pearson’s correlatiecoëfficiënt (bij lineaire relatie)
Grafiek: spreidingsdiagram (scatterplot)
Hoe verder van 0, hoe sterker
R = onder 0 = negatief verband
Ordinaal
Beschrijvende statistieken: spearman’s correlatiecoëfficiënt (bij kromme lijn) = rs
Onderzoek beoordelen kan via: interne validiteit, begripsvaliditeit, statistische validiteit en
externe validiteit.
begripsvaliditei
t
Subjectief (voor
verzamelen)
Indruks- (face
validity)
= experts
Inhouds(content
validity)
= alle aspecten
Empirisch (na
verzamelen)
Convergent
= zelfde
metingen,
andere
instrumenten
Divergent
(discriminant)
= andere
metingen,
andere
instrumenten (je
wilt dat ze niet
overeenkomen)
Criterium
= hangen
metingen
samen van wat
we weten dat er
een verband is
Groepsparadigm
a
= criterium in
groepen
Betrouwbaarheid (reliability) “meet ik elke keer hetzelfde?”
1. Test-hertest  meerdere keren, consequente scores > stabiel over tijd
2. Interbeoordelaars-  verschillende onderzoekers, consequente scores
(obser.)
3. Interne betrouwbaarheid  soortgelijke (logische) antwoorden
Gemeten met Cronbach’s Alfa
Correlationeel onderzoek 3
Theoretische verwachting = verwachting relatie tussen theo begrippen
Onderzoekshypothese = stelling over correlatie tussen variabelen. (eigenlijk gwn preciezer)
Je gaat van theo verwachting naar onderzoekshypo
Hoe doe je onderzoek met SP????  NHST
Stap 1: nullhypothese
- Er is GEEN relatie
- Er is GEEN verschil
- Er is GEEN effect
Stap 2: hoe waarschijnlijk is de geobserveerde waarde in SP hetzelfde als nullhypo
(je kiest tussen onderzoekshypo en nullhypo > wat is meer waarschijnlijk)
SP-spreiding: het feit dat waarden verschillen per SP
SP-verdeling: hoe de waarden vd SP-correlatie verschillen/variëren
SP-fout = het verschil tussen de SP en de populatie
 Meten met standaardafwijking
Standaardfout = gemiddelde grootte SP-fout
“Hoe groter de SP, hoe kleiner de standaardfout”
Overschrijdingskans = in hoeverre komt de waarde vd SP overeen met Nullhypo = kans
dat de waarde van SP nog verder van nul ligt = opp curve = P !!!!!!
Correlatie
Klein
Groot
P-waarde
Groot
Klein
Overeenkomst met
situatie onder nullhypo
Veel
Weinig
n (= grootte SP)
Klein
Groot
P-waarde
Groot
klein
P-waarde bij gelijke
r
Groot
klein
Experimenteel onderzoek 1
Voorwaarden causaliteit:
1. Covariance (relatie X en Y)
2. Temporal precedence (X vooraf aan Y)
3. Internal validity (andere verklaringen uitgesloten)
Internal validity is moeilijk, daarom: gerandomiseerd experiment
- Door randomisatie worden 2 groepen als hetzelfde verondersteld
- Onderzoeker manipuleert 1 variabele bij 1 groep
- Onderzoeker meet die ene variabele en vergelijkt
Random mensen worden in 2 groepen gesplitst: experimental group & control group
Soms randomiseren niet helemaal goed gegaan…
- Design confounds
Manipulatie enige verschil?
- Selectie effects
Waren de 2 groepen wel hetzelfde?
TYPE GROEPEN IN BOEK OPZOEKEN
Doel van randomisatie:
 Gem scores en spreiding in scores gelijk
 Op alle variabelen, zowel gemeten als ongemeten
 Bij aanvang groepen vergelijkbaar
Soms randomisatie niet mogelijk:
- Niet-ethisch
- Praktisch onhaalbaar (gevangenis, scheiden)
Soms wel mogelijk, maar gaat mis…
 Contaminatie = exp. Groep vertelt controle groep
 Deelnemers niet meedoen aan behandeling
 Beïnvloeding onderzoeker
P
I
C
O
Population: groep mensen
Intervention: experimental group met de manipulatie
Comparison: controle groep (zonder manipulatie) waarmee wordt vergeleken
Outcome: uitkomst variabele (de gemeten variabele)
NHST > in experimenteel onderzoek: verschillen meten tussen groepen
1. Onderzoekshypothese vs Nullhypothese opstellen
+ schrijven statistische hypothese:
H0: µrevisie = µrecopy
HA: µrevisie > µrecopy
2. Keuze & berkenen toetsingsgrootheid
t-toets voor onafhankelijke groepen
 = onafhankelijke schaal & meet alles op dezelfde schaal
 t = (M1-M2)/SE = gestandaardiseerde score experiment/relatieve verschil groep 1 & 2
Experimenteel onderzoek 2
(M1 – M2) ↑ ⟹ t ↑ ⟹ p ↓ (meer correlatie)
SD1,2 ↑ ⟹ SE ↑ ⟹ t ↓ ⟹ p ↑ (minder correlatie)
N1,2 ↑ ⟹ SE ↓ ⟹ t ↑ ⟹ p ↓ (meer correlatie)
Kleine P-waarde:
 weinig ondersteuning voor H0
 H0 verwerpen (kans op type I-fout)
Hoge P-waarde:
 Veel ondersteuning voor H0
 H0 niet verwerpen (kans op type II-fout)
Type I-fout (alfa) = H0 is waar, maar wordt bij kleine P-waarde toch verworpen (onterecht H0
verwerpen)
Type II-fout (beta) = H0 is niet waar, maar wordt bij grote P-waarde toch behouden
(onterecht H0 behouden)
Power/onderscheidingsvermogen = kans dat onderzoekers juiste beslissing hebben
genomen. Kans op het juist verwerpen van H0  (1 – beta)
- grootte n, grootte verschil (M1-M2), grootte α. (allemaal positief verband)
Kans op type I-fout = α = significantieniveau
Selection effect > probeer je te voorkomen met randomisatie > verbetering ext.vali
t-toets gebruiken bij:
 Gerandomiseerd experiment
 Niet randomiseren, wel manipuleren (quasi-experiment) > zelf groepen kiezen
 Niet randomiseren, niet manipuleren
Experimenteel onderzoek 3 en 4
Soorten validiteit:
1. Externe validiteit
= generaliseren populatie
- Type SP (select > lage ext.vali.)
- Setting experiment > mate van overeenkomsten werkelijkheid en
experimentele setting = ecologische validiteit
2. Interne validiteit
= vaststellen causaliteit
3 bedreigingen:
- Design confounds (alternatieve verklaringen) > geen besmetting
(contaminatie) tussen beide groepen.
- Selectie effect (waren groepen vergelijkbaar bij aanvang experiment?)
Specifieke bedreigingen bij within-subjects designs (herhaalde meting)
De manier waarop condities worden aangeboden heeft invloed… (order effects)
Herhaling (practice effects), vermoeidheid (fatigue), volgorde (1e x heeft invloed op
2e x (carryover effects).
3. Begripsvaliditeit
= verschillende soorten validiteit en betrouwbaarheid meetinstrumenten
4. Statistische validiteit
= zijn de conclusies (van onderstaande) afleidbaar?
 Significantie  toetsingsgrootheid t en overschrijdingskans p
 Relevantie  effectgrootte: Cohen’s D (= standardized mean difference)
D = (M1-M2)/SDpooled (= schatting SD van beide groepen).
D
bij een grote D (effect is dus sterk), beleid maken
0.20
 Nauwkeurigheid  betrouwbaarheidsinterval (BI)
0.50
Gemiddelde grootte SP-fout = standaardfout
0.80
Na het trekken van SP weten we (M1-M2) = puntschatting 
interval van waarschijnlijke waarden (=BI)
Bovengrens: +2SE, ondergrens: -2SE
Sterkte
Klein
Medium
Groot
Kijk of BI ook negatief kan zijn (of positief) > dat moet opvallen (???)

Onderzoekers willen smal interval. De breedte BI hangt af van:
- SP-grootte (kleine standaardfout => smal interval)
- Mate spreiding populatie (grote scores SP => meer onzekerheid => brede
interval)
- Gekozen betrouwbaarheidsniveau (90%/95%/99%) > hangt samen met α
“hoe hoger betrouwbaarheidsinterval, hoe breder de interval, hoe meer
onzekerheid, hoe minder nauwkeurigheid, hoe kleiner alfa, hoe meer kans op
type I-fout”
Geschiktheid
- SP is aselect
 Methodedeel > hoe participanten geselecteerd?
niet altijd prioriteit bij experimenten (meer int.vali.)
 Voordeel: aselecte SP resulteert in onafhankelijke observaties
- Meetniveau afhankelijke variabele
 Methodedeel > hoe theo begrippen geoperationaliseerd
 Anders andere toets gebruiken
- Onafhankelijke groepen
 Methodedeel > deelnemers willekeurig ingedeeld 2 groepen
 Anders andere toets gebruiken
- Normaal verdeelde scores
 Histogram: moet klokvormig zijn
 Anders andere toets gebruiken
- Gelijke spreiding
 Boxplots (zijn IQR’s in groepen ong gelijk?)
 Anders andere toets (Welch’s toets) (maar: minder power)
Voorwaarden correlatie => betere statistische vali
1. SP aselect
 Ext/vali
2. Variabelen interval/ratio
Mogelijkheid 1: beide variabelen nominaal  gebruik andere toets
Mogelijkheid 2: een/beide variabelen ordinaal  spearman’s
3. Relatie is lineair (want Pearson’s)
 Spearman’s
Zijn de resultaten goed geïnterpreteerd?
- Eenzijdig (gericht): 5% aan 1 kant
R
0.10
0.30
0.50
-
Tweezijdig (ongericht): 2,5% per kant
3 soorten replicatie:
1. Direct: heel goed vergelijkbaar, maar: foutjes worden dan ook gekopieerd
2. Concept: design verbeteren (foutjes uithalen), maar: minder goed vergelijken
3. Replicatie + uitbreiding: aanvullende vragen
Daarom: tip! Meta-analyses
Integriteit & Open Science
Grote schendingen wetenschappelijke integriteit:
Fabricage = data verzinnen, bewust schending
Plagiaat = werk anderen kopiëren, bewuste schending
Nederlandse gedragscode wetenschappelijke integriteit:
(1) Eerlijkheid: – Resultaten en gegevens moeten correct en zonder misleiding worden
gepresenteerd.  onzekerheidmarges
(2) Zorgvuldigheid - Wetenschappers moeten nauwkeurig en transparant te werk gaan.
 ontwerp, uitvoering, verslaglegging, disseminatie, rol externe partijen.
(3) Transparantie - Onderzoeksmethoden en resultaten moeten controleerbaar zijn.
(4) Onafhankelijkheid - Onderzoek moet vrij zijn van externe beïnvloeding.
(5) Verantwoordelijkheid - Wetenschappers moeten de ethische en maatschappelijke
impact van hun werk in acht nemen.  mensen/dieren, relevantie
Ethische principes: toevoeging APA
 Betrouwbaarheid en verantwoordelijkheid (fidelity en responsibility)
- Vertrouwensrelatie tussen onderzoeker en deelnemer
- Accepteren van verantwoordelijkheid om professioneel te gedragen
 Integriteit (integrity)
Streven nauwkeurig, waarheidsgetrouw (niet liegen) en eerlijk (alles vertellen)
Rol beroep als onderzoeker/docent/etc
Integriteitsbelofte uu: promovendus  eed afleggen
Subtiele schendingen (maar wel bewust!):
 Falsifying > niet rapporteren bepaalde bevindingen, aanpassen data, foutief
interpreteren data
File-drawer problem  niet-significante bevindingen worden zelden gepubliceerd
(=> mensen meer in de verleiding om te falsifyen).
 Vertekening literatuur, want disbalans: meer sign. Resultaten = publication
bias.
Daar komt bij: confirmation bias > resultaten komen overeen met verwachtingen
Questionable Research Practices (QRP)
 Grens tussen goed onderzoek en fraude
 Zo masseren zodat je krijgt wat je wil = p-hacking > bv: ongeplande analyses
uitvoeren.
Zoeken naar verbanden mag, mits gepresenteerd in exploratief onderzoek.
HARK-ing = ‘Hypothesizing After Results are Known’
= achteraf je hypotheses aanpassen aan resultaten
Oplossingen:
 Retractie  zelfcorrectie achteraf
Nadelen: reputatieschade onderzoeker & WS, vaak lange tijd tussen
publicatie en retractie
 Post Publication Peer Review (PPPR)  online discussie platform publicaties
 Replicatie (hoort al bij onderzoekscyclus)
 Pre-registratie  vooraf precies vertellen wat je gaat doen in onderzoek,
publicatie is onafhankelijk van uitkomst > sowieso gepubliceerd!
Open Science = beweging na problemen in WS-publicatie
 Iedereen moet toegang hebben tot WS
 Tegen oneerlijkheid!
 Open Access  gratis en open online toegang tot Wet. Info
Maar: kwaliteit (nog) beperkt  onderzoeker moet betalen
FAIR-richtlijnen > beschrijven, bewaren en delen v data
Findable, Accessible, Interoperable, Reusable
Begrippenlijst
Empirisch = systematische waarneming  hh-baarheid
Controleerbaarheid dmv peer review = tijdschrift stuurt anoniem door naar andere
wetenschappers om te controleren ⟹ hoge kwaliteit
Probabilistisch = kans is groot  uitspraken op maken
Falsifieerbaar = theorie moet weerlegd kunnen worden
Spaarzaam (parsimonious) = theorie zo simpel mogelijk
Fundamenteel (basic) = nieuwe kennis opdoen
Toegepast (applied) = kennis omzetten in de praktijk, specifieke situatie
Kwantitatief = cijfers
Kwalitatief = niet-cijfers
Sociale fenomenen =
Inductie =
SPI(C)E = acroniem voor een goed kwalitatief onderzoek
Kwalitatief onderzoek = 1 moderator stelt vragen, informant/respondent geeft antwoord
Focusgroep = 6-10 mensen met moderator hebben gesprek
Respondent = geïnterviewde
Moderator = interviewer
Doelgerichte steekproef = specifieke voorwaarden
Gemakssteekproef =
Quota steekproef =
Sneeuwbal steekproef =
Verstandhouding (rapport) =
Transcript = uitgetypt interview
Field notes = aantekeningen tijdens interview/observatie
Observatie = waarnemen en registreren van gedragingen, gebeurtenissen en interacties
Site = plaats van observatie
Gatekeeper = via hem krijg je toegang tot site
Key informant = contactpersoon tijdens observatie-tijd
Reactiviteit = gedrag beïnvloed door aanwezigheid onderzoeker en/of het feit dat
participanten weten dat ze geobserveerd worden (= hawthorne effect)
Secundaire data = data wat verzameld was voor ander onderzoek > weer gebruikt
Triangulatie = het combineren van dataverzamelingsmanieren
Ethiek = in hoeverre mag alles zomaar onderzocht worden?
Betrouwbaarheid en verantwoordelijkheid (fidelity en responsibility) =
Integriteit (integrity) = streven nauwkeurigheid, waarheidsgetrouw (niet liegen) en eerlijk
(alles vertellen)
Informed consent = deelnemer vooraf geïnformeerd
Inductie = observaties/data > patronen > theorie
Transparantie =
Controleerbaarheid =
Reproduceerbaarheid =
Anoniem onderzoek = bij dataverzameling geen persoonsgegevens verzameld
Vertrouwelijk onderzoek = voorkomen persoonlijke data bekend zijn (dmv de-identificatie
(pseudoniem)
Codes = labeld die worden gegeven aan tekstdelen
Attribute codes = achtergrond/demografische info
Index codes = grote stukken tekst > brede/algemene onderwerpen
Analytic codes = beschrijven betekenis van specifieke (kleine) stukken tekst
Inconvenience sample = verzameling gebeurtenissen/mensen > onderzoeker twijfelt
Sample for range = kijken of je genoeg gegevens hebt door te streven naar saturatie (=
niet meer tot nieuwe ervaringen komen)
Iteratief/cyclisch proces = van dataverzameling naar data-analyse steeds gaan
Memo’s = aantekeningen voor jezelf bij data-analyse
Verklaringsmodellen = beschrijvingen/visuele weergaven van theorieën
Constructs = theoretische begrippen, kenmerken van mensen
Association = verband/relatie tussen 2 theoretische begrippen
Population = groep mensen/dieren/dingen
Setting = locatie
Causaliteit = oorzaak-gevolgverbanden
Covariance = er is een relatie tussen oorzaak en gevolg
Temporal precedence = oorzaak gaat vooraf aan het gevolg
Internal validity = alternatieve verklaringen zijn uitgesloten
Fysieke kenmerken = vb: lengte, gewicht, reactietijd
Theoretische begrippen = > deze moeten meetbaar gemaakt worden, (nog) geen eenheid
Operationalisatie = het meetbaar maken van theoretische begrippen
Conceptuele definitie = begrippen definiëren
Operationele definitie = meetinstrument kiezen
Likert schaal = punten toekennen aan mening: strongly disagree, disagree, agree, strongly agree
Categorische variabelen = geven geen hoeveelheden aan: nominaal meetniveau
Kwantitatieve variabelen = geven hoeveelheden aan: ordinaal, interval, ratio
Nominaal meetniveau = namen/woorden/categorieën
Ordinaal meetniveau = logische ordening (geen interval)
Interval meetniveau = gelijke verschillen hebben dezelfde betekenis + geen nulpunt
Ratio meetniveau = gelijke verschillen hebben dezelfde betekenis + wel nulpunt
Generaliseren = uitspraak doen over grote doen op basis van kleine groep (SP)
Inferentie = steekproef doen
Pearson’s correlatiecoëfficiënt = r
Spearman’s correlatiecoëfficiënt = rs
Begripsvaliditeit = meet mijn instrument wel wat ik wil meten?
Indruksvaliditeit = > experts
Inhoudsvaliditeit = > alle aspecten
Convergente validiteit = zelfde metingen, andere instrumenten
Divergente (discriminant) validiteit = andere metingen, andere instrumenten
Criterium validiteit = hangen metingen samen waarvan we weten dat er een verband
bestaat?
Groepsparadigma = criterium validiteit van groepen
Betrouwbaarheid (reliability) = “meet ik elke keer hetzelfde?”
Test-hertest betrouwbaarheid = meerdere keren, consequente scores
Interbeoordelaarsbetrouwbaarheid = verschillende onderzoekers, consequente scores
Interne betrouwbaarheid = soortgelijke (logische) antwoorden
Theoretische verwachting = verwachting van een relatie tussen theo begrippen
Onderzoekshypothesen = stelling over correlatie tussen variabelen
NHST =
Nullhypothese = aanname dat er geen verband/relatie/verschil is.
Steekproefspreiding = het feit dat waarden verschillend zijn per SP
Steekproefverdeling = hoe de waarden v SP’en verschillen
Steekproeffout = het verschil tussen SP en hele populatie
Standaardfout = gemiddelde grootte van de steekproeffout
Overschrijdingskans (p) = kans dat de waarde van SP nog verder van null ligt.
Gerandomiseerd experiment= onderzoeksopzet waarbij: 1) door randomisatie groepen als
hetzelfde worden verondersteld; 2) 1 variabele manipuleert; 3) het effect op een andere
variabele wordt gemeten.
PICO = population, intervention, comparison, outcome
Population = groep mensen die wordt onderzocht
Intervention = experimentele conditie (experimentele groep + manipulatie)
Comparison = controle groep, dus waarmee je het vergelijkt
Outcome = uitkomst, dus de gemeten variabele.
Design confounds = zijn er geen alternatieve verklaringen?
Selectie effect = zijn de groepen wel vergelijkbaar bij aanvang experiment?
Contaminatie = deelnemers exp groep vertellen tussendoor wat aan controle groep
t-toets = hiermee bereken je de gem scores van twee onafhankelijke groepen, dus het
relatieve verschil tussen de twee groepen.
t = (M1-M2)/SE
SE > SDpooled in teller, n in noemer
Type I-fout = foutief nulhypothese verwerpen
Type II-fout = foutief nulhypothese behouden
Significantieniveau = alfa (α); de kans op een type I-fout
Significant = p ≤ α
Niet-significant = p > α
Power (onderscheidingsvermogen) = kans op het juist verwerpen van nulhypothese
Quasi-experiment = groepen niet gerandomiseerd, wel gemanipuleerd (= mensen mogen
zelf groepen maken).
Statistische validiteit = 1) significantie; 2) relevantie; 3) nauwkeurigheid; 4) geschiktheid
Significantie = bepaald a.d.h.v. toetsingsgrootheid en p
Relevantie = beoordeeld a.d.h.v. effectgrootte
Nauwkeurigheid = beoordeeld a.d.h.v. betrouwbaarheidsinterval
Geschiktheid = beoordeeld door de toets, de voorwaarden, de interpretatie te controleren.
Cohen’s d = om effectgrootte te meten ( relevantie)
D = (M1-M2)/SDpooled
Betrouwbaarheidsinterval (BI) = interval van waarschijnlijke waarden rond de
puntschatting. je zit hier steeds +/- 2 SE’s vanaf. ( nauwkeurigheid)
Voorwaarden t-toets = 1) SP is aselect, 2) afhankelijke variabele is van interval/ratio; 3)
scores zijn normaal verdeeld; 4) scores beide groepen gelijke spreiding.
Voorwaarden correlatie-toets = 1) SP is aselect; 2) beide variabelen van interval/ratio; 3)
relatie is lineair.
3 soorten replicatie onderzoek: 1) direct; 2) conceptueel; 3) + uitbreiding
Fabricage = (bewust) data verzinnen
Plagiaat = (bewust) werk van anderen kopiëren
NL’se gedragscode wetenschappelijke integriteit = eerlijkheid, zorgvuldigheid,
transparantie, onafhankelijkheid, verantwoordelijkheid.
Falsifying = (bewust) niet rapporteren bepaalde bevindingen, aanpassen data, foutief
interpreteren vd data
File-drawer problem = omdat media alleen significante resultaten hebben onderzoekers
grote moeite om hun (niet-significante) resultaten gepubliceerd te krijgen.\
Publication bias = vertekening dat in de wetenschap meer significante onderzoeken zijn
dan niet-significante.
Confimation bias = je wilt dat je conclusie overeenkomt met je verwachtingen.
Questionable Research Practices (QRP) = ‘laagdrempeliger fraude plegen’
p-hacking = extra ongeplande analyses uitvoeren zodat je een significant resultaat krijgt
HARK-ing = “Hypothesizing After Results are Known” = hypotheses aanpassen nadat je je
resultaten hebt.
Retractie = zelfcorrectie achteraf
Post Publication Peer Review (PPPR) = online discussieplatform over publicaties
Pre-registratie = van te voren aan media precies vertellen wat je gaat doen, zij zullen je
resultaten sowieso publiceren onafhankelijk van de uitkomst.
Open Science = het idee dat iedereen toegang zou moeten krijgen tot wetenschap
Open access = gratis en open online toegang tot wetenschappelijke informatie
FAIR principes = richtlijnen voor beschrijven, bewaren en delen van data  Findable,
Accessible, Interoperable, Reusable
Data management plan (DMP) = plan waar onderzoekers van te voren moeten vastleggen
wat ze gaan doen.