1
A systematic and strategic system for
data collection management at Statistics
Norway
Seminar on New Frontiers for Statistical Data Collection
Geneva, Switzerland, 31 October-2 November 2012
Bengt Oscar Lagerstrøm, bol@ssb.no,
Statistics Norway
1
Outline
• Background
• What is a action plan?
• Use of action plans
• Results
• Conclusion/Further works
2
Background
• Increasing emphasis on quality management
– Total quality management, continuous quality improving, six sigma,
and so forth
• At the same time, our industry have experienced
– Increased non response rates, and
– (much) higher survey costs
3
Respons rates, Norway
Utvikling i svarandeler i noen utvalgte personundersøkelser
100
90
AKU
80
Valg
Prosent
70
LKU-t
EU-Silc
60
ESS
50
Forbruk
40
Tidsbruk
30
20
10
0
1967
1970
1973
1976
1979
1982
1985
1988
1991
1994
1997
2000
2003
2006
2009
År
4
Quality in data collection
• ”Number of ton produced”
– Number of interview started
– Item non-response
– …….
• Optimal planning
– How many interviewers and when?
– Reduction of non-scheduled stops
– Organization of good flow
5
Lean philosophy
• Is about
–
–
–
–
–
structuring,
operating,
controlling,
managing, and
continuously improving (our data collection)
6
Action plans and Lean
• Purpose: Make a environment for
– reducing costs
– increase efficiencies, and
– improve our products/statistics
• How?
– Reducing “waste”
– “Only one time”
– Organize and standardizes
7
Why action plans?
• A tool for designing and manage data collection within an
allocated resource limit
• A tool to monitor that actions leads to better quality given a
set of resources
• Documentation
• But most of all, a tool for making a (different) culture around
a data collection
– Improved competence through more systematically and strategic
approaches
8
What is a action plan?
•
A description of the planning and
implementation of the set of process
that make a data collection
– Quality indicators
– Demming’s quality wheel (PDCA)
•
•
A preparation for both anticipated and
unexpected challenges
A documentation
– Of actions and results
•
A communication strategy
– Who is responsible for what and
when?
•
Adjust
Plan
Check
Do
A monitoring system
– indicators
•
A guidance
– For next wave or a different survey
9
Action plans
• Goals and key figures
• Actions
– Before and during the field period
– What to do, when and who?
• Indicators
–
–
–
–
response rate,
contact rate,
recruitment rate,
r-indicator etc.
10
Goal
Er målet nådd?
ja
2. januar. Start
nei
9. januar intervju 640
Ja
16. januar 920 intervju
Ja
30. januar 1140 intervju
6. februar 1200 intervju
Ja, 1227
Mål 60% intervju (anslag på ca 25 avganger) , utvalg 2000, 16-79 år. Antall intervju 1200
Antall minutter: 11 minutter i gjennomsnitt.
11
Actions before the field period starts
TILTAK
Hvordan?
Når?
Innen
Status og vurdering
IO-brev med noteringshefte
Brev sendt ut, Marit
29.11.2011
Ok
Påminningsbrev
Brev sendt ut, Marit
28.12.2011
Ok
Sende telefonbrev til de med fasttelefon
Brev sendes med påminningsbrev,
Marit
28.12.2011
Nummerkobling
Telefinn og DM-huset, Thore
Uke 48
1644 telefonnummer
(82,2%)
Manuell sporing
356 lagt inn i siv + eget excel-ark for
sporing, Arnhild
Uke 48.
5 IO til frafall. 351 forsøkt
sporet. Fant 262 (74,6%)
Utsending IO-brev til ”returer”
Oppdaterte adresser og sendt
påminningsbrev, Marit
28.12.2011
OK
Oppstartmøte feltplan. Kom vi greit i gang? Bemanning
CATI/lokale
Marit, Arnhild, Tor
Før utsending
12
Actions during the field period, part 1
Etter utsending
Start
Jytte
2. januar
2000 IO lastet i SIV.
1906 m/tlf (95,3%)
17 nektere, 1 langvarig
syk og 2 avganger før start
(1%)
Sjekk av cati-management innstillinger
Rune
2. januar
Ok
Sjekke at riktige variabler kommer opp i ringebildet /
intervjuerlønn kan føres
Arnhild/intervjuer
2. januar
Ok
Oppdatering av Intervjuersiden
Marit/Arnhild
2. januar
ok
Brifing, Oslo + Supervisorer
Marit/Arnhild
2. januar
Ok
Brifing, Kvg.
Marit/Tor
3. januar
Ok
1. sjekkpunkt. Er vi i rute? Antall statuser, intervju,
timeforbruk. Mål 640 intervju (400t)
8 intervju per økt
9. januar
317 timer, 590 intervjuer
Sjekkpunktsmøte
Marit/Bengt
CAPI
IO uten nummer sendes til lokale
intervjuere. Lillian
11. januar
9. januar
13
Actions during the field period, part 2
2. sjekkpunkt. Er vi i rute? Antall statuser, intervju,
timeforbruk, Mål 920 intervju 350/(350t cati/ 50 timer
capi)
5 intervju per økt, supervisor
Marit/Bengt
16. januar
907 intervjuer, 197 timer
1. runde nektere
Utvalgte intervjuere
(bemanningstiltak). Arnhild
23. januar
Sendes ut 19 jan
219 IO
SMS
Alle
NB! Kode 35
Jytte/Arnhild
16. januar
Fremskynder fra 23.
januar til 16. januar-OK
CAPI - oppfølging
Lillian
23. januar
3. sjekkpunkt: Er vi i rute? Antall statuser, intervju,
timeforbruk. Mål om 1120 intervju (250t cati/50 capi)
3 intervju per økt
Supervisor
Marit/Bengt
30. januar
2. runde nektere
Utvalgte intervjuere
(bemanningstiltak), Arnhild
6. februar
SMS
Jytte/Arnhild
30. januar
Ferdig. Mål: 1300 intervju 250t/1250t)
Evaluering av tiltaksplan + ny HP
6. februar
Marit/Bengt
1130 intervju
1227 intervju (61,9%), 948
timer
20. mars
14
Indicators
Goal
Last quarter
Check 1
Check 2
Check 3
Result
Response rate
60
58
62
Contact rate
75
75
75
Recruitment rate
80
78
82
R-indicator
0.8
0.74
0.71
15
Results, Omnibus
•
Shorter field period
– from 6-7 weeks to 5
•
•
•
•
Less interviewer hours
Standardized procedures
Steady state
No jumping!
Contact rate
Recrutement rate
Response rate
2010
79
70
56
2011
77
76
58
2012*
74
78
58
R-indicator
0.77
0.74
0.76
16
Results, LFS
•
Shift in ‘mode’ between 2. and 3 quarter 2011 (from decentralized CATI
to centralized CATI)
– New challenges (questionnaire, contact strategies)
•
•
•
Standardized procedures
Steady state
No jumping!
Contact rate
Recrutement rate
Response rate
R-indicator
1. quarter 2011
0,90
0,96
0,864
2. quarter 2011
0,9
0,94
0,846
3. quarter 2011
0,88
0,95
0,836
4. quarter 2011
0,86
0,95
0,817
1. quarter 2012
0,85
0,95
0,8075
2. quarter 2012
0,86
0,95
0,817
0,81
0,81
0,82
0,82
17
Conclusions
• Standards for planning, communication, reporting,
correction, documentation and evaluation of the field period
– Especially surveys with
 less complexes structures,
 few involvements (persons), or
 high degree of repetitive actions
• Further work
– Look for more similar iterative processes in different surveys
– Work more with the teams (communication and standardization)
– Not only steady state, but also continuous improvement
 Higher response rate
 Lower bias
 Lower cost
18
Thank you for your attention!
Bengt Oscar Lagerstrøm, bol@ssb.no,
Statistics Norway
19