KPI håndtering: fra målbart via meningsfylt til
verdiskapende
Hvordan gjøre det både enkelt og riktig?
Aida Omerovic
SINTEF
Seminar om risikoledelse og måling
12. mars 2014
Teknologi for et bedre samfunn
1
Agenda
• Hvorfor kvantifisere?
• Det kvantifiserbare
• Det meningsfylte
• Det verdiskapende
• Praktiske eksempler
Teknologi for et bedre samfunn
2
Hvorfor kvantifisere?
Teknologi for et bedre samfunn
3
Kunnskap
I often say that when you can measure what you
are speaking about and express it in numbers
you know something about it; But when you
cannot measure it, when you cannot express it in
numbers, your knowledge is of a meagre and
unsatisfactory kind: it may be the beginning of
knowledge, but you have scarcely, in your
thoughts, advanced to the stage of science,
whatever the matter may be.1
Lord Kelvin2
(1824-1907)
1Thomson, W. (1891). Popular Lectures and Addresses, Vol. I. London: MacMillan. p. 80.
2http://digital.nls.uk/scientists/assets/images/content/lord_kelvin/lord-kelvin.jpg
Accessed: 14 March 2014
Teknologi for et bedre samfunn
4
Kommunikasjon
•
•
•
Forståelse er subjektivt.
Kommunikasjon krever konsistent tolkning og oppfatning.
Ofte vage eller feilaktige påstander, spesifikasjoner, tall…!
Teknologi for et bedre samfunn
Kommunikasjon
•
•
•
Forståelse er subjektivt.
Kommunikasjon krever konsistent tolkning og oppfatning.
Ofte vage eller feilaktige påstander, spesifikasjoner, tall…!
Requirements
Teknologi for et bedre samfunn
Kommunikasjon
•
•
•
Forståelse er subjektivt.
Kommunikasjon krever konsistent tolkning og oppfatning.
Ofte vage eller feilaktige påstander, spesifikasjoner, tall…!
Requirements
Teknologi for et bedre samfunn
Kommunikasjon
•
•
•
Forståelse er subjektivt.
Kommunikasjon krever konsistent tolkning og oppfatning.
Ofte vage eller feilaktige påstander, spesifikasjoner, tall…!
Requirements
Architecture
Teknologi for et bedre samfunn
Kommunikasjon
•
•
•
Forståelse er subjektivt.
Kommunikasjon krever konsistent tolkning og oppfatning.
Ofte vage eller feilaktige påstander, spesifikasjoner, tall…!
Requirements
Architecture
Implementation,
operation,
maintenance…
9
Teknologi for et bedre samfunn
Kommunikasjon
•
•
•
Forståelse er subjektivt.
Kommunikasjon krever konsistent tolkning og oppfatning.
Ofte vage eller feilaktige påstander, spesifikasjoner, tall…!
Hva om kravstilleren
hadde dekomponert
kravene og kvantifisert
dem?
Til dette formålet!!!
Samme for pris,
verdi, kvalitet, risiko,
funksjonalitet?
=> Verdi for penger
og prioritering
("trade-off")!
Requirements
Architecture
Implementation,
operation,
maintenance…
10
Teknologi for et bedre samfunn
Det kvantifiserbare
Teknologi for et bedre samfunn
11
Operasjonalisering av mål
•
Fra "The balanced scorecard" til arkitektur
• Estimering
• Impactanalyse
• Prioritering mhp resultater/verdier
http://www.activestrategy.com/resources/white-papers/balancedscorecard-vs-dashboard/ Accessed: 12 March 2014
https://balancedscorecard.org/Resources/AbouttheBalancedScor
ecard/tabid/55/Default.aspx Accessed: 12 March 2014
Teknologi for et bedre samfunn
12
Dekomponer til det blir "kvantifiserbart"
MÅL
Kriterier
KPIer
Teknologi for et bedre samfunn
Hvorfor er det vanskelig å måle?
Hva
Måleenhet
Skala
Verdi
Menneskelig IQ
Index
Ratio
135
Menneskets høyde
Cm
Ratio
180
Brukervennlighet
?
?
?
Teknologi for et bedre samfunn
Hvorfor er det vanskelig å måle?
Hva
Måleenhet
Skala
Verdi
Menneskelig IQ
Index
Ratio
135
Menneskets høyde
Cm
Ratio
180
Brukervennlighet
?
?
?
10% bedre ytelse:
• Hva er ytelse?
• Hva betyr 10%?
Teknologi for et bedre samfunn
Hvorfor er det vanskelig å måle?
Hva
Måleenhet
Skala
Verdi
Menneskelig IQ
Index
Ratio
135
Menneskets høyde
Cm
Ratio
180
Brukervennlighet
?
?
?
10% bedre ytelse:
• Hva er ytelse?
• Hva betyr 10%?
Quality (ISO 9126)
• Functionality
• Reliability
• Usability
• Efficiency
• Maintainability
• Portability
Software Quality Characteristic (ISO 9126):
“A set of attributes of a software product by which its quality is described and
evaluated. A software quality characteristic may be refined into multiple levels of
Teknologi for et bedre samfunn
sub-characteristics.”
Opphav til estimater
•
•
•
•
•
•
Måling
(Statistisk) analyse av eksisterende data
Dokumentasjon
Ekspertuttalelser
Erfaringsdatabase
...
Teknologi for et bedre samfunn
17
Hva er en god KPI?
•
•
•
•
Relevant
Tydelig definert kvalitativt og kvantitativt
Kvantifiserbar på hensiktsmessig skala (analyse og propagering)
Forståelig
•
•
•
•
•
•
Kan innhentes og uttrykkes med riktig presisjon og korrekthet
Kan innhentes så ofte at den er observerbar
Kan propageres (komponeres)
Kan basere seg på flere typer input (tilgjengelighet og triangulering)
Kan analyseres statistisk
Kan komponeres/dekomponeres hvis hensiktsmessig
Teknologi for et bedre samfunn
18
Skala er viktig
 Fordi vi ønsker å bevare all informasjon fra det empiriske i det nummeriske
 Fordi vi ønsker å kunne propagere vha. aritmetiske operasjoner og analysere statistisk
•
•
•
•
•
Nominal (eks. Hvit, gul, grønn, svart, annet) kun kategorisering. Ingen aritmetikk. Mode
Ordinal (lav, middels høy, høy, meget høy) ordnet kategorisering. Ingen aritmetikk Mode
og median
Interval: (-10,-5,0,5,10) ordning mulig; kan sammenligne verdier. Summering of
subtrahering. Mode, median, arithmetic mean
Ratio (0,20,40,60,80,100) ordning mulig; bevarer forskjeller og forhold; har et nullpunkt.
definert, alle aritmetiske operasjoner mulig (innenfor det definerte området). Mode,
median, arithmetic mean, geometric mean
Absolute (1,2,3,4,…) teller; ingen transformasjoner. alle aritmetiske operasjoner mulig.
Mode, median, arithmetic mean, geometric mean
Teknologi for et bedre samfunn
19
Tolk gyldighet og pålitelighet i din kontekst
Få samme resultat
ved gjentatt
måling?
1T.
Reliability
D. Cook and D. T. Campbell. Quasi-Experimentation: Design and Analysis Issues for Field Settings. Houghton Miflin Company, 1979
Teknologi
for et Causal
bedreInference
samfunn
R. Shadish, T. D. Cook, and D. T. Campbell. Experimental and Quasi-Experimental Designs
for Generalized
. Houghton20
Mifflin Company, 2001.
2W.
Tolk gyldighet og pålitelighet i din kontekst
Få samme resultat
ved gjentatt
måling?
1T.
Reliability
Validity
D. Cook and D. T. Campbell. Quasi-Experimentation: Design and Analysis Issues for Field Settings. Houghton Miflin Company, 1979
Teknologi
for et Causal
bedreInference
samfunn
R. Shadish, T. D. Cook, and D. T. Campbell. Experimental and Quasi-Experimental Designs
for Generalized
. Houghton21
Mifflin Company, 2001.
2W.
Tolk gyldighet og pålitelighet i din kontekst
Få samme resultat
ved gjentatt
måling?
Skjulte sammenhenger
og avhengigheter
1T.
Reliability
Validity
Internal
validity
D. Cook and D. T. Campbell. Quasi-Experimentation: Design and Analysis Issues for Field Settings. Houghton Miflin Company, 1979
Teknologi
for et Causal
bedreInference
samfunn
R. Shadish, T. D. Cook, and D. T. Campbell. Experimental and Quasi-Experimental Designs
for Generalized
. Houghton22
Mifflin Company, 2001.
2W.
Tolk gyldighet og pålitelighet i din kontekst
Få samme resultat
ved gjentatt
måling?
Validity
Reliability
Skjulte sammenhenger
og avhengigheter
Internal
validity
Conclusion
validity
Sammensetning av
måleobjekter; er de
representative? Statistisk
signifikans
1T.
D. Cook and D. T. Campbell. Quasi-Experimentation: Design and Analysis Issues for Field Settings. Houghton Miflin Company, 1979
Teknologi
for et Causal
bedreInference
samfunn
R. Shadish, T. D. Cook, and D. T. Campbell. Experimental and Quasi-Experimental Designs
for Generalized
. Houghton23
Mifflin Company, 2001.
2W.
Tolk gyldighet og pålitelighet i din kontekst
Få samme resultat
ved gjentatt
måling?
Validity
Reliability
Skjulte sammenhenger
og avhengigheter
Internal
validity
Conclusion
validity
Sammensetning av
måleobjekter; er de
representative? Statistisk
signifikans
1T.
Construct
validity
Måler vi det vi
tror at vi måler?
D. Cook and D. T. Campbell. Quasi-Experimentation: Design and Analysis Issues for Field Settings. Houghton Miflin Company, 1979
Teknologi
for et Causal
bedreInference
samfunn
R. Shadish, T. D. Cook, and D. T. Campbell. Experimental and Quasi-Experimental Designs
for Generalized
. Houghton24
Mifflin Company, 2001.
2W.
Tolk gyldighet og pålitelighet i din kontekst
Få samme resultat
ved gjentatt
måling?
Validity
Reliability
Skjulte sammenhenger
og avhengigheter
Internal
validity
External
validity
Conclusion
validity
Sammensetning av
måleobjekter; er de
representative? Statistisk
signifikans
1T.
Måler vi det vi
tror at vi måler?
Construct
validity
Kan resultatene
generaliseres på tvers
av kontekster?
D. Cook and D. T. Campbell. Quasi-Experimentation: Design and Analysis Issues for Field Settings. Houghton Miflin Company, 1979
Teknologi
for et Causal
bedreInference
samfunn
R. Shadish, T. D. Cook, and D. T. Campbell. Experimental and Quasi-Experimental Designs
for Generalized
. Houghton25
Mifflin Company, 2001.
2W.
Måling
•
•
Objektiv vs subjektiv
Subjektiv måling
• Fremgangsmåte er viktig
• "likert type" (aldri, sjeldent, regelmessig, ofte)
• Semantisk differanseskala (Enig - - - - - - - - Uenig)
•
Pålitelighet vs. validitet:
High accuracy
Low accuracy
Low accuracy
Low accuracy
Low bias
High bias
Low bias
High bias
High precision
High precision
Low precision
Low
precision
Teknologi for et
bedre
samfunn
26
Målefeil
Systematisk feil
Vilkårlig feil
Fix: triangulering, evaluering på tvers av objekter og over tid, representativt utvalg,
satistisk signifikans, mål for usikkerhet
Teknologi for et bedre samfunn
27
Så hvordan identifisere KPIer?
Teknologi for et bedre samfunn
28
Goal/Question/Metric (GQM)
GQM Process:
• Planning
– Prestudy
– Develop GQM plan
– Develop measurement plan
•
Execution
– Collect, validate, analyze and interpret data
•
Analysis
– Analyze and interpret data post-mortem
– Package results for reuse
Teknologi for et bedre samfunn
29
Dekomponer de aller viktigste og definer
A. Omerovic, A. Andresen, H. Grindheim, P. Myrseth, A. Refsdal, K. Stølen, and J. Ølnes. A Feasibility Study in Model Based
Teknologi
for etonbedre
samfunn
Prediction of Impact of Changes on System Quality. In Proceedings of International
Symposium
Engineering
30Secure
Software and Systems, pages 231–240, 2010
Dekomponer de aller viktigste og definer
A. Omerovic, A. Andresen, H. Grindheim, P. Myrseth, A. Refsdal, K. Stølen, and J. Ølnes. A Feasibility Study in Model Based
Teknologi
for etonbedre
samfunn
Prediction of Impact of Changes on System Quality. In Proceedings of International
Symposium
Engineering
31Secure
Software and Systems, pages 231–240, 2010
Indikator fra ISO 91261
Metric name
Purpose of the
metric
Method of
application
Measurement,
formula and
data element
computation
Interpretation scale
of measured type
value
Access
controllability
How complete
is detection of
the user access
to the system?
Try to get access
to system by
unauthorized
ways.
X = A/B
A=# detected
illegal
operations
B=# illegal
operations
anticipated in
specification
0<=X<=1
The closer to 1 is the
better
Scale type
Measure type
Input to
measurement
ISO/IEC 12207
SLCP reference
Perspective
beneficier
X=Abs.
A=Count
B=Count
X=Count/Count
Test spec
Test report
Operation report
6.5 Validation
Developer
1International
6.3 QA
Teknologi
for etQuality,
bedre 2004
samfunn
Organisation for Standardisation. ISO/IEC 9126 - Software engineering
– Product
32
Det meningsfylte
Teknologi for et bedre samfunn
33
Avhengigheter, estimater, aggregering (demo)
Fictitious values
A. Omerovic, A. Andresen, H. Grindheim, P. Myrseth, A. Refsdal, K. Stølen, and J. Ølnes. A Feasibility Study in Model Based
Teknologi
for etonbedre
samfunn
Prediction of Impact of Changes on System Quality. In Proceedings of International
Symposium
Engineering
Secure 34
Software and Systems, pages 231–240, 2010
"What-if" analyse
Teknologi for et bedre samfunn
Fictitious values
35
Fictitious values
Sensitivity
1,00
0,95
0,90
0,85
0,80
0,75
0,70
0,65
0,60
0
0,2
0,4
0,6
QCF
0,8
1
Updates
Upgrading
Monitoring
Database eff. mech.
Message routing
OS support services
Middleware support serv.
Hardware
Network
Measures for OP env. prot.
User management
Gateway
Other
Current
Security
Security
Sensitivity
1,00
0,95
0,90
0,85
0,80
0,75
0,70
0,65
0,60
0,00
0,10
0,20
EI
0,30
0,40
Updates
Upgrading
Monitoring
Database eff. mech.
Message routing
OS support services
Middleware support serv.
Hardware
Network
Measures for OP env. prot.
User management
Gateway
Other
Current
Omerovic, A., Andresen, A., Grindheim, H., Myrseth, P., Refsdal, A., Stølen, K., Ølnes, J.: A Feasibility Study in Model Based
Teknologi for et bedre samfunn
Prediction of Impact of Changes on System Quality. Technical report, SINTEF A13339 (2009)
Usikkerhet
•
Usikkerhet i seg selv er en risiko.
•
Spesielt når vi ikke vet
• hvor stor usikkerheten er, og
• hva som er årsaken til den.
Aida Omerovic, Ketil Stølen. A practical approach to uncertainty
handling and estimate acquisition in model-based prediction of
system quality. In International Journal on Advances in Systems
and Measurements, volume 4, pages 55-70, IARIA, 2011
Teknologi for et bedre samfunn
37
Fictitious values
Usikkerhet
•
Usikkerhet i seg selv er en risiko.
•
Spesielt når vi ikke vet
• hvor stor usikkerheten er, og
• hva som er årsaken til den.
•
Epistemic vs. aleatory
Aida Omerovic, Ketil Stølen. A practical approach to uncertainty
handling and estimate acquisition in model-based prediction of
system quality. In International Journal on Advances in Systems
and Measurements, volume 4, pages 55-70, IARIA, 2011
Teknologi for et bedre samfunn
38
Fictitious values
Usikkerhet
•
Usikkerhet i seg selv er en risiko.
•
Spesielt når vi ikke vet
• hvor stor usikkerheten er, og
• hva som er årsaken til den.
•
Epistemic vs. aleatory
•
Possibilistic vs probabilistic
Aida Omerovic, Ketil Stølen. A practical approach to uncertainty
handling and estimate acquisition in model-based prediction of
system quality. In International Journal on Advances in Systems
and Measurements, volume 4, pages 55-70, IARIA, 2011
Teknologi for et bedre samfunn
39
Fictitious values
Usikkerhet
•
Usikkerhet i seg selv er en risiko.
•
Spesielt når vi ikke vet
• hvor stor usikkerheten er, og
• hva som er årsaken til den.
•
Epistemic vs. aleatory
•
Possibilistic vs probabilistic
•
En balansegang: forståelig uansett,
korrekt, presis, analyserbar, skalerbar…
Aida Omerovic, Ketil Stølen. A practical approach to uncertainty
handling and estimate acquisition in model-based prediction of
system quality. In International Journal on Advances in Systems
and Measurements, volume 4, pages 55-70, IARIA, 2011
Teknologi for et bedre samfunn
40
Fictitious values
Hvordan skape verdi av KPI håndtering?
Et case fra petroleum2
2Aida
Omerovic, Atle Refsdal, Øyvind Rideng. Dynamic Monitoring of Safety Barriers in Petroleum Installations. In proc. of
the European Safety and Reliability Conference 2013 (ESREL'13), 2013.
Teknologi for et bedre samfunn
41
Motivation
•
•
•
•
•
Safety barriers built to reduce the risk
Quantitative quality of a barrier system
Quality by design + manual procedures not sufficient
Complex barrier systems and functions
Lots of data!
http://gawg.cap.gov/ncus.htm Accessed: 12 March 20140
Teknologi for et bedre samfunn
42
Our goals
• Transform low-level data into meaningful information
• Follow and predict trends
• Prevent incidents
•
•
Ensure data quality of the important indicators
http://gawg.cap.gov/ncus.htm
Assistance only!
http://english.people.com.cn/202936/7811702.html
Accessed: 12 March 2014
Teknologi for et bedre samfunn
43
The study in short…
Main steps:
•
•
•
Model the dependencies w.r.t. barrier system performance
Identify and design the indicators
Map the indicators to an aggregated view
Our approach based on PREDIQT:
•
•
A process
A tool-supported modelling language
Applied in a realistic industrial case study with a petroleum operator
Teknologi for et bedre samfunn
44
Input: Characterization of the target of analysis
The process
Phase 1: Specify target of the analysis
Step 1: Specify the system
Step 2: Specify quality characteristic
Phase 2: Identify indicators
Step 1: Model the threats on quality of the target
Step 2: Identify the indicators
Step 3: Develop dependency views w.r.t. quality
Phase 3: Specify indicators
Step 1: Specify each indicator
Step 2: Specify the algorithm for calculating quality
Phase 4: Validate models
Step 1: Triangulate input to the models
Step 2: Adjust the models
Step 3: Approve the models
Output: Algorithm for calculating the quality characteristic level
Teknologi for et bedre samfunn
45
A PREDIQT dependency view with indicators
Fictitious values, fictitious structure
Teknologi for et bedre samfunn
46
The DV facts
# of nodes: 26, 52, 46, 14, 19, 49, 46
# of indicators: 14, 32, 8, 12, 29, 32
Teknologi for et bedre samfunn
47
Evaluation
•
Post-analysis review based on a questionnaire
•
•
•
•
•
•
•
•
•
•
•
Well suited, well structured, comprehensible method
The case study has improved understanding of the target and its quality
Demanding but worth the effort
Can be done on other installations and BFs as well
Will recommend the method to others
The operator has with 95% certainty decided to implement the method within the organisation
A better method than what has been used so far
Better decision support
Makes barrier management dynamic
Should support patterns, improve visualization, provide oil/gas established symbols
…
Teknologi for et bedre samfunn
48
HCI for planning & decision support
Risk analysis
Barrier quality analysis
Measurements/documentation/expert opinions
Architecture
Teknologi for et bedre samfunn
Helt til slutt
KPI håndtering må være målrettet!
– Tidlig og iterativ gevinstrealisering
1.
2.
3.
4.
5.
6.
Start med de aller viktigste målene
Bryt dem ned
Definer KPIer, gjerne vha eksisterende standarder
Instansier beslutningsmodeller
Kvantifiser
Propager og analyser
Bruk dette til kravhåndtering, varsling, planlegging, beslutningsstøtte, …
– Bedre forståelse, identifisering av tiltak, prioritering, forebygging
Teknologi for et bedre samfunn
50
Takk for oppmerksomheten!
aida.omerovic@sintef.no
Teknologi for et bedre samfunn
51