Errors in the diagnostic process
• Hierarchy of Qualities in Medicine
• Frequency of diagnostic Errors
• Judgment under Uncertainty: Heuristics and
Biases
• The Voytovich Solution
Click to View Presentation
Hierarchy of Qualties in Medicine
From patient‘s point of view
Patient Satisfaction
Therapeutic Quality
Diagnostic Quality
Hierarchy of Qualties in Medicine
Medical point of view
Patient Satisfaction
Therapeutic Quality
Diagnostic Quality
Hierarchy of Qualities in Medicine und
cognitive Processes
Patient Satisfaction
Skills
Therapeutic Quality
Rules
Diagnostic Quality
Knowledge
Frequency of diagnostic Errors
Follow-up Autopsy Study Medizinische Klinik USZ
1972-1982-1992-2002
Lancet 2000;355:2027-31
• Random Selection of 100 patients in each year
• Autopsy Rate above 90% until 1992, in the year
2002 Reduction to 53%, complete Autopsy
• Classification of diagnostic Errors according to
Goldman
Classification of diagnostic errors
Goldman et al NEJM 1983:380: 1000-05
• Major diagnostic Errors
– Class I: Knowledge of correct Diagnosis would have
led to Survival
– Class II: Knowledge of correct Diagnosis would not
have affected Survival (too ill, no Treatment available)
• Minor diagnostic Errors
– Class III: Missed Diagnosis but not cause of Death
– Class IV: Occult, clinically not diagnosable Entity of
epidemiological Interest eg Gallstones
Major Diagnostic Errors 1972-2002
16
14
% Cases
12
10
1972
1982
1992
2002
8
6
4
2
0
Class I
Class II
Minor Diagnostic Errors 1972-2002
40
35
% Cases
30
25
1972
1982
1992
2002
20
15
10
5
0
Class III
Class IV
16
40
14
35
12
30
10
1972
1982
1992
2002
8
6
% Cases
% Cases
Class I+II vs. Class III+IV
25
20
15
4
10
2
5
0
0
Class I
Class II
1972
1982
1992
2002
Class III
Class IV
Correct Diagnosis 1972-2002
45
% Cases
40
35
30
1972
1982
1992
2002
25
20
15
10
5
0
Class V
Class VI
Autopsy Rate and class I Errors over
time
Kaveh G et al, JAMA 2003: 289:2849-56
Frequency of class I Errors
•
•
•
•
•
•
Medizin+ IPS (USZ) 2002
Med-IPS (Mayo-Clinic) 1998-2000
Med-IPS (Paris) 1995-98
Med-IPS (Leuven,Belgien) 1996
32 Spitäler in USA 1984
Medizin (Boston, USA) 1984
40%
Klasse I
Fehler
2%
4%
10.2%
16%
13%
12%
Autopsierate
53%
33%
53%
93%
30%
Arch Int Med 2004:164;389; Mayo Clin Proc 2000:75:562; Ann Thorac Surg 1997:64:380;
JAMA1987:258:339; Mayo Clin Proc. 2003;78:947-50. NEJM 1988:318;1249
Autopsy: Gold Standard for clinical
Diagnosis?
D
iagnostic
errorsderivedfrom
C
hart review
D
iagnostic
errorsrevealdedby
A
utopsy
)
W
ithout A
utopsy 2/194(1%
W
ithA
utopsy
3/141(2%
)
Pelletier et al J Gen Intern Med 1989:4;300-03
Autopsy: Gold standard for clinical diagnosis?
iagnostic
D
errorsderivedfrom
hart review
C
iagnostic
D
errorsrevealdedby
utopsy
A
)
utopsy 2/194(1%
ithout A
W
utopsy
ithA
W
)
3/141(2%
)
19/141(13%
Pelletier et al J Gen Intern Med 1989:4;300-03
Judgment under Uncertainty: Heuristics and Biases
Tversky and Kahneman Science 1974:185:1124-31
• Representativness
– Similarity with „typical“ examples stored in
memory
• Availability
– Recent expierence, painful memory
• Adjustment and Anchoring
– Stick to early hypotheses despite new
information
Fehlermechanismen im diagnostischen Prozess
Fehler
Falsch +
Falsch +
Falsch +
Hypothesen-Bildung
Mechanismus Diagnost. Schritt
Mechanismus
Vorzeitige SchlussFolgerung
dito
dito
Fehler
Anamnese + Untersuchung Übersehen
Falsch -
Auslöser
Einbettung
Falsch Falsch -
dito
dito
Informationsbeschaffung, Verarbeitung und Überprüfung
Fehler
Mechanismus
Diagnost. Schritt
Falsch +
Falsch +
Falsch +
Falsch +
Falsch +
Annahme zu hoch
Vortestwahrscheinlichkeit
Spezifität zu tief
Test (Labor, Röntgen..)
Falsche Formulierung Interpretation eines Tests
Vorzeitige Schlussf. Kausales Modell
Vorzeitige Schlussf. Überprüfung
Mechanismus
Fehler
Annahme zu tief
Falsch Sensitivität zu tief
Falsch Falsche Formulierung FalschÜbersehen
Falsch Unvollständige
Falsch Synthese
Cognitive Mechanisms of diagnostic Errors
according to A.E. Voytovich*
•
•
•
•
Omission
Premature Closure
Inadequate Synthesis
Wrong Formulations
* J Med Educ 1985:60;302-07
Omission
• Most frequent Error
• Decreases with Experience
 Consequences
– Delayed or missed Diagnosis
Premature Closure
• Independent of Experience
• Correlates with Confidence (ie Overconfidence) in
Relation to the actual Case
• Reflects estimated Frequency of the diagnosed
Disease
 Consequences
– Delayed or missed Diagnosis
– Unnecessary Therapies
– False Sense of Confidence if Error is not detected
Inadequate Synthesis
• Correlates with Experience
 Consequences
– Unnecessary Investigations
– Delayed Treatment
Cognitive Mechanisms of diagnostic Errors
according to A.E. Voytovich*
•
•
•
•
Omission
Premature Closure
Inadequate Synthesis
Wrong Formulations
* J Med Educ 1985:60;302-07
Fehlermechanismen im diagnostischen Prozess
Fehler
Falsch +
Falsch +
Falsch +
Hypothesen-Bildung
Mechanismus Diagnost. Schritt
Mechanismus
Vorzeitige SchlussFolgerung
dito
dito
Fehler
Anamnese + Untersuchung Übersehen
Falsch -
Auslöser
Einbettung
Falsch Falsch -
dito
dito
Informationsbeschaffung, Verarbeitung und Überprüfung
Fehler
Mechanismus
Diagnost. Schritt
Falsch +
Falsch +
Falsch +
Falsch +
Falsch +
Annahme zu hoch
Vortestwahrscheinlichkeit
Spezifität zu tief
Test (Labor, Röntgen..)
Falsche Formulierung Interpretation eines Tests
Vorzeitige Schlussf. Kausales Modell
Vorzeitige Schlussf. Überprüfung
Lancet 2000:355;2027-31
Mechanismus
Fehler
Annahme zu tief
Falsch Sensitivität zu tief
Falsch Falsche Formulierung FalschÜbersehen
Falsch Unvollständige
Falsch Synthese
Major Diagnostic Errors 1972-2002
16
14
% Cases
12
10
1972
1982
1992
2002
8
6
4
2
0
Class I
Class II
Sensitivity and Specificity
• 1-Sensitivity: Rate of missed Diagnoses
(false negative rate)
• 1-Specificity: Rate of wrong Diagnoses (false
positive rate)
Cardiovascular Diseases
Sensitivity and Specificity
p = 0.061
p = 0.034
100
97%
90
86%
82%
85%
82%
80
70
1972
1982
1992
69%
60
50
Sensitivität
Spezifität
Fehlermechanismen im diagnostischen Prozess
Fehler
Falsch +
Falsch +
Falsch +
Hypothesen-Bildung
Mechanismus Diagnost. Schritt
Mechanismus
Vorzeitige SchlussFolgerung
dito
dito
Fehler
Anamnese + Untersuchung Übersehen
Falsch -
Auslöser
Einbettung
Falsch Falsch -
dito
dito
Informationsbeschaffung, Verarbeitung und Überprüfung
Fehler
Mechanismus
Diagnost. Schritt
Falsch +
Falsch +
Falsch +
Falsch +
Falsch +
Annahme zu hoch
Vortestwahrscheinlichkeit
Spezifität zu tief
Test (Labor, Röntgen..)
Falsche Formulierung Interpretation eines Tests
Vorzeitige Schlussf. Kausales Modell
Vorzeitige Schlussf. Überprüfung
Lancet 2000:355;2027-31
Mechanismus
Fehler
Annahme zu tief
Falsch Sensitivität zu tief
Falsch Falsche Formulierung FalschÜbersehen
Falsch Unvollständige
Falsch Synthese
Infectious Diseases
Sensitivity and Specificity
p = 0.036
ns
100%
100
100%
99%
86%
80
67%
1972
60
1982
1992
40
25%
20
0
Sensitivität
Spezifität
Neoplastic Diseases
Sensitivity and Specificity
ns
ns
100
97%
96%
95
90
96%
92%
89%
1972
88%
1982
85
1992
80
75
70
Sensitivität
Spezifität
Difficulties in learning from Experience
• Lack of Search for and use of
disconforming Evidence
• Lack of outcome Information
• Use of unaided Memory for coding, storing
and retrieving outcome Information
Summary and Proposal
• Major diagnostic Errors occur despite an ever
increasing repertory of diagnostic Procedures
• 85% of serious diagnostic Errors can only be
detected by Autopsy
• Analysis of error mechanism can be helpful in the
Discussion and Prevention of diagnostic Errors
• Minimum Autopsy rate of 30% along with a
yearly Report on diagnostic Errors should be
mandatory for Accreditation of medical Clinics