Validation and Estimation of Measurement
Uncertainty in Microbiology
Proyecto: Metrologia Química
1
2
Validation of test methods in chapter 4
EA Guide 4/10
Use of natural products
or spiked materials
Qualitative tests
Specifity, false
positives,
false negatives
Relative truness,
comparison against
reference method
Repeatability
Reproducibility
3
Validation of test methods in chapter 4
EA Guide 4/10
Use of natural products
or spiked materials
Quantitative tests
Specifity, false
positives,
false negatives
Relative truness,
comparison against
reference method
LOD
Repeatability
Reproducibility
4
Incertidumbre de las mediciones in Microbiología
Cálculo de
cfu‘s,
Distribución
de Poisson
Coeficiente de
confirmación
Lecturas
(personal)
Muestreo
Uniformidad de la distribución
de los microbios
Fuentes de
incertidumbre en
Microbiología
Condiciones
de incubación
Efectos
de la muestra
Pesas usadas
+ volumenes
+ diluciones
Mezclado
adecuado
Desempeño del
medio
Tiempo hasta
la inoculación
Equipos, e.g.
spiral plater, exactitud
5
MU – Normal- and Poisson distribution
In chemical testings quite often the
normal distribution is used to quantify
measurement uncertainties …
Normalverteilung
Pay attention:
Microorganisms
hate statistics …
6
But as singles we are behaving as ....
Poissoins.
7
8
Normas
Legales
Referencias
bibliográficas
aceptadas
Resultado de
ensayos de aptitud
Gráficos de control y
datos de validación
Cuantificación de
acuerdo a la
Niemela et al., Finland
Experiencia
de expertos
9
Incertidumbre de las mediciones en Microbiología
Ideas
Acreditación de laboratorios microbiológicos
(EA-Guide 4/10)
ISO 7218
Microbiología de alimentos y alimentos para animales Reglas generales para exámenes microbiológicos
ISO/TS 19036
No. 19036,
released 2006-02
Microbiology of food
and animal feeding stuffs Guide on estimation of
measurement uncertainty for
quantitative determinations
10
Incertidumbre de las mediciones en Microbiología
Ideas
ISO 7218
Microbiología de alimentos y alimentos para animales Reglas generales para exámenes microbiológicos
Provides statistical data for
colony counts and MPN
11
Uncertainties for colony counts for
single plate measurements
according to ISO 7218
cfu per plate
Confidence level 95%
1
< 1 to 6 (-97% bis +457%)
2
< 1 to 7 (-88% bis +261%)
3
< 1 to 9 (-79% bis +192%)
4
1 to 10 (-73% bis +156%)
5
2 to 12 (-68% bis +133%)
10
5 to 18 (-52% bis +84%)
15
8 to 25 (-44% bis +65%)
12
and in addition ISO/TS 19036 …..
ISO / Technical Specification
No. 19036 – 2006-02
Microbiology of food and animal feeding stuffs Guide on estimation of measurement uncertainty
for quantitative determinations
13
Philosophy of ISO/PDTS 19036
Global approach for the estimation of measurement uncertainty
5.1 Combined
Standard Uncertainty
5.2 SD of reproducibility
5.3 Expanded
Uncertainty
5.4 General rules for the estimation
of SD of reproducibility
6
Intra-laboratory SD
of reproducibility
7 Reproducibility SD of method
derived from an ILC study
Expression of measurement uncertainty in test reports
14
15
16
17
18
19
Analytical Laboratory Ltd.
[Company Logo]
Management Form
Control chart
Code: …
Revision: 01
Date: …
Page: 2 of 2
Maximum r = 0,27
0,30
0,25
0,20
0,15
0,10
Avarage r = 0,087
0,05
0,00
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
Avarage r = 0,087
Compiled [Date]
[Signature]
Checked [Date]
[Signature]
Valid from [Date]
[Signature]
20
21
22
Incertidumbre de las mediciones en microbiología
Ejemplo: Resultado de EAs, cuentas totales a 36 °C
No.
Fecha
01
02
03
04
05
06
07
08
09
10
11
12
31.12.93
22.02.94
30.05.94
17.01.95
02.06.95
28.06.96
18.12.96
21.05.97
29.04.98
11.12.98
01.03.99
07.06.99
Operador Valor asignado
(cfu/ml)
J
J
J
J
J
J
J
J
J
J
J
J
132
136
66
149
30
33
273
49
83
299
80
256
Resultado Lab Valor medio de
(cfu/ml)
recuperación en %
140
149
78
120
26
26
230
48
74
301
98
260
106
110
118
81
87
79
84
98
89
101
123
102
23
Incertidumbre de las mediciones en microbiología
Ejemplo: Resultado de EAs, cuentas totales a 36 °C
No.
Fecha
Operador
13
14
15
16
17
18
19
20
21
22
07.12.99
21.02.00
19.05.00
29.08.00
02.03.01
20.06.01
21.09.01
30.11.01
13.03.02
27.05.02
J
J
J
J
J
J
J
J
J
J
Rec.:
SD:
98 %
 15 %
Valor asignadoResultados Lab Valor medio de
(cfu/ml)
(cfu/ml)
recuperación en %
118
15
18
22
139
172
15
52
51
39
132
12
20
22
150
174
18
55
45
46
Incertidumbre combinada:
Incertidumbre expandida :
112
80
111
100
108
101
120
106
88
118
 15 %
 30 %
24
25
26
Incertidumbre en Microbiología
20 medidas de la
misma muestra
Resultados Log10
1.1 x 104
1.1 x 104
1.1 x 104
1.1 x 104
1.1 x 104
3.0 x 105
4.8 x 104
2.7 x 105
7.8 x 103
6.7 x 104
1.9 x 104
8.0 x 103
2.2 x 104
1.2 x 105
1.2 x 104
1.5 x 105
1.7 x 104
3.0 x 104
0.5 x 104
2.0 x 104
4.04
4.04
4.04
4.04
4.04
4.47
4.68
5.43
3.89
4.83
4.28
3.90
4.34
5.10
4.10
5.18
4.23
4.48
3.70
4.30
Ejemplo: Conteo total de bacterias
en hamburguesas
Media
4.4 x 104 cfu/g
SD
0.52 x 104 cfu/g
SD Relativa
Incertidumbre
Expandida
Resultado
0.52  10 4
 100%  12%
4
4.4  10
Uexpanded = ± 24%
4.4 ± 1.1 x 104 cfu/g
4.4 x 104 ± 24% cfu/g
27
Estimated Measurement Uncertainties
from Food Industry
Listeria monocytogenes:
± 0.20 log CFU/ml
• Aerobic mesophilic counts:
± 0.15 log CFU/ml
• Bacillus cereus:
± 0.20 log CFU/ml
• Coliforms:
± 0.25 log CFU/ml
• Enterobacteriacea:
± 0.25 log CFU/ml
• Staphylococcus aureus:
± 0.20 log CFU/ml
• Yeast:
± 0.20 log CFU/ml
• Aerobic mesophilic spores:
± 0.25 log CFU/ml
• Clostridium perfringens:
± 0.20 log CFU/ml
28
Incertidumbre de medición estimadas en la
industria alimentaria
• Listeria monocytogenes:
± 0.20 log CFU/ml
• Aerobic mesophilic counts:
± 0.15 log CFU/ml
• Bacillus cereus:
± 0.20 log CFU/ml
• Coliforms:
± 0.25 log CFU/ml
• Enterobacteriacea:
± 0.25 log CFU/ml
• Staphylococcus aureus:
± 0.20 log CFU/ml
• Levadura:
± 0.20 log CFU/ml
• Esporas Aeróbicas mesofilas: ± 0.25 log CFU/ml
• Clostridium perfringens:
± 0.20 log CFU/ml
29
Once woke up,
now also
mikrobiologists
have ideas ...
about
measurement
uncertainties
…
30
31
Incertidumbre de las mediciones in Microbiología
Cálculo de
cfu‘s,
Distribución
de Poisson
Coeficiente de
confirmación
Lecturas
(personal)
Muestreo
Uniformidad de la distribución
de los microbios
Fuentes de
incertidumbre en
Microbiología
Condiciones
de incubación
Efectos
de la muestra
Pesas usadas
+ volumenes
+ diluciones
Mezclado
adecuado
Desempeño del
medio
Tiempo hasta
la inoculación
Equipos, e.g.
spiral plater, exactitud
32
Multiple-plate instrument
A microbial test
result uncertainty
calculation might
be concidered
„completely
corrected“ if the
following factors
have been applied
(of course, if relevant)
KH
KS
KA
KM
KL
F
T
X
V
= personal yield coefficient
= sample stability coefficient
= yield of medium coefficient
= material / environment coefficient
= overlap correction factor
= dilution factor
= total reading
= sum of confirmed counts
= total test portion volume
w y  w K2 H + w K2 S + w K2 A + w K2 M + w K2 L + w F2 + wT2 + w X2 + w V2
A systematic component has no effect if the coefficient
is 1.0 and its uncertainty is getting 0.
33
Thank you very much
for your attention!!!
34