CPQ//Ley 7020/65
COFILAB
IT003
MANUAL DE PROCEDIMIENTOS
Autor: Antonio Pérez
TITULO:
EVALUACION ESTADISTICA
(Comparaciones Interlaboratorios - Análisis de Youden)
OBJETIVOS:
Establecer los criterios a seguir en el procesamiento estadístico de datos provenientes
de Ensayos de Aptitud Interlaboratorios (EAI).
ALCANCE:
Todos los EAI coordinados por el COFILAB.
1. Introducción
La aptitud de un laboratorio puede ser evaluada cuando dos o mas laboratorios realizan
las mismas determinaciones analíticas sobre muestras extraídas de un mismo reservorio
homogéneo. Es frecuente observar que determinaciones repetidas por un laboratorio se
distribuyen alrededor de una media diferente a la de otro. La dispersión general resulta así
sensiblemente mayor a la que puede anticiparse considerando la dispersión observada en
cada uno de los laboratorios. La Fig. 1 ilustra este comportamiento.
Siendo:
X1 = Valor medio del Lab. 1
X2 = Valor medio del Lab. 2
µ = Valor verdadero
εS1 y εS2: Errores Sistemáticos de los Lab. 1 y 2 respectivamente.
Nota: La distribución de los resultados del Lab. 1 muestra una dispersión similar a la
observada en el Lab. 2 (Errores aleatorios o de precisión equivalentes). Esto es así ya que se
supone que ambos laboratorios utilizan el mismo método analítico y tienen equipamiento
similar. La diferencia observada en los errores sistemáticos ó apartamiento respecto al valor
verdadero obedece a diferentes causas tales como:
IDENTIFICACION
IT003
COPIA
1
REVISION
0
FECHA DE VIGENCIA
30/06/04
FILE:eia005.doc
Hoja 1 de 10
CPQ//Ley 7020/65
COFILAB
•
•
•
•
•
IT003
MANUAL DE PROCEDIMIENTOS
Autor: Antonio Pérez
Diferencias en la aplicación de la metodología analítica.
Diferencias en los reactivos utilizados.
Diferencias en equipos o partes de ellos.
Diferencias en la modalidad de la calibración y sistemas de control.
Etc. Etc.
Nota: El valor verdadero es desconocido en la práctica, se reemplaza por algún patrón
reconocido ó un “valor de consenso” obtenido a partir de la media general de todos los
laboratorios participantes una vez descartados los valores aberrantes. También puede
utilizarse la mediana en lugar de la media, la mediana es menos vulnerable a la presencia de
valores aberrantes.
2. Análisis de Youden
El Análisis de Youden está especialmente dirigido a comparaciones interlaboratorios. La
ventaja del Análisis de Youden es su habilidad para separar los errores aleatorios de los
sistemáticos utilizando un diseño simple y con requerimientos de un mínimo esfuerzo
analítico por parte de los participantes.
Para su implementación se requieren dos materiales similares (Muestras A y B) con
pequeñas diferencias en la concentración de las características (analitos) a determinar. Este
requisito es necesario, ya que, tanto los errores aleatorios como los sistemáticos pueden
depender de la concentración de la característica considerada, como de posibles
interferencias de la matriz presente.
Cada laboratorio participante, para una característica dada, genera así, un resultado de X
para el caso de la muestra A y un resultado de Y para el caso de la muestra B. Estos
resultados permiten la construcción del “Gráfico de Youden” a partir del cual se obtiene el
diagnóstico de aptitud motivo del ensayo.
3. Gráfico de Youden
El gráfico de Youden se prepara a partir de un eje x como absisa con una escala
adecuada para cubrir el rango de los resultados de la característica evaluada en el material
A. Y un eje y como ordenada, con escala en las mismas unidades para incluir el rango de los
resultados de la misma característica en el material B.
El par de resultados de cada laboratorio es así un punto del gráfico. Habrá una
cantidad de puntos igual a la de laboratorios participantes y un punto origen cuyas
coordenadas son las medianas de X y de Y (valores de consenso) . Una vez graficados los
resultados, se dibuja una “línea mediana” horizontal, paralela al eje x. De esta forma habrá
puntos arriba de esta línea y puntos por debajo. Una segunda “línea mediana” se dibuja
paralela al eje de las y, la cual dejará puntos a su izquierda y a su derecha. Una línea
diagonal de 45° y un círculo con centro en el origen completan el gráfico. En la Fig. 2 se
muestran los componentes del gráfico y en la Tabla 2 se describen los mismos.
IDENTIFICACION
IT003
COPIA
1
REVISION
0
FECHA DE VIGENCIA
30/06/04
FILE:eia005.doc
Hoja 2 de 10
CPQ//Ley 7020/65
COFILAB
IT003
MANUAL DE PROCEDIMIENTOS
Autor: Antonio Pérez
Tabla 2: Descripción de los componentes del Gráfico de Youden
Origen
Es el punto de coordenadas (xM,yM), siendo xM e yM las medianas
respectivas de los resultados de X y de Y de todos los laboratorios
participantes. Se utiliza la mediana por ser menos vulnerable a la
presencia de resultados aberrantes.
Ejes XY
Coordenadas con escala adecuada para representar todos los
resultados de los laboratorios participantes.
Líneas medianas Líneas paralelas a los ejes que pasan por el punto origen y dividen
al gráfico en cuatro cuadrantes.
Línea de 45°
Línea diagonal a 45° que pasa por el origen bisectando los
cuadrantes inferior izquierdo y superior derecho.
Resultados del
Punto de coordenadas (xi,yi), siendo xi y yi los resultados de las
Laboratorio i
concentraciones de la característica determinada por el laboratorio i
en las muestras A y B respectivamente.
Círculo Límite
Círculo con centro en el origen (valores de consenso) y radio igual
del 95%
a la desviación estándar multiplicada por un factor de confianza, de
tal forma que el círculo contendría al 95% de los resultados si los
errores sistemáticos fueran eliminados.
En el caso hipotético de ausencia de errores sistemáticos y si sólo operaran errores
aleatorios, los puntos de los resultados se distribuirían alrededor del origen o “valores de
consenso” ocupando regularmente los cuatro cuadrantes, ya que los errores positivos y
negativos son igualmente probables. Si por el contrario, en el caso hipotético de ausencia de
IDENTIFICACION
IT003
COPIA
1
REVISION
0
FECHA DE VIGENCIA
30/06/04
FILE:eia005.doc
Hoja 3 de 10
CPQ//Ley 7020/65
COFILAB
IT003
MANUAL DE PROCEDIMIENTOS
Autor: Antonio Pérez
errores aleatorios y sólo operaran errores sistemáticos, los puntos de resultados estarían
alineados sobre la línea de 45°, ya que se espera que si un laboratorio tiene desvíos
positivos ó negativos en sus resultados, tendrá desvíos con similar magnitud y sentido en
ambas muestras analizadas. Operando ambos tipos de errores, se obtendría una
combinación de ambos casos extremos y los resultados ocuparían un espacio elíptico con la
mayoría de los puntos en los cuadrantes inferior izquierdo y superior derecho.
Una simulación por computadora ilustra los casos hipotéticos planteados. Los gráficos
obtenidos se muestran en Las Fig. 3a, 3b y 3c y se explican por sí mismos.
Nota: Los datos utilizados en la construcción de las Fig. 3a, 3b y 3c simulan un ensayo
interalaboratorios con 11 participantes. Los resultados informados por los laboratorios para
los valores de X y de Y correspondientes a las muestras A y B respectivamente son muestras
aleatorias tomadas de sendas poblaciones de distribución normal de media, µ=30 y
desviación estándar, σ=±1 para el caso de la Muestra A y µ= 40 y σ=±1 para el caso de la
muestra B. Los errores sistemáticos simulados van de –2.5 a +2.5 para los laboratorios 1 a
11 respectivamente como se muestra en la Tabla 3.
Tabla 3: Errores Sistemáticos simulados para los laboratorios participantes.
Laboratorio N°
1
2
3
4
5
6
7
8
9
10
11
E. Sistemático -2.5 -2.0 -1.5 -1.0 -0.5 0.0 +0.5 +1.0 +1.5 +2.0 +2.5
IDENTIFICACION
IT003
COPIA
1
REVISION
0
FECHA DE VIGENCIA
30/06/04
FILE:eia005.doc
Hoja 4 de 10
CPQ//Ley 7020/65
COFILAB
IT003
MANUAL DE PROCEDIMIENTOS
Autor: Antonio Pérez
Nota: Los datos generados y los cálculos utilizados para la construcción de la Fig. 3c
se muestran en el Anexo.
La distribución de los puntos en el gráfico de Youden ponen en evidencia posibles
problemas, resultando una excelente herramienta de diagnóstico.
•
•
•
•
•
•
•
•
Puntos conformando una elipse angosta y alargada es señal de problemas con el
método analítico utilizado y señalan la necesidad de su modificación.
Puntos alejados de ambos ejes indican resultados erráticos.
El punto cercano a un eje pero alejado del otro es indicativo de resultados bastante
buenos en un material pero bastante malos en el otro.
Puntos en el cuadrante inferior izquierdo y superior derecho pero alejados del origen
reflejan una tendencia de resultados altos o bajos en ambos materiales.
Puntos cercanos a la línea de 45° pero alejados del origen indican errores
sistemáticos importantes.
Puntos alejados de la línea de 45° indican errores aleatorios grandes y son clara
evidencia de desviación importante con el método de ensayo utilizado.
Puntos fuera del círculo de confianza (95%) indican errores totales grandes.
Alta proporción de puntos fuera del círculo de radio igual a 2.448 x s y cercanos a la
línea de 45º indican presencia general de errores sistemáticos.
IDENTIFICACION
IT003
COPIA
1
REVISION
0
FECHA DE VIGENCIA
30/06/04
FILE:eia005.doc
Hoja 5 de 10
CPQ//Ley 7020/65
COFILAB
IT003
MANUAL DE PROCEDIMIENTOS
Autor: Antonio Pérez
4. Análisis de Youden, cálculos
En la Fig. 4 se representan nuevamente los resultados del laboratorio i (xi,yi) en un
Gráfico de Youden y los vectores involucrados en los cálculos.
En la Fig. 4 se representaron los siguientes puntos:
Punto R: De coordenadas (xi,yi). Resultados informados por el laboratorio i.
Punto O: De coordenadas (xM,yM). Resultados de las medianas ó valores de
consenso utilizado.
Punto P: De coordenadas (x’i,y’i). Distancia del punto R a la línea de 45°.
Los vectores generados y sus ecuaciones de cálculo resultan:
OR : Error Total (εT) cometido por el laboratorio i. Es una medida del desvío entre los
valores de consenso y los resultados del laboratorio i.
εT = Raíz cuadrada [ ( xi - xM )2 + ( yi - yM )2 ]
ec. 4.1
OP : Componente Sistemático del error (CS)
CS = [ (xi – xM ) + ( yi – yM ) ] / √2
ec. 4.2
PR : Componente Aleatorio del error (CA)
CA = Raíz cuadrada [ (x1-(CS/√2+xM))2 + (y1-(CS/√2+yM))2 ]
IDENTIFICACION
IT003
COPIA
1
REVISION
0
FECHA DE VIGENCIA
30/06/04
ec. 4.3
FILE:eia005.doc
Hoja 6 de 10
CPQ//Ley 7020/65
COFILAB
IT003
MANUAL DE PROCEDIMIENTOS
Autor: Antonio Pérez
4.1. Ajuste de los componentes Sistemático y Aleatorio calculados
Los componentes Sistemático y Aleatorio calculados requieren ser proporcionados de
tal forma que su suma sea igual al módulo del vector Error Total, de esta forma se obtienen
los Errores Sistemático y Aleatorio correspondientes:
Error Sistemático, εS = [CS / (|CS| + CA)] x εT
ec. 4.5
εA = [CA / (|CS| + CA)] x εT
ec. 4.6
Error Aleatorio,
De esta forma el valor absoluto del error sistemático sumado al error aleatorio resulta
igual al error total:
εT = |εS| + εA
ec. 4.7
4.2. Desviación estándar, Círculo de confianza y puntuación z.
La desviación estándar combinada, s se obtiene sumando el cuadrado de los errores
aleatorios de todos los laboratorios, dividiendo el resultado por el número de laboratorios
menos 1 y extrayendo la raiz cuadrada:
σ=
Σε Ai2
ec. 4.8
(n − 1)
Para el cálculo de radio, r del círculo de confianza se utilizan los factores mostrados
en la Tabla 4
Tabla 4: Tabla de probabilidad para una
Distribución Normal Circular
%
f
%
f
10
0.459
70
1.552
20
0.668
75
1.665
25
0.759
80
1.794
30
0.845
90
2.146
40
1.011
95
2.448
50
1.177
99
3.035
60
1.350
----% = Porcentaje de puntos dentro del círculo.
f = Factor de multiplicación de la desviación
estándar.
El radio del círculo que demarca un Intervalo de Confianza del 95% será asi de:
r = 2.448 x s
ec. 4.9
Para graficar el círculo se utiliza su fórmula dada por:
IDENTIFICACION
IT003
COPIA
1
REVISION
0
FECHA DE VIGENCIA
30/06/04
FILE:eia005.doc
Hoja 7 de 10
CPQ//Ley 7020/65
COFILAB
IT003
MANUAL DE PROCEDIMIENTOS
Autor: Antonio Pérez
y = raiz cuadrada (x2 – r2)
ec. 4.10
La puntuación z
La puntuación z es internacionalmente aceptada. Es una medida del desvío de los
resultados informados por cada laboratorio, respecto al valor de consenso, expresado en
unidades de desviación estándar. Este parámetro es conveniente por su cálculo directo y
fácil interpretación.
En este caso definimos una puntuación z para cada resultado analítico como el
cociente entre el desvío respecto al valor asignado (xi – xM) dividido la desviación estándar
sz.
ec. 4.11
z = (xi – xM) / sz
La puntuación utilizada se muestra en la Tabla 5
Tabla 5: Puntuación z.
|z| ≤ 2
2 < |z| < 3
|z| ≥ 3
“Satisfactorio”
“Cuestionable”
“No satisfactorio”
Tabla de presentación de resultados y cálculos
En la Tabla 6 se muestran los datos originales y los resultados obtenidos en forma
generalizada.
Tabla 6: Datos originales y cálculos
Lab. N° Muestra A Muestra B
1
x1
y1
2
x2
y2
.
.
.
.
.
.
n
xn
yn
x
y
M
M
Mediana
:
εTi
εT1
εT2
.
.
εTn
εSi
εAi
εAi2
εS1
εA1
εA12
εS2
εA2
εA22
.
.
.
.
.
.
εSn
εAn
εAn2
Des. Est. = s = (Σ εAi2) / (n –1)
Radio = r = f x s
5. Bibliografía
5.1. “The Sample, the Procedure, and The Laboratory”. W.J.Youden. Analytical Chemistry,
Vol. 32, N° 13, Dec. 1960.
5.2. “Graphical Diagnosis of Interlaboratory Test Results”. W.J.Youden. Industrial Quality
Control, Vol. XV, N°. 11, May 1959.
IDENTIFICACION
IT003
COPIA
1
REVISION
0
FECHA DE VIGENCIA
30/06/04
FILE:eia005.doc
Hoja 8 de 10
CPQ//Ley 7020/65
COFILAB
IT003
MANUAL DE PROCEDIMIENTOS
Autor: Antonio Pérez
7. Anexo
Datos originales y cálculos utilizados en la simulación mostrada en la Fig. 3c.
Tabla 7.1: Datos simulados a partir de poblaciones normales de
medias 30 y 40 respectivamente y desviación estándar igual a ± 1.
A= N(30,1) y B= N(40,1).
Lab. nro.
Mu. A (xi)
Mu. B (yi)
Error sis. Error ale. (s)
1
27,3
37,7
-2,5
±1
2
29,1
37,2
-2
±1
3
29,7
38,3
-1,5
±1
4
30,6
38,9
-1
±1
5
29,1
38,9
-0,5
±1
6
29,4
39,7
0
±1
7
29,0
41,5
0,5
±1
8
30,7
40,4
1
±1
9
32,7
41,9
1,5
±1
10
30,9
42,5
2
±1
11
31,5
42,8
2,5
±1
Tabla 7.2: Análisis de Youden y cálculo de la puntuación z.
εT
εA
xi
yi
x’i
y’i
CA
CS
Lab.
εS
εA^2 z=εT/s
1
27,3
37,7
27,50
37,50
3,12
0,28
-3,11
0,26
-2,86
0,068
3,9
2
29,1
37,2
28,15
38,15
2,57
1,34
-2,19
0,98
-1,59
0,954
3,3
3
29,7
38,3
29,00
39,00
1,40
0,99
-0,99
0,70
-0,70
0,490
1,8
4
30,6
38,9
29,75
39,75
1,20
1,20
0,07
1,14
0,07
1,293
1,5
5
6
29,1
29,4
38,9
39,7
29,00
29,55
39,00
39,55
1,00
0,30
0,14
0,21
-0,99
-0,21
0,13
0,15
-0,87
-0,15
0,016
0,023
1,3
0,4
7
8
9
10
11
29,0
30,7
32,7
30,9
31,5
41,5
40,4
41,9
42,5
42,8
30,25
30,55
32,30
31,70
32,15
40,25
40,55
42,30
41,70
42,15
1,93
1,22
3,72
3,05
3,58
1,77
0,21
0,57
1,13
0,92
0,78
1,20
3,68
2,83
3,46
1,34
0,18
0,50
0,87
0,75
0,59
1,04
3,22
2,18
2,83
1,799
0,034
0,246
0,758
0,565
2,4
1,5
4,7
3,9
4,5
Mediana:
29.7
39.7
s = raiz (6,240 / (11-1)) = 0,79
Suma:
6,240
r = 2.448 x 0.79 = 1.936
En la copia de la Fig. 3c están representados los resultados mostrados en la Tabla 7.2
IDENTIFICACION
IT003
COPIA
1
REVISION
0
FECHA DE VIGENCIA
30/06/04
FILE:eia005.doc
Hoja 9 de 10
CPQ//Ley 7020/65
COFILAB
IT003
MANUAL DE PROCEDIMIENTOS
Autor: Antonio Pérez
(Copia)
Los resultados indican errores sistemáticos importantes en los laboratorios 1, 2, 9, 10
y 11. Nótese que el laboratorio 3, a pesar de habérsele impuesto los mismos errores que al
laboratorio 9 cayó dentro del círculo de confianza del 95%. Esto puede ocurrir también en los
ensayos reales y es propio de un análisis estadístico de este tipo.
Los resultados de la puntuación z se muestran en la Tabla 7.
Tabla 7.3: Puntuación z.
Laboratorio N°
1
2
3
4
5
6
7
8
9
10
11
z
3,9
3,3
1,8
1,5
1,3
0,4
2,4
1,5
4,7
3,9
4,5
Puntuación z
No satisfactorio
No satisfactorio
Satisfactorio
Satisfactorio
Satisfactorio
Satisfactorio
Satisfactorio
Satisfactorio
No satisfactorio
No satisfactorio
No satisfactorio
Los resultados obtenidos están el línea con los observados en el Gráfico de Youden y
reflejan muy bien las condiciones impuestas, resultando no satisfactorios aquellos
laboratorios cuyos errores sistemáticos son relativamente altos respecto a los errores
aleatorios.
IDENTIFICACION
IT003
COPIA
1
REVISION
0
FECHA DE VIGENCIA
30/06/04
FILE:eia005.doc
Hoja 10 de 10