EVALUACION-DE-POLITICAS-PUBLICAS...
Rocoo_
Evaluación de Políticas Públicas
4º Doble Grado en Derecho y Ciencias Políticas y de la
Administración
Facultad de Ciencias Políticas y Sociología
Universidad de Granada
Reservados todos los derechos.
No se permite la explotación económica ni la transformación de esta obra. Queda permitida la impresión en su totalidad.
EVALUACIÓN
DE POLÍTICAS
PÚBLICAS
Reservados todos los derechos. No se permite la explotación económica ni la transformación de esta obra. Queda permitida la impresión en su totalidad.
a64b0469ff35958ef4ab887a898bd50bdfbbe91a-6782673
TEMA 1: LA EVALUACIÓN EN EL ANÁLISIS DE POLÍTICAS PÚBLICAS ........................................................ 3
1.
2.
3.
4.
5.
6.
DEFINICIÓN Y CONCEPTO DE EVALUACIÓN.................................................................................................. 3
1.1.
Introducción ............................................................................................................................ 3
1.2.
Razones para evaluar políticas públicas ................................................................................. 4
1.3.
Definición de la evaluación ..................................................................................................... 4
1.4.
Evolución de los estudios sobre evaluación (Ruíz Viñals, 2004) .............................................. 5
OBJETIVOS DE LA EVALUACIÓN ................................................................................................................ 5
2.1.
Motivación o actitudes del proceso evaluador (Many y Thoening, 1995) .............................. 5
2.2.
Objetivos de la evaluación (Martínez del Olmo, 2006) ........................................................... 5
2.3.
Propósitos de la evaluación (Ballart, 1997) ............................................................................ 6
2.4.
Fases de la evaluación (Ballart, 1997) .................................................................................... 6
2.5. Análisis posibles con la evaluación ............................................................................................... 7
2.5.
¿Cambio de Política? Policy Shift ............................................................................................ 7
TIPOLOGÍAS DE EVALUACIÓN................................................................................................................... 7
3.1.
De acuerdo con la procedencia del evaluador/evaluadores ................................................... 7
3.2.
De acuerdo con su temporalización ........................................................................................ 9
3.3.
Según su finalidad en relación con la temporalización ........................................................... 9
3.4.
De acuerdo con su objeto ..................................................................................................... 10
3.5.
Nivel de asistencia ................................................................................................................ 11
3.6.
De acuerdo al modelo ........................................................................................................... 11
3.7.
De acuerdo con la metodología ............................................................................................ 11
DISEÑO (TEMA 7) ............................................................................................................................... 11
INSTRUMENTOS DE MEDICIÓN ............................................................................................................... 12
5.2. Tipos de evaluación según la fase de la política pública según Tamayo (2001) ......................... 12
LIMITACIONES INSTRUMENTALES ........................................................................................................... 12
TEMA 2: DEFINICIÓN Y CONCEPTO DE EVALUACIÓN ............................................................................ 12
1.
2.
3.
4.
INTRODUCCIÓN .................................................................................................................................. 12
SUBACTIVIDADES DE LA EVALUACIÓN ...................................................................................................... 13
OBJETIVOS DE LA EVALUACIÓN .............................................................................................................. 13
CRITERIOS ......................................................................................................................................... 14
TEMA 3: TIPOS DE EVALUACIÓN .......................................................................................................... 14
1.
2.
3.
SEGÚN EL MOMENTO (FUNCIÓN DE LA EVALUACIÓN) ................................................................................. 15
SEGÚN LA PROCEDENCIA DE LOS EVALUADORES ........................................................................................ 15
SEGÚN LA NATURALEZA DE LO EVALUADO ................................................................................................ 15
A. Evaluación de necesidades ........................................................................................................ 15
B. Evaluación del diagnostico ........................................................................................................ 18
C. Evaluación del diseño ................................................................................................................ 18
D. Evaluación de la implementación ............................................................................................. 19
E. Evaluación de resultados .......................................................................................................... 20
F.
Evaluación de impacto .............................................................................................................. 20
G. Otros tipos de evaluación.......................................................................................................... 20
TEMA 4: ¿QUÉ SE EVALÚA EN UN PROGRAMA O POLÍTICA PÚBLICA? LOS CRITERIOS EVALUATIVOS... 20
PRIMERA PARTE: CRITERIOS DE EVALUACIÓN ................................................................................................ 20
1. CRITERIO DE RELEVANCIA ..................................................................................................................... 21
2. CRITERIO DE PERTINENCIA .................................................................................................................... 22
3. CRITERIO DE COHERENCIA INTERNA ........................................................................................................ 22
4. CRITERIO DE COHERENCIA EXTERNA ........................................................................................................ 23
5. CRITERIO DE EFICACIA .......................................................................................................................... 23
6. CRITERIO DE EFICIENCIA ....................................................................................................................... 24
7. CRITERIO DE SOSTENIBILIDAD ................................................................................................................ 25
Página 1 de 46
Reservados todos los derechos. No se permite la explotación económica ni la transformación de esta obra. Queda permitida la impresión en su totalidad.
a64b0469ff35958ef4ab887a898bd50bdfbbe91a-6782673
8. CRITERIO DE EQUIDAD ......................................................................................................................... 25
SEGUNDA PARTE: PREGUNTAS .................................................................................................................. 26
1. EN LA FASE DE DIAGNÓSTICO (NECESIDADES) ........................................................................................... 26
A. El problema ............................................................................................................................... 26
B. Desarrollo y selección de instrumentos y procedimientos: ....................................................... 26
C. La interpretación ....................................................................................................................... 26
2. EN LA FASE DE FORMULACIÓN (FASE DE DISEÑO). ...................................................................................... 26
3. EN LA FASE DE IMPLEMENTACIÓN. ......................................................................................................... 27
4. EN LA FASE FINAL O DE RESULTADOS. ...................................................................................................... 27
TEMA 6: EL PROCESO EVALUATIVO ...................................................................................................... 27
1.
2.
3.
4.
5.
6.
7.
8.
9.
INTRODUCCIÓN .................................................................................................................................. 27
DEFINICIÓN DEL MARCO DE REFERENCIA .................................................................................................. 28
2.1.
Diagnóstico del proyecto ...................................................................................................... 28
2.2.
Formulación del proyecto ..................................................................................................... 29
DEFINICIÓN DEL TIPO DE EVALUACIÓN..................................................................................................... 30
3.1.
Objeto y elección del modelo evaluativo .............................................................................. 30
3.2.
Determinación de las variables a medir ............................................................................... 30
3.3.
Definición de unidades de medida ........................................................................................ 31
3.4.
Definición de la periodicidad ................................................................................................ 31
3.5.
Elección de instrumentos para recoger información ............................................................ 31
3.6.
Recursos ................................................................................................................................ 31
IMPLEMENTACIÓN DE LA EVALUACIÓN .................................................................................................... 32
Una vez que tenemos la implementación pasamos a los siguientes pasos que conllevan la ejecución
del proyecto. ...................................................................................................................................... 32
APLICACIÓN DE LAS MEDICIONES ........................................................................................................... 32
ANÁLISIS DE LOS RESULTADOS ............................................................................................................... 32
FORMULACIÓN DE LAS CONCLUSIONES .................................................................................................... 32
ADOPCIÓN DE LAS MEDIDAS DE RETROALIMENTACIÓN................................................................................ 32
INTRODUCCIÓN DE LAS MEDIDAS EN EL PROCESO ...................................................................................... 32
TEMA 7: MODELOS O DISEÑOS EVALUATIVOS ..................................................................................... 32
1.
2.
EXPERIMENTACIÓN ............................................................................................................................. 33
DISEÑOS EVALUATIVOS ........................................................................................................................ 33
2.1.
Diseños o modelos experimentales ....................................................................................... 34
2.2.
Diseños o modelos causiexperimentales .............................................................................. 34
2.3.
Modelos no experimentales.................................................................................................. 35
TEMA 8: EL PROCESO DE MEDICIÓN..................................................................................................... 36
1.
2.
3.
4.
INTRODUCCIÓN .................................................................................................................................. 36
EL PROCESO DE MEDIDA ....................................................................................................................... 36
EL DISEÑO DE INDICADORES .................................................................................................................. 36
PROCESO DE MEDICIÓN A TRAVÉS DE INDICADORES ................................................................................... 37
TEMA 10: RETROALIMENTACIÓN ......................................................................................................... 37
1.
PROCESO DE CONTROL ........................................................................................................................ 37
1.1.
Medidas correctivas .............................................................................................................. 37
1.2.
Grupo Activante .................................................................................................................... 38
TEMA 11: EL PROYECTO DE EVALUACIÓN ............................................................................................ 39
1.
2.
3.
DEFINICIÓN DE LA EVALUACIÓN ............................................................................................................. 39
OBJETIVOS DE LA EVALUACIÓN .............................................................................................................. 40
METODOLOGÍA DE LA EVALUACIÓN ........................................................................................................ 42
Página 2 de 46
Reservados todos los derechos. No se permite la explotación económica ni la transformación de esta obra. Queda permitida la impresión en su totalidad.
a64b0469ff35958ef4ab887a898bd50bdfbbe91a-6782673
4.
PLAZOS Y PRESUPUESTOS ..................................................................................................................... 43
TEMA 12: EL INFORME DE EVALUACIÓN .............................................................................................. 44
1.
2.
3.
4.
5.
INTRODUCCIÓN .................................................................................................................................. 44
CARACTERÍSTICAS DEL INFORME FINAL .................................................................................................... 44
ESTRUCTURA DEL INFORME FINAL .......................................................................................................... 44
EL INFORME EJECUTIVO ....................................................................................................................... 45
CRITERIOS DE CALIDAD DE LOS INFORMES DE EVALUACIÓN .......................................................................... 45
TEMA 1: LA EVALUACIÓN EN EL ANÁLISIS DE POLÍTICAS PÚBLICAS
1. Definición y concepto de evaluación
Ciclo de las PP: Definición del problema  Entrada en la Agenda  Toma de
decisiones  Implementación/Ejecución  Evaluación
En esta asignatura estudiaremos la última fase del ciclo, la evaluación. La evaluación
normalmente como una auditoria, pero estas no establecen recomendaciones. En el
caso de las evaluaciones sí que tendríamos unas recomendaciones que reformulen la
PP. al establecerse esa serie de recomendaciones se conecta con la parte siguiente:
definición de nuevos problemas. De manera que estamos ante un ciclo continuo.
Tenemos un problema social y para ello creamos una PP, posteriormente se implementa
y después por último se evalúa. Primeramente la evaluación era de esta última fase. Sin
embargo, con el paso del tiempo la evaluación se conecta con todas las diferentes fases
del ciclo. Evaluación de la implementación, de los objetivos, evaluación de la
evaluabilidad (si la PP es evaluable), etc.
1.1.
Introducción
La evaluación es importante por la falta de certitud a la hora de llevar a cabo una PP.
la información es imprecisa, solo conocemos parte de la sociedad o contexto. La falta
de información se suple con la información que conseguimos a través de la evaluación.
Es la última fase del proceso de las PP, pero al ser un ciclo retroalimenta a la primera
fase (definición del problema).
Es un instrumento técnico y una herramienta política de primer orden.
La justificación última de la evaluación sería el ejercicio de la responsabilidad política
y la búsqueda de lo que se ha denominado la eficacia democrática. (Bañón y Carrillo,
1994).
Los estudios de evaluación, además incluye estudios de percepción de los ciudadanos.
Cuando se evalúa una PP, normalmente los beneficiarios son los ciudadanos, por lo que
normalmente en los estudios de evaluación también se estudia el impacto que tendrá
sobre la población la PP.
Ecuación: escasez de recursos y necesidad de eficacia que demanda la sociedad.
Los recursos son escasos y para hacer una gestión eficaz de los mismos se tiene que
realizar la evaluación.
Los beneficios derivados de la evaluación superan a los costes. Hay estudios que
justifican la evaluación estableciendo que el gasto y beneficio de la misma no supera el
coste. Para remediar este fallo encontramos fondos europeos que llevan evaluaciones.
La UE pretende fomentar una mayor cultura de la evaluación
Página 3 de 46
Reservados todos los derechos. No se permite la explotación económica ni la transformación de esta obra. Queda permitida la impresión en su totalidad.
a64b0469ff35958ef4ab887a898bd50bdfbbe91a-6782673
Tanto los modelos como los enfoques han ido evolucionando paralelamente al
desarrollo del Análisis de Políticas Públicas.
1.2.
-
Razones para evaluar políticas públicas
Los procesos sociales sobre los que se quiere influir se conocen solo
parcialmente.
La información es imperfecta: base de la definición de problemas y elección de
alternativas.
Condicionamientos políticos = búsqueda de consenso y soluciones de
compromiso.
Desviación de objetivos (es decir: en conocimientos y habilidades de la
organización).
Impactos imprevistos de las políticas. La PP buscaba unos resultados, pero
también provoca unos impactos; algunos pueden ser previstos, pero otros no.
1.3.
Definición de la evaluación
La evaluación va de la mano del ámbito educativo. Las primeras evaluaciones que se
realizaron fueron con respecto a formaciones educativas en EEUU. Posteriormente la
psicología también tendrá un gran impacto.
Es complicado sinterizar una definición unánime sobre la evaluación, incluso tenemos
una definición terminológica. Tomamos la definición de Joint Committee Standard
Education: “Recoger y analizar sistemáticamente una información para poder
determinar el valor o mérito de una intervención”. Tenemos una parte importante que es
la de metodología (valor/mérito). Se establece un indicador para una intervención (en
este caso el ámbito educativo), posteriormente recabamos datos para analizar dicho
indicador (valor/mérito).
Tyler, 1950: “Es el proceso de determinar en qué medida los objetivos de un programa
se han alcanzado”.
Joint Committee for Educational Evaluation, 1981: “Investigación sistemática del valor o
mérito de un objetivo”. Investigación sistemática: la aplicación de una metodología para
la obtención de una información o un resultado.
Cronbach, 1981: “La provisión de información para la toma de decisiones sobre una
intervención”. Tenemos una intervención y buscamos información sobre la misma,
evaluamos en cierta medida como se ha llevado a cabo dicha intervención.
Chelimsky, 1985: “La aplicación de métodos de investigación sistemáticos para la
evaluación del diseño, la implementación y la eficacia de un programa”. Si al principio
nos centrábamos en el resultado final, en este momento ya nos centramos también en
las otras fases previas al resultado final: diseño e implementación.
Viveret, 1989: “Emitir un juicio sobre el valor de la acción pública”. Se refiere a un juicio
objetivo, se establece una especie de baremo que cuenta con diferentes indicadores y
a través de ese juicio se determina el grado de cumplimiento de la política.
Monnier, 1995: “Iniciativa pluralista cuyo núcleo es el sistema de los actores implicados
y cuyo propósito estriba en valorar la fundamentación de una intervención pública,
basándose en la comparación de sus efectos con los sistemas de valores vigentes”.
Sistema de valores vigente en esa sociedad concreta y dentro de ese contexto.
Roth, 2002: “Práctica seria de argumentación basada en información pertinente sobre
los efectos de una política”. Práctica = investigación sistemática (método).
Página 4 de 46
Reservados todos los derechos. No se permite la explotación económica ni la transformación de esta obra. Queda permitida la impresión en su totalidad.
a64b0469ff35958ef4ab887a898bd50bdfbbe91a-6782673
Definición de evaluación de Ballart
Productor de información que sirva a los gestores públicos (políticos, técnicos,
funcionario, etc.) para tener una idea sobre la calidad de los servicios que están
produciendo, en función de lo que se estime como valor. La idea sería establecer este
valor en términos numéricos. De esta forma instrumentalizamos el valor en un sistema
que nos permita conocer en qué punto se encuentra la PP en términos de calidad. El
valor tendremos que operacionalizar.
Evaluación como técnica que busca producir información útil a las AP para mejorar:
-
Los procesos de decisión y planificación.
El funcionamiento y la gestión de las operaciones diarias.
Los resultados finales en relación a los recursos invertidos.
1.4.
Evolución de los estudios sobre evaluación (Ruíz Viñals, 2004)
Comienzan en los años cincuenta:
-
-
Primera etapa: análisis de los resultados o impactos de la política pública.
identificar los efectos de una acción (cuantificada). Se centraba en políticas
públicas ya finalizadas (Técnico).
Segunda etapa: no se centra solo en PP ya finalizadas, sino también en curso
(se introduce un carácter más técnico y político).
Tercera etapa: Evaluación comprehensiva (más amplia, no solo centrada en el
carácter finalista, sino también centrada en implementación, diseño, etc.).
Evaluación global: concepto, diseño, implementación y utilidad de los programas
de intervención social (Esencialmente política).
2. Objetivos de la evaluación
2.1.
-
-
-
Motivación o actitudes del proceso evaluador (Many y Thoening, 1995)
Actitud descriptiva: registrar las variaciones que se dan en un medio social como
consecuencia de la política pública puesta en marcha.
Actitud clínica: explicar los cambios sociales que se han provocado por la política
pública. También encajan aquí los efectos inesperados (externalidades
producidas).
Actitud normativa: se indica como el evaluador cree que el medio social debería
reaccionar ante una política concreta. En este caso el evaluador establece su
propio juicio de valor.
Actitud experimental: se busca explicitar las relaciones causales para explicar el
éxito o el fracaso de la aplicación de una PP. Relación causal: A provoca un
efecto en B, para ello A debe ser previo a B; solamente en ese contexto tenemos
A y B porque en caso de que influyese otra opción (C), ya no tenemos
causalidad.
2.2.
Objetivos de la evaluación (Martínez del Olmo, 2006)
Si el objetivo es proporcionar una información útil que facilite el proceso de toma de
decisiones que mejore la acción de los poderes públicos, podemos distinguir tres
grandes objetivos o funciones. La motivación por la cual se establece la evaluación es
diferente para cada autor. Algunos incluso tomarán varios tipos de motivaciones.
1. La evaluación como base para mejorar o perfeccionar. Las preguntas irán en
la dirección de cómo mejorar la efectividad y eficiencia de un programa o política.
2. Evaluación como rendimiento de cuentas. Facilitar información a los
responsables para la toma de decisiones respecto a la continuación o no del
Página 5 de 46
Reservados todos los derechos. No se permite la explotación económica ni la transformación de esta obra. Queda permitida la impresión en su totalidad.
a64b0469ff35958ef4ab887a898bd50bdfbbe91a-6782673
proyecto, asignación de recursos o modificación de la política. Lo que se intenta
hacer es conocer el nivel de cumplimiento de las tareas asignadas en esa política
pública. Los ciudadanos se ven como posibles clientes.
3. La evaluación como generador de conocimiento. Como proceso político,
puede tener otras intenciones: control e inspección por fines determinados,
legitimación de un programa, justificar una decisión ya tomada anteriormente,
etc.
Entre ellos pueden estar mezclados y relacionados entre sí; es decir, están
interconectados. No tiene por qué darse uno de ellos solo. Los objetivos que establece
Martínez del Olmo coinciden con los “propósitos” de Ballart (1997): Comprensión,
ilustración; Rendimiento de cuentas (carácter político, económico y social – actividades
llevadas a cabo con fondos públicos); Mejora.
2.3.
Propósitos de la evaluación (Ballart, 1997)
1. Ilustración, compresión: ilustrar, aclarar, dar luz, comprender qué está pasando
y cómo funciona el programa. La evaluación suele producir un cambio, dota
de nuevos significados sobre la realizad del programa y de su intervención.
2. La retroalimentación o mejora: es una manera de recibir “feedback” sobre las
acciones, intervenciones o programas que se llevan a cabo, un modo de mejorar
y progresar. La evaluación puede ser un proceso de aprendizaje de la propia
intervención.
3. El control de responsabilidades y rendimiento de cuentas: “Rendir cuentas
en la aceptación más flexible del término, no se restringe exclusivamente a los
aspectos económicos sino también a la responsabilidad social y política,
especialmente si las actividades llevas a cabo se financian con fondos públicos,
ya que el contribuyente tienen derecho a saber en qué y cómo se está
empleando el dinero público.
2.4.
Fases de la evaluación (Ballart, 1997)
1. Motivación para evaluar. Si estamos ante una investigación partimos desde el
problema de la investigación.
2. Definición de unidad y análisis de contexto. Aquí encontramos el tema del
diagnóstico, la realidad donde opera la política pública (contexto).
3. Necesidades informativas. Necesidades/información necesaria para poder
realizar la información. Qué información, documentaciones y cuestiones son
relevantes para realizar la evaluación.
4. Criterios de valor (forma de enjuiciar o establecer el objetivo último de la
evaluación de forma cuantitativa), preguntas relevantes (el objetivo tiene relación
con estas preguntas).
5. Operacionalización de criterios a indicadores. Pasar los criterios de valor
establecidos en la fase 4 a una serie de indicadores que nos ayuden con la
medición  Operacionalización.
6. Diseño metodológico. Cada uno de los diferentes diseño evaluativos diferentes
empleados. Cada evaluación responde a un diseño diferente  Modelo
experimentales, modelos cuasi-experimentales o modelos no experimentales.
7. Búsqueda de fuentes y diseño de técnicas. Una vez que tenemos los indicadores
y el diseño metodológico pasamos a recabar los datos. Diseñaremos las técnicas
relevantes para recabar los datos (encuesta, entrevista en profundidad, etc.)
8. Trabajo de campo. Aplicación de los cuestionarios o guion creado en la fase
anterior, ello nos ayudará a recabar información y datos para la evaluación.
9. Datos. Descodificar los datos, aclararlos, limpiarlos, etc.
Página 6 de 46
Reservados todos los derechos. No se permite la explotación económica ni la transformación de esta obra. Queda permitida la impresión en su totalidad.
a64b0469ff35958ef4ab887a898bd50bdfbbe91a-6782673
10. Interpretaciones. Podemos asimilarlo a la fase de análisis, después
establecemos los juicios.
11. Juicios. Valorar el cumplimiento de los objetivos en base a las interpretaciones
previas.
12. Recomendaciones. Sobre cómo se debe actuar ante esa política pública: qué
mejorar en la formulación, diagnostico, su implementación, etc. Ello implica a los
diferentes actores participantes en la política pública.
13. Comunicación de resultados. Presentación de un informe final.
*Marco previo de referencia: Primer bloque de fases (Diagnóstico y formulación del
proyecto). Es importante para conformar la evaluación.
2.5. Análisis posibles con la evaluación






Se ajusta el programa o dispositivo a las necesidades prioritarias de la
población. Si no es así, ¿cuáles son las dificultades con las que se encuentra?
Se explicita el análisis de causalidad que sustenta la intervención que a veces
está implícito.
El programa contribuye a logar los cambios deseados.
Se constata la congruencia del modelo, ¿es lógico?
 Análisis de la coherencia interna
 Revisión de sus componentes: ¿son necesarios? ¿son suficientes?
¿Implementación correcta?
¿Recursos adecuados?
2.5.
¿Cambio de Política? Policy Shift
Revisión del estado del problema/política pública:




Continuación de política existente.
Revisión de política. La política se mantiene pero se modifican ciertas
cuestiones.
Terminación de la política. Hay dos opciones: que la política se haya culminado
con éxito (consecución del objetivo) y que la política haya fracasado (que no se
haya cumplido con el objetivo marcado).
Nueva política. En caso de que no se haya conseguido el objetivo de la política
anterior, se creará una nueva que sustituya a la anterior.
3. Tipologías de evaluación
Encontramos diferentes tipologías en función de diferentes dimensiones: tiempo,
objetivo, finalidad, etc.
3.1.
De acuerdo con la procedencia del evaluador/evaluadores
Tenemos una PP formulada por el legislador o actor político, esta será implementada
por unos técnicos y finalmente, tendremos que decidir quién hace la evaluación. En
función de esta decisión encontramos tres tipos posibles:


Evaluación interna: se realiza por el organismo que ha ejecutado, desarrollado e
implementado la política pública. Ej. El Ayuntamiento de Granada crea unos
talleres deportivos por las tardes, en el caso de la evaluación interna, es el propio
ayuntamiento de Granada el que realiza la evaluación.
Evaluación externa. El evaluador es ajeno a los órganos de ejecución de la PP
(hay una contratación por parte del organismo público). Puede ser una
consultora, un autónomo que se dedique a ello, etc. De manera que el evaluador
no tiene conocimiento a priori de la PP que se va a evaluar.
Página 7 de 46
Reservados todos los derechos. No se permite la explotación económica ni la transformación de esta obra. Queda permitida la impresión en su totalidad.
a64b0469ff35958ef4ab887a898bd50bdfbbe91a-6782673

Evaluación mixta. Tenemos un equipo evaluador (más de dos personas
involucradas en la evaluación) que se compone por personal interno y externo.
A. Ventajas y desventajas
Evaluación Interna
Ventajas



El conocimiento que se tiene sobre la PP es más profundo (conoce mejor los
objetivos) que en la evaluación externa.
Los resultados de la evaluación son más fácil de trasponer al programa. Es
decir, se detectamos cualquier problema en la implementación, es más fácil que
se implementen las mejoras sobre la macha.
Son más económicas que las externas, tienen un menor coste.
Desventajas




Pérdida de objetividad porque el equipo que ejecuta es el mismo que se evalúa.
Es decir, la perdida de objetividad puede ser mayor.
Pérdida de imparcialidad.
Cuestión económica. Tenemos que tener en cuenta que muchas políticas
públicas dependen de fondos públicos para ser llevadas a cabo. Podría
manipularse la evaluación para no perder estos fondos.
Los evaluadores no estén especializados en evaluación de políticas públicas –
falta de conocimiento.
Evaluación Externa
Ventajas

Mayor independencia del evaluador, este es completamente independiente del
órgano que ha diseñado e implementado la PP. Ello supone una mayor
objetividad y se garantiza su imparcialidad.
Desventajas




Los resultados de la evaluación son más difíciles de transponer al programa. Al
no estar dentro del proyecto, es más complicado introducir sobre la marcha las
posibles mejoras que van surgiendo.
Reticencias por parte del personal que está siendo evaluado a tener un
evaluador. Reticencias en el momento de la evaluación (aportar los datos).
No cuentan con el mismo conocimiento que aquellos que estén dentro del
proyecto. Empleo de datos secundarios o la observación.
Es más cara que la interna, hay que hacer nuevas contrataciones.
Evaluación Mixta
Se equilibran las ventajas e inconvenientes que hemos mencionado anteriormente.
B. Criterios de elección
Si el organismo que ejecuta la PP tiene una cultura evaluadora y hay dinero suficiente,
se realiza una evaluación externa. En caso de que los fondos europeos (cohesión,
estructurales, FEDER, etc.) la UE pide que sea una evaluación externa; a no ser que
sea un proyecto piloto. A pesar de que esto es lo que ocurre en la práctica, tenemos una
serie de criterios técnicos:
Página 8 de 46
Reservados todos los derechos. No se permite la explotación económica ni la transformación de esta obra. Queda permitida la impresión en su totalidad.
a64b0469ff35958ef4ab887a898bd50bdfbbe91a-6782673
-
-
-
Momento en el que se produce la evaluación: si queremos valorar el proyecto
mientras se está implementando, diseñando, etc., lo normal es elegir la
evaluación interna (podemos mejorarla mientras sigue en funcionamiento). Si el
proyecto ya está finalizado elegiremos la evaluación externa.
Incidencia de los resultados de la evaluación: si queremos introducir mejoras
constantes lo ideal sería que la evaluación sea interna. En caso de que se quiera
ver cómo ha funcionado la PP se elige una evaluación externa.
Garantías de objetividad requeridas: si queremos que la evaluación sea más
objetiva se elige la evaluación externa; además, el equipo tendrá los
conocimientos técnicos.
3.2.
De acuerdo con su temporalización
¿Cuándo evaluar esa PP? Este criterio determina cuándo llevaremos a cabo la
evaluación. Las posibles respuestas a esta pregunta nos proporcionan otras variables.
Evaluación en relación a la puesta en marcha del proyecto de evaluación
-
-
Ex ante: se realiza con anterioridad a la ejecución del proyecto. Las motivaciones
de esta evaluación son evaluar o conocer las necesidades de la PP y el éxito de
la misma. Garantizamos de esta forma que lo que queremos obtener con esa PP
se va a conseguir. Conoceremos si se van a cumplir los objetivos establecidos.
In Intinere/Intermedia: se realiza en mitad de la ejecución del proyecto.
Observamos si se están consiguiendo los objetivos por los cuales se puso en
marcha dicha PP. Se hace un control de cómo van los objetivos para saber si
estos tienen que ser reforzados o no. Pueden darse varias evaluaciones
intermedias.
Ex post/Final: se realiza una vez finalizada la política pública, analizaremos los
outputs (resultados del proyecto) y los inputs (impactos que ha tenido el
proyecto). Evaluamos si se han conseguidos los objetivos y los impactos y
efectos que haya podido generar. Ya no se pueden introducir mejoras ni
modificaciones en el proyecto.
3.3.
-
-
-
Según su finalidad en relación con la temporalización
Inicial o diagnóstica: nos centramos en la fase de diagnóstico previa a las fases
de formulación. Nos ayuda a ver el grado de alcance de los objetivos propuestos
por el proyecto.
Continua (o también llamada procesual, sucesiva y/o formativa): encontramos
diferentes interpretaciones, por ello los diferentes términos (todos sinónimos). Se
establece en función de una perspectiva de corte dinámico y diacrónico
(diferentes cortes temporales que se realizan a lo largo del tiempo). Se observa
cómo se van desarrollando los objetivos y los progresos del proyecto.
Final o diferida: Se realiza una vez se haya finalizado la política pública. Se trata
de evaluar si se han cumplido los objetivos marcados.
Relación entre finalidad (I) y momento evaluativo
Finalidad
Diagnostica
Momento
Inicial o ex
ante
Objetivos
Identificar las características de los participantes
(intereses, necesidades, exceptivas)
Identificar
las
características
del
contexto
(posibilidades, limitaciones, necesidades, etc.)
Valorar la pertinencia, adecuación y viabilidad del
proyecto
Página 9 de 46
Reservados todos los derechos. No se permite la explotación económica ni la transformación de esta obra. Queda permitida la impresión en su totalidad.
a64b0469ff35958ef4ab887a898bd50bdfbbe91a-6782673
Formativa
Continua
Sumativa
Final o ex post
Mejorar las posibilidades personales de los
participantes
Dar información sobre la evolución y progreso
Identificar los puntos críticos en el desarrollo del
proyecto
Optimizar el proyecto en su desarrollo
Valorar la consecución de los objetivos así como los
cambios producidos, previstos o no
Verificar la valía de un proyecto de cara a satisfacer
las necesidades previstas
Según la finalidad (II)
Tipo de
evaluación
También
conocida como
Diagnostico
Inicial
Diseño
Predictiva o de
Pronostico
Antes de la intervención
social
Nos permite conocer la
adecuación del programa de
intervención social a las
necesidades de la población
Implementación
Orientadora o
formativa
Durante de la
intervención social
Proporciona la información para
saber cómo se está aplicando el
programa
Final de la intervención
social
Permite saber qué
efectos/consecuencias ha
tenido la intervención social
(programa) sobre el contexto
social intervenido
Resultados
3.4.
Sustantiva o de
control
Momento de su
aplicación
Finalidad
Se utiliza para conocer las
Antes de la intervención
necesidades o problemas de la
social
ciudadanía
De acuerdo con su objeto
Visto anteriormente (tabla de arriba)
-
Evaluación de contexto
Evaluación de diseño del programa
Evaluación de proceso o implementación
Evaluación de productos: valorar e interpretar los logros del proyecto
Evaluación de resultados o efectos inmediatos: valorar los cambios planificados
y los cambios imprevistos
Evaluación de impactos: efectos producidos en el entorno social
Página 10 de 46
Reservados todos los derechos. No se permite la explotación económica ni la transformación de esta obra. Queda permitida la impresión en su totalidad.
a64b0469ff35958ef4ab887a898bd50bdfbbe91a-6782673
-
Evaluación de costes: referido al carácter económico
Inicial  Diagnostico
3.5.
Formativa  Ev. Continua
Sumativa/control  finalista
Nivel de asistencia
El nivel de asistencia a la toma de decisiones:
-
-
Proactiva: indica una mayor actividad. La política pública está viva, ello le da un
mayor dinamismo. Si realizamos una evaluación para ir implementando mejoras
estamos ante un modelo pro-activo.
Re-activa: si el carácter de la evaluación se centra más bien en la contabilización
de logros o efectos de la PP. estas se usan para justificar las asignaciones
presupuestarias.
La mayoría de las intervenciones tienen una mezcla de ambos modelos. Se
presentan elementos tanto proactivos (ayuda en la toma de decisiones) y reactivos
(nivel de contabilización).
3.6.
-
3.7.
-
-
-
De acuerdo al modelo
Método cuantitativo: cuando la mayoría de indicadores de evaluación son de
carácter cuantitativo (encuestas, datos micro, macro, etc.)
Método cualitativo: cuando empleamos indicadores cualitativos (entrevista,
observación participante, etc.)
Enfoque pluralista/mixto: la mayoría de evaluaciones deberán de ser mixtas.
De acuerdo con la metodología
Constructivista o libre de objetivos: inexistencia de objetivos cuantificados o
cuantificables. El modelo de evaluación cosiste en no tener indicadores basados
en objetivos. Este tipo de evaluación se emplea para alcanzar una dimensión de
corte más dinámico. Son muy complicadas de realizar, se requiere de personal
que conozca bien la metodología de evaluación.
Evaluación formativa: evaluación continua que se basa en que los participantes
vayan conocimiento el proyecto y mejorar sobre la marcha.
Evaluación participativa: participación de los grupos de interés implicados en
esta PP. Por ejemplo sería algo similar a los presupuestos participativos, pero
llevado al ámbito de la evaluación.
Evaluación integral y holística: la evaluación no se ve como una evaluación final
Sumativa, se tiene en cuenta todo el análisis y el conjunto de la PP. Debe abarcar
todos los elementos relevantes de los proyectos. Se mezclan técnicas
cualitativas y cuantitativas. Se abarca todo el proceso.
4. Diseño (tema 7)
- Diseño Preordenado ≠ Diseño Respondiente
 Preordenado: estrategia o plan que va a guiar al proceso evaluativo. El
propósito es un diseño detallado de todos los elementos de ese proceso
evaluativo, todos ellos previamente diseñados y elaborados, no me salgo
de ese guion. Responden a evaluaciones de carácter sumativo o finalista
(quiero ver los impactos y resultados).
 Respondiente: evaluación de carácter participativo, sin serlo busca una
mayor participación de los implicados. El diseño no se encuentra
previamente realizado, es más flexible. Metodología más
cualitativa/interpretativa. Me voy adaptando a la realidad.
Página 11 de 46
Reservados todos los derechos. No se permite la explotación económica ni la transformación de esta obra. Queda permitida la impresión en su totalidad.
a64b0469ff35958ef4ab887a898bd50bdfbbe91a-6782673
-
-
Selectivos (o no experimentales), cuasiexperimentales, experimentales
 No experimentales: se sabe a quién se debe seleccionar o no.
 Cuasiexperimentales: podrían ser comparativos o no
 Experimentales: Son diseños comparativos porque tendremos grupo de
control.
Comparativos ≠ No comparativos
 Comparativo: emplea un elemento de comparación que puede ser un
grupo preexistente o un grupo de control creado sobre la marcha.
Normalmente se suele emplear un grupo de control.
 No comparativo: muchas veces no es posible tener grupo de control. El
evaluador llega tarde al proceso o es inviable su creación.
5. Instrumentos de medición
Técnicas
-
Observación no participante (cualitativa)
Observación participante (cualitativa)
Visitas de seguimiento (cualitativa)
Entrevistas en profundidad (cualitativa)
Cuestionarios/encuestas/sondeos (cuantitativa)
Test (cuantitativas/cualitativas)
Escalas (cuantitativas/cualitativas)
Revisión documental (cualitativas/cuantitativas)
Grupos de discusión/focus group (cualitativas)
Método de investigación
-
Estudios de casos (cuantitativas/cualitativas)
5.2. Tipos de evaluación según la fase de la política pública según Tamayo
(2001)
Fase política pública
Definición del problema
Formulación y adopción alternativas
Implantación altervativas
Evaluacion de resultados
6.




Tipo de evaluación
Anticipativa
De evaluabilidad
De necesidades
Teorías y diseño
Viabilidad política/contexto
Implantación
Seguimiento de programas
De impactos
De calidad
Limitaciones instrumentales
Las técnicas de explotación de la propia información
Dificultad de aislar los efectos
Dimensión temporal
Escasa cultura evaluativa organizacional
TEMA 2: DEFINICIÓN Y CONCEPTO DE EVALUACIÓN
1. Introducción
(Definiciones Tema 1)
Página 12 de 46
Reservados todos los derechos. No se permite la explotación económica ni la transformación de esta obra. Queda permitida la impresión en su totalidad.
a64b0469ff35958ef4ab887a898bd50bdfbbe91a-6782673
La evaluación se aplica en diferentes contextos, aunque nosotros nos centraremos en
la evaluación de las políticas públicas. De esta forma, evaluar es “comparar en un
instante determinado lo que se ha alcanzado mediante una acción con lo que se debería
haber alcanzado de acuerdo con una programación previa”. Esta definición lleva
implícitos tres elementos:
-
-
Existencia de una situación previa sobre la que se pretende actuar. Vendría
recogida en una programación
Existencia de una situación real (momento determinado en el que nos
encontramos). Esta situación real se encuentra configurada por los
acontecimientos ocurridos.
Proceso de comparación entre las dos situaciones, esta nos hará ver si hay una
igualdad o desigualdad entre dichas situaciones. También entenderemos cómo
se ha llegado de una situación a otra.
La evaluación va a establecer cual es grado de éxito o fracaso de una acción, teniendo
en cuenta la comparación entre las situaciones.
Concepto de evaluación según la RAE
“Evaluar es señalar el valor de la cosa”  Para señalar el valor de algo es necesario
medir y solo es posible medir cuando se tienen puntos de referencia (nos permiten
realizar la comparación). La comparación no implica necesariamente el uso del método
comparativo. Para comparar una cantidad con su respectiva unidad (cuántas veces se
da la cantidad en su respectiva unidad).
Definición de evaluación de la OMS
“Un medio sistemático de aprender empíricamente y de utilizar las lecciones aprendidas
para:
a) El cambio o mejora de las actividades de un programa.
b) El fomento de la planificación y la toma de decisiones más racional.”
Un medio sistemático es un proceso sistemático: secuencia de fases que tienen un
sentido y una lógica que deben de ser seguidas para llegar a un fin, como por ejemplo
el método científico.
2. Subactividades de la evaluación
Hemos visto que en la evaluación comparamos la situación previa con la real, ello
conlleva cuatro tipo de actuaciones:
1.
2.
3.
4.
Especificación de los criterios de evaluación
Medición que rebosa sobre una técnica de análisis
Realización del análisis a través del uso de una metodología
Recomendaciones, formas en las que se puede mejorar una actuación. Las PP
tienen una lógica de mejora, por lo que es necesario que se den las mismas. Las
recomendaciones son la partes substantiva de la evaluación.
3. Objetivos de la evaluación
Normalmente en la evaluación encontramos dos objetivos principales:
1. Medir el grado de:
- Eficacia: la capacidad de lograr el efecto que se espera o se desea.
Cumplir con el objetivo en el tiempo señalado.
Página 13 de 46
Reservados todos los derechos. No se permite la explotación económica ni la transformación de esta obra. Queda permitida la impresión en su totalidad.
a64b0469ff35958ef4ab887a898bd50bdfbbe91a-6782673
-
2.
-
Eficiencia: conseguir el objetivo con el menor coste posible o con la
menor utilización de recursos (índice de productividad).
- Efectividad: capacidad que tienen esas actividades y tareas del proyecto
para conseguir las metas y objetivos del proyecto.
- Idoneidad: capacidad que tiene el proyecto para solucionar el problema
que lo originó.
Mejorar la toma de decisión:
Mejorar las prácticas y procedimientos de la PP
Añadir técnicas en relación con lo que se está empleando
Modificar estrategias
Continuar o no con el proyecto que se está evaluando
Establecer proyectos semejantes en realidades similares
Asignar los recursos entre los proyectos que compiten entre sí, a aquellos
proyectos que sean más idóneos, eficientes o eficaces.
El principio último de la evaluación sería el de utilidad (principio de utilidad), es decir, la
evaluación debería de ser útil para generar conocimiento científicos, para los decisores,
para la implementación de PP en situaciones similares, porque mejora la PP, etc. De
esta forma podremos conocer si se continua o no la marcha de un proyecto. Si va bien
el proyecto lo mejoramos y continuamos con el mismo; en caso de que no vaya bien, se
descarta.
4. Criterios
Criterios clave
1. Estructurar el problema
2. En qué grado y cómo se ha resuelto  tenemos una medición con respecto a
una unidad de medida y veremos cómo se ha resuelto el mismo.
Aquí sería clave el papel de la evaluación.
Criterios aplicables






¿Es eficaz?  ¿Se han conseguido los objetivos?
¿Es eficiente?  ¿Cuánto esfuerzo ha requerido el resultado?
¿Es adecuado?  ¿En qué proporción se ha resuelto el problema?
¿Es equitativo?  ¿Se han distribuido los costes y beneficios?
¿Es responsable?  ¿Satisface necesidades, preferencias y valores?
¿Es apropiado?  ¿Los resultados deseados (objetivos) son actualmente
valiosos?
TEMA 3: TIPOS DE EVALUACIÓN
Ya hablamos de los diferentes tipos en el primer tema. En este tema nos centraremos
en diferentes cuestiones dentro de cada tipo de evaluación. Además, entraremos en
temas más de fondo de la evaluación. Los temas sobre el proyecto e informe de
evaluación (tema 11 y 12) los veremos ahora porque son parte de las prácticas.
Criterios:
1. Según el momento (función) de la evaluación:
 Formativa
Página 14 de 46
Reservados todos los derechos. No se permite la explotación económica ni la transformación de esta obra. Queda permitida la impresión en su totalidad.
a64b0469ff35958ef4ab887a898bd50bdfbbe91a-6782673
 Sumativa o final
2. Según la procedencia de los evaluadores:
 Interna
 Externa
 Mixta
3. Según la naturaleza de la evaluado
 Evaluación de necesidades
 Evaluación del diseño
 Evaluación de la implementación
 Evaluación de impacto
1. Según el momento (función de la evaluación)
Formativa: se realiza durante el desarrollo del proyecto. Tenemos una PP y realizamos
la evolución conforme se desarrolla el proyecto. Sirve para retroalimentar el proyecto,
busca la mejora. Se puede aplicar en las diferentes fases del proyecto (diagnostico,
formulación, implementación).
Sumativa o final: se busca una rendición de cuentas, sin intención de realizar mejoras
en el proyecto. Tiene un carácter finalista, normalmente se hace en la fase de
finalización del proyecto de la PP. Aunque también se puede hacer por ciclos o cortes
evaluativos.
2. Según la procedencia de los evaluadores
Tenemos una PP formulada por el legislador o actor político, esta será implementada
por unos técnicos y finalmente, tendremos que decidir quién hace la evaluación. En
función de esta decisión encontramos tres tipos posibles:



Evaluación interna: se realiza por el organismo que ha ejecutado, desarrollado e
implementado la política pública. Ej. El Ayuntamiento de Granada crea unos
talleres deportivos por las tardes, en el caso de la evaluación interna, es el propio
ayuntamiento de Granada el que realiza la evaluación.
Evaluación externa. El evaluador es ajeno a los órganos de ejecución de la PP
(hay una contratación por parte del organismo público). Puede ser una
consultora, un autónomo que se dedique a ello, etc. De manera que el evaluador
no tiene conocimiento a priori de la PP que se va a evaluar.
Evaluación mixta. Tenemos un equipo evaluador (más de dos personas
involucradas en la evaluación) que se compone por personal interno y externo.
3. Según la naturaleza de lo evaluado
A. Evaluación de necesidades
Se trata de la situación-problema que nace del diagnóstico. Veremos cómo se
configuran las necesidades en la situación de la que partimos para formular un programa
de acuerdo a ciertas cuestiones. Estamos en un contexto en el que hay escasa
información. De manera que será necesaria la evaluación de las necesidades del
colectivo al que le es aplicable la PP.
Página 15 de 46
Reservados todos los derechos. No se permite la explotación económica ni la transformación de esta obra. Queda permitida la impresión en su totalidad.
a64b0469ff35958ef4ab887a898bd50bdfbbe91a-6782673
Evaluación de necesidades: una necesidad sería una diferencia/desigualdad por la vía
de comparación de cosas. Unos autores británicos en los años 70 hablan de la
necesidad como discrepancia por la vía de la comparación. En este ámbito de la
formación
se
evalúan
las
necesidades
constantemente
(necesidades
educativas/formativas).
Se
habla
de
modelos
de
discrepancia
(diferencia/vacío/desigualdad entre el nivel deseado y el que realmente existe),
establecen los siguientes déficit/discrepancia/necesidades:




Déficit de objetivos  Discrepancia entre lo ideal y lo actual.
Déficit de expectativas  Discrepancia entre lo que se espera y lo actual.
Déficit normativo  Discrepancia entre la norma y lo actual
Déficit básico  Discrepancia entre el estándar mínimo y lo actual.
¿Cómo se organizan este tipo de acciones? Normalmente estas discrepancias generan
una serie de necesidades. Jonathan Bradshaw es el autor que habla sobre las
necesidades. Constituyen una diferencia/vacío entre un nivel deseado y un nivel
existente. Encontramos necesidades básicas Los autores generan cuatro tipos de
necesidades:




Necesidades normativas: provienen del déficit normativo. Discrepancia que da
pie a una necesidad cuando se compara la situación de la norma con la situación
actual.
Necesidades sentidas: pueden provenir de varios tipos de déficits. También se
conocen como necesidades experimentadas, hacen referencia a experiencias y
son relativas a lo que sienten los seres humanos. Eso sí, no tienen por qué ser
ver verbalizadas por la persona. El individuo puede tener dicha necesidad pero
no necesariamente ha de expresarla. Expresión subjetiva de la carencia de algo.
Necesidades expresadas: pueden provenir de varios tipos de déficits. Son
necesidades expresadas o demandadas. Normalmente demandadas al
programa o a los servicios sociales, cualquier entidad que pueda solucionar el
problema. Se hará a través de la solicitud en la que se exprese la necesidad de
cubrir esta cuestión.
Necesidades relativas: pueden provenir de varios tipos de déficits. También se
llaman necesidades comparadas. Se da cuando los miembros que tienen las
características de beneficiarios del programa, pero NO acaban siendo
beneficiarios del mismo por una serie de cuestiones. estos individuos, a través
Página 16 de 46
Reservados todos los derechos. No se permite la explotación económica ni la transformación de esta obra. Queda permitida la impresión en su totalidad.
a64b0469ff35958ef4ab887a898bd50bdfbbe91a-6782673
de la comparación, entienden que ellos tienen dicha necesidad. De manera que
se hace una comparación entre los que son beneficiarios y aquellos que no lo
son pero podrían serlo.
Esto lleva a Provus (dedicado a evaluar proyectos económicos) a entender que hay que
evaluar en cuatro pasos/fases:
-
Definición: delinear/definir claramente el programa y los componente para ser
evaluados.
Instalación: Ver si el programa se implanta o no.
Proceso: ver si los objetivos se están cumpliendo durante el proceso.
Producto: si se logran los objetivos en términos de resultados.
Costos: análisis de costes (etapa adicional)
Normalmente para que este modelo funcione tenemos que tener programas y ejecución
muy estandarizados. De manera que podremos comparar los estándares con la
ejecución y podremos establecer ajustes antes de pasar a la siguiente fase. Por ejemplo,
si en la fase de instalación encontramos discrepancias, que estas puedan ser corregidas
antes de pasar a la siguiente fase.
Fases de la evaluación de necesidades:
1. Inventario de recursos: veremos los recursos disponibles
2. Identificación de necesidades: características beneficiarios,
localización, tendencia
3. Identificación de afectados
4. Estudio del entorno de los servicios
5. Análisis de los factores de riesgo
6. Evaluación - estudios anteriores
7. Aportaciones de posibles soluciones
volumen,
No solo es necesario la detección de la presencia de esas necesidades, sino que estas
deben ser evaluadas para conocer cuáles van a ser prioritarias. La evaluación de
necesidades se encuentra normalmente en el estudio del contexto previo a la
intervención. Nos ayudará a tomar decisiones sobre la comparativa entre el estado
actual y lo esperado. También nos ayudará a proporcionar las claves sobre medios y
recursos. De manera que deben de considerarse las necesidades iniciales de los
Página 17 de 46
Reservados todos los derechos. No se permite la explotación económica ni la transformación de esta obra. Queda permitida la impresión en su totalidad.
a64b0469ff35958ef4ab887a898bd50bdfbbe91a-6782673
destinatarios. La idea aquí seria que la evaluación sea una fase previa para la
planificación de un programa aunque no constituye una evaluación del programa en sí.
Nos permite ver la adecuación de la necesidad a la relación contextual que
posteriormente se desarrollará. Veremos si se responderá o no a las necesidades
detectadas. Se emplearán técnicas/instrumentos como las entrevistas, encuestas, etc.
para la detección de necesidades (análisis en profundidad). Visión triangular:
participantes-expertos-otros actores.
B. Evaluación del diagnostico
Elementos:
1. El problema: si el problema está bien acotado para la intervención.
2. El desarrollo y selección de instrumentos y procedimientos: En el diagnostico
tenemos que ver si se ha definido bien el problema a partir de la evaluación de
necesidades previas y, por otro lado, comprobar que se hayan empleado los
instrumentos adecuados.
3. Interpretación (conclusiones)
C. Evaluación del diseño
En el ciclo de la PP se detecta una necesidad y se crea una PP. Se encuentra después
de la fase de formulación del proyecto. Se evalúa principalmente la factibilidad e
idoneidad. Entendemos por idoneidad que las acciones propuestas sean coherentes
con las metas/objetivos de la PP, es decir, la capacidad que tiene le proyecto de hacer
posibles las metas de la PP. La factibilidad guarda relación con el empleo de los recursos
y las acciones, es decir, capacidad que tiene el proyecto para ser ejecutada en el tiempo
que se ha determinado y con los recursos disponibles.
En este caso la evaluación versa sobre el programa, de manera que encontramos dentro
del mismo:

Evaluación de la factibilidad (Acciones  Problema): que las acciones den pie a
la resolución del problema. Pertenecía: que los objetivos sean adecuados.
Evaluación de la pertinencia (Objetivos  Problema)
Evaluación de la coherencia interna (Acciones  Objetivos): que las acciones
responsan a los objetivos.


Evaluación técnica y económica de un proyecto y su relación con las necesidades
detectadas.
Hay autores que considera que la evaluación del diseño es una evaluación de los inputs.
Por ello se denomina “evaluación de entrada o del input”. Tendremos que evaluar los
métodos empleados, la asignación de recursos, buscar las barreras en el marco
contextual o ayudar a los responsables a la hora de llevar a cabo los programas que
acabarían en fracaso por la escasez de recursos.
La capacidad de este diseño puede evitar esfuerzos y gastos innecesarios. Muchas
veces, conlleva que si el proyecto no se diseña bien no puede ser evaluado. Si no se
plantean bien los objetivos, métodos, recursos, etc. no se puede evaluar. Por eso la
evaluación del diseño ayuda a la posterior evaluación. Esto es lo que se denomina
“evaluación de la evaluabilidad”. Es decir, si ese programa o política pública es
evaluable, de manera que nos garantizamos que la misma sea evaluable. También nos
permite saber si es coherente. Nos centraremos:
-
Objetivos
Página 18 de 46
Reservados todos los derechos. No se permite la explotación económica ni la transformación de esta obra. Queda permitida la impresión en su totalidad.
a64b0469ff35958ef4ab887a898bd50bdfbbe91a-6782673
-
Contenidos
Actividades
Recursos y medios
Evaluación y evaluabilidad.
Una vez que acotamos este diseño o que determinados las finalidades de la evaluación,
se pasa a una recogida de información. Los tipos de instrumentos de empleamos y las
circunstancias de la recogidas es muy importante, pero sobre todo quién lo realiza. Para
la evaluación de diseño y de la implementación se requiere de evaluadores externos
(fuera del proyecto) y con un alto conocimiento en técnicas y metodología de
investigación.
D. Evaluación de la implementación
Evaluación de la ejecución o el desempeño. Este tipo de evaluación es el más frecuente,
la mayoría de evaluaciones normalmente son evaluaciones de la implementación.
Valoramos tareas, metodología, efectos esperados y no esperados, efectos alcanzados,
etc.
Se divide en diferentes tipos de análisis:
-
Análisis de servicios concretos que presta la PP.
Análisis de cobertura de la PP.
Análisis de proceso/implementación de la PP.
Lo normal es que se denomina evaluación de proceso o de la implementación, aunque
se hace referencia a los tres tipos de análisis. Este tipo de evaluación tiene un carácter
formativo, trata de analizar si los elementos que se van a poner en marcha están
desarrollándose de la manera prevista. Con la información encontrada trataremos de
optimizar o mejorar mientras que se desarrolla. De manera que se responden a los
obstáculos, demandas o imprevistos que surgen mientras que se lleva a cabo el
programa. Proporcionamos información continua para planificar/replanificar y dar una
guía al personal técnico para mejorar aspectos de la PP/programa mientras se está
implementando.
Los autores normalmente establecen que encontramos tres cuestiones principales
(fases) que hay que resolver en este tipo de evaluación:
1. Descripción de lo que es esencial para el programa/PP según lo establecido por
la literatura o por la información previa.
2. Recogida de información sobre aspectos clave (como se aplica, como funciona,
etc.)
3. Comparar el plano teórico previsto/diseñado con lo que ocurre en la realidad.
Encontraremos discrepancias, como decíamos antes.
Ello lo haremos con la idea de redefinir el diseño u optimizarlo. Ello nos permitiría:
-
La identificación de los puntos débiles del programa
La realización reajustes en el programa
Mejoras de las posibilidades de los participantes y técnicos
Ampliar la información a la hora de tomar decisiones posteriores
Proporcionar información sobre el progreso y evolución del programa
Conceptos de resultado e impacto
Página 19 de 46
Reservados todos los derechos. No se permite la explotación económica ni la transformación de esta obra. Queda permitida la impresión en su totalidad.
a64b0469ff35958ef4ab887a898bd50bdfbbe91a-6782673


Resultado: “Mide los efectos del programa sobre la población beneficiaria del
mismo”
Impacto: “Mide los efectos sobre la comunidad en su conjunto”
E. Evaluación de resultados
Necesitaremos un diseño experimental porque lo que estamos determinando son
relaciones de causalidad. Estábamos viendo si en las primeras fases todo se había
hecho de forma correcta, sin embargo, aquí ya queremos ver si el proyecto tiene el
efecto/impacto que se buscaba. De manera que necesitamos recurrir a diseños
metodológicos de corte experimental (grupo experimental y grupo de control). La idea
sería averiguar hasta qué punto se han satisfecho las necesidades de los beneficiarios.
Se quiere conocer si se han alcanzado los objetivos previstos, aunque también se
observa si se han encontrado efectos no previstos.
1. Consecución de los objetivos en cantidad, calidad y tiempo: ¿Ese programa ha
logrado los efectos especificados en el diseño?
2. Análisis de resultados no esperados (positivos o negativos): la mayoría de
programas tienen resultados que no se esperaban (externalidades) pueden tener
carácter positivo y negativo. por ello se requiere que el evaluador sea externo y
conozca la metodología. La experiencia nos ayuda a detectar estos resultados
no esperados.
3. Opinión y satisfacción de los usuarios del programa: La evaluación de los
resultados también tendrá en cuenta la opinión de los usuarios (satisfacción o
insatisfacción de la PP). Esta guarda relación con las dos anteriores.
F. Evaluación de impacto
Sería una evaluación más sumativa o final porque se centra en los efectos de la PP,
programa o intervención en la población beneficiaria. Los efectos estarían enunciados
en los objetivos de la PP. miramos la diferencia entre la situación real y los efectos
esperados por la PP (ya sean objetivos mediatos o inmediatos). De manera que aquí
hablaremos de la temporalidad: efecto a corto/largo plazo.
G. Otros tipos de evaluación
1. Evaluación operacional: gestión de recursos y actividades en un contexto
organizativo concreto.
2. Evaluación de la estructura: Cantidad, calidad y adquisición de recursos
humanos, materiales y financieros.
TEMA 4: ¿QUÉ SE EVALÚA EN UN PROGRAMA O POLÍTICA PÚBLICA?
LOS CRITERIOS EVALUATIVOS
PRIMERA PARTE: Criterios de evaluación
 Deben de estar claramente definidos.
 Determinan y guían el estudio, orientando la recopilación y análisis de la
información, es decir, de las variables que se van a valorar y de los criterios de
valor.
 Establecer los criterios de evaluación sirve para clarificar y reforzar los objetivos
y para repasar o explicitar la “teoría de programas”, en otras palabras, las
premisas, principios y mecanismos subyacentes al programa.
 El análisis de algunas experiencias de evaluación nos hace concluir que, en
general, pensar sobre qué se quiere evaluar (criterios de evaluación) es un paso
clave que muchas veces se suele obviar o se suele dar por hecho. En muchas
Página 20 de 46
Reservados todos los derechos. No se permite la explotación económica ni la transformación de esta obra. Queda permitida la impresión en su totalidad.
a64b0469ff35958ef4ab887a898bd50bdfbbe91a-6782673





ocasiones, el QUÉ evaluar (criterios de evaluación) define a través del CÓMO
evaluarlo (metodología y técnicas utilizadas), dando prioridad a esto último.
La evaluación conlleva considerar sistemáticamente aquellos factores que
determinan una política pública, estos factores se presentan como criterios o
principio de la evaluación.
Existen diferentes modelos de evaluación y se pueden establecer diferentes
planteamientos para la selección de aquellos criterios.
Podemos diferenciar tres tipos de criterios según:
 Estén relacionados con la redacción de objetivos
 El grado de logro
 El uso de los medios para alcanzar los objetivos
Los criterios sirven para emitir los juicios de valor que deben dar respuesta a las
preguntas de evaluación que el equipo evaluador prevé contestar en relación
con los objetivos planteados en el diseño de la evaluación.
La categorización de los análisis permite medir el valor de una intervención. Los
criterios de evaluación sirven como referencia para crear la estructura de las
cuestiones a las que la evaluación va a dar respuesta.
1. Criterio de relevancia
Definición:
El análisis de relevancia se corresponde con la evaluación de la calidad y veracidad del
diagnóstico. Ello permite identificar el alcance del problema y la metodología utilizada
en el planteamiento de la política pública o programa.
Para evaluar el diagnostico utilizado en la formulación de una política pública es
necesario analizar cómo se definieron y priorizaron los problemas sociales, sin dejar de
tener en cuenta cómo influenció en esta definición el entorno.
La evaluación del contexto conlleva analizar las condiciones externas del programa o
política (elementos económicos, políticos, legales, etc.) que hayan afectado directa o
indirectamente a la formulación de la política.
Preguntas clave:



¿En qué medida las intervenciones realizadas están alineadas con las
necesidades y prioridades del territorio?
¿Las acciones emprendidas otorgan prioridad según la importancia de las
necesidades detectadas?
¿El objetivo de la mejora de la política pública era pertinente en el contexto
donde se aplicó?
Dificultades metodológicas:


La no disposición de datos estadísticos oficiales.
La falta de información de cómo se detectaron o priorizaron las necesidades
planteadas.
Dimensión de la política pública a la que hace referencia: Diseño de la política
pública.
Métodos y herramientas propuestos: Árboles o diagramas de flujos.
Página 21 de 46
Reservados todos los derechos. No se permite la explotación económica ni la transformación de esta obra. Queda permitida la impresión en su totalidad.
a64b0469ff35958ef4ab887a898bd50bdfbbe91a-6782673
2. Criterio de pertinencia
Definición
Este análisis consiste en el estudio de la calidad en la formulación de los objetivos del
programa. Deberá analizarse, para ello, si los objetivos se han definido reflejando
concisamente los propósitos de la política pública y si su consecución es mediable.
En este sentido, es importante examinar si los objetivos se han redactado de una forma
clara y concisa, y que se especifica el producto que se pretende obtener.
Debe considerarse que la consecución de objetivos responde a una planificación
temporal preestablecida y por tanto deberá valorarse las adaptaciones que se hayan
podido producir.
Preguntas clave:



¿Qué persiguen los objetivos del programa o política?
¿Se identifica claramente el resultado que pretende alcanzar cada objetivo de la
política?
¿Se ha tenido en cuenta cuando se van a cumplir los objetivos?
Dificultades metodológicas


Falta de consenso sobre las necesidades y prioridades establecidas, o una
valoración incorrecta de estas.
Falta de concreción de la política pública.
Dimensión de la política pública a la que hace referencia: Diseño de la política de la
política pública.
Métodos y herramientas: Análisis de calidad del diagnóstico (DAFO).
3. Criterio de coherencia interna
Definición
Este tipo de análisis es de uso frecuenta en las políticas de evaluación de la UE. Se
trata del análisis de la jerarquía de objetivos.
La jerarquía de objetivos forma parte de la creación de la estrategia de intervención y
se realiza en función de las necesidades detectadas.
El análisis de coherencia analiza la lógica de la programación, ahondando en si existe
una priorización coherente de los objetivos y su relación con las actividades, y la
consecución de resultados.
Preguntas clave:



¿Se puede decir que las actividades y los resultados permiten alcanzar los
objetivos de manera lógica?
¿Existen contradicciones entre los diferentes niveles de objetivos?
¿Existen duplicidades entre las actividades programadas en relación a la
consecución de los objetivos de la política pública?
Dificultades metodológicas: Falta de concreción de los objetivos o de las actividades
planteadas en la política pública.
Dimensión de la política pública a la que hace referencia: Diseño de la política.
Página 22 de 46
Reservados todos los derechos. No se permite la explotación económica ni la transformación de esta obra. Queda permitida la impresión en su totalidad.
a64b0469ff35958ef4ab887a898bd50bdfbbe91a-6782673
Métodos y herramientas:


Árbol de objetivos.
Matriz de valoración de las relaciones entre necesidades planteadas y objetivos.
4. Criterio de coherencia externa
Definición:
Este análisis permite valorar el grado de correspondencia que existe entre un programa
y otras intervenciones que se estén ejecutado en un mismo espacio temporal y físicoterritorial.
Este tipo de análisis requiere estudiar los objetivos y la intervención de forma comparada
con todos los programas que convergen en un territorio.
Se trata de contrastar el grado de complementariedad y las posibles sinergias existentes
entre la política y el objetivo de la evaluación y otros programas.
Preguntas clave:


¿Se puede decir que no existe superposición entre la política y otras
intervenciones aplicadas en el mismo territorio? Los impactos y resultados serán
más complicados de determinar puesto que no sabremos si son nuestros
impactos y resultados o de la otra política pública.
¿Los objetivos planteados en la política coinciden con los expresados en otras
intervenciones del territorio?
Dificultades metodológicas: Imposición en la definición de las necesidades
detectadas o en el establecimiento de objetivos, de la política objeto de evaluación o de
las políticas que pueden presentar algún grado de complementariedad.
Dimensión de la política pública a la que hace referencia: Diseño de la política
pública
Métodos y herramientas:


Comparación entre arboles de problemas y objetivos de los distintos planes que
presenten complementariedad.
Matriz de valoración de la compatibilidad de la intervención con otras estrategias
y programas.
5. Criterio de eficacia
Definición:
Determinar el grado en que una operación alcanza o se espera que alcance sus
objetivos, en un periodo determinado y con independencia de los costes que se
ejecución implique (bajo una múltiple perspectiva de realización financiera, física,
resultados e impactos).
El análisis de eficacia parte de la premisa que el objetivo del programa ha sido definido
de manera inequívoca y con carácter operacional.
Sin embargo, debe atenderse que en muchas ocasiones los objetivos pueden haber
estado formulados de forma confusa y muy general. En estos casos debe ponerse de
manifiesto esta debilidad y el equipo de evaluación deberá hacer operativos los objetivos
sobre la información existente.
Página 23 de 46
Reservados todos los derechos. No se permite la explotación económica ni la transformación de esta obra. Queda permitida la impresión en su totalidad.
a64b0469ff35958ef4ab887a898bd50bdfbbe91a-6782673
Preguntas clave:



¿En qué medida se han cumplidos los objetivos?
¿Qué acciones concretas de la política han favorecido al cumplimiento de los
objetivos esperados?
¿Han existido factores externos a la evaluación que hayan influido en la
resolución de los problemas detectados?
Dificultades metodológicas





Resultados planificados poco claros, múltiples o confusos, o que son objeto de
cambio.
Mala definición de los indicadores de los resultados planificados.
Falta de información de referencia sobre las instituciones, personas o
infraestructura afectadas.
Escaso conocimiento de los vínculos entre causa y efecto.
Dificultad para atribuir los resultados al programa en particular debido a las
variables de intervención.
Dimensión de la política pública a la que hace referencia: Resultados de la política
pública.
Métodos y herramientas:


Ex-ante: Medición de los objetivos iniciales de las variables resultantes y otras
variables importantes.
Ex-post: Medición de los valores de las variables resultantes y otras variables
después de haberse llevado a cabo la intervención.
6. Criterio de eficiencia
Definición:
El análisis de eficiencia mide hasta qué punto los resultados que se han objetivo derivan
de una utilización eficiente de los recursos financieros, humanos y materiales utilizados.
La principal dificultad para medir la eficiencia de una política está en establecer un valor
de referencia sobre la asignación de recursos. Pocas veces el valor de referencia está
establecido, por lo que el equipo evaluador deberá establecer este valor sobre el que se
realizan las mediciones.
Los exámenes previos en relación a la eficiencia se establecerán durante el proceso de
planificación de una política, cuando se deciden los presupuestos e insumos.
Preguntas clave:



¿Cuál ha sido el coste material de los objetivos conseguidos?
¿Se aplicaron procedimientos racionales de gestión financiera y de equipos?
¿Se han utilizado los recursos de la manera más económica posible?
Dificultades metodológicas: Nos disposición de los valores de referencia a la hora de
determinar el gasto o cuantificar los recursos.
Dimensión de la política pública a la que hace referencia: Gestión de la política
pública (proceso)
Página 24 de 46
Reservados todos los derechos. No se permite la explotación económica ni la transformación de esta obra. Queda permitida la impresión en su totalidad.
a64b0469ff35958ef4ab887a898bd50bdfbbe91a-6782673
Métodos y herramientas: Medición directa: registro de datos cuantificables por medio
de instrumentos analíticos.
7. Criterio de sostenibilidad
Definición:
El análisis de la sostenibilidad de un programa permite evaluar en qué medida los
resultados del programa han sido o tienen probabilidades de ser duraderos una vez
finalizado el programa y una vez retirados los recursos externos.
Los factores que inciden en la sostenibilidad se examinan sobre la base de la prioridad
asignada al programa.
En el análisis también se estudia la disponibilidad de los recursos administrativos,
financieros y humanos que harían falta para mantener los resultados del programa en
el largo plazo.
Preguntas clave:


¿Es probable que los logros del programa se mantengan una vez finalizada la
intervención?
¿Tienen las contrapartes participantes la voluntad y la capacidad de continuar
por su cuenta las actividades del programa?
Dificultades metodológicas


La sostenibilidad es una situación hipotética y proyectada.
No es posible prever todos los factores intermedios que comprometen la
sostenibilidad.
Dimensión de la política pública a la que hace referencia: El impacto de la política
pública, puesto que se quiere mantener la política.
Métodos y herramientas: Herramientas cualitativas y participativas: mesas redondas,
talleres, foros de discusión, etc.
8. Criterio de equidad
Definición:
Valorar la equidad en los recursos obtenido o que se pretenden alcanzar a través de
una política pública.
La evaluación del criterio de equidad conlleva analizar hasta qué punto la distribución
del coste o los beneficios con programas públicos entre la población se ha realizado con
algún criterio estándar de distribución equitativa.
Una política equitativa es aquella cuyos resultados o esfuerzos están distribuidos
justamente. El criterio de equidad está estrechamente relacionado con los conceptos de
justicia o imparcialidad ya que en las políticas de distribución de los recursos subyacen
conflictos éticos.
Preguntas clave:


¿Se han utilizado criterios de equidad en la definición de los objetivos de la
política pública?
¿La dedicación de esfuerzos ha seguido una lógica de reparto justo?
Página 25 de 46
Reservados todos los derechos. No se permite la explotación económica ni la transformación de esta obra. Queda permitida la impresión en su totalidad.
a64b0469ff35958ef4ab887a898bd50bdfbbe91a-6782673
Dificultades metodológicas: Obtención de respuestas suministradas dónde subyacen
distintas lógicas de actuación.
Dimensión de la política pública a la que hace referencia: Diseño, proceso,
resultados e impacto.
Métodos y herramientas: Análisis de inputs asignados a la política a través de
metodologías cualitativas: enfoque pluralista, que enfatiza la participación de los actores
y destinatarios de las políticas públicas.
SEGUNDA PARTE: Preguntas
Los diferentes criterios se mueven y dan lugar a las preguntas. Los elementos a evaluar
están condicionados por la fase en la que se encuentre:
1. En la fase de diagnóstico (necesidades)
El diagnóstico se centra en:
A. El problema





¿Fue expuesto el problema con claridad, teórica y operacionalmente?
(cuantificando el problema).
¿Fueron definidas con claridad las variables que debían medirse?
¿Era adecuada la base para la selección de variables?
¿La hipótesis formulada fue deducida de alguna teoría o de algún estudio
anterior?
¿Fueron especificadas las hipótesis alternativas?
B. Desarrollo y selección de instrumentos y procedimientos:









¿Eran medibles las variables observadas?
¿Los criterios por los que se eligieron las variables estaban basadas en una
teoría o una evidencia empírica?
¿Se estableció la validez de los instrumentos?
¿Era adecuada la base para la selección de escalas?
¿Fue especificada con claridad la población que se estudió?
¿Se especificaron los procedimientos de muestreo?
¿Era la muestra representativa?
¿El margen de confianza y el índice de error eran aceptables?
¿Se describieron los métodos de recogida de datos? (En una entrevista en
profundidad, por ejemplo).
C. La interpretación







¿Las conclusiones del estudio eran coherentes con los resultados?
¿Se podían los datos generalizar a toda la población?
¿Las conclusiones eran coherentes con el esquema teórico previo?
¿Se indicaron las consecuencias de las conclusiones?
¿Se incluyeron elementos de pronosticación?
¿Se hicieron sugerencias para mejorar las condiciones que crearon el problema?
¿Se tuvieron en cuenta las preferencias, valores u opiniones de la población
afectada?
2. En la fase de formulación (fase de diseño).
 ¿Qué relación tiene el proyecto con las necesidades reales detectadas?
 ¿Relación del proyecto con la política o planes de la institución responsable?
Página 26 de 46
Reservados todos los derechos. No se permite la explotación económica ni la transformación de esta obra. Queda permitida la impresión en su totalidad.
a64b0469ff35958ef4ab887a898bd50bdfbbe91a-6782673







Ventajas específicas del proyecto para resolver el problema y alcanzar los
objetivos.
¿Cómo ayudarán los objetivos y metas a resolver el problema?
Posibilidades reales del proyecto de alcanzar las metas.
¿Por qué realizar esas técnicas y metodologías y no otras diferentes?
¿Por qué realizar el proyecto en esas fechas y no en otras?
¿Serán suficientes los recursos disponibles para alcanzar los propósitos?
¿Existe respaldo real del proyecto por parte de la institución, los colaboradores
y la comunidad de beneficiarios?
Adecuación técnica y económica y relación con las necesidades detectadas. Todas las
preguntas tienen que ver con la factibilidad.
3. En la fase de implementación.
Hay que evaluar:








Tareas de motivación de los actores (de los ejecutores).
Realización de actividades (plazos, cantidad y calidad). Esto se mide mediante
un registro de perspectiva (cronograma).
Recursos humanos (cantidad y calidad, es decir número de personas y los
conocimientos que tienen que tener estos ejecutores). Disponibilidad de estos,
son los que ejecutan el proyecto.
Recursos materiales y técnicos.
Financiación del programa.
Establecimiento del proyecto (infraestructura, organización previa ed los
beneficiarios e información y publicidad).
Dinámica interna de organización (como funciona la organización a nivel interno
a la hora de organizarse y empeñar tareas).
Cobertura del programa (los beneficiarios o población).
4. En la fase final o de resultados.
Hay que evaluar:







Metas y objetivos (cantidad %, calidad, tiempo).
Problema (idoneidad).
Efectividad (diseños evaluativos) de las actuaciones del proyecto. Ver el
grado de consecución de los objetivos y metas.
Usuario-beneficiario (satisfacción y opinión general).
Efectos no programados. Externalidades que ocurren por ese proyecto pero
que no se esperaban.
Eficiencia. (Mirar el criterio).
Impactos.
TEMA 6: EL PROCESO EVALUATIVO
Encontramos 8 etapas, nos centraremos en las tres primeras. El resto de etapas son
más relativas a la metodología.
1. Introducción
 Evaluación de un proyecto como un proceso
 Método para desarrollar un proceso evaluativo:
1. Definición del marco de referencia
2. Definición del tipo de evaluación
Página 27 de 46
Reservados todos los derechos. No se permite la explotación económica ni la transformación de esta obra. Queda permitida la impresión en su totalidad.
a64b0469ff35958ef4ab887a898bd50bdfbbe91a-6782673
3.
4.
5.
6.
7.
8.
Implementación de la evaluación
Aplicación de las mediciones
Análisis de los resultados
Formulación de las conclusiones
Adopción de las medidas de retroalimentación
Introducción de las medidas en el proceso
2. Definición del marco de referencia
El marco de referencia es un requisito fundamental en el proceso de evaluación. Es el
núcleo que guía el proceso de evaluación. Se importancia del marco de referencia radica
en que es la fuente básica de información para poder comparar entre lo previsto y lo
alcanzado en la ejecución.
A. Diagnóstico del proyecto  Sería la situación de partida. A través del
diagnóstico que consigue la información sobre lo que se quiere modificar en
el proyecto. Se trata de ese diagnóstico previo que hicimos de las
necesidades. Normalmente nos proporciona información sobre la cantidad,
calidad del problema, los posibles bloqueos a una posible sección, recursos
disponibles, etc. El diagnóstico es importante a la hora de formular el
proyecto, nos da la información necesaria para contratar los logros tras la
ejecución del proyecto.
B. Formulación del proyecto  Se trata del logro deseando del proyecto, es
decir, la diferencia entre lo deseando y la situación de partida (2-1). Permite
ver el conjunto de logros que se intentan alcanzar con la ejecución. El
diagnóstico previo sería la situación previa (1), mientras que la formulación
del proyecto sería la situación de llegada (2).
Es importante que la definición de partida sea clara para posteriormente poder
determinar el logro e impacto/efectos de la PP.
2.1.
Diagnóstico del proyecto
Productos del diagnóstico:
a. Establecimiento de un cuadro de necesidades: El objetivo del cuadro es
obtener el conocimiento necesario sobre los elementos esenciales que
configuran el problema al que se enfrenta el proyecto. Hacemos un inventario de
las necesidades que intenta resolver el proyecto/programa.
b. Elaboración de un inventario de recursos para enfrentarse a la situación
problemática detectada: se trata de los recursos necesarios para enfrentarse al
problema. El objetivo de esta segunda etapa es determinar la cantidad y calidad
de los RRHH, R. materiales, R. técnicos y R. materiales de la institución
ejecutora del proyecto, estos recursos deben ser racionalmente utilizables.
c. Definición de alternativas posibles de acción: esto sería la definición de
alternativas frente a esa situación problemática. Una vez que hemos atendido a
las necesidades detectadas y hemos hecho inventario de recursos, el objetivo
será ahora elaborar hipótesis de trabajo que traten de combinar las necesidades
con los recursos existentes.
d. Adopción de la alternativa más factible: nos sirve de base para la formulación
del proyecto. Priorizáremos entre las hipótesis anteriormente definidas, elegimos
una de ellas que sería la más factible en términos de operatividad, la más óptima.
Página 28 de 46
Reservados todos los derechos. No se permite la explotación económica ni la transformación de esta obra. Queda permitida la impresión en su totalidad.
a64b0469ff35958ef4ab887a898bd50bdfbbe91a-6782673
Esta alternativa nos sirve para la formulación. El objetivo es determinar entre las
diferentes alternativas, determinar cuál es la más factible y viable.
El diagnóstico constituye una parte muy importante del marco de referencia.
2.2.
Formulación del proyecto
Sería el segundo de los elementos del marco de referencia. Consiste en una formulación
precisa del proyecto especificando diferentes cuestiones. Se describen de una forma
clara, precisa y ordenada la alternativa más factible y cómo se pretenden conseguir las
metas. Para responder a la formulación del proyecto necesitamos contestar a las
siguientes cuestiones:
a. Naturaleza  ¿QUÉ?
- Título
- Idea central: sobre qué es lo que hace el programa, institución o unidad.
- Necesidad previa: la que da origen al proyecto, la necesidad que especifica el
proyecto. Tendríamos una necesidad no satisfecha que genera la
problemática.
b. Fundamentación  ¿POR QUÉ?
- Esquema teórico – Criterios: los criterios que hay detrás de la formulación del
proyecto.
- Previsiones del comportamiento futuro: sería la teoría de la programación:
“realizo una PP porque espero que tenga un efecto en una sociedad” esta sería
la previsión.
c. Metas  ¿PARA QUÉ? (para nosotros objetivo)
- Logros: es importante que esos logros sean claros (lenguaje), realistas
(factibles) y pertinentes (que se relacionen con el problema que se pretende
solucionar).
d. Objetivos  ¿CUÁNTO? (para nosotros metas)
- Cuantificar y cualificar
- Deben reunir varias cuestiones, es decir, que sean:
 Precisos (concretos, directos, evitando conceptos vagos y ambiguos,
etc.)
 Medibles (que la consecución del objetivo se pueda medir, para ello
requeriremos del uso de indicadores)
 Coherentes (en buena relación con el objetivo, similar a la pertenencia)
 Duración (temporalización)
- Generales – Específicos: los objetivos específicos nos sirven para dar
respuesta al general. Los generales son propósitos más amplios, mientras que
los específicos son más operativos.
e. Localización  ¿DÓNDE?
- Macro y micro:
 Macrolocalización: sería la cobertura o área geográfica donde
hacemos hincapié en los antecedentes sociales de esa población.
 Microlocalización sería una especie de mapa que nos permite
identificar donde están los centro de acción del proyecto.
f. Metodología  ¿CÓMO?
- Tareas
- Normas
- Procedimientos
- Instrumentos
g. Calendarización  ¿CUÁNDO?
Página 29 de 46
Reservados todos los derechos. No se permite la explotación económica ni la transformación de esta obra. Queda permitida la impresión en su totalidad.
a64b0469ff35958ef4ab887a898bd50bdfbbe91a-6782673
- Cronograma (Gantt/Pert)
h. Recursos humanos  ¿QUIÉN?
- Cantidad
- Calidad
i. Recursos materiales y financieros  ¿CON QUÉ?
- Presupuesto
- Financiación
3. Definición del tipo de evaluación
Supone elegir un modelo evaluativo (i), elegir las variables con las que se van a medir
(ii), especificar las unidades de medida (iii), precisar los corte evaluativos o mediciones
(iv), elegir los instrumentos para recoger información (v), identificar los recursos
necesarios para realizar la evaluación (vi) y definir otros aspectos necesarios para el
buen éxito del proceso (vii).
La definición del tipo de evaluación dependerá del momento en el que se encuentra el
proyecto y de los recursos disponibles. Es decir, se determina por las peculiaridades
que rodean el proyecto. Lo ideal es que la definición se produzca de forma paralela a la
formulación del mismo.
3.1.
Objeto y elección del modelo evaluativo
¿Para qué se va a evaluar el proyecto? Los objetivos van a determinar sus
características. De acuerdo con los objetivos se debe elegir un modelo de evaluación
entre 3 posibilidades:
a. Elegir un diseño experimental
b. Elegir un diseño cuasi-experimental: mediciones periódicas antes o después.
Estos son aconsejables para tomar decisiones sobre continuar un programa, establecer
programas o proyectos semejantes y dar mayor cobertura a un proyecto.
c. Elegir un diseño no experimental (menos confiables pero adecuados cuando los
recursos institucionales son escasos). Aconsejables para mejorar prácticas o
procedimientos por retroalimentación periódica, añadir o desechar estrategias y
técnicas y si se necesita información rápida.
La elección del modelo depende de los objetivos asignados a la evaluación, y la
capacidad técnico-financiera.
3.2.
Determinación de las variables a medir
Identificar los aspectos que serán sometidos a medición que van a variar en función de
la fase en la que se encuentre el proyecto:
-
-
Fase de investigación: adecuada identificación del problema, calidad de la
selección de instrumentos y procedimientos utilizados, calidad del diseño de
la investigación, eficiencia de la aplicación de los instrumentos, adecuación del
análisis, adecuación del proceso de investigación, racionales de las
consecuencias inferidas.
Fase de formulación: grado de relación con las necesidades reales, coherencia
con la política institucional, grado de ventaja del proyecto sobre otras
alternativas, relación entre objetivos-metas y necesidad de resolver, grado de
oportunidad en la ejecución del proyecto, cantidad y calidad de los recursos
disponibles, grado de apoyo al proyecto.
Página 30 de 46
Reservados todos los derechos. No se permite la explotación económica ni la transformación de esta obra. Queda permitida la impresión en su totalidad.
a64b0469ff35958ef4ab887a898bd50bdfbbe91a-6782673
-
Fase de implementación: calidad de las tareas de motivación, grado de
cumplimiento de las tareas organizativas en los plazos previstos,
disponibilidad de recursos.
Fase de ejecución: propiedad del proyecto, idoneidad del proyecto, efectividad
del proyecto y eficiencia del proyecto.
-
3.3.
Definición de unidades de medida
Ello supone asignar números a criterios de acuerdo con ciertas normas. Tenemos que
tener en cuenta la diferencia entre unidades de análisis y unidades de observación. Las
unidades de análisis hacen referencia al nivel de realidad donde se quiere contrastar la
hipótesis (ej. Estudio sobre las diputaciones provinciales hará referencia a las
provincias; los beneficiarios como conjunto); mientras que las unidades de observación
serían esos objetos de investigación en sí (cada uno de los beneficiarios).
3.4.
Definición de la periodicidad
El ideal es la evolución en cada una de sus fases. A veces se cree que con solo al final
es suficiente, sin embargo esto es un error puesto que se deben realizar cortes
evaluativos en:




Al término de la investigación previa al proyecto: Evaluación de diagnóstico o de
las necesidades
Al término del proceso de formulación del proyecto: Evaluación de diseño
(criterios de pertinencia, coherencia externa e interna, equidad, etc.)
Al término de la fase de implementación del proyecto en la ejecución del
proyecto: Evaluación de la implementación
Al término de la ejecución total del proyecto
A veces lo normal es establecer solo una evaluación final (ev. final o de resultados).
Aunque lo ideal son los cortes evaluativos.
Schuman (1970) señala tres etapas:




Fase piloto: ensayo-error en desarrollo del programa.
Fase modelo: estrategia del programa en condiciones controladas.
Fase prototipo: el programa modelo se sujeta a condiciones de ejecución
realistas.
Fase institucionalizada: el programa es parte actual y activa de la organización.
Necesidades Formulación
3.5.
25%
F. Piloto
50%
F. Modelo
75%
F.
prototipo
Implementación
Final
Elección de instrumentos para recoger información
Para la recopilación de datos por cualquier instrumento de investigación. Por ejemplo:
observación participante o no, revisión de información, encuesta, entrevista en
profundidad, grupo de discusión, etc.
3.6.
Recursos
Definir la cantidad y calidad de los recursos que intervendrán en el proceso evaluativo:

Recursos humanos: las personas que desarrollaran las diferentes tareas.
Página 31 de 46
Reservados todos los derechos. No se permite la explotación económica ni la transformación de esta obra. Queda permitida la impresión en su totalidad.
a64b0469ff35958ef4ab887a898bd50bdfbbe91a-6782673

Recursos materiales: material de oficina, impresión de cuestionarios, programas
tratamiento de datos, etc.
Recursos financieros: contratación de personas, dietas, gastos imprevistos, etc.

4. Implementación de la evaluación
Todo el proceso organizativo que es necesario desarrollar antes de iniciar la ejecución
propiamente de la evaluación. Deben ser realizadas previamente al inicio de la
aplicación de la evaluación. Algunas tareas pueden ser:


Confección de instrumentos de evaluación
Consecución de los recursos: deben de estar garantizado para la consecución
del proyecto
Preparación del equipo evaluador: capacitación y formación del equipo.

Una vez que tenemos la implementación pasamos a los siguientes pasos que conllevan
la ejecución del proyecto.
5. Aplicación de las mediciones
En la fase anterior diseñábamos una serie de instrumentos (entrevista, encuesta, grupo
de discusión, etc.) que nos servían para realizar mediciones. De manera que en este
momento se aplicarán estos instrumentos y nos permitirá observar si se cumple o no
con el logro que hemos establecido. Todo ello en base a los criterios previamente
establecidos.
6. Análisis de los resultados
Con los resultados de las mediciones haremos un análisis de los mismos. De esta forma
tendremos una serie de resultados o conclusiones. Estas conclusiones tienen que ver
con los criterios que planteó el evaluador, los criterios son los que van a guiar el
proyecto.
7. Formulación de las conclusiones
Como acabamos de señalar las conclusiones tienen que estar íntimamente relacionados
a los criterios que planteó el evaluador. Serán los criterios lo que guían el camino del
proyecto.
8. Adopción de las medidas de retroalimentación
Son recomendaciones que el evaluador hace para adaptar el proyecto y que este
mejore. Por lo tanto, debemos de diferenciar entre las conclusiones y las
recomendaciones.
9. Introducción de las medidas en el proceso
Por último tenemos la introducción. Esta fase forma parte del proceso de evaluador pero
es externa, no son adoptadas por el equipo evaluador. Estas medidas son introducidas
por el “grupo activante” es decir la institución, organismo o equipo que se encarga de la
implementación.
TEMA 7: MODELOS O DISEÑOS EVALUATIVOS
La evaluación pretende saber la relación causa-efecto de la ejecución de una política
pública o programa. Para ello tira de la metodología de la experimentación. La
experimentación es una investigación científica en la que controlamos y manipulamos
las variables de entrada y observamos las variables de respuesta.
Tipos:
-
Experimento de laboratorio: creamos la situación.
Página 32 de 46
Reservados todos los derechos. No se permite la explotación económica ni la transformación de esta obra. Queda permitida la impresión en su totalidad.
a64b0469ff35958ef4ab887a898bd50bdfbbe91a-6782673
-
Experimento de campo: en una situación real (programa), tienen validez
externa.
1. Experimentación
Para poder hablar de experimentación tenemos que tener las condiciones para que A
cause B según la filosofía de la ciencia:
-
A y B están correlacionado o asociados.
Variaciones de A son anteriores a las de B.
Ningún otro factor afecta a B. Si hay algún factor se puede medir y separar sus
efectos del de A.
Variables “extrañas”: cuestiones que pueden afectar a la relación de causalidad entre A
y B.
-
-
-
Historia: hechos que suceden en el entorno del programa que son externos al
individuo y que afectan o influyen en esas variables que son objeto de
medición y, por tanto, afectan a los resultados del programa.
Maduración: son eventos internos. La población objeto del experimento ha
formado una conciencia por hechos internos a ellos.
Efectos de prueba / test: el sujeto es consciente de que está siendo sometido
a un test/experimentación y modifica su conducta.
Instrumentación: estamos preguntado lo mismo pero con diferente pregunta,
los instrumentos empleados se modifican entre la primera y la segunda vez.
Regresión estadística: que la aplicación de la técnica no sea correcta y se
llegue a la inducción de errores.
Sesgo en la selección: el grupo de control y el grupo experimental deben de
ser lo más parecidos posibles. Sin embargo, no siempre estas poblaciones van
a ser iguales.
Mortalidad: entre una medición y otra hay sujetos que han cambiado su
condición. Entre el grupo de control y el experimental hay cambios en los
sujetos participantes. Algunos sujetos habrán cambiado de número,
residencia, habrán fallecido, abandonan el programa, tienen que trabajar, etc.
Cualquiera de estas causas se engloba en la mortalidad.
Tenemos que tener presentes estas variables extrañas para que la medición sea lo más
correcta posible.
2. Diseños evaluativos
Diseños de experimentales básicos:
1. Antes-después con grupo de control.
- Grupo experimental: O1 x O2
- Grupo de control: O3 O4
2. Después solamente con grupo de control.
- Grupo experimental: O1
- Grupo de control: O2
Grupo de control: no beneficiarios del programa
Gripo experimental: introducimos el factor causa (programa).
X: Tratamiento (factos causa o programa)
Página 33 de 46
Reservados todos los derechos. No se permite la explotación económica ni la transformación de esta obra. Queda permitida la impresión en su totalidad.
a64b0469ff35958ef4ab887a898bd50bdfbbe91a-6782673
2.1.
Diseños o modelos experimentales
1. Modelo experimental puro
Tendremos una observación tanto antes como después, además de un grupo
experimental y otro de control.
Antes
R1
A/O1
Grupo
Experimental
(GE)
Grupo de control
(GC)
Tratamiento
Después (R2)
R2
B/O2
D1
x
R1
C/O3
DA
R2
D/O4
DB
D2
Lo ideal sería que A=C, es decir, que la O1 sea más o menos igual que O3
Para que le proyecto esté bien realizo sería:
O2 – O1
B–A
R2 – R1
>
O4 – O3
D–C
R4 – R3
Leyenda tabla
R1GE, R2GE: resultados del análisis del grupo experimental, antes y después de la
ejecución del proyecto.
R1GC, R2GC: resultados del análisis del grupo de control, antes y después de la
ejecución del proyecto.
D1, D2: diferencias entre los resultados medidos entre las dos fases.
Da, DB: diferencias entre los resultados medidos en el grupo experimental y el grupo de
control.
Para poder hablar de modelo experimental tenemos que tener una selección al azar, es
decir, muestreo simple, estratificado o por conglomerados.
2. Modelo experimental simplificado
Solo tenemos una medición del grupo de control solo después. Solo tendríamos la
segunda parte de la tabla (Después). Suele darse cuando el evaluador llega tarde.
Solamente se comparan las diferencias entre GE y GC en la fase de después.
Es aconsejable la utilización de un modelo experimental cuando tenemos una actuación
que exige una gran financiación, serán diseños importantes y en los que se requiere una
gran confianza en los resultados.
Efectos han Thorne: puede verse influenciado a la hora de la implementación de la pp.
Si los beneficiarios saben que están siendo observadas y por ello hagan mejor su
trabajo.
2.2.
Diseños o modelos causiexperimentales
1. Modelo de Grupo de Control no Equivalente
Página 34 de 46
Reservados todos los derechos. No se permite la explotación económica ni la transformación de esta obra. Queda permitida la impresión en su totalidad.
a64b0469ff35958ef4ab887a898bd50bdfbbe91a-6782673
Se utiliza GE y GC elegido por conveniencia conocido por Grupo de comparación
(inadvertentes + inelegibles geográficos)
GE
GC
O1
O3
Antes
X
O2
O4
Después
El grupo de control no se elige al azar, a diferencia del caso del experimental puro donde
la elección sí era al azar. Aquí empleamos un muestreo por conveniencia. Empleamos
este tipo de muestreo porque no tenemos un censo de la población que va a ser objeto
de estudio. Ejemplo: personas migrantes, no hay un censo claro de los mismo, no
podemos hacer muestreo al azar.
*inadvertentes: aquellos que son beneficiarios del proyecto pero no se han enterado del
mismo. Ejemplo: curso para personas migrantes, algunos no se enteran pero si lo
hubiesen hecho estarían interesados. Esto es a veces muy limitado.
*inelegibles: es población con características similares pero en otra población en la que
no es aplicable la política. Ejemplo: se ofrece el curso de español para inmigrantes en
Granda, los inelegibles serían los inmigrantes de Huelva.
2. Modelo de Series Temporales
Serie de medición a intervalos periódicos, antes de que comience el proyecto y una vez
acabado
01 02 03 04 X 05 06 07
2.1.
Modelo de Series Temporales Múltiples
Variación del modelo de series temporales. Se realizan mediciones del programa como
en las series temporales y se comparan con las de otros contextos
01 02 03 04 X 05 06 07
02 02 03 04
05 06 07
Se busca un GC ficticio, trataremos de darle un poco más de validez externa y fiabilidad
en el modelo. Este grupo de comparación podría ser otra ciudad (ejemplo accidentes de
tráfico)
2.3.
Modelos no experimentales
Características de estos modelos: menos rigurosos, más manejables y a veces con una
única solución posible. Son usados para medir o ver como se produce la
retroalimentación de la población sobre las políticas que se ponen en marcha.
1. Modelo Antes – Después
O1 – posibles mediciones “durante X” O2, O3...O5 – Final
Medimos antes de que se pongan marcha el proyecto, también lo haremos de forma
intermedia (corte evaluativos) y por último, se mide al final. Lo que haremos será
comparar las mediciones intermedias con la situación inicial. Muchos programas
sociales emplean este modelo.
2. Modelo únicamente después
O2
Página 35 de 46
Reservados todos los derechos. No se permite la explotación económica ni la transformación de esta obra. Queda permitida la impresión en su totalidad.
a64b0469ff35958ef4ab887a898bd50bdfbbe91a-6782673
Imaginamos O1  O1 x O2
Este modelo se puede usar en tres situaciones:
-
El evaluador no se encuentra en el primer momento, es decir, no llega a tiempo
de realizar la primera medición, solo se hace la medición segunda.
- La propia naturaleza de lo evaluado no requiere de una evaluación previa.
- La primera observación se hizo pero de forma incorrecta (la evaluación de
diagnóstico de necesidades esté mal), de manera que no puede ser
comparada.
3. Modelo Únicamente Después con Grupo de Comparación
X O1
O1
No hay medición previa, se aplica la política y luego hago la observación, comparando
con un grupo similar al que nosotros trabajamos.
TEMA 8: EL PROCESO DE MEDICIÓN
1. Introducción
La medida está presente en cualquier aspecto de la vida y se manifiesta de manera
inconsciente o consciente. Veremos cómo realizar este proceso de medición,
especialmente importante a la hora de crear indicadores.
2. El proceso de medida
Concepto: asignar un número real a cada objeto de un conjunto de acuerdo con unas
reglas determinadas, que persiguen obtener una buena correspondencia entre las
características que se pretenden medir y los números asignados.
Aspectos a tener en cuenta:
-
-
-
No se miden objetos, sino sus características. Por ejemplo: color del pelo, no
se mide el objeto (pelo), sino la característica color (moreno, rubio, rojizo, etc.).
No medimos el objeto en sí, sino los atributos del mismo.
La asignación de símbolos se realiza con reglas. La asignación del número
real se adjudica siguiendo unas reglas, siempre se sigue la misma regla.
Ejemplo: castaño 1, rubio 2, rojizo 3… Siempre debemos aplicar estos mismos
números.
La asignación de símbolos a los objetos facilita la comunicación del
conocimiento.
Se aplican números (generalmente) lo que permite aplicar matemáticas,
establecer comparaciones y comunicar los resultados.
Sin embargo, que el número admita cierta operación matemática no implica
necesariamente que la admita la característica medida.
3. El diseño de indicadores
Uno de los aspectos más complejos en evaluación de proyectos. Sirven para medir el
grado en que se alcanzan los objetivos y metas.
¿Qué hacer? Se puede recurrir a evaluaciones hechas a proyectos semejantes y utiliza
similares o parecidos indicadores. Ventaja: indicadores ya validados.
¿Y si no hay? Debemos entonces identificar los indicadores más adecuados para su
proceso. Para valorar el grado de éxito de un objeto y por ende de una meta, los
Página 36 de 46
Reservados todos los derechos. No se permite la explotación económica ni la transformación de esta obra. Queda permitida la impresión en su totalidad.
a64b0469ff35958ef4ab887a898bd50bdfbbe91a-6782673
objetivos deberán ser medidos desde diferentes ángulos. Para medir un objeto no basta
con un solo indicador, sino que deben ser utilizados varios indicadores.
Concepto: un indicador es una unidad que sirve para medir el grado de obtención de
objetivos y metas. Un indicador debe ser:
-
Medible: tener criterios de cantidad, calidad y tiempo.
Objetivamente verificable: cualquier persona que lo aplique debe llegar a la
misma conclusión.
Válido: medir lo que es importante.
-
4. Proceso de medición a través de indicadores
Pasos:
1.
2.
3.
4.
Identificar los indicadores para medir el cumplimiento de objetivos.
Determinar la forma de cálculo para medir cada indicador.
Recogida de información a través de determinadas técnicas e instrumentos.
Determinar los porcentajes en relación a la obtención de cada objetivo y de la
meta (comparar puntuación máxima y real).
5. Estimación del grado de obtención de la meta.
TEMA 10: RETROALIMENTACIÓN
Al inicio del programa tenemos que tener en cuenta cuál es el comportamiento previsto
del programa y el comportamiento real que finalmente tendrá. Lo esperado siempre será
la consecución de unas metas y objetivos. Sin embargo, no todo lleva una línea temporal
lógica. La retroalimentación nos ayuda a introducir modificaciones que reorienten la
política pública para alcanzar las metas y objetivos previstos inicialmente.
1.




Proceso de control
Situación deseada  programación
Comparación de la situación deseada y la real  Evaluación
Acción correctiva  Retroprogramación
Conjunto de acciones correctivas  Mensaje de retroalimentación
1.1.
Medidas correctivas
Estas podrían venir en ese desarrollo por un sistema de indicadores o de seguimiento,
se observa cómo se va desarrollando ese programa. El mensaje retroalimentador llega
al programa cuando se pasan las actuaciones permitidas. Encontramos los siguientes
tipos:
Página 37 de 46
Reservados todos los derechos. No se permite la explotación económica ni la transformación de esta obra. Queda permitida la impresión en su totalidad.
a64b0469ff35958ef4ab887a898bd50bdfbbe91a-6782673
a. Medidas relacionadas con los objetivos: tendríamos la opción de modificar la
cantidad de objetivos (porcentaje o número), también podemos bajar la calidad
del objetivo (los recursos con los que opera la PP hace imposible que sea posible
alcanzar los objetivos) por último, también cabe la modificación de los plazos (la
idea sería ampliar el plazo de ejecución, dejando mayor margen para que se
consigan los objetivos). Siempre será preferible mantener la calidad de los
objetivos y reducir en todo caso la cantidad.
b. Metodología (del programa): se modifica la metodología que se está utilizando
en la implementación. Puede que esta no sea la más adecuada o bien, que dicha
metodología será directamente inviable en dicho contexto.
c. Recursos: podemos hablar de recursos humanos o económicos. La PP tiene que
tener un cuadro de RRHH, habría que cambiar el mismo en caso de llevar a cabo
esta medida correctiva. La evaluación nos dice que esos recursos humanos no
funcionan en el grado que se esperaba. Por ejemplo: modificación de le
ejecutores, cambios en el que realiza x, introducción de formación a x nivel, etc.
Por otro lado, en cuanto a los cambios en los recursos económicos/materiales,
la actuación consistirá en una modificación en los recursos empleados. Puede
ser que estos recursos económicos sean insuficientes para la gestión del
proyecto o bien, porque la calidad de los recursos económicos/materiales no sea
adecuada.
La calidad del mensaje de retroalimentación depende de la capacidad que se tenga de
corregir y detectar las desviaciones y saber interpretarlas, el conocimiento en
profundidad de las causas que provocan las desviaciones y, por último, tendríamos que
proponer esa corrección.
1.2.
Grupo Activante
El grupo activante tiene cierto poder y le permite introducir las medidas que ha propuesto
el equipo evaluador. Es algo abstracto, conlleva actores de diferentes niveles. Estas
personas que lo conforman no tienen por qué tener conciencia de equipo puesto que
ocuparan puestos en diferentes niveles y tendrán múltiples competencias.
Medida correctiva
Corregir metodología
De tipo administrativo
Recursos Humanos
Características fundamentales del
programa: cantidad, calidad y plazos de
objetivos
Grupo activante
Ejecutures de base
Coordinador general o director del
programa
Supervisores externos
Autoridad superior de la institución
responsable del programa
Para que el grupo activante y sus medidas correctivas sean efectivas tienen que darse
dos requisitos:
-
Persona miembro de grupo activante se vea competente para la ejecución de
esa acción o medida correctiva; asuma la responsabilidad de ejecutarla.
Una vez que llega esa evaluación y medida de corrección se ha de tomar tan
pronto como se pueda (ya), porque si se toma más tarde puede darse que las
condiciones se hayan visto modificadas.
Anillo de retroalimentación
Es similar a la idea del ciclo de políticas públicas:
Página 38 de 46
Reservados todos los derechos. No se permite la explotación económica ni la transformación de esta obra. Queda permitida la impresión en su totalidad.
a64b0469ff35958ef4ab887a898bd50bdfbbe91a-6782673
1.
2.
3.
4.
5.
6.
7.
8.
Identificación de las desviaciones por parte del equipo evaluador.
Análisis de las causas de las desviaciones
Programación de la acción correctiva.
Implementación de las correcciones
Desempeño deseado
Desempeño real
Medida del desempeño real
Comparación de lo real contra las normas
TEMA 11: EL PROYECTO DE EVALUACIÓN
Un proyecto de evaluación debe comprender:
1.
2.
3.
4.
Definición de la evaluación
Objetivos de la evaluación
Metodología
Plazos y presupuestos
1. Definición de la evaluación
 Título de la evaluación  Evaluación del objetivo 16
 Objeto de la evaluación  síntesis que establezca el objetivo de la evaluación y
cuál es el objeto de la evaluación (hablar sobre el objetivo y sobre la agenda
2030) Las motivaciones.
 Tipo de evaluación y su justificación (3 criterios)  externa, intermedia, otra
(formativa, continua, sumativa, etc.).
 Modelo de evaluación y su justificación  si vamos a hacer una evaluación de
la implementación, diseño experimental, cuasiexperimental, etc. Es importante
justificar por qué se adopta esta decisión. (Remisión al tema de los Diseños de
evaluación)
 Justificación de la importancia de la evaluación  también se puede incluir junto
con el objeto de la evaluación. Hablar de la repercusión que tiene la evaluación,
qué impacto puede tener.
 Equipo evaluador (Cualificación y número)  Hablar sobre nosotros (nombre de
empresa por ejemplo, facultad de CCPP y Sociología UGR). Acompañar con un
breve CV (5-10 líneas) hablando de quién forma parte del equipo evaluador.
 Quién financia la evaluación (Responsable)  Ministerio de Derechos Sociales
y Agenda 2030.
Página 39 de 46
Reservados todos los derechos. No se permite la explotación económica ni la transformación de esta obra. Queda permitida la impresión en su totalidad.
a64b0469ff35958ef4ab887a898bd50bdfbbe91a-6782673

Duración de la evaluación (Tiempo total)  periodo de tiempo en el cual se va a
realizar la evaluación (desde que se licita hasta que se entrega). Serían 3-4
meses aproximadamente. Tanto el proyecto como el informe de evaluación van
de la mano, tenemos que ser acordes en ambos. Habrá que incluir un
cronograma.
2. Objetivos de la evaluación
Según la sabe del programa en que no centremos y tipos de evaluación:



Cuáles son los objetivos
Subobjetivos u objetivos operativos
Definición de conceptos ambiguos  muchos de los conceptos de uso común
no están claros, depende de cada lector puede darse una interpretación
diferente. Se deben esclarecer solo conceptos de vital importancia y que
consideramos importante establecer la definición para evitar confusiones. En
nuestro caso tendríamos que determinar en qué consiste el concepto de
“instituciones sólidas”, qué es “justicia”, etc.
Variables a tener en cuenta  qué vamos a medir. Estado de la paz, Estado de
la Justicia, Solidez de las instituciones (políticas),
Definir unidades de medida  cómo vamos a medir. A partir de la observación
sabremos cuánta cantidad de esa unidad hay.
Definir indicadores a utilizar



Diferenciamos entre objetivos y metas:
Debemos de decidir si tomamos la estructura de la ODS 2030 o bien empleamos el
modelo español. El conjunto de actividades que tiene un proyecto, dan respuesta a los
objetivos. Estos a su vez y en su conjunto deberían conducirnos al logro de las metas.
-
-
-
Meta: declaraciones generales de principios o propósitos. Suelen ser tan
generales y visionarias que no pueden alcanzar plenamente. Solo se puede
tender hacia ellas.
Objetivo: son específicos, medibles, realistas, consensuados y enmarcado en
el tiempo. se enfocan en el qué y el cuándo; nunca en el cómo ni en el por qué.
Los objetivos especifican resultados, no estrategias para lograrlos.
Acción a tomar: deberá especificar el resultado; no las acciones que
conducirán a ese resultado.
Ejemplo: Fulanito pondrá en marcha y supervisará el plan de tutorías grupales
para luchar contra el abandono escolar para primero de mayo de 2022.
Sobre los objetivos (para nosotros metas):
-
Cómo se definen los objetivos
Cómo los trasladamos a algo medible, es decir, objetivos de evaluación
Son logros que se pretenden alcanzar con la ejecución de una acción
(intervención, proyecto, programa, pp)
Un objetivo define en términos específicos y cuantificables los
beneficios/resultados a lograr con el proyecto.
Es importante que los objetivos sean: claros, realistas, pertinentes,
compresibles, etc.
Se pueden definir dos tipos de objetivos:
 Objetivos (metas para nosotros) generales: son aquellos propósitos
más amplios que conforma el marco de referencia del proyecto.
Página 40 de 46
Reservados todos los derechos. No se permite la explotación económica ni la transformación de esta obra. Queda permitida la impresión en su totalidad.
a64b0469ff35958ef4ab887a898bd50bdfbbe91a-6782673

-
Objetivos (metas para nosotros) específicos: son logros más
concretos. Identifican en forma más precisa aquella, que se pretende
alcanzar con la ejecución del proyecto.
Si se ha identificado un problema, el objetivo deberá brindar algún tipo de
solución al problema. Ejemplos:
 Problema: alta incidencia en el consumo de drogas dentro de una
comunidad o barrio x.
 Objetivo: reducir la incidencia del consumo de drogas.
 Problema: altas tasas de desempleo.
 Objetivo: reducir las tasas de desempleo.
Ejemplos MAL HECHOS:
1. El propósito de esta propuesta es establecer un programa de tutorías grupales
para prevenir el abandono escolar en el distrito del Zaidín.
2. El objetivo de este programa es ofrecer orientación psicológica a jóvenes
delincuentes”.
Se habla de los medios, pero no de los resultados. Serían objetivos mal definidos. Se
suele confundir fines con medios en muchas propuestas de actuación o programas.
-
-
El hecho de establecer un servicio o realizar actividades no dice que hayas
resuelto el problema que se definió.
El evaluador quiere saber lo que tú has logrado, el resultado de tu acción
(acciones/actuaciones/actividades…). Saber que has trabajado no es
suficiente  Quiere saber si con tus tutorías grupales has sido capaz de
reducir el abandono escolar.
Los planificadores tienen dificultades para definir y escribir los objetivos de sus
proyectos.
¿Cómo escribir objetivos?
PASO
Determinar áreas
Determinar indicadores
Determinar estándares
Establecer un calendario
DESCRIPCIÓN
Estas son las claves a la
que hay que mirar para ver
el impacto de un programa
sobre las mismas
Parte cuantificable del
área
de
resultados.
Permite ver qué tal se está
haciendo.
Cuanto el indicador de
medida de ejecución se
necesita para considerar
éxito el programa
Marco temporal, fecha de
inicio y término
Determinar
gastos ¿Cuánto es el máximo que
presupuesto
se quiere/puede gastar?
Escribir los objetivos
Verbo/acción con una
afirmación que refleje los
indicadores de medida
seguidos
de
los
estándares de ejecución
EJEMPLO
Área de resultado puede
ser el “abandono escolar”
Número de alumnos que
abandonan la escuela
10% de reducción
abandono escolar
en
Para el 1 de enero de 2023
se habrá reducido en un
7% el abandono escolar
Se empleará x euros en
reducir ese 7%
Reducir
un
7%
el
abandono escolar en la
zona x para 1 de enero de
2023 a un coste no
superior a x euros
Página 41 de 46
Reservados todos los derechos. No se permite la explotación económica ni la transformación de esta obra. Queda permitida la impresión en su totalidad.
a64b0469ff35958ef4ab887a898bd50bdfbbe91a-6782673
Evaluar los objetivos
en un marco cronológico y
un coste
¿Refleja este objetivo la Si – OK
cantidad de cambio que se No – Repetir proceso
pretendía en esta área?
Objetivos de evaluación
Son los conocimiento o informaciones relativas a los objetivos, instancias o
características del programa, que se requiere recoger y analizar de acuerdo con las
finalidades que sirven de justificación al estudio evaluativo.
Estas necesidades no se presentan de forma clara. Se puede pedir que la evaluación
determine “si el programa funciona bien o mal”, el objetivo de conocimiento puede ser:
-
Si se están produciendo los resultados buscados
Si el personal técnico cumple sus funciones
Si existe desperdicio de recursos
Si la población beneficiaria está satisfecha con la atención o servicios que el
programa presta
Etc.
El cliente puede formular su problema en términos que no pueden ser introducidos en
diseño de investigación.
Objetivos de conocimiento
Influyen en cómo se recogerá y analizará la información. Importante: los objetivos (y
también los propósitos o motivación) varían según el nivel o las funciones que
desempeñan personas ubicadas en diferentes niveles de la estructura del programa. Es
decir, las necesidades de información serán diferentes.
Encontramos dos tipos de objetivos:
-
-
Objetivos descriptivos: si la evaluación es de tipo descriptivo los objetivos de
evaluación derivan directamente de los objetivos del programa, proyecto,
política pública, etc. Se pueden establecer también en forma de hipótesis.
Objetivos explicativos: La evaluación se refiere a los factores que explican los
niveles o calidades de logro de los resultados finales o de aspectos
instrumentales (funcionamiento, metodología, etc.). supone pensar en la
incidencia de otras variables del programa en los resultados y a formular
hipótesis que conecten esas características con la situación que se desea
explicar.
3. Metodología de la evaluación
 Descripción del modelo de diseño elegido:
 Recogida de información
 Elección de Grupo de Control y Grupo Experimental  En nuestro caso
es inviable, porque tendríamos que haber tomado la muestra en 2015.
Aparte no sería posible porque es objetivo estaría destinado a la totalidad
de la población, no hay un grupo concreto al que le sea aplicable.
Podríamos hacer un diseño cuasiexperimental.
 Variables a comparar  entre la situación prevista y la real. Esto viene
de la mano de los indicadores anteriormente establecidos.
Página 42 de 46
Reservados todos los derechos. No se permite la explotación económica ni la transformación de esta obra. Queda permitida la impresión en su totalidad.
a64b0469ff35958ef4ab887a898bd50bdfbbe91a-6782673




Para cada uno de los objetivos y subobjetivos nombrados, definir técnicas e
investigación de recogida de información  encuesta, grupo de discusión,
fuentes de datos secundarios (análisis de documentación). Podemos emplear
varios instrumentos/técnicas para cada objetivo. No tomar todos los indicadores
creados, algunos sí, pero otros tienen que ser de creación propia. Cada indicador
que cojamos tiene que ir con otro que hagamos nosotros. Encuesta mundial de
valores, INE, CIS, etc.
Desarrollar “completamente” cada uno de los instrumentos nombrados 
normalmente en los proyectos de evaluación no aparece la encuesta o el grupo
de discusión, aunque en el informe sí aparecen como anexos. Aquí debemos de
hacer un avance. Si hay una encuesta especificamos los temas principales,
temáticas, etc.
 Definir tipo
 Clases de fuente de información
 Tipo de documento
 Instituciones a visitar  en algunos proyectos se requiere visitar la
institución que se va a evaluar. De esta forma se conocerá como funciona
la institución, cómo se organiza, etc. También cabe conocer al personal
que implementa la política o que trabaja en la institución.
 Personas a entrevistar  si son menores de edad hay que mencionar los
códigos éticos.
 Elección de entrevistados o grupos de discusión  Cuándo se va a
realizar, tiempo, a cuánta población (población teórica/real – fichas
técnicas del CIS), error muestral, tipo de preguntas, nivel de confianza,
etc.
 Encuesta: muestreo, bloques temáticos (baterías de preguntas), Nº de
encuestados, tipo de preguntas, error muestral, nivel de confianza,
aplicación….
Definir y desarrollar indicadores en cada objetivo
Tipo de análisis para cada instrumento
Tenemos que ser concretos para que el lector entienda que sabemos hacer la
evaluación, pero tampoco tenemos que ser excesivamente específicos. Ser específicos
pero dejando un poco de margen de ambigüedad.
4. Plazos y presupuestos
Plazos:



Cuándo empieza y termina la evaluación (fechas)  21 de marzo (inicio) hasta
el 25 de mayo
Corte evaluación (mini-evaluaciones que hacemos en un momento determinado
para conocer el estado del proyecto – teóricamente se recomiendan 4 cortes
evaluativos) y su duración.
Cronograma de actividades (Gantt)
Presupuestos/Recursos
Definición de recursos necesarios


Inventario de recursos materiales
Recursos económicos
o Presupuesto por partidas
o Financiación
Página 43 de 46
Reservados todos los derechos. No se permite la explotación económica ni la transformación de esta obra. Queda permitida la impresión en su totalidad.
a64b0469ff35958ef4ab887a898bd50bdfbbe91a-6782673

Recursos humanos
TEMA 12: EL INFORME DE EVALUACIÓN
1. Introducción
La evaluación, en general, da lugar a dos tipos de productos: el informe final y el
informe ejecutivo. Nosotros no haremos informe ejecutivo (resumen de algunas partes
del informe final, recomendaciones y observaciones), pero en caso de trabajar
profesionalmente sí sería necesario.
2. Características del informe final
El informe debe mantener una secuencia lógica en la que se presenta en su totalidad el
proceso evaluador, incluidas la metodología, las fuentes y la evidencia sobre los
hallazgos obtenidos. Encontramos dos cuestiones importantes: la justificación
metodológica y el juicio de valor.
A. La descripción de la metodología debe incluir:
 Fuentes de información
 Descripción de los métodos de recolección y análisis de datos (que incluya el
nivel de precesión requerida para los métodos cuantitativos, así como las escalas
de valores o codificaciones empleadas en el análisis cualitativo).
 Indicadores y parámetros referenciales, ahí donde sea relevante (indicadores
previos, estadísticas nacionales, etc.)
 El equipo de evaluación, incluyendo la participación de miembros individuales.
 El plan de evaluación.
 Restricciones clave.
B. Juicio de valor (conclusiones de la evaluación)
Un informe de evaluación no puede recoger opciones o especulaciones en relación con
el objeto de evaluación. “Las conclusiones tienen que estar sustentadas por hallazgos
(evidencias) que sean consistente con los datos recolectados y por la metodología,
asimismo, deben aportar elementos de juicio (conclusiones) conducentes a la
identificación y/o solución de problemas o temas importantes”.
Características formales:



Legibilidad: ser claro (escritura y razonamientos), calidad de argumentación,
presentación y explicación de los datos.
Articulación: el informe debe seguir una secuencia lógica.
Solidez: propio procesos evaluativa y referencias utilizadas.
3. Estructura del informe final
Capítulo I: Introducción
Fase 1: Análisis de encargo
El mandato (encargo)
Caracterizar el objeto de evaluación
Delimitar la evaluación
Objetivo, justificación y utilidad de la
evaluación
Informe de evaluación
1. Mandato de la evaluación
2. Objetivo y delimitación de la
evaluación
3. Objetivo, justificación y utilidad de
la evaluación
Capítulo II: Descripción de la intervención
Página 44 de 46
Reservados todos los derechos. No se permite la explotación económica ni la transformación de esta obra. Queda permitida la impresión en su totalidad.
a64b0469ff35958ef4ab887a898bd50bdfbbe91a-6782673
Fase 2: Análisis de la intervención:
reconstrucción de la lógica de la
intervención
Análisis del contexto
Informe de la evaluación
1.
2.
3.
Reconstrucción de la lógica de la
intervención
Descripción del grado de implementación
Mecanismos de seguimiento y evaluación
4.
5.
Descripción del conjunto.
Reconstrucción de la lógica de
la intervención. ¿Cómo se
articula el programa?
Estructura y descripción de la
intervención.
Grado de implementación. En
qué momento se encuentra.
Sistemas de seguimiento y
evaluación. Si hay algún
sistema que controle o
monitorice la implementación
de esa evaluación.
Capítulo III: Enfoque y metodología de la evaluación
Fase 3: Diseño de la evaluación
Establecer el diseño de la evaluación
Construir la matriz de la evaluación:
Preguntas y criterios
Indicadores y fuentes de verificación
Informe de la evaluación
1. Enfoque de la evaluación
2. Principales hipótesis y preguntas
de la evaluación
3. Herramientas y técnicas de la
evaluación
4. Limitaciones de la evaluación
Capítulo IV: Análisis, interpretación, síntesis
Capítulo V: Conclusiones y recomendaciones
Anexos
4. El informe ejecutivo
Los informes ejecutivos contemplan:




Breve descripción del mandato de evaluación
Breve descripción de la intervención objeto de evaluación.
Un resumen del enfoque metodológico y de las herramientas de la evaluación
así como de las limitaciones de la evaluación
El capítulo integro relativo a las conclusiones y recomendaciones del informe
completo de evaluación
5. Criterios de calidad de los informes de evaluación
 Precisión en el objetivo, alcanza y propósito de la evaluación.
 Coherencia en los objetivos, preguntas, procedimientos, resultados y
conclusiones.
 Relevancia y claridad de los contenidos.
 Explicitación clara de la metodología utilizada y de las herramientas de
recopilación de información.
Página 45 de 46
Reservados todos los derechos. No se permite la explotación económica ni la transformación de esta obra. Queda permitida la impresión en su totalidad.
a64b0469ff35958ef4ab887a898bd50bdfbbe91a-6782673




Consistencia de la selección y recogida de los datos con la metodología y
herramientas seleccionadas, garantizando su fiabilidad y validez y con un detalle
suficiente respecto de las fuentes de información.
Análisis riguroso, mediante un razonamiento lógico consistente.
Adecuación de las conclusiones a las preguntas y/o criterios contemplados en la
evaluación y a los resultados alcanzados.
Recomendaciones comprensibles, útiles, factibles y suficientemente claras como
para poder considerar su inclusión en un plan de acción.
Página 46 de 46
Reservados todos los derechos. No se permite la explotación económica ni la transformación de esta obra. Queda permitida la impresión en su totalidad.
a64b0469ff35958ef4ab887a898bd50bdfbbe91a-6782673