Suscríbete a DeepL Pro para poder editar este documento.
Entra en www.DeepL.com/pro para más información.
American Economic Review 2020, 110(7): 1952-1973
https://doi.org/10.1257/aer.110.7.1952
Experimentos de campo y la práctica de la
política†
Por Esther Duflo*
No estaba destinada a ser economista. Como hija de un matemático, estaba segura
de que me convertiría en una académica. Mis héroes eran Gauss, el genio
matemático, y Emmanuel Le Roy Ladurie, el historiador cuantitativo que encontraba
interesantes a los campesinos, más que a los reyes. Pero como hija de un médico que
se dedicó a intentar ser útil en países donde los niños eran víctimas de la guerra,
también aspiraba a ser un agente de cambio. Sentía que el único pago por la increíble
suerte que había tenido en mi vida era hacer todo lo posible para intentar mejorar la
vida de las muchas personas que no habían tenido esa suerte. Mis héroes eran la
Madre Teresa y Albert Schweitzer. Por supuesto, no tenía ni idea de cómo combinar
esas dos aspiraciones, pero esperaba encontrar algún día la manera.
Hasta bastante tarde en mi carrera universitaria, la economía no se me ocurrió
como un camino plausible para lograr estos objetivos. Había estudiado algo de
economía en la universidad, pero, como la mayoría de la gente, no confiaba ni en
la economía ni en los economistas. De hecho, una encuesta de YouGov de 2017 en
el Reino Unido muestra que los economistas se encuentran entre los profesionales
en los que menos se confía respecto a su propio campo de experiencia:
solo
(
) el 25%
de los encuestados confía en los economistas sobre la economía Smith 2017 . Esta
cifra es la mitad de la confianza de la que gozan los meteorólogos profesionales.
Solo los políticos son percibidos con más desconfianza.
Mi yo de 20 años compartía en gran medida esta desconfianza. Con sólo unas
pocas clases de introducción, pensaba que la economía era (un elaborado engaño o,
en el mejor
de los casos, una ilusión panglossiana destinada a justificar el mundo y
)
mantenerlo exactamente como era; utilizando simples matemáticas para describir
una versión muy rudimentaria del mismo, y "demostrando" que cualquier intento de
intervenir contra el buen funcionamiento del mercado causaría estragos. La
economía no parecía, desde luego, un campo para un aspirante a transformador.
Y, sin embargo, aquí estoy, siendo economista. Elegí este campo porque, en
última instancia, llegué a creer que la ciencia económica podía aprovecharse para
hacer un cambio positivo en el mundo.
Un año de trabajo en Rusia como asistente de investigación para equipos de
economistas académicos en 1993-1994 me llevó a descubrir -con una mezcla de
horror y fascinación- la
1952
enorme influencia que tienen algunos economistas académicos en el mundo. En
aquel momento parecía que se estaban realizando varios experimentos a gran escala
sobre la economía rusa, sin demasiado control. En 1994, estos experimentos ya
tenían serias dificultades. Sin embargo, era sorprendente ver la disposición de los
responsables políticos a escuchar las declaraciones y recomendaciones de los
economistas para un cambio total, que aparentemente tenían poco respaldo
empírico. Me di cuenta entonces de que la eco- nómica era el camino para
combinar una carrera académica con la posibilidad de influir en el mundo, y
también aprendí a desconfiar de esta influencia. Decidí aprender economía para
hacer realidad mi objetivo de mejorar un poco el mundo, pero también avanzar con
cautela y cierta humildad.
(
Casi tres décadas después, en colaboración con muchos otros investigadores,
profesionales de ONG, funcionarios )públicos y donantes, me he convertido en una
especie de artífice del cambio. El Laboratorio de Acción
( contra) la Pobreza Abdul
Latif Jameel o J-PAL, la red que Abhijit Banerjee, Sendhil Mullainathan y yo
pusimos en marcha en 2003, y que al principio dirigía Rachel Glennerster, y ahora
Iqbal Dhaliwal, ha influido en las políticas de múltiples
maneras y en todos los
(
continentes.
Según nuestro recuento, que tratamos de mantener conservador, más
)
de 400 millones de personas
se han beneficiado
de programas que se ampliaron
(
)
tras ser evaluados y considerados eficaces por los investigadores afiliados al JPAL. También hay muchas formas, menos fáciles de cuantificar, en las que J-PAL
ha influido en la política. La gente se ha visto indirectamente afectada como
resultado de la reducción de políticas ineficaces. Estados enteros han decidido
adoptar políticas diferentes gracias a un conjunto de pruebas. Estos efectos son tan
difusos que no intentamos contabilizar
las personas
afectadas a través de estos
(
)
canales.
El proceso por el que el J-PAL y sus afiliados han influido en la política es
bastante diferente del proceso que presencié en Rusia, con profesores que iban y
venían entre Moscú y Estados Unidos, proporcionando consejos para la
macroeconomía coherentes con la teoría económica
o con su) intuición. También es
(
bastante diferente de la influencia de los "Chicago boys" que asesoraban la política
macroeconómica
en Chile, cuya oficina ocupa actualmente, irónicamente, J-PAL
(
)
América Latina.
J-P El enfoque de AL se centra menos en las grandes ideas y más en las
sugerencias concretas. Nos tomamos en serio tanto los principios rectores como las
realidades menos glamurosas, pero cruciales, de la aplicación cotidiana de las
políticas. Porque cuando los economistas tienen la oportunidad de ayudar a los
gobiernos de todo el mundo a diseñar nuevas políticas y reglamentos, deben
asumir la responsabilidad de acertar en la visión general y en el diseño general.
Además, a medida que estos diseños se aplican en el mundo, también son
responsables de los numerosos detalles sobre los que sus modelos y teorías ofrecen
poca orientación. Este es un papel que los investigadores de ECA han asumido en
colaboración con el gobierno.
En esta conferencia me gustaría discutir cómo este trabajo de política se lleva a
cabo en la práctica para los investigadores que realizan ensayos controlados
aleatorios. Espero iluminar cómo podemos aprovechar la buena ciencia para mejorar
la eficacia de las políticas que sirven a los pobres en todo el mundo, y también cómo
podríamos utilizar los retos que plantea el mundo como fuentes de inspiración para
nuestra ciencia.
1954
LA REVISTA ECONÓMICA
JULIO
I. El hombre de paja
Es útil empezar con el hombre de paja: lo que hace el proceso de influencia política
para los investigadores que realizan ensayos controlados aleatorios.
Realice un pequeño experimento bien controlado
Obtenga los resultados
Preparar un informe de política brillante y venderlo a los responsables políticos
Conseguir la adopción a gran escala
Figura 1. El hombre de paja
El hombre de paja
( ilustrado en la figura
) 1 considera que el investigador dirige
un experimento pequeño, bien diseñado y estrictamente
controlado, por ejemplo,
(
con 100 escuelas de) tratamiento y 100 de control, ejecutado por socios excelentes.
Descubre algunos resultados. Si son negativos, archiva el documento. Si son
positivos, prepara un informe político brillante y lo vende a los responsables
políticos, que adoptan y amplían la política.
Alguna versión de este hombre de paja es la base de numerosas críticas al
movimiento de los ECA, o al menos a la esperanza de utilizarlos para( influir en la
política, por ejemplo, Deaton y Cartwright 2018, Pritchett
y Sandefur 2013 . Estas
)
críticas argumentan que los resultados de los experimentos pequeños y "chapados
en oro" podrían no aplicarse cuando los programas se ejecutan a escala por
personas menos que perfectas. En primer lugar, el argumento es que los resultados
pueden depender en gran medida del contexto. En segundo lugar, el proceso de
archivar lo que no funciona puede dar lugar a un sesgo de selección que refleje
más la suerte del investigador que la realidad. En tercer lugar, incluso los
experimentos más cuidadosamente controlados pueden tener problemas que
impidan extraer conclusiones sólidas: la muestra puede ser demasiado pequeña
para sacar conclusiones precisas, el cumplimiento de (la asignación del tratamiento
puede ser imperfecto, algunas personas pueden perderse durante el seguimiento.
En
)
cuarto lugar, la aplicación de un programa a gran escala podría afectar a resultados
que no se ven alterados por una intervención de ECA a menor escala, como se
analiza en detalle en nuestro propio trabajo, véase Banerjee et al. 2017,
Muralidharan y Niehaus 2017: por ejemplo, los precios podrían responder, los
efectos indirectos podrían afectar a los no participantes, las reacciones de la
economía política podrían alterar los efectos del programa, etc. Por último, es poco
probable que los responsables políticos presten atención a las recomendaciones de
los investigadores, a menos que estas recomendaciones coincidan con su política.
1956
LA REVISTA ECONÓMICA
JULIO
Incluso si lo hicieran, las razones expuestas anteriormente les impedirían
generalizar los conocimientos de un contexto experimental a otro. Por lo tanto, la
idea de que se puede pasar de un pequeño experimento a una adopción
generalizada resultaría ser un mito. Y estamos
desperdiciando un valioso dinero en una serie de experimentos que nunca
conducen a una influencia política significativa.
Estas críticas tendrían cierto peso si reflejaran con exactitud el camino de la
influencia política seguido por el J-PAL y sus investigadores
afiliados y otros
(
"randomistas". Sin embargo, la realidad es muy diferente: uno no se limita a
)
realizar un experimento, redactar su informe político y desaparecer mientras la
política se amplía. El diálogo político real en el movimiento RCT ha seguido un
camino bastante diferente.
II. Cómo se sacan las lecciones: Microcréditos
El primer defecto del hombre de paja es su incomprensión de la forma en que el
ECA hace avanzar la ciencia. Los investigadores de los ensayos clínicos aleatorios
no llegan a conclusiones generales sobre el impacto potencial de un programa
basándose en un solo experimento. Por el contrario, cada experimento es como un
punto en un cuadro puntillista: por sí solo no significa mucho, pero la acumulación
de resultados experimentales acaba pintando un cuadro que ayuda a dar sentido al
mundo y a orientar la política. La acumulación de resultados es lo que da sentido y
justifica toda la empresa.
Tal vez lo más parecido al ejemplo idealizado que el hombre de paja presenta
en la figura 1 sea la forma en que la investigación de un ECA sobre el microcrédito
llegó a influir en las percepciones de los responsables políticos y del público en
general. Lo que lo hace relativamente cercano al proceso mostrado en la Figura 1
es que se trata de un caso relativamente raro en el que los resultados de un
programa de investigación influyen directamente en la política, sin ningún
seguimiento posterior. Pero es evidente que, de hecho, es muy diferente...
En la década de 2000, el microcrédito estaba de moda. Como muchas propuestas
aparentemente "beneficiosas para todos", ganó popularidad tanto entre los
responsables políticos como entre los medios de comunicación: se podía ayudar a la
gente sin gastar dinero, simplemente prestándoles y siendo reembolsados. Incluso se
podía ganar dinero. El microcrédito se expandió con gran rapidez, impulsado por los
éxitos en la opinión pública y en el ámbito comercial. Muhammad Yunus recibió el
Premio Nobel de la Paz( en 2006,
y algunas salidas a bolsa de instituciones de
)
microfinanciación muy publicitadas hicieron muy ricos a sus financiadores.
Pocas intervenciones que beneficien a los pobres tienen un alcance tan amplio.
El microcrédito tenía casi 100 millones de clientes en 2009, y 139,9 millones en
2018. De hecho, tendría el potencial de cambiar el mundo si su impacto fuera
realmente positivo para tantas personas. Y, de hecho, los defensores más
entusiastas de la microfinanciación creían que tenía el potencial de transformar la
vida
de)las personas. El Grupo Consultivo de Ayuda a los Pobres (CGAP), una
(
organización con sede en el Banco Mundial y dedicada originalmente a promover
el microcrédito, declaró en un momento dado en su sitio web "hay cada vez más
pruebas que demuestran que
( la disponibilidad de servicios financieros para los
hogares pobres puede
) ayudar a alcanzar los ODM", incluyendo la educación
primaria universal, la mortalidad infantil y la salud materna .
Desgraciadamente, son pocas las pruebas empíricas que apoyan o refutan estas
proposiciones. Las pocas pruebas que existían se basaban en gran medida en
estudios de casos, a menudo autoproducidos por las IMF. Para muchos partidarios
del microcrédito, las anécdotas parecían suficientes, al menos en aquel momento.
(
1958
LA REVISTA ECONÓMICA
JULIO
Sin embargo, a finales de la década de 2000, el tono de la conversación sobre el
microcrédito pareció cambiar poco después del Premio Nobel de Yunus, lo que
quizá sea suficiente para que algunos nos preocupemos... . Las oleadas de suicidios
de agricultores se relacionaron con el elevado endeudamiento por microcréditos;
las historias negativas de agricultores atrapados en la deuda hicieron
en los medios de comunicación. Este cambio en la narrativa repercutió en la
política. En octubre de 2010, sólo dos meses después de la exitosa salida a bolsa de
SKS, un destacado microprestamista con ánimo de lucro de la India, el gobierno
de Andhra Pradesh lo culpó del suicidio de 57 agricultores, alegando que las
prácticas coercitivas de cobro de los agentes de crédito habían sometido a los
clientes a una presión insoportable. El gobierno detuvo a algunos agentes de
crédito y aprobó una ordenanza que prohibía el cobro semanal de los préstamos.
En noviembre, todos los agentes de crédito de las principales IMF estaban de
brazos cruzados y las pérdidas aumentaban. Las anécdotas que describían a los
prestatarios con éxito no ayudaron mucho a SKS en ese momento.
Cuando se produjeron estos acontecimientos, muchos de nosotros llevábamos
tiempo buscando un interlocutor para evaluar el impacto de este programa tan
importante.
Pero cuando nos) dirigimos a las IMF a partir de 2002 con la propuesta
(
de evaluar rigurosamente su producto, su respuesta habitual fue: "¿Por qué
necesitamos ser evaluados más que un vendedor de manzanas?" Con ello querían
decir que el microcrédito tenía que ser beneficioso siempre que los clientes
volvieran a por más. Por supuesto, esto ignoraba el hecho de que la
microfinanciación suele estar implícitamente subvencionada, así como que los
prestatarios irracionales pueden pedir más préstamos de los que les convienen.
La verdadera razón de la resistencia inicial fue probablemente que las IMF no
veían ninguna razón para agitar el barco: estaban siendo aclamadas por sus éxitos,
y no querían correr el riesgo de refutar potencialmente una narrativa positiva con
datos. Pero bajo la creciente presión de los críticos de la microfinanciación, y
especialmente de los responsables políticos, algunas IMF decidieron que la
evaluación merecía la pena.
Realizamos una de las primeras evaluaciones de la microfinanciación con
Spandana en Hyderabad. Considerada una de las organizaciones más rentables del
sector de las microfinanzas, Spandana había sido uno de los principales objetivos
(
del activismo gubernamental y acabó cerrando durante otra crisis masiva de las
microfinanzas) inducida por las políticas en 2010. Nuestra evaluación abarcó la
expansión de Spandana en algunas zonas de la ciudad de Hyderabad. De 104
barrios, se eligieron 52 al azar para que la organización entrara en ellos. El resto se
dejó como grupo de comparación.
Cuando comparamos los hogares de estos dos conjuntos de barrios 20 meses
después de que Spandana empezara a conceder préstamos, encontramos pruebas
claras de que la microfinanciación estaba haciendo, en muchos aspectos, lo que
cabía esperar. Los hogares de los barrios cubiertos por Spandana tenían más
negocios y era más probable que hubieran comprado grandes bienes duraderos
como bicicletas, frigoríficos y televisores. No hubo pruebas claras del gasto
imprudente que algunos observadores temían que se produjera. De hecho, vimos
exactamente lo contrario; los hogares empezaron a gastar menos dinero en lo que
consideraban pequeños gastos "despilfarradores", como té y aperitivos.
Al mismo tiempo, no hubo signos de transformación radical en las vidas de los
prestatarios de microfinanzas. No encontramos pruebas de que las mujeres se
sintieran más empoderadas, al menos en dimensiones medibles. Tampoco
observamos diferencias en el gasto en educación o salud. No hubo ningún efecto
en el consumo de los hogares. Incluso los efectos sobre los negocios se debieron a
que los hogares iniciaron más negocios si ya eran propietarios, y no a que nuevos
hogares se convirtieran en empresarios. Estos nuevos negocios eran pequeños.
1960
LA REVISTA ECONÓMICA
JULIO
Tres años después, los efectos eran muy parecidos y la mayoría de las nuevas
empresas habían cerrado.
El estudio ha provocado algunos problemas. Sus resultados se citaron
principalmente por sus conclusiones negativas y como prueba de que la
microfinanciación no era la panacea que se pretendía. Aunque algunas IMF
aceptaron los resultados tal y como eran, las grandes empresas internacionales
Los actores de la microfinanciación decidieron pasar a la ofensiva. Estaban aún
más preocupados porque un estudio contemporáneo en Filipinas
( Karlan y Zinman
2011 )había encontrado resultados igualmente tibios.
Como informamos Abhijit Banerjee y yo en nuestro libro Poor Economics: A
Radical Rethinking of the Way to Fight Global Poverty, los representantes de las
"seis grandes" IMF( del mundo Unitus, ACCION International, Foundation for
International Community
FINCA , Grameen Foundation, Opportunity
[ Assistance
]
International y Women's World
) Banking , celebraron una reunión en Washington
DC poco después de que se hicieran públicos los estudios sobre microfinanzas.
Reunieron un equipo SWAT encargado
de responder a cualquier nuevo estudio
(
aparentemente
convencido de que todos los estudios serían negativos . Unas
)
semanas más tarde, este equipo SWAT realizó su primer intento de control de
daños, publicando seis anécdotas sobre prestatarios exitosos y un artículo de
opinión que atacaba los estudios escrito por la directora general de Unitus, Brigit
Helms, en el Seattle Times.
Esta fuerte reacción nos sorprendió porque habíamos tenido mucho cuidado de
no adoptar una posición extrema. En primer lugar, aunque los estudios no
mostraban que la microfinanciación fuera un milagro, tampoco mostraban (el
desastre descrito por algunos; en todo caso, el editorial de Helms exageraba
lo
)
negativo de los resultados. En segundo lugar, nuestra evaluación se llevó a cabo en
Hyderabad, el semillero de la microfinanciación en la India, que estaba saturado de
otras agencias de microfinanciación. El alto nivel de acceso a la microfinanciación
podría explicar la falta de impacto transformador en este contexto. No pensamos
que tuviéramos suficientes pruebas para sacar conclusiones rotundas, y esperamos
los resultados de otros estudios.
En 2015, las evaluaciones de la microfinanciación habían concluido en siete
países: Filipinas, Marruecos, Mongolia, México, India, Etiopía y Bosnia. Todas
ellas se publicaron juntas en un único número de la revista American Economic
Journal: Applied Economics utilizando un formato
( de informe común Angelucci,
Karlan, y Zinman 2015; Attanasio et al. 2015; Augsburg et al. 2015; Banerjee et
al. 2015; Crépon et al. 2015; Karlan y Zinman 2011; Tarozzi, Desai,
) y Johnson
(
2015 para el cierre completo, yo era entonces) el editor de AEJ: Applied
. Cada
estudio fue dirigido por un equipo diferente. Algunos eran rurales y otros urbanos.
El modelo de informe común para estos estudios realizados en contextos muy
diferentes nos permitió abordar el desafío de la "validez externa", frecuentemente
citada en el hombre de paja como un inconveniente de los ECA. En particular,
Rachael Meager
( se propuso) determinar las diferencias
( o similitudes en
) los
resultados entre contextos Meager 2018, 2019 . La dificultad de este ejercicio es
que la variación observada en los efectos entre los estudios confunde la verdadera
variación en los efectos del tratamiento con la variación en el efecto estimado que
se deriva de haber tomado muestras aleatorias de individuos de una población. Para
evitar este problema, Meager utilizó el análisis jerárquico bayesiano. La idea
básica es suponer primero que el efecto real del tratamiento en cada lugar se extrae
de una distribución normal estándar. A continuación, añadimos algo de ruido a
cada efecto de tratamiento real para tener en cuenta la variación del muestreo.
Incluso esta mínima estructuración del problema permite al estadístico determinar
hasta qué punto los efectos se "agrupan" entre los estudios, es decir, hasta qué
punto los "efectos reales" de cada centro se aproximan a los de los demás.
También permite calcular el efecto medio global, así como resultados específicos
1962
LA REVISTA ECONÓMICA
JULIO
de cada país que pueden incorporar resultados de otros lugares.
Meager examinó el efecto del acceso a los microcréditos en los beneficios
empresariales de los hogares, los gastos, los ingresos, el consumo total, el gasto en
bienes de consumo duraderos y
BHM posterior
Filipinas
OLS
Marruec
Media posterior, 50
(recuadro), y un 95%
de
intervalo (línea) para
cada
Efecto del tratamiento
(US$)
PPP por 2
semanas)
Mongolia
México
India
Etiopía
Bosnia
-50
0
50100150200250
Figura 2. Resultados del modelo jerárquico bayesiano MF: Beneficios
Distribución posterior del efecto medio
BHM posterior
Bienes de tentación
Pooled OLS
Ingresos
Media posterior,
intervalo del 50%
(recuadro) e intervalo
del 95% (línea) para
cada efecto del
tratamiento (US$ PPP
por 2 semanas)
Bene
ficio
Gasto
Consumo
Bienes de consumo
duraderos
-25
025
Figura 3. Efecto medio estimado y rango, 6 países
el gasto en bienes de "tentación" como los cigarrillos. En general, como se ilustra
en las figuras 2 y 3, encuentra efectos generalmente pequeños
( y muy inciertos en
torno al 7% del resultado medio, con un impacto cero muy probable
para todas las
)
variables. Este análisis confirmó en gran medida nuestras conclusiones iniciales del
estudio
(
) de Spandana, y también demostró, lamentablemente, que el único resultado
positivo que habíamos encontrado -la disminución del gasto en bienes de
tentación- no era en general sólido en todos los contextos.
Sin embargo, un hallazgo que es robusto es que los hogares que eran propietarios
de negocios antes de la entrada
del microcrédito y que, por lo tanto, habían
(
)
demostrado su naturaleza emprendedora realmente se beneficiaron de la
microfinanciación. De hecho, continuamos su seguimiento en Hyderabad y
descubrimos que experimentaron grandes aumentos en los ingresos del negocio,
los
medio 10 años después de la introducción del
( beneficios y el consumo
)
microcrédito Banerjee et al. 2019 .
Por lo tanto, la conclusión general del conjunto de pruebas mencionadas no es
que el microcrédito sea perjudicial o incluso que nadie se beneficie de su
1964
introducción.
Más bien,
LA REVISTA ECONÓMICA
JULIO
en diversos contextos, no permite a la persona media salir de la pobreza ni
experimentar una transformación impresionante en su estilo de vida. Aun (así,
)
algunos empresarios existentes se benefician enormemente de los préstamos de
microfinanciación, y muchos otros los utilizan como financiación del consumo.
La reacción de la comunidad de las IMF al conjunto de pruebas acumuladas fue
bastante diferente a la de los primeros estudios. Organizamos una conferencia
conjunta con el CGAP en Washington DC, seguida de otra en la Harvard Business
School. Ambas contaron con una gran asistencia de profesionales de la
microfinanciación. Los participantes se centraron en rediseñar la
microfinanciación utilizando las ideas de los estudios, en lugar de intentar acabar
con sus resultados. Sorprendentemente, incluso los medios de comunicación
fueron comedidos en su cobertura del evento y de la investigación subyacente, con
The Economist, por ejemplo, describiendo los resultados en un artículo titulado
"Una maravilla parcial".
Los resultados de los ECA sobre microfinanciación habían conseguido que el
debate político se alejara de las discusiones a gritos entre "desastre" o "milagro",
cambiaron la opinión de muchos promotores de la microfinanciación1 y, finalmente,
cambiaron la propia microfinanciación. El objetivo de los investigadores nunca
fue, por supuesto, socavar la microfinanciación: de hecho, gran parte de la
economía moderna del desarrollo se basa en el hecho de que los mercados
( y que esto limita su elección
)
financieros funcionan muy mal para los pobres,
ocupacional y conduce a trampas de pobreza, por ejemplo, Banerjee y Newman
1993. Lo que estos resultados sugieren, sin embargo, es que el enfoque de "talla
(
)
única"
que había sido el sello del movimiento de microfinanciación desde
Muhammad Yunus -un préstamo, concedido una vez al año, y reembolsado en
cuotas semanales de igual tamaño- quizás no era ideal, dada la extrema
heterogeneidad de las necesidades y tipos de prestatarios. Mientras que algunas
personas necesitaban financiación para el consumo o incluso sólo un buen
producto de ahorro, una minoría de verdaderos empresarios necesitaban préstamos
empresariales de mayor cuantía y más flexibles.
La segunda oleada de estudios sobre la microfinanciación se centró en estos
aspectos. Trataron de preguntarse no si la microfinanciación funcionaba, sino
cómo modificarla para mejorarla. Por ejemplo, algunos investigadores se
preguntaron si la estructura de grupo, que es bastante
restrictiva, es realmente
(
)
necesaria Giné y Karlan 2014 , algunos experimentaron con un período de (gracia
de un mes )antes del inicio del reembolso Field et al. 2013 , y (con cambios en la
)
frecuencia de los reembolsos Field et al. 2012 . Las investigaciones recientes se
centran en la mejor manera (de identificar a los clientes más
) emprendedores
utilizando la información de la comunidad Hussam, Rigol y Roth 2016 .
La principal contribución del programa general de investigación no ha sido
prescribir la ampliación o la reducción de (la microfinanciación -de hecho, el
número de clientes de la microfinanciación ha seguido )creciendo tras los primeros
estudios-, sino ayudar al sector y a los responsables políticos a pensar en la
microfinanciación de una forma más rica y sutil. Se puede ver que el camino desde
los ECA hasta la influencia política no fue sencillo. Ha implicado varios estudios y
análisis minuciosos. No ha culminado con una recomendación de "aprobación" o
"rechazo", sino con una invitación a repensar los servicios financieros y la
financiación de los empresarios. Este replanteamiento está en marcha y combina
una investigación apasionante con un diseño de producto innovador.
1966
LA REVISTA ECONÓMICA
JULIO
1
Sobre todo el CGAP, que amplió su mandato para ser un promotor de la inclusión financiera en general y
puso su energía detrás de un programa de transferencia de activos a los ultrapobres, descrito en la conferencia del
Nobel de Abhijit Banerjee (Banerjee 2019).
1960
LA REVISTA ECONÓMICA
JULIO
III. De la prueba de concepto al impacto a
escala: Enseñar al nivel adecuado
El ejemplo del microcrédito es inusual en el sentido de que los resultados de los
ECA fueron suficientes para cambiar las percepciones y la política. Un caso más
típico de influencia política sigue una larga cadena desde los primeros
experimentos hasta la adopción final de la política, abordando en el camino las
numerosas dificultades que conlleva la ampliación. Un ejemplo destacado en el
que se puede seguir toda la cadena es el programa "Enseñanza en el nivel
adecuado".
A. Enseñar al nivel adecuado
En muchos países en desarrollo, los niños van a la escuela pero no aprenden
mucho. Este es también el caso de la India, donde menos de la mitad de los niños
de 5º grado pueden leer un párrafo sencillo en el nivel de 2º grado. El rendimiento
es aún peor en matemáticas y, lamentablemente, la situación no mejora con el
tiempo
( ASER 2015
) . El estado actual de las cosas representa, por supuesto, un
enorme desperdicio de recursos. Muchos experimentos han intentado examinar las
razones y las soluciones a este problema de los niños que no aprenden en la
escuela, incluido el primer experimento
de Michael Kremer sobre los
(
) libros de
texto Glewwe, Kermer y Moulin 2009 .
El problema principal no parece ser sólo la falta de insumos, la falta de
incentivos para que los profesores se esfuercen, o incluso la incapacidad de los
niños para aprender. Más bien, la pedagogía empleada en las escuelas es
completamente inadecuada. En particular, se exige a los profesores que enseñen y
completen planes de estudio muy exigentes, y no se hace nada para ayudar a los
alumnos a ponerse al día cuando se pierden. La mayoría de los países en vías de
desarrollo siguen teniendo sistemas escolares sesgados por las élites, que
provienen en cierta medida de su historia colonial. Estos sistemas educativos se
crearon originalmente para educar a una pequeña élite que iba a apoyar al poder
colonial. Se ampliaron tal cual en el momento de la independencia, en parte porque
la reducción del ambicioso plan de estudios podría haber parecido que se
perjudicaba a los niños, lo cual es difícil de justificar políticamente. Como
resultado, los niños de estos países no reciben una enseñanza
al nivel en que
(
pueden
) aprender, sino a un nivel aspiracional muy por encima de lo que la mayoría
de los niños normalmente constituidos pueden digerir Banerjee y Duflo 2011 .
Se podría pensar que la solución sería reformar el plan de estudios, pero esto no
ha sido posible por las razones políticas expuestas anteriormente. La segunda
mejor estrategia, aparentemente sencilla, es enseñar a los niños lo que son capaces
de aprender, siempre que sea posible, a pesar del plan de estudios. En nuestro
primer ECA, Abhijit Banerjee, Shawn Cole, Leigh Linden y yo trabajamos con la
maravillosa organización Pratham para evaluar exactamente este enfoque para
resolver el problema: enseñar a los niños al nivel adecuado, utilizando cualquier
margen que pueda abrirse dentro o fuera del sistema escolar.
Este enfoque ha pasado a denominarse "Enseñanza al nivel adecuado" o TARL
( .
El principio
básico
del
TARL
es
evaluar
con
frecuencia
a
los
niños
y
ofrecerles
)
actividades que correspondan a su nivel actual de conocimientos. Se evalúa a los
niños, se les agrupa, se les enseña en el nivel adecuado para ellos en ese preciso
momento, y se les reevalúa y reagrupa con frecuencia.
1960
LA REVISTA ECONÓMICA
JULIO
B. De los barrios marginales de Mumbai a más de
20 millones de niños: 15 años y muchos
experimentos
La asociación entre Pratham y J-PAL es la más larga de J-PAL (y de Pratham, )y
sin duda una de las más influyentes en términos de impacto político. Revisar la
historia de esta asociación es instructivo para entender cómo se pasa de una buena
idea a una política que afecta a millones de niños. Dejará muy claro que este
proceso no sigue la plantilla del hombre de paja. Esta sección se ha adaptado en
gran medida de
et al. 2017 y también debe mucho a la maravillosa
( Banerjee
)
recopilación de este( viaje de Rukmini Banerji Banerji 2019,
) Banerji y Chavan
2020 .
La colaboración entre los investigadores y Pratham comenzó con un ensayo
controlado aleatorio de prueba del "Programa Balsakhi" de Pratham,
( el antecesor
del programa de Enseñanza al Nivel )Adecuado en las ciudades de Vadodara y
Mumbai, realizado entre
et al. 2007. En este programa, los
( 2001 y 2004, Banerjee
)
alumnos de tercero y cuarto grado identificados como "rezagados" por sus
profesores eran retirados de clase durante dos horas al día, durante las cuales
recibían clases de refuerzo de (lengua y matemáticas
por parte de miembros de la
)
comunidad balsakhis contratados y formados por Pratham. Este ECA se habría
parecido al primer experimento "bien controlado" de la figura 1, salvo que fue de
todo menos eso: un año, tuvimos que descartar todos los exámenes porque era
evidente que los niños se habían copiado unos a otros; otro año, las hojas de los
exámenes se devolvieron a los niños antes de que pudieran ser introducidas por
duplicado; un año, un gran terremoto sacudió Baroda; otro año, los disturbios
comunales perturbaron( la ciudad, cerrando las escuelas y el programa. A pesar de
estos )contratiempos, los resultados fueron claros: los niveles de aprendizaje de los
niños, medidos en las pruebas de matemáticas y alfabetización básicas de segundo
grado, aumentaron una media de 0,28 desviaciones estándar. Estos avances se
debieron en su totalidad a los niños que se encontraban en la parte inferior de la
distribución de las puntuaciones, que fueron los que recibieron la ayuda de
recuperación.
El segundo ensayo controlado aleatorio de lo que se convertiría en el TARL se
llevó a cabo en el distrito de Jaunpur, en Uttar Pradesh, en 2005-2006: se trataba
de una prueba de un modelo de aprendizaje de la lectura dirigido por voluntarios y
basado en un campamento, situado en una zona rural. Los resultados volvieron a
ser muy positivos: la asistencia a las clases hizo que los niños tuvieran 22,3 puntos
porcentuales más de probabilidad de leer letras y 23,2 puntos porcentuales
más de
(
probabilidad de leer palabras. Casi todos los niños que asistieron al campamento
avanzaron
un nivel, por ejemplo, de no leer nada
a leer letras, o de
)
(
) leer palabras a
leer un para- grafo en el transcurso de ese año académico Banerjee et al. 2010 .
Este segundo estudio demostró que la idea pedagógica en la que se basa el
programa Balsakhi podía sobrevivir al cambio
de contexto, de) urbano a rural, y al
(
diseño
del programa, de asistentes pagados en las escuelas a)voluntarios fuera de
(
ellas, pero también reveló nuevos retos. Hubo un gran desgaste entre los
voluntarios, y muchas clases terminaron prematuramente. Además, como el
programa se dirigía a los niños fuera de la escuela, la aceptación no fue ni mucho
menos universal. Sólo el 17% de los alumnos que cumplían los requisitos
recibieron tratamiento, y ni siquiera eran los que más lo necesitaban.
Para llegar a todos los niños que necesitaban una educación de recuperación y
aprovechar mejor el tiempo escolar, Pratham empezó a colaborar con los gobiernos
estatales en la ejecución de los programas Read India. Pero como ahora el
programa iba a ser aplicado por profesores de escuelas públicas, no era evidente
que fuera a funcionar tan bien como lo había hecho con los voluntarios. Este
cambio exigía una nueva oleada de evaluaciones.
1962
LA REVISTA ECONÓMICA
JULIO
C. Un primer intento de ampliación con el Gobierno
A partir de 2008, Pratham y J-PAL se embarcaron en una serie de nuevas
evaluaciones para poner a prueba el enfoque de Pratham cuando se integra en el
sistema escolar gubernamental. Se llevaron a cabo dos ensayos controlados
aleatorios en los estados indios de Bihar y Uttarakhand durante los dos cursos
escolares de 2008-2009 y 2009-2010. Aunque las evaluaciones sólo abarcaron
unos pocos cientos de escuelas, se integraron en un esfuerzo de ampliación total:
en junio de 2009, el programa Read India en Bihar se estaba llevando a cabo en 28
de los 38 distritos de Bihar, llegando a 2 millones de niños en aproximadamente
40.000 escuelas. En Uttarakhand, antes de que se iniciaran las evaluaciones,
Pratham trabajaba en 12.150 escuelas de 95 "bloques". Para los experimentos de
Bihar y Uttarakhand, "escarbamos" un distrito en el que se mantuvieron algunas
escuelas como grupo de control, lo que nos permitió evaluar la eficacia de un
programa ejecutado a escala.
Este enfoque de evaluación a escala es diametralmente opuesto al descrito en el
hombre de paja que hemos discutido antes. En este caso, el programa se ejecuta a
escala y la muestra de control se mantiene pequeña. Esto ayuda a garantizar que se
aborden todas las cuestiones relacionadas con la ampliación de un programa. De
hecho, este diseño
( elimina muchas de las preocupaciones expresadas en el hombre
de paja:
) el revestimiento de oro, la validez externa, las cuestiones de economía
política. Se puede aprender (mucho de este tipo de experimentación.
)
En la primera intervención evaluada sólo en Bihar, en junio de 2008, la
enseñanza de recuperación se impartió durante un campamento de verano de un
mes de duración, dirigido en edificios escolares por profesores de escuelas
públicas, a(los que el gobierno pagaba un suplemento. Esta evaluación que, para
ser sinceros, fue una adición de última hora al proyecto de investigación, fue
posible gracias a la gran atención de Rukmini Banerji y Michael Walton a cómo se
desarrollaba el programa
sobre el)) terreno y a la rápida actuación para preservar la
(
posibilidad de un experimento Banerji 2019 mostró ganancias significativas en
lengua y matemáticas. En solo unas semanas de campamento de verano, los
efectos del tratamiento sobre los tratados fueron del orden de 0,4 desviaciones
estándar.
Las otras tres intervenciones se realizaron durante el curso escolar. El primer
modelo distribuyó materiales de Pratham sin formación ni apoyo adicional. El
segundo incluía materiales, formación de los profesores en la metodología de
Pratham y supervisión por parte del personal de Pratham. Los profesores recibieron
formación para mejorar la enseñanza en todos los niveles mediante una mejor
orientación y una instrucción más atractiva. La tercera intervención, la más
intensa, incluía materiales, formación y apoyo de voluntarios. La parte de los
voluntarios fue una réplica del exitoso modelo evaluado en Jaunpur, en el que los
voluntarios llevaron a cabo campamentos de aprendizaje nocturnos que se
centraron en la instrucción de refuerzo para los estudiantes dirigidos a ellos por los
profesores.
Los resultados fueron sorprendentes y en su mayoría decepcionantes. Las
intervenciones de materiales solos y materiales más profesores no tuvieron ningún
efecto ni en Bihar ni en Uttarakhand. El tratamiento de materiales-docentesvoluntarios en Uttarakhand tampoco tuvo un impacto discernible. Sólo la
intervención de materiales, profesores y voluntarios en Bihar tuvo un impacto
VOL. 110 NO. 7
DUFLO: EXPERIMENTOS DE CAMPO Y LA PRÁCTICA DE LA
1963
Í
significativo en las puntuaciones
de lectura y matemáticas, comparable a los
resultados anteriores de Jaunpur. Así pues, el modelo estándar de Pratham
funcionó, pero la transferencia a los profesores del gobierno no tuvo éxito.
En este punto, uno podría haber estado tentado de asumir que los profesores
simplemente no podían o no querían poner en práctica una intervención que
realmente se centrara en el aprendizaje de los niños. Pero el impacto positivo de
los campamentos de verano, que fueron dirigidos por los profesores,
1964
LA REVISTA ECONÓMICA
JULIO
sugirió lo contrario ( y, como recuerda Rukmini Banerji, este experimento del
campamento de verano fue esencial para restablecer
( mi confianza
)) en los profesores
Banerji 2019 . Recurrimos a los datos cualitativos y de proceso que habíamos
recogido a lo largo del proyecto para determinar por qué no funcionó la
intervención del año escolar. Estos datos contenían( información sobre la relación
entre Pratham y el gobierno
Kapur e Icaza 2010, Sharma y Deshpande 2010 , así
)
como las percepciones de los niños, los padres y los profesores.
El seguimiento del proceso reveló un considerable apoyo en la cúpula jerárquica
del programa en Bihar,
( menos en Uttarakhand,
) así como una entrega efectiva de
insumos básicos: dos tercios de los profesores recibieron formación, el material y
lo utilizaron más de la mitad de las veces. A pesar de estos éxitos, el componente
clave del enfoque de Pratham, su enfoque en la enseñanza a nivel de los niños,
generalmente no fue implementado por las escuelas en ninguno de los dos estados.
Cuando los profesores ordinarios estaban a cargo, casi nunca agrupaban a los
alumnos por niveles.
Los profesores nos dijeron que las actividades les parecían valiosas, pero que no
tenían tiempo para ponerlas en práctica debido a la necesidad de seguir
completando el plan de estudios prescrito. Parafraseando
a los
(
)
[ ] profesores
entrevistados en Bihar, Sharma y Deshpande 2010 escriben "Los materiales son
buenos en términos
( ) de lenguaje y contenido. El lenguaje es sencillo y el contenido
es relevante... Sin embargo, enseñar con estos materiales requiere paciencia y
tiempo. Así que no los utilizan con regularidad, ya que también tienen que
completar el programa de estudios". Por cierto, completar el programa de estudios es
algo que se exige a los profesores por ley, así que no se les puede culpar de su
concentración. Por supuesto, la aplicación de la enseñanza en el nivel adecuado
también formaba parte de su trabajo, ya que el programa había sido escalado
dentro del gobierno. Pero esto no se había transmitido claramente. Ante la posible
tensión entre los nuevos y los viejos objetivos, los profesores decidieron
mantenerse a salvo centrándose en el statu quo.
Armados con los resultados de este estudio, el equipo de Pratham y nosotros
intentamos encontrar una solución al problema de la no aplicación del TARL. La
respuesta tenía dos vertientes. En primer lugar, recomendábamos reservar un
momento del año o del día para centrarse en la enseñanza en el nivel adecuado, a
fin de evitar la competencia directa entre el TARL y la finalización del plan de
estudios. En segundo lugar, recomendamos convencer a los profesores de que se
tomen más en serio la enseñanza en el nivel adecuado, colaborando con sus
superiores para incorporarla a su misión, o bien prescindir totalmente de los
profesores y aplicar una intervención de tipo voluntario en las escuelas. Estas ideas
guiaron el diseño de las dos siguientes intervenciones.
Conseguir que los profesores se tomen en serio la enseñanza en el nivel adecuado
En 2012-2013, Pratham, en colaboración con el Departamento de Educación del
Estado de Haryana, adoptó nuevas estrategias para integrar la Enseñanza en el
Nivel Adecuado como una "responsabilidad fundamental" para los profesores. Para
promover la participación de los profesores, Pratham hizo hincapié en que el
programa estaba totalmente apoyado y ejecutado por el Gobierno de Haryana, y no
por una entidad externa. Pratham impartió primero cuatro días de formación y
prácticas sobre el terreno a los supervisores de los profesores, o "coordinadores
VOL. 110 NO. 7
DUFLO: EXPERIMENTOS DE CAMPO Y LA PRÁCTICA DE LA
1965
asociados de recursos enÍ bloque". Una vez finalizado el periodo de prácticas, estos
coordinadores formaron y supervisaron a su vez a los profesores de su
jurisdicción.
Además, el programa se implementó durante una hora específica del día.
Durante esta hora de TARL los niños se agrupaban por niveles, no por grados. La
delimitación de la hora dejaba claro que el TARL formaba parte del trabajo del
profesor, y que no
1966
LA REVISTA ECONÓMICA
JULIO
tienen la potestad de volver a convertirlo en tiempo de clase normal. Esta nueva
versión del programa se evaluó en 400 escuelas durante el curso escolar 20122013; 200 de ellas estaban en el grupo tratado y recibieron el programa. Los
resultados esta vez fueron positivos. Los resultados de las pruebas de hindi
aumentaron en 0,15 desviaciones estándar (significativas al nivel del 1%) (el
programa no cubría las matemáticas).
D. Utilizar las escuelas, pero no los profesores: Campamentos de aprendizaje en la escuela
Un modelo alternativo fue prescindir de los profesores y utilizar voluntarios
para enseñar en las escuelas en un modelo de "campamento de aprendizaje". Los
campamentos de aprendizaje son estallidos intensivos de actividad de enseñanzaaprendizaje con la metodología de Pratham. Los voluntarios y el personal de
Pratham los imparten durante el horario escolar, cuando se suspende
temporalmente la enseñanza regular. Estos campamentos se celebraron durante 50
días al año. En los "días de campamento", los niños de 3º a 5º curso se agrupaban
según su nivel de habilidad y los voluntarios les enseñaban hindi y matemáticas
durante una hora y media.
El modelo se probó en una evaluación aleatoria en Uttar Pradesh en el año
2013-2014. Se seleccionó una muestra de escuelas y se dividió aleatoriamente en
dos grupos de tratamiento de campamentos, un grupo de control y una
intervención de solo materiales, con aproximadamente 120 escuelas por brazo. Los
grupos de intervención de los campamentos de aprendizaje variaron la duración
del campamento: uno recibió cuatro rondas de 10 días de campamento y el
segundo recibió dos rondas de 20 días. Las dos intervenciones tuvieron un impacto
similar, con ganancias en las puntuaciones de los exámenes de entre 0,6 y 0,7
desviaciones estándar.
E. Aumento de la escala
Se necesitaron cinco ensayos controlados aleatorios en la India y varios años
para recorrer la distancia desde el concepto hasta una política que pudiera tener
éxito a escala. Pero ha sido eficaz: desde 2013-2014, cuando concluyó el ensayo
controlado aleatorio de Haryana, las asociaciones formales con el gobierno para
ampliar un modelo "al estilo de Haryana" en las escuelas han llegado a 21,3
millones de niños en todo el país. Y la ampliación no se detuvo ahí. Paralelamente
a los experimentos de( la India, los investigadores evaluaron enfoques similares o
idénticos en África: en Kenia, se realizó un seguimiento de los niños durante dos
años en función de sus calificaciones del primer semestre;
en Ghana, equipos del
)
Ministerio de Educación visitaron Pratham
y el modelo de Pratham se probó en las
(
escuelas. TARL se convirtió en uno de los pocos proyectos seleccionados
por Co)
Impact "una colaboración global para el cambio de sistemas, centrada en mejorar
la vida (de millones de personas en todo el mundo"
para su ampliación masiva a
)
través del gobierno. La figura 4 muestra los lugares de África en los que TARL
África, una empresa conjunta de J-PAL y Pratham, está trabajando con el gobierno
para ampliar la escala de TARL.
IV. Mejorar los programas que funcionan a escala, ayudando al gobierno a
resolver los "problemas de fontanería"
VOL. 110 NO. 7
DUFLO: EXPERIMENTOS DE CAMPO Y LA PRÁCTICA DE LA
Í
1967
Las secciones anteriores nos dan una idea de lo que se necesita para pasar de
una prueba de concepto a una política escalable. Una lección es que se necesitan
muchos experimentos. Otra lección clara es que el papel del investigador no se
limita a dar consejos desde una especie de pedestal. Junto con el gobierno, los
investigadores prueban y se equivocan conjuntamente. Co-crean.
1968
LA REVISTA ECONÓMICA
JULIO
Figura 4. La enseñanza en el nivel adecuado hoy en día
La investigadora no ha sido especialmente útil si sólo proporciona una idea general
sin comprometerse con el confuso proceso de aplicación. La cocreación también se
produce ahora con los gobiernos. Gran parte del trabajo realizado por las filiales de
J-PAL, IPA u otras organizaciones que llevan a cabo ECA, ayuda ahora a los
gobiernos a diseñar y aplicar mejor sus propios programas.
He llamado a este enfoque el enfoque de "fontanería"
Duflo 2017
. En los
(
)
problemas de fontanería, el gobierno no se está preguntando si debe invertir en
salud o en educación, o incluso en alguna intervención en particular. Más bien, se
está planteando una pregunta del tipo: "Estamos llevando a cabo este programa en
particular y hay problemas con él. ¿Qué podemos hacer para resolver estos
problemas y alcanzar nuestros objetivos?"
Tratar de responder a esta pregunta no es el plato fuerte de la mayoría de los
economistas.
Banerjee 2007 escribe que los economistas tienden a pensar en
(
)
"modo máquina'': quieren encontrar el botón para poner en marcha la máquina, e
identificar la causa raíz de lo que hace girar al mundo. Escribe:
La razón por la que nos gustan tanto estos botones, me parece, es que
nos ahorran la molestia de entrar en la máquina. Al asumir que la
máquina funciona por sí sola o no funciona en absoluto, evitamos tener
que ir a buscar dónde se atascan las ruedas y averiguar qué pequeños
ajustes harían falta para que la máquina funcionara correctamente.
Decir que tenemos que pasar a un sistema de vales no nos obliga a
averiguar cómo hacer que funcione: cómo asegurarnos de que los padres
no cambien
los vales por dinero en efectivo porque no dan suficiente
(
valor
no tomen el pelo
) a la educación de sus hijos y de que las escuelas
(
a los padres porque éstos no sepan cómo )es una buena educación. ¿Y
cómo conseguir que las escuelas privadas sean más eficaces? Después
de todo, al menos en la India, incluso los niños que acuden a las escuelas
privadas no se acercan al nivel de la escuela. Y muchos otros detalles
desordenados con los que todo programa real tiene que lidiar.
En cambio, un economista que se preocupa por los detalles de la aplicación de
las políticas debe prestar atención a complicaciones que pueden parecer muy
inferiores a su nivel salarial (por ejemplo, el tamaño de la letra en los carteles) o
que están muy por encima de su nivel de conocimientos (por ejemplo, la
VOL. 110 NO. 7
DUFLO: EXPERIMENTOS DE CAMPO Y LA PRÁCTICA DE LA
1969
Í
complejidad de la elaboración
de los presupuestos públicos en un sistema federal).
Debe aplicar su mente de economista para abordar
1970
LA REVISTA ECONÓMICA
JULIO
incentivos, información, racionalidad imperfecta, etc. Debe vigilar de cerca el
impacto de cualquier cambio recomendado. Lo que hace que este proceso de
aplicación se parezca a la fontanería es que el economista no suele tener ni siquiera
la red de seguridad de un conjunto limitado de supuestos. Sabe que no conocerá
con certeza los factores determinantes del éxito. No obstante, se esforzará al
máximo: utilizando su conocimiento de la ciencia, el conocimiento contextual de
su organización asociada y la experiencia previa. Seguirá existiendo una auténtica
incertidumbre sobre la mejor manera de proceder en muchos detalles, porque la
solución depende de una serie de factores que no son fáciles de cuantificar,
oa
(
veces ni siquiera de identificar, en abstracto. Estas son las "incógnitas
)
desconocidas": todas las cuestiones que no podemos predecir pero que sabemos
que surgirán. En la búsqueda de una buena aplicación de las políticas públicas, el
economista está dispuesto a retocar y volver a probar. Y en presencia de la
incertidumbre, la experimentación sobre el terreno se convierte en su herramienta
preferida: la mejor manera de determinar lo que funciona, y de ajustarlo. Los
responsables políticos también suelen estar dispuestos a experimentar en
cuestiones de aplicación, porque reconocen que no tienen un camino claro.
Un ejemplo de proyecto para mejorar la calidad de la implementación lo ofrece
el programa de distribución de arroz en Indonesia
Banerjee et al. )2018 . Este
(
programa,
( llamado entonces
) Raskin, es masivo y llega a más de 17,5 millones de
hogares. Se financia de forma centralizada pero se administra de forma local.
Como ocurre con muchos programas de esta envergadura, experimenta muchos
problemas de implementación. Por ejemplo, muchos hogares elegibles no reciben
el programa, muchos de los que lo reciben acaban pagando más y recibiendo
menos de lo que deberían, y una parte sustancial del presupuesto del programa se
"escapa" a los bolsillos de los funcionarios responsables de su aplicación. El
resultado es que los beneficiarios potenciales sólo reciben alrededor del 30% de las
prestaciones a las que tienen derecho. El gobierno creía entonces que la mala
información sobre la elegibilidad era una de las principales razones de estos
problemas. Rema Hanna y Ben Olken, codirectores de la oficina de J-PAL en
Indonesia, han establecido una larga colaboración con el gobierno indonesio, lo
que hace que éste plantee con frecuencia este tipo de problemas a J-PAL y
colabore en proyectos de investigación orientados a las políticas. En este caso
concreto, el gobierno quería distribuir tarjetas para
( aumentar el conocimiento sobre
la elegibilidad del programa. Los investigadores Ben y Rema, junto con Abhijit
Banerjee,
Jordan Kyle, y Sudarno Sumarto, líder de un Think Tank indonesio,
)
querían explorar esta idea en un experimento a gran escala que aprovechara el
alcance del programa, dado que la distribución de tarjetas era poco costosa.
Propusieron una evaluación que les permitiera a ellos y al gobierno no sólo saber
si las tarjetas marcaban la diferencia, sino también cómo estructurar el contenido
de la tarjeta y su distribución.
Se plantearon una serie de preguntas pertinentes. ¿Debe la tarjeta informar a los
beneficiarios del precio correcto? ¿Deben recibir una tarjeta física todos los
habitantes de la aldea, o basta con entregarla a un subconjunto de personas pero
publicar la lista completa de beneficiarios? ¿Debería un pueblo estar plagado de
carteles para que, además de que los beneficiarios sepan que pueden optar a la
tarjeta, los funcionarios también sepan que los beneficiarios lo saben, y los
habitantes a su vez sepan que ( los funcionarios saben que ellos lo saben,
y así
)
sucesivamente, creando un "conocimiento común" que podría cambiar la forma de
VOL. 110 NO. 7
DUFLO: EXPERIMENTOS DE CAMPO Y LA PRÁCTICA DE LA
1971
Í
negociar de la gente? ¿Debería
la tarjeta contar con cupones recortados que los
funcionarios deban enviar a sus supervisores para mejorar la percepción de la
responsabilidad?
1972
LA REVISTA ECONÓMICA
JULIO
Cuando el equipo de investigación llevó a cabo el experimento en más de 550
pueblos, evaluó no sólo el impacto de la entrega de una tarjeta, sino que también
respondió a las preguntas anteriores. Los múltiples grupos de tratamiento les
permitieron conocer qué versión de la tarjeta y qué mecanismo de distribución
eran los más eficaces y rentables. Resulta que la mejor estrategia es incluir
información sobre el precio, distribuir la tarjeta a todos y crear un conocimiento
común. La parte de la responsabilidad no era especialmente importante. Esta mejor
estrategia aumentó la aceptación del programa y redujo el precio pagado, lo que
supuso un aumento global del 26% en el valor de la subvención recibida por los
hogares que cumplían los requisitos.
Como esta intervención se evaluó en respuesta al interés y la demanda del
gobierno indonesio, se amplió casi inmediatamente a más de 60 millones de
familias participantes. Esta ampliación, realizada inmediatamente después de la
investigación, fue posible gracias a la estrecha colaboración entre el J-PAL y el
gobierno, así como al hecho de que supuso la ampliación de operaciones que ya se
estaban realizando a gran escala en el mismo contexto. Al meterse "dentro de la
máquina", los investigadores encontraron una manera inmediatamente relevante de
hacerla funcionar.
Por supuesto, el proyecto también aportó conocimientos que pueden resultar
útiles en otros contextos. En particular, demostró el papel clave de la información
específica y verificable sobre el proceso de negociación entre los beneficiarios y
los funcionarios públicos. Los proyectos de "fontanería" similares suelen aportar
lecciones más generales que pueden aplicarse
( en otros contextos o en otros tipos
de programas con
) un mayor ajuste, y quizás un nuevo experimento.
Hoy en día, este tipo de colaboración directa con el gobierno constituye una
forma muy importante en la que los investigadores de ECA desempeñan un papel
en el proceso político. Podría citar varios ejemplos similares, pero mencionaré sólo
uno más. Destaca un escenario en el que la estrecha colaboración entre los
investigadores y el gobierno, un buen conocimiento de la economía y un excelente
conocimiento de las instituciones locales acabaron por reformar la política a nivel
estatal.
En este proyecto, Michael Greenstone, Rohini Pande, Nick Ryan y yo
colaboramos con la Junta de Control de la( Contaminación
de Gujarat (GPCB) para
)
ayudarles a reformar y reactivar un sistema de auditoría medioambiental de
terceros. Gujarat es el estado indio con mayor crecimiento industrial y, en parte
como consecuencia, es también el estado con mayor crecimiento de la
contaminación. Algunos de los lugares más contaminados del planeta están en
Gujarat. Hace unos años, el Tribunal Supremo ordenó al Gobierno que estableciera
(
un sistema
de
auditoría
de
terceros,
en
el
que
cada
planta
de
los
sectores
altamente
)
contaminantes tendría que obtener y pagar una auditoría anual administrada a
través de una empresa privada. El informe de la auditoría se compartiría con la
GPCB, que podría imponer sanciones. Esta es una gran idea en principio, ya que
obliga a quien contamina a pagar y permite al gobierno aprovechar las
competencias privadas que no posee. Pero, por desgracia, la estructura del
programa creó un conflicto de intereses natural entre el auditor y la empresa: dado
que la empresa elige contratar y pagar al auditor, éste tiene todas las razones para
darle el visto bueno. Esta disfunción era de dominio público al comienzo de nuestra
colaboración con el GPCB. Las empresas asociadas llegaron a demandar al
gobierno para que eliminara el sistema, argumentando
que la
(
) información
VOL. 110 NO. 7
DUFLO: EXPERIMENTOS DE CAMPO Y LA PRÁCTICA DE LA
1973
Í que las auditorías sólo acababan sirviendo como un
recopilada era tan inútil
impuesto más.
Un abogado del GPCB inició el contacto con una de nosotras, Rohini Pande,
durante una visita a la Harvard Kennedy School. Estaban interesados en reformar
el sistema para
1974
JULIO
LA REVISTA ECONÓMICA
Auditorías
20
Masa: 0.3913
Porcent
15
10
5
0
0
100
200300400
Controles de espalda
20
Masa: 0.1449
Porcent
15
10
5
0
0
100
200300400
Figura 5. Informes de contaminación frente a la realidad
darle más fuerza. Para comprobar que el sistema no funcionaba, empezamos a
recopilar "datos de comprobación" de las empresas auditadas. Como parte de estos
"controles retrospectivos", enviamos
un segundo equipo de auditores compuesto
(
por estudiantes y )profesores de una facultad de ingeniería local para que
recopilaran
contaminante examinado en la auditoría
( información sobre el mismo
)
original realizada por la empresa privada. Como se ilustra en la figura 5, había un
marcado contraste entre el informe de la auditoría y el control posterior. Mientras
que la mayoría de los informes de auditoría mostraban niveles de contaminación
justo por debajo del umbral aceptable, los niveles reales de contaminación eran
muy diferentes. En el control a posteriori, muchas empresas contaminaban mucho
más que en la auditoría original, mientras que otras contaminaban mucho menos.
Es evidente que los auditores ni siquiera se molestaron en visitar las plantas para
recoger muestras: se limitaron a inventarse una cifra que parecía plausible. Esto
tenía la ventaja adicional de que la auditoría era muy barata... la tarifa( de un
informe de auditoría ni siquiera era suficiente para cubrir el coste de las pruebas de
las muestras.
Tras extensas conversaciones con el GPCB durante muchos meses, que se
convirtieron en una fructífera colaboración durante varios
años, propusimos una
)
solución en tres partes para aliviar el aparente conflicto de intereses y hacer que el
auditor fuera leal a la sociedad en lugar de a la empresa auditada. En primer lugar,
propusimos romper el vínculo financiero entre la empresa auditada y el auditor,
creando un fondo central del que se pagaría a los auditores. En segundo lugar,
propusimos que el auditor se sintiera responsable de la exactitud. En el primer año,
esto se consiguió amenazando con interrumpir su participación en el programa en
caso de baja precisión, y en el segundo año recompensándoles con un pago más
alto por una alta precisión. En tercer lugar, empezamos a medir la precisión
mediante controles retrospectivos. Diseñamos un ensayo controlado aleatorio para
VOL. 110 NO. 7
DUFLO: EXPERIMENTOS DE CAMPO Y LA PRÁCTICA DE LA
1975
Í
probar este nuevo sistema:
las empresas elegibles para la auditoría fueron
asignadas aleatoriamente al sistema de statu quo o al nuevo sistema.
Comprobamos que los informes de auditoría eran
1976
JULIO
LA REVISTA ECONÓMICA
Partículas en suspensión, mg/Nm3
Control, Línea media
Porcent
20
Masa: 0.7297
10
0
100
Controles de espalda
20
Porcent
200300400
Masa: 0.1892
10
0
100
200300400
Figura 6. Impacto de la reforma
mucho más precisa con el nuevo sistema. Esto se ilustra en el caso de un
contaminante concreto en la figura 6, donde mostramos que el nuevo sistema hace
que desaparezca el exceso de masa de las empresas que supuestamente contaminan
justo por debajo del nivel aceptable. Además, tal vez debido a un mayor
control, la
(
contaminación medida en una
) encuesta final independiente también disminuyó,
especialmente
en el
(
) caso de los peores infractores Duflo et al. 2013 .
Sobre la base de estos resultados, el GPCB logró convencer al tribunal y a la
administración estatal para que cambiaran las normas que rigen la aplicación del
sistema. Estos cambios entraron en vigor en 2015, con nuevas directrices que
exigen la asignación aleatoria de los auditores medioambientales a las empresas,
instituyendo controles de antecedentes e imponiendo un baremo de honorarios.
En este ejemplo, combinamos un conocimiento básico de los principios
económicos fundamentales con un profundo conocimiento
de las realidades sobre
(
el terreno, obtenido a partir de extensas
entrevistas cualitativas con el personal del
)
GPCB, para ayudar al gobierno a rediseñar las normas con el fin de resolver un
problema de fontanería muy específico: garantizar que el sistema de auditoría
lograra sus objetivos declarados.
La colaboración entre el GPCB y el equipo de investigación no se detuvo en
esta única política. En otro proyecto, estudiamos tanto el impacto de las
inspecciones como la
( forma óptima de asignarlas de
) ( forma aleatoria o) utilizando la
discrecionalidad (Duflo et al. 2018 . En contra de nuestro propio
) instinto y del de
muchos economistas y responsables políticos , descubrimos que el personal de la
GPCB tiene y utiliza información significativamente relevante para "pescar" a los
peores infractores por contaminación. Por lo tanto, sería ineficaz exigirles que
hicieran la primera inspección al azar. En la actualidad, Rohini Pande, Michael
Greenstone y Nick Ryan siguen trabajando con la GPCB; están poniendo a prueba
un novedoso régimen de comercio de derechos de emisión que podría servir de
modelo para la India y otros países.
La escala y la ambición de la colaboración de los investigadores con el GPCB
VOL. 110 NO. 7
DUFLO: EXPERIMENTOS DE CAMPO Y LA PRÁCTICA DE LA
1977
Í un conjunto de recomendaciones. Al establecer una
van mucho más allá de
relación a largo plazo basada en
VOL. 110 NO. 7
DUFLO: EXPERIMENTOS DE CAMPO Y LA PRÁCTICA DE LA
Í
1971
La confianza y la colaboración les permiten poner a prueba ideas que serían
imposibles de aplicar y probar en cualquier otro entorno. Contar con colaboradores
en la investigación también permite al gobierno probar cambios políticos que, de
otro modo, no tendrían el ancho de banda necesario para aplicar.
La relación entre la investigación y el gobierno también ayuda a los burócratas y
a los políticos a crear un espacio para la innovación en el proceso de elaboración de
políticas: con la experimentación explícita, tienen licencia para probar cosas nuevas
o hacer cosas diferentes. Ya no tienen que inflar los beneficios de un proyecto
recomendado, porque puede cerrarse si no produce los beneficios esperados. El
fracaso ya no está estigmatizado. Esta cultura del aprendizaje será quizá la
influencia política más profunda y duradera del J-PAL. El éxito final, por supuesto,
sería que esta cultura de la innovación y del ensayo y error estuviera tan arraigada
que se produjera incluso en ausencia de J-PAL.
Por supuesto, el objetivo final de este tipo de trabajo político es llegar a un
punto en el que, como organización, seríamos en gran medida irrelevantes, porque
la cultura del aprendizaje y la capacidad para hacer este trabajo estarían tan
extendidas que los gobiernos se harían cargo de todo el proyecto por sí mismos.
Estamos trabajando en ello: por eso el tercer pilar de J-PAL es la formación. La
formación adopta muchas formas, desde cursos ejecutivos breves hasta cursos en
línea de un semestre de duración, e incluso un programa de máster mixto en el
MIT, llamado "Datos y Economía para la Política de Desarrollo", en el que los
estudiantes toman clases en línea durante un semestre, sobre la base de las cuales
son admitidos en el MIT. Para ser completamente honestos, estamos lejos del punto
en el que podemos declarar nuestro trabajo terminado y cerrar nuestras oficinas.
Pero hay signos de progreso. En Perú, el Ministerio de Educación creó una unidad
llamada "Laboratorio del Minedu" que se dedica a la innovación y evaluación de
políticas y participa activamente en los ECA. En Tamil Nadu (India), el gobierno
tiene un memorando de entendimiento con el J-PAL desde hace tiempo, por el que
los departamentos o los investigadores pueden proponer innovaciones políticas
para probarlas e innovarlas. Cada una de estas asociaciones nos acerca a un mundo
en el que nuestra influencia política ulti- mática será que ya no se nos necesita.
V. Conclusión: Un premio para un movimiento
Debería quedar claro en esta conferencia que no me convertí ni en el tipo de
académico ni en el tipo de agente de cambio que soñaba ser. No he marcado la
diferencia a través de la búsqueda solitaria de la ciencia. Y no soy un salvador o un
héroe. La única razón por la que conseguimos cambiar la práctica de la economía,
(
)
como describe Abhijit Banerjee 2019 en su conferencia, o la práctica de la política,
como describo aquí, es porque formamos parte de un movimiento. Este
movimiento no está constituido únicamente por académicos: aunque el académico
desempeña un papel clave, ni siquiera podría hacer su trabajo sin sus socios, y su
personal, que a menudo tiene mucha más experiencia que ellos sobre las realidades
del terreno.
En cada uno de los proyectos que se describen aquí participaron numerosas
personas: investigadores, asistentes de investigación y personal de campo, la
dirección y el personal de J-PAL, y los dirigentes y el personal de las ONG. Estas
personas son a veces, pero no siempre, coautoras del documento final, pero su
papel nunca empieza ni termina con el documento. Son esenciales en cada paso,
1970
LA REVISTA ECONÓMICA
JULIO
para preparar el proyecto, ponerlo en práctica y garantizar su seguimiento.
Esta conferencia no estaría completa si no intentara enumerar a las personas que
participaron en estos proyectos. Cuando pronuncié la conferencia en Estocolmo,
pedí a los
VOL. 110 NO. 7
DUFLO: EXPERIMENTOS DE CAMPO Y LA PRÁCTICA DE LA
Í
1971
presentes y asociados a nuestro movimiento para levantarse. La versión escrita me
da la oportunidad de incluir a muchos otros que no estuvieron con nosotros en
persona.
Esta lista es necesariamente parcial: sería imposible dar una lista completa del
personal de campo. Y, por supuesto, se trata sólo de un pequeño conjunto de
proyectos de un cuerpo de trabajo mucho más amplio. Pero incluso este esfuerzo
parcial debería dar una buena idea de hasta qué punto la esencia de estos proyectos
es colectiva.
Investigadores: Manuela Angelucci, Orazio Attanasio, Britta Augsburg,
Rukmini Banerji, James Berry, Emily Breza, Shawn Cole, Ralph De Haas,
Pascaline Dupas, Rachel Glennerster, Michael Greenstone, Rema Hanna, Heike
Harmgart, Harini Kannan, Dean Karlan, Stuti Khemani, Cynthia Kinnan, Michael
Kremer, Jordan Kyle, Leigh Lindon, Costas Meghir, Shobhini Mukerji, Andrew
Newman, Benjamin Olken, Rohini Pande, Nicholas Ryan, Marc Shotland, Sudarno
Sumarto, Michael Walton y Jonathan Zinman.
Dirección del J-PAL y del IPA: Iqbal Dhaliwal, Rachel Glennerster, Annie
Duflo, Shobhini Mukherjee, Tithee Mukhopadhyay, Ruben Menon, Shagun
Sabarwal.
Liderazgo de Pratham, Spandana y Al Mama: Fouad Abdelmoumni, Madhav
Chavan, Rukmini Banerji, Pratima Bandekar, Lekha Bhatt, Shekhar Hardikar,
Rajashree Kabare, Aditya Natraj, Padmaja Reddy, y muchos otros.
Responsables políticos y funcionarios del gobierno: Santhosh Matthew, Mitra
Samya, el Equipo Nacional Indonesio para la Aceleración de la Reducción de la
Pobreza, Bambang Widianto, Suahasil Nazara, Sri Kusumastuti Rahayu y Fiona
Howell.
Organizaciones financiadoras (incluido el personal clave que interactuó con
nosotros): Amrita
Ahuja Marshall Family )Foundation ; Dana
Schmidt Hewlett
(
(
)
Foundation , Smita
Singh Hewlett Foundation
, Lynn (Murphy Hewlett Foundation
(
)
)
, Ward Heneveld
Hewlett Foundation
; International Initiative of Impact
(
)
Evaluation; Institut Veolia Environment, DFID, The AFD, The Australian
Government, the National Science Foundation, the Government of Haryana, the
Regional Centers for Learning on Evaluation and Results, the ICICI corporation,
the World Bank, the Alfred P. Sloan Foundation, and the John D. and Catherine T.
MacArthur Foundation, el Sustainability
(
) Science Program SSP , el Harvard
Environmental Economics Program, el Center for Energy and Environmental
(
)
Policy Research CEEPR , la International Initiative( for) Impact Evaluation 3ie , el
International
(
)Growth Centre IGC , The Vanguard Charitable Endowment Program,
Spandana, J-PAL, Agence Francaise de Developpement, Trust Fund for
Environmentally and Socially Sustainable Development (TFESSD) y la iniciativa
DIME del Banco Mundial.
Miembros clave del personal y asistentes de investigación para esos proyectos:
Parul Agarwal, Angela Ambroz, Adie Angrist, Vipin Awatramani, Sugat
Bajracharya, Tamayata Bansal, Bruno Barsanetti, Susanna Berkouwer, Jim Berry,
1970
LA REVISTA ECONÓMICA
JULIO
Shaher Bhanu Vagh, Nandit Bhatt, Ozgur Bozcaga, Janjala Chirakijja, Logan
Clark, Ofer Cohen, Aparna Dasika, Anupama Deshpande, Diva Dhar, Eric Dodge,
Madeline Duhon, Leonardo Elias, Harris Eppsteiner, John Firth, Blaise Gonda,
Nick Hagerty, Jonathan Hawkins,
VOL. 110 NO. 7
DUFLO: EXPERIMENTOS DE CAMPO Y LA PRÁCTICA DE LA
Í
1971
Zoe Hitzig, Shehla Imran, Seema Kacker, Dan Keniston, Nurzanty Khadijah,
Chaerudin Kodir, Dhruva Kothari, Gabriel Kreindler, Sanjib Kundu, Zakia
Lalaoui, Christian Larroulet, Alyssa Lawther, Eric Lewis, Taylor Lewis, Tracy Li,
Yuanjian Li, Adrien Lorenceau, Lina Marliani, Jonathan Mazumdar, Richard
McDowell, Jacqueline Merriam, Aditi Nagaraj, Sam Norris, Purwanto Nugroho,
Aurélie Ouss, Cecilia Peluffo, Mukesh Prajapati, Manaswini Rao, Kevin Rowe,
Hector Salazar Salame, Mitra Samya, Wayne Sandholtz, Paribhasha Sharma,
Kartini Shastry, Joseph Shields, Marc Shotland, Zakaria Siddiqui, Bondan Sikoki,
Freida Siregar, Stefanie Stantcheva, Sneha Stephen, Laura Stilwell, Cecep
Sumantri, Yuta Toyama, Yashas Vaidya, Pankaj Verma, Melanie Wasserman, He
Yang, Fatim-Zahra Zaim y Gabriel Zucker.