Enfoques y prácticas en la evaluación de programas

Varios Autores

• Editorial: Editorial Pontificia Universidad Javeriana
• Año: 2015
• ISBN del libro electrónico: 9789587168839
• Edición: 1
• Categoría: Medicina
• Categoría: Teoría, práctica y referencia médicas

En esta traducción de 'Approches et pratiques en évaluation de programmes' el lector encontrará herramientas importantes para la reflexión y práctica de la evaluación de efectividad, así como para hacer frente a desafíos teóricos y metodológicos propios de la investigacion evaluativa en intervenciones de naturaleza social. Esta obra condensa el esfuerzo de diversos autores, los cuales comparten los resultados de sus experiencias en diversos países, con el fin de cerrar la brecha entre teoría, práctica y toma de decisiones. Las publicaciones sobre evaluación, escritas en español, son escasas y poco fundamentadas. Por esto, quisiera felicitar a los profesores Válery Ridde y Christian Dagenais, directores de este trabajo, por el esfuerzo de convocar, organizar y disponer para la consulta diversas perspectivas sobre la teoría y práctica de la evaluación. A los estudiantes, docentes, investigadores y profesionales interesados, los invito a realizar una rigurosa lectura de esta obra que los motivará a fortalecer la evaluación como instrumento de política social. Ligia de Salazar, Ph.D, Directora Fundesalud, Profesora titular (jubilada), Escuela de Salud Pública, Universidad del Valle, Colombia

1. Introducción general a la evaluación de programas

Valéry Riddey Christian Dagenais

La evaluación no es un asunto o un tema nuevo. En el Antiguo Testamento se cuenta que en la corte de Nabucodonosor, rey de Babilonia, el jefe de los eunucos hizo una evaluación que calificaremos cuasi experimental (véase los capítulos 6 y 9). Se trataba de estudiar los efectos diferenciados de una dieta en la salud de los niños hebreos de la corte. Pero más allá de la leyenda, hay que reconocer que el campo de la evaluación de programas se ha desarrollado sobre todo durante los últimos treinta años. El origen de la práctica y la investigación en esta materia se sitúa fundamentalmente en el ámbito de la educación. Los educadores se interrogaron sobre la influencia que podían tener sus cursos en los conocimientos adquiridos por sus alumnos. Al cambiar de objeto, pasando de las habilidades y los conocimientos adquiridos por los individuos a los programas que organizaban esa transmisión, el campo de la evaluación se transformó para volverse mucho más interdisciplinario, e incluso transdisciplinario para algunos. Por lo tanto, cuando se trata por primera vez el campo de la evaluación de programas, nos damos cuenta de que hay muchas maneras de concebirlo. Si usted consulta cinco libros de referencia, puede encontrar cinco formas diferentes de definir la evaluación y sus conceptos. Se trata, en efecto, de una disciplina cuyos conceptos y práctica aún no han sido claramente codificados. Por esta razón muchas sociedades nacionales de evaluación aún tratan de establecer estatutos, códigos de conducta, normas de práctica o de competencias esenciales, mientras que otras apenas los han adoptado desde hace poco (véase el capítulo 12). También por esta razón es conveniente establecer una política común de evaluación o incluso el glosario de términos que se utilizarán cuando se desea fortalecer las capacidades y las prácticas evaluativas.

La presente introducción se basa en nuestra propia experiencia de la enseñanza, en nuestra práctica de la evaluación en una gran variedad de contextos y en diversas problemáticas. No se trata, de ninguna manera, de sugerir una nomenclatura definitiva o superior a otras. Nuestro objetivo es mucho más modesto, y consiste en presentar a los lectores el campo de la evaluación de programas con el fin de facilitarles la lectura de los distintos capítulos de este libro, o incluso remitirlos a las referencias claves en este campo.

LAS CORRIENTES DE PENSAMIENTO: UNA BREVE HISTORIA DE LA EVALUACIÓN

Existen numerosas corrientes de pensamiento en el ámbito de la evaluación, y la forma en que los evaluadores se representan el mundo (su paradigma) determina en gran medida las preguntas que se plantean y las estrategias que emplean para responderlas (Bégin et al., 1999). Nuestros valores, creencias e intereses interfieren, sin duda, en nuestras prácticas profesionales. En el caso que nos ocupa, determinan las opciones teóricas y metodológicas de la evaluación. No es cuestión de examinar en detalle los grandes paradigmas epistemológicos, pero es esencial hablar brevemente al respecto para que el lector, evaluador presente o futuro, pueda interrogarse a su vez sobre sus propias decisiones.1 Para definirlo de una forma sencilla, un paradigma, de acuerdo con la definición clásica de Thomas Kuhn, es un sistema de creencias compartido por la mayoría de individuos que trabajan en el seno de una misma disciplina.2 Este sistema de referencia es un marco que orienta los temas, los métodos (véase el capítulo 7) y la manera de dar sentido a los datos que se recopilan. Siguiendo a Levy, Gendron (2001) plantea que un paradigma está compuesto de cuatro campos interrelacionados.

Figura 1.1. Los cuatro campos constitutivos de un paradigma

Fuente: Gendron, 2011

• El campo epistemológico remite a la visión de mundo del evaluador, a la legitimidad de los análisis que produce y sobre todo a su relación (y su distancia) con los datos que recoge y analiza (subjetividad en contraste con objetividad).
• El campo ontológico abarca la naturaleza del mundo vivido y la comprensión que se tiene de la posible manipulación por parte del evaluador de las entidades físicas o mentales. Se trata aquí de la construcción de la realidad (una única realidad en contraste con varias).
• El campo metodológico reúne las técnicas que emplea el evaluador para comprender el mundo vivido.
• El campo teleológico agrupa las cuestiones relacionadas con los fines de la evaluación y con los intereses e intenciones de los evaluadores de un programa.

El paradigma en el que se inscribe el evaluador, determina los métodos utilizados para responder a las preguntas de evaluación planteadas por los responsables de un programa. Algunos evaluadores, llamados positivistas, no pueden creer en la efectividad de un programa a menos que haya sido posible comparar sus efectos, como en un laboratorio, en un grupo de participantes (casos) y un grupo de no participantes (controles), tras determinar de forma aleatoria la pertenencia de esas personas a estos grupos (véase el capítulo 6). Otros evaluadores, más bien constructivistas, por el contrario sostienen que es imposible aislar los efectos de un programa de su entorno, y que es necesario emplear una metodología que permita señalar estas interacciones. Consideran, entonces, que en el caso de los programas sociales es imposible reproducir las condiciones de laboratorio. Sostienen también que todo conocimiento sobre los efectos de un programa es construido en forma conjunta por los actores sociales en cuestión. Estos evaluadores constructivistas asumen plenamente la subjetividad de su juicio, ya que consideran que la objetividad que reivindica el campo de saber positivista es inalcanzable. Los partidarios del enfoque realista de la evaluación (Blaise et al., 2010), al optar por una perspectiva epistemológica intermedia, postulan por su parte que la realidad existe fuera de las construcciones humanas, pero que solo es perceptible a través de nuestros sentidos (véase el capítulo 14).

Diferentes corrientes de pensamiento de la evaluación se han desarrollado a lo largo de la historia. Una manera de describir esta historia, de acuerdo con Shaw y sus colegas (2006), es proponer la existencia, a veces concurrente, de cuatro generaciones de evaluación (Guba y Lincoln, 1987). La primera generación es la de la medición, en la que el evaluador es un especialista. La segunda, es más bien de orden descriptivo: el evaluador se centra principalmente en los procesos que permiten la aparición de los efectos observados. En la tercera generación, el reto del evaluador consiste en emitir un juicio sobre los resultados obtenidos en relación con los objetivos iniciales. Finalmente, en la década de 1970 apareció una cuarta generación que pretendía ser mucho más interactiva. Los evaluadores se sirven de la negociación, convirtiéndose en facilitadores entre los organismos implicados. No solo se trata de reconocer el punto de vista y los valores del conjunto de los actores en cuestión, sino también de procurar que ellos sean parte integrante de este proceso. En otras palabras, se trata de evaluaciones pluralistas cuyo enfoque participativo, descrito más abajo, es una de las estrategias con gran potencial (véase el capítulo 13).

LA EVALUACIÓN DE PROGRAMAS: UNA DEFINICIÓN

En lugar de comenzar con una definición académica, les proponemos una breve estancia bajo el sol de un país de África occidental. En un radiante día de enero, un experto quebequense anima una sesión de capacitación en evaluación de programas en Burkina Faso. Esta sesión es organizada para las parteras y técnicos de una organización no gubernamental (ONG) que implementa un programa de maternidad denominado “de bajo riesgo”. Al comenzar la formación en evaluación de programas, el experto pregunta a las participantes qué palabras asocian con el término “evaluación”. Se menciona el control, la auditoría, la medición, la verificación, entre otros términos. Los canadienses presentes en la sala aluden a la idea de la rendición de cuentas. Este léxico no sorprende al instructor, puesto que aún hoy en día, muchos asocian la evaluación principalmente con funciones de control que asignan calificaciones buenas o malas a un programa... y a los responsables del mismo. Luego, el experto pregunta: “¿a qué temperatura estamos hoy?”. Las funcionarias de la salud consideran que hace algo de frío, los expatriados canadienses que hace calor y el experto quebequense que acaba de llegar estima que hace mucho calor. “¿Cómo han hecho ustedes para estimar la temperatura y decir que hace frío o calor?”. Todos responden de manera diferente a la pregunta del experto: “es invierno”, “miré el termómetro”, “comparé con la temperatura del día anterior”, “hoy estoy sudando mucho más que ayer”, “esta es la temporada fresca”. A continuación, todos los participantes aceptan que eligieron sus prendas de vestir de acuerdo con la temperatura de aquella mañana. Los asistentes a este taller de capacitación tomaron entonces conciencia del hecho de que la evaluación es un acto que permite hacer una valoración (frío, caliente, templado) según un enfoque crítico basado en la recopilación sistemática de datos (temperatura, sudoración, temporada) en relación con múltiples objetos (la temperatura) con el fin de tomar decisiones (cómo vestirse).

Algunos autores sostienen que la apreciación valorativa de un programa debe hacerse de acuerdo con un enfoque científico o mediante el uso de métodos científicos. Nosotros preferimos no emplear el término “científico”, ya que en nuestra práctica de la evaluación esta palabra siempre ha tendido a crear cierta distancia con respecto a las partes involucradas en la evaluación. El evaluador es percibido, de manera inmediata, como un “investigador”, con todas las connotaciones que, con razón o sin ella, se asocian a este término. Por otra parte, aludir a la ciencia perpetúa la dificultad que tiene la mayoría de autores para diferenciar la investigación de la evaluación (capítulo 2). A nuestro juicio, la diferencia fundamental entre la investigación y la evaluación es que el objetivo principal de la primera es la producción de conocimiento, mientras que el objetivo de la segunda es proporcionar una información útil sobre el funcionamiento de un programa o la toma de decisión al respecto.

Obviamente, las cosas no siempre son tan tajantes: a veces se pueden producir conocimientos con la ayuda de una evaluación, o tomar decisiones como consecuencia de los trabajos de investigación. Sin embargo, la decisión de no definirla explícitamente como una ciencia no significa que la evaluación sea un enfoque frívolo en el cual la apreciación que se hace del objeto programa no es válida. Al contrario, el rigor y la sistematización son sus dos valores emblemáticos.

La analogía con el clima es simple, pero lo suficientemente clara para definir el acto de evaluación y garantizar que las personas con las que vamos a trabajar no la perciban como un proceso de control (aunque algunas veces pueda ser así). Evaluar la temperatura es un poco más sencillo que evaluar un programa, sobre todo cuando este es tan complejo como la mayoría de intervenciones sociales (véase el capítulo 14). Pero ¿cómo puede definirse un programa? Aquí también confluyen una multitud de definiciones. Destacamos la de Plante (1994) que, aunque un poco larga, tiene el mérito de definir con claridad los límites de lo que constituye un programa:

[Un programa es un] todo coherente, organizado y estructurado con objetivos, medios y personas que lo dirigen. Se justifica tomando como base las necesidades definidas como una carencia o una falta que afecta a los individuos, una comunidad o una sociedad. Está bajo el control de una o más personas responsables de la calidad de su formulación y de su funcionamiento. Se crea para transformar las cosas o el estado de una cosa.

La palabra clave de esta definición es transformación. En efecto, no sirve de nada desarrollar un programa de maternidad de bajo riesgo si este solo tiene como objetivo construir maternidades, capacitar parteras o redactar protocolos terapéuticos. Lo que se pretende, ante todo, es la obtención a corto plazo de una mejor calidad de la atención a las madres y sus hijos recién nacidos y, a más largo plazo, la reducción de la mortalidad materna e infantil (véase el capítulo 18). También es necesario entender que todo programa puede producir cambios inesperados de los que los evaluadores también deben dar cuenta (Morell, 2010). Estos efectos podrían haberse previsto o no, ser beneficiosos, neutrales o perjudiciales para los participantes.

Aunque las fronteras no siempre son fáciles de trazar, este libro se ocupa de la evaluación de programas, y deja de lado la evaluación de las prácticas profesionales, del conocimiento individual o incluso de las políticas públicas.

Más allá de los aspectos co...

Índice

• Portada
• Portadilla
• Créditos
• Siglas y abreviaturas
• Presentación
• PRIMERA PARTE Conceptos y enfoques
• 1. Introducción general a la evaluación de programas
• 2. Investigación y evaluación de programas*
• 3. La construcción de un juicio
• 4. El análisis de las políticas públicas
• 5. La construcción del modelo lógico de un programa
• 6. Atribución y causalidad de los efectos
• 7. Los métodos mixtos*
• 8. La evaluación centrada en la utilización
• 9. Una estrategia para hacer frente a las limitaciones inherentes a la práctica
• 10. Teoría y prácticas de los estudios de caso en evaluación de programas
• 11. Una introducción a la evaluación económica de programas
• 12. El fortalecimiento de las capacidades en el campo de la evaluación
• 13. Conceptualizar y medir la participación en la evaluación*
• 14. Teoría y práctica del enfoque Realist para la evaluación de programas*
• SEGUNDA PARTE Prácticas evaluativas
• 15. Una evaluación participativa con fortalecimiento de la capacidad de los actores implicados
• 16. Una evaluación de las necesidades de capacitación de los interventores en prevención
• 17. Una evaluación de los procesos de un programa de protección de la juventud
• 18. Una evaluación de los procesos de un programa de remisión-evacuación en Malí
• 19. Una evaluación de la eficacia de un programa de capacitación
• 20 Una evaluación de los efectos de un programa de reducción de los conflictos en los niños
• 21. Una evaluación de implantación en Burkina Faso con un método mixto
• 22. Una evaluación de la implantación y eficacia de un programa destinado a los niños y sus familias
• Glosario