La Evaluación de los programas
Muy buenos días a todos! sean bienvenidos y bienvenidas al episodio 87 del Podcast de la Matriz de Indicadores para Resultados desde ABBA INSADISA.
El día de hoy, platicaremos sobre una porción del libro «Antología de la Evaluación» que me pareció excelente y necesario de difundir entre toda la audiencia.
El inicio
La historia comienza con un Programa para ayudar a las personas a dejar de fumar, el cual consiste en que se llama a unas 100 personas cada mes para que participen en tres sesiones de actividades grupales.
¿Cómo saber el avance del programa?
Resulta que el programa citado ha operado ya por un año, y entonces el personal a cargo se hace la siguiente pregunta. ¿Cuál es el grado de avance? ¿Las personas que atiende el programa, realmente dejaron de fumar y se mantienen alejadas del cigarro?
La respuesta es que no se sabe, ya que nunca se han entrevistado a los participantes que participaron en el programa… así que los operadores del programa deciden hacer una Evaluación para saber si alcanzaron los objetivos: que las personas participantes dejen de fumar.
Asimismo, el libro afirma que en este caso, la Evaluación es relativamente sencilla, porque está claro el indicador de éxito: que los participantes dejen de fumar, ya que dejar el cigarro mejora la calidad de vida, y los pulmones, y corazón, etc. etc.
Las llamadas telefónicas y los dilemas de medición
Por lo que la historia continúa, el personal revisa las listas de asistencia de la semana anterior (ojo, la semana anterior) y los llama por teléfono y les pregunta que si dejaron de fumar, y el 47% responde que sí.
No obstante lo anterior, varios miembros del personal opinan que una semana es un periodo muy corto de tiempo y pudo haber sido que lo hayan dejado pero el punto es que no vuelvan a ser presa del vicio.. así que se recomiendan hablar a los participantes de los primeros tres meses del programa, ya ha pasado casi un año y se interesan en conocer los resultados.
Así lo hacen y resulta que el 39% dejó de fumar; Los entrevistadores se preguntan ¿si ese porcentaje es bueno? A lo que narra el libro que un miembro del equipo de evaluación les recuerda a sus colegas que muchas personas dejan de fumar sin ayuda alguna y pudo haber sido que les hubiera ido bien sin inscribirse al programa.
Por lo tanto, el equipo decide llamar a los amigos fumadores que conocen para hacerles la misma pregunta: ¿Dejó de fumar? y resulta que solo el 2% de ellos lo logró. Así que un evaluador exclama: «Lo ven?, nuestro programa sí produjo cambios».
Sin embargo, otro colega objeta que la comparación no es justa, ya que las personas que asistieron al programa estaban motivadas para dejar de fumar, mientras que las últimas personas evaluadas no.
¿Entonces… como encontrar personas que se encuentren motivadas a dejar de fumar que no asistieron al programa? Lo intentaron hacer comparando los resultados con otro programa similar, pero lo descartaron porque deseaban saber si el programa funcionaba, no se es peor o mejor que otro.
Los grupos de control
Por otro lado, alguien que conoce sobre investigación, sugiere establecer un grupo de control de asiglación aleatoria, en el que incluirán a personas con la misma motivación para dejar de fumar. Así que de las siguientes 200 solicitudes para ingresar al programa, aceptarán al azar 100 y a las 100 restantes les indicarán que ya no hay lugar sino hasta el próximo mes.
El libro narra que una vez trasncurrido ese periodo, las respuestas a las entrevistas telefónicas relevan que el 46% del grupo del programa dejó de fumar, mientras que solo el 15% del grupo de control lo logró. El personal ahora cree que tienen un dictamen final, las personas que no participaron en el programa fracasaron en su intento por dejar de fumar; pero no es del todo real, que tal si no lo intentaron dejar porque sabían que iban a ser aceptados en el programa el siguiente mes? o que tal si buscaron ayuda en otro programa, eso aumentaría el número de quienes lograron dejar de fumar.
Y en ese momento surge otro dilema, «haber, qué significa que hayan dejado de fumar», que lleva un día sin fumar? una hora?. Me recuerdo en las campañas que me tocó participar de «Chécate, Mídete, Muévete» (Unidos por tu salud), a los participantes se les hace una breve encuesta en el módulo de recepción y una pregunta es precisamente si es fumador, y recuerdo que una persona me dijo que «no era fumadora», y le volví a preguntar que hace cuánto dejó el cigarro, a lo que me respondió: «Hace 5 minutos».
Regresando a la historia del libro, alguien más sugiere plantear más preguntas sobre cuánto ha fumado la persona desde que salió del programa, no solamente si «dejó de fumar».
¿Desanimados?
Hasta este punto el equipo se encontraba desanimado, aún más dice el libro, cuando la Directora de la Institución puso en tela de juicio si las personas entrevistadas decían la verdad en sus respuestas, que tal si mienten para que no se sientan mal quienes se encuentran a cargo del programa. «Se debería constatar su respuesta con familiares o amigos, o incluso hacer prueba de saliva para detectar la presencia de nicotina».
Pero alguien objetó que no cuentan con el tiempo ni dinero necesarios para realizar un estudio tan elaborado y preguntó ¿qué se podía hacer con los recursos disponibles actualmente.?
Conclusión
Finalmente, el libro cierra este fragmento, motivando al lector que continúe leyendo, ya que al término del mismo, se espera que el lector pueda ayudar al equipo de evaluación a tomar decisiones razonables con respecto a qué acciones realizar en la siguiente etapa. Si te interesa conocer más acerca de cómo medir este tipo de programas para dejar de fumar, puedes consultarlo en las referencias del libro «Antología sobre Evaluación».
Nos vemos en el próximo episodio!
-Isaac