Evaluación de Consistencia y Resultados
Muy buenas noches a todos y bienvenidos a un episodio más del Podcast Matriz de Indicadores para Resultados desde ABBA INSADISA.
El día de hoy me permitiré compartir sobre los Términos de referencia de la Evaluación de Consistencia y Resultados publicados en enero del 2017 por el CONEVAL.
¿Qué es una Evaluación de Consistencia y Resultados?
Es una de las muchas evaluaciones que se le pueden practicar a un programa presupuestario, en donde el objetivo de acuerdo con el CONEVAL, es evaluar la consistencia y orientación del programa con la finalidad de proveer información que retroalimente su diseño, gestión y resultados.
Como sabemos, toda evaluación tiene como objetivo precisamente retroalimentar al programa, para mejorarlo, y con ello mejorar la atención a la población a la que va dirigido. Creo que no hay mayor satisfacción para un evaluador el saber que sus recomendaciones son tomadas en cuenta y que contribuyen para mejorar la calidad del gasto público.
¿Cómo se realiza?
Por lo general esta evaluación se realiza a través de cuestionarios o entrevistas que el evaluador solicita a la organización gubernamental ejecutora del programa; lo que se conoce como revisión de gabinete, ya que una vez recibida esa información, el evaluador se dispone a analizarla y en caso de dudas pues las hace a la dependencia o entidad.
Estructura de la Evaluación de Consistencia y Resultados
I. Características del programa
Primeramente se debe realizar una sección en donde se indiquen las características del programa. (Máximo 2 cuartillas)
- Nombre del programa, siglas, dependencia, año de incio, etc.
- Problema o necesidad que pretende atender
- Metas y objetivos nacionales, estatales o municipales a los que se vincula
- Descripción de los objetivos del programa, y bienes y servicios que ofrece
- Identificación y cuantificación de la población potencial, objetivo y atendida
- Cobertura y mecanismos de atención
- Presupuesto ejercido en el año anterior y presupuesto asignado en el presente ejercicio fiscal
- Principales metas de Fin, propósito y componente.
- Valoración del diseño del programa respecto a la atención del programa o necesidad.
II. Diseño
En esta sección de la evaluación se revisa la lógica y congruencia del diseño del programa, a través de la definición de problema, identificación de la población universo, población objetivo, cuantificación de la misma. Se revisa también la vinculación con los instrumentos de planeación, la normatividad aplicable y si existen otros programas estatales, o federales o municipales que sean coincidentes.
III. Planeación y Orientación a Resultados
Posteriormente se revisa si el programa cuenta con instrumentos de planeación y orientación a resultados.
IV. Cobertura y focalización
En esta sección se revisa si existe primeramente una cobertura definida, y si hay una estrategia de cobertura de mediano y largo plazo y los avances en el ejercicio fiscal evaluado.
V. Operación
Del dicho al hecho hay mucho trecho, y dicen que un Excel todo lo aguanta. En esta sección de la Operación, se analizan los principales procesos establecidos en las Reglas de Operación del programa, así como los sistemas de información para la recopilación de información y sus mecanismos de rendición de cuentas.
VI. Percepción de la población atendida
Según CONEVAL, se trata de identificar si el programa cuenta con instrumentos que le permitan recabar información para medir el grado de satisfacción de los beneficiarios del programa.
VII. Medición de resultados
Finalmente se examinan los resultados del programa respecto de la atención del problema para el que fue creado.
El papel del Proveedor
En estos mismos términos de referencia del CONEVAL, vienen las responsabilidades y compromisos del proveedor que realizará la evaluación, además de los mecanismos de administración, verificación y aceptación del servicio.
Criterios técnicos de la evaluación
Temas de evaluación y metodología
La evaluación de consistencia y resultados se divide en los seis temas que comentamos de acuerdo con la distribución de CONEVAL:
- 13 preguntas de Diseño
- 9 de Planeación y orientación a resultados
- 3 de cobertura y focalización
- 17 de operación
- 1 de percepción de la población atendida
- 8 de medición de resultados
Criterios generales para responder las preguntas
Dentro de los seis temas, hay 34 preguntas que se responderán Sí o No, sustentado con evidencia documental y explicando los argumentos de la respuesta seleccionada.
En caso de que la respuesta sea que Sí, se deberá seleccionar uno de los niveles de respuesta definidos para cada pregunta. Hay niveles que cumplen con menos requisitos y niveles que cumplen más requisitos.
Las 17 preguntas restantes, se deben de responder con base en un análisis sustentado por evidencia documental.
Las preguntas las puedes consultar en los Términos de Referencia de la Evaluación de Consistencia y Resultados publicados por el CONEVAL.
Las principales recomendaciones según mi experiencia
- Cuantificar la población objetivo que el programa presupuestario pretende atender.
- Desarrollar una justificación empírica que permita determinar la alternativa más adecuada para la atención del problema público identificado.
- Revisión del nivel propósito para que cumpla con la MML
- Revisar los indicadores para que cumplan con los criterios CREMAA
- Evitar las metas de «lo realizado» con respecto de lo «programado»
- Elaboración de un plan estratégico del programa que surja a partir de un ejercicio de planificación institucional
- Sistematizar los procesos de recolección de la información para que estén disponibles en cualquier momento para poder monitorear los avances.
Es todo por el día de hoy, muchas gracias y nos vemos el próximo miércoles.
-Isaac