Buenas tardes a todas y todos, en este episodio me permitiré compartir mis experiencias en la participación del Instituto de Salud y Diagnóstico (INSADISA) en la Semana de la Evaluación 2020.
En primera instancia, tenía contemplado hacer el webinar por una plataforma pero a la mera hora que creen que no funcionó el audio, así que tuvimos que hacer una maniobra y cambiamos la sesión por Zoom.
Hicimos la presentación, y a continuación dejo el video y la escaleta de la presentación.
Qué es la Metodología de Marco Lógico (MML)
Es una herramienta que facilita el proceso de:
- Conceptualización del problema
- Diseño de la solución
- Ejecución
- Monitoreo y
- Evaluación
A inicios del 2008
En lo personal fueron mis inicios en cuanto a los temas de Marco Lógico, Matriz de Indicadores, Presupuesto basado en Resultados. En la Secretaría de Finanzas, Inversión y Administración del Gobierno del Estado de Guanajuato.
POA: Programa Operativo Anual https://anchor.fm/indicadores/episodes/104–Diferencias-entre-indicadores-POA-e-indicadores-PBR-e4odn3
Llegó la MML y quiero platicarles 5 Beneficios: https://anchor.fm/indicadores/episodes/88–Cinco-beneficios-de-la-Metodologa-de-Marco-Lgico-y-la-Matriz-de-Indicadores-para-Resultados-e4odni
Beneficio # 1. Establecimiento de un Lenguaje Común en todas las etapas del Programa Presupuestario.
Ejemplo del dibujo de los árboles, si a un grupo de personas de distintas partes del país nos pidieran dibujar un árbol, seguramente cada uno lo dibujaría diferente, en función de su contexto, experiencias, etc.
Permite un mismo lenguaje entre las áreas de Planeación, Programación, Presupuestación, Monitoreo y Evaluación.
Beneficio # 2. La información más importante del Programa Presupuestario contenida en un solo cuadro.
- GpR (Gestión por Resultados) busca obtener las mejores y más eficientes soluciones a los problemas sociales.
- Matriz de Indicadores para Resultados (MIR).
Beneficio # 3. Revisión del diseño del Programa, es decir, la teoría de cambios o la cadena causal del mismo.
- Ejemplo: Objetivo de pérdida de peso.
- Si no hay Planeación de actividades como:
- Comprar el mandado.
- No se duerme lo suficiente.
- No hago ejercicio.
- ¿Son acciones lógicas con el resultado que espero? Definitivamente No. Y esto mismo aplica con los objetivos de Política Pública; en necesario establecer un objetivo y también los medios que nos permitirán llegar a él. https://anchor.fm/indicadores/episodes/57–Metas-rezagadas–metas-proactivas-y-su-relacin-con-la-MIR-e4odoi
- En una evaluación de diseño, un elemento a evaluar es la Lógica Vertical (Cadena causal). https://anchor.fm/indicadores/episodes/37–MML–Paso–14–La-lgica-vertical-e4odp5
- Analizar los niveles de la MIR de abajo hacia arriba.
- Para validar la causalidad entre los 4 niveles y sus supuestos.
Beneficio # 4. Acuerdos precisos y saber hacia dónde debemos ir y establecer los elementos para saber cuándo hemos llegado.
- ¿A dónde se quiere llegar?
- El Fin y el Propósito de la MIR son los niveles Estratégicos.
- ¿Cómo saber cuándo hemos llegado?
- Monitoreo de los Indicadores de la MIR y
- Evaluaciones del Programa. https://anchor.fm/indicadores/episodes/92–Trminos-de-referencia-de-la-Evaluacin-de-Consistencia-y-Resultados-e4odnd
Beneficio # 5. Base para un propio Sistema de Evaluación al Desempeño (SED) para mejorar el Programa Presupuestario.
- Rendición de cuentas.
- Aprendizaje.
- Mejoramiento del programa.
Un SED es: “compromiso técnico creíble” entre el gobierno y la sociedad, para que el primero muestre fines específicos de manera transparente. https://anchor.fm/indicadores/episodes/83–La-Importancia-de-los-Sistemas-de-Evaluacin-al-Desempeo-e4odnm
Revisar antecedentes.
- Instrumentos de planeación (Programas de Gobierno Nacionales, Estatales y Municipales).
- Leyes.
- Reglamentos internos (para revisar las atribuciones).
- Manuales de procedimientos.
Ejemplos:
- Dirección de Educación: Incrementar la escolaridad en Educación Primaria.
- Dirección de Turismo: Incrementar el flujo de turistas en el Ayuntamiento X.
- Tesorería de Ayuntamiento: Incrementar la recaudación de Ingresos Propios.
- Dirección de Presupuesto: Mantener equilibrio entre el Ingreso/Gasto.
- Con la información anterior, ahora sí deberíamos solicitar:
Estadísticas históricas.
- Aquí tiene que ver el tema de:
- ¿Cómo se mide? Y
- Pasar de conceptos a variables https://anchor.fm/indicadores/episodes/96–De-conceptos-a-variables-medibles-e4odna
- El BID lo llama “operacionalización de las variables”
- Así podremos saber:
- ¿Dónde estamos? Es decir, establecer la línea base. https://anchor.fm/indicadores/episodes/75–La-lnea-base-del-Indicador-e4odo6
- Nuestro caso:
- Caso de Villa Feliz
Foto de Diagrama Conceptual:
- Aplicaremos la Metodología de Marco Lógico desde el punto de vista del SIVE.
- Revisar los antecedentes:
- Investigar el Reglamento del SIVE:
- El SIVE tiene como objetivo la Vigilancia, investigación de problemas y control de los riesgos y amenazas para la Salud Pública en Villa Feliz.
- “Recopilar y analizar los informes de resultados de las diversas determinaciones (estudios) emitidos por los Centros de Investigación (CIEs), a fin de proveer información a la Secretaría de Salud de Villa Feliz a la brevedad posible, para la toma de acciones.
- Solicitar las estadísticas en cuanto a tiempos de Entrega de Resultados de los CIEs al SIVE.
- Mostrar Imagen de Tabla:
- Identificación del problema. https://anchor.fm/indicadores/episodes/Episodio-11–MML–Paso–2–rbol-de-Problemas-e4odq0
- También llamada como “situación problemática”
- O “situación a revertir”
- O “situación con alguna necesidad, u oportunidad identificada, que
- Cuenta con la motivación para solucionarla.
- La situación para analizar puede surgir de distintos ámbitos: https://anchor.fm/indicadores/episodes/123–Sin-Diagnstico–no-hay-Marco-Lgico-ecbprt
- Aplicación de una política de desarrollo.
- Recuperación de infraestructura.
- Necesidades o carencias de grupos de personas
- Bajos niveles de desarrollo.
- Condiciones de vida deficitarias, detectadas en algún diagnóstico.
- En nuestro caso:
- Villa Feliz cuenta con una política de desarrollo en materia de salud:
- Vigilancia, investigación de problemas y control de los riesgos y amenazas para la Salud Pública en Villa Feliz (a través del SIVE).
- GRÁFICOS DINÁMICOS:
- Vamos a suponer para efectos de desarrollo del ejemplo, que se identifica que se han incrementado los tiempos de entrega de los informes en las últimas semanas y los tiempos de proceso.
- Por lo que se puede definir la situación problemática de la siguiente manera:
- “Incremento en tiempos de entrega de informes de resultado, por parte de los CIE al SIVE”.
- Poner la tabla de identificación de problema, área de enfoque etc.
- Por lo que se puede definir la situación problemática de la siguiente manera:
- Árbol de problemas. https://anchor.fm/indicadores/episodes/Episodio-11–MML–Paso–2–rbol-de-Problemas-e4odq0
- Recomendación para hacer diagramas: Draw.io https://anchor.fm/indicadores/episodes/62–Draw-io-Software-gratuito-para-diagramar-rbol-de-problemas-y-objetivos-e4odoc
- Podemos comenzar con el Diagrama Ishikawa (Diagrama de Pescado)
- Poner la imagen del Diagrama de Pescado:
- Convertimos el Ishikawa en nuestro Árbol de Problemas.
- Diagrama de Árbol de Problemas.
- Diagrama de Árbol de Objetivos. https://anchor.fm/indicadores/episodes/Episodio-12–MML–Paso–3–rbol-de-objetivos-e4odpv
- Diagrama de Árbol de Objetivos con acciones.
- Los medios que se deben operacionalizar son los que están en la parte inferior del árbol de objetivos.
- Luego de formular las respectivas acciones para la solución del problema, se deben configurar alternativas y seleccionar la estrategia óptima.
- Estructura Analítica del Programa. A continuación, es necesario construir la Estructura Analítica del Programa (EAP), que consiste en diagramar un árbol de objetivos ajustado a la alternativa seleccionada, pero indicando cuatro niveles jerárquicos: Fin, Propósito, Componentes y Actividades. https://anchor.fm/indicadores/episodes/Episodio-13–MML–Paso–4–La-Estructura-Analtica-e4odpu
- La Matriz de Indicadores para Resultados.
- El Resumen Narrativo en la MIR:
- MiniCurso MIR. Lección # 5 “ La sintaxis de la MIR ” https://insadisa.com/minicurso-mir/minicurso-mir-leccion-5-la-sintaxis-de-la-mir/
- FIN
- El Resumen Narrativo en la MIR:
- Sintaxis: Contribuir a «objetivo de orden superior» + mediante + «la solución al problema»
- 3 cosas a destacar del nivel Fin:
- Un programa o proyecto no es suficiente para lograr el objetivo del fin.
- Lo segundo es que el fin no se logrará de la noche a la mañana, sino que se ocupa de un largo plazo.
- Proviene de un Instrumento de Planeación (Programa de Gobierno, Programa Sectorial, etc.)
- PROPÓSITO
- 3 cosas a destacar del nivel Fin:
- Sintaxis: Sujeto (población o área de enfoque) + Verbo en presente + Complemento (resultado logrado).
- El propósito debe describir el resultado esperado en la población objetivo o área de enfoque, una vez que los bienes y servicios del programa o proyecto han sido entregados.
- Se debe hacer en términos hipotéticos, es algo que debe ocurrir, es un resultado esperado.
- La MIR tiene solo un Propósito.
- Es la hipótesis central del Programa, así que el Propósito debe entenderse como un resultado no controlable por el ejecutor; es lo que debería ocurrir como resultado directo de utilizar los Componentes.
- Poner foto de MIR dividida en dos:
- El propósito debe describir el resultado esperado en la población objetivo o área de enfoque, una vez que los bienes y servicios del programa o proyecto han sido entregados.
- COMPONENTES
- Sintaxis: Bien o servicio + verbo en pasado participio (terminación ado, ido, to, so, cho) + complemento.
- Es lógico y razonable suponer que si los componentes se producen adecuadamente, se logrará el Propósito.
- El ejecutor es el responsable de la generación de los componentes.
- ACTIVIDADES:
- Es lógico y razonable suponer que si los componentes se producen adecuadamente, se logrará el Propósito.
- Sintaxis: Sustantivo derivado de un verbo + Complemento
- Dos cosas: Deben estar en orden cronológico y agrupadas por componente.
- INDICADORES
- Episodio 20. MML. Paso # 9. MML. Los Indicadores en la MIR. https://insadisa.com/podcast/episodio-20-mml-paso-9-mml-los-indicadores-en-la-mir/
- Episodio 21. MML. Paso # 9.1. MML. Los factores relevantes del resumen narrativo. https://insadisa.com/podcast/episodio-21-mml-paso-9-1-mml-los-factores-relevantes/
- De acuerdo con CONEVAL hay 6 pasos para crear los Indicadores de la MIR:
- Revisar la claridad del resumen narrativo
- Identificar los factores relevantes (quién y qué)
- Establecer el objetivo de la medición (Se quiere medir un porcentaje, una tasa de variación, un promedio o un índice?)
- Plantear el nombre y la fórmula de cálculo
- Determinar la frecuencia de medición
- Seleccionar los medios de verificación
- También te recomiendo que leas los Lineamientos para la construcción de indicadores de desempeño mediante la Metodología de Marco Lógico de la SHCP.
- 40. La Ficha Técnica del Indicador https://insadisa.com/podcast/40-la-ficha-tecnica-del-indicador/
- MEDIOS DE VERIFICACIÓN
- Según CONEVAL los Medios de Verificación son la fuente de información en donde está disponible la información necesaria para construir el indicador.
- 4 elementos mínimos de los Medios de Verificación.
- Nombre completo del documento que sustenta la información
- Nombre del área que genera o publica la información
- Periodicidad con que se genera el documento (debe coincidir con la frecuencia de medición del indicador).
- Liga a la página de la que se obtiene la información (si es el caso).
- SUPUESTOS
- Episodio 33. Paso 12. MML. Los supuestos en la MIR https://insadisa.com/podcast/episodio-33-paso-12-supuestos-en-la-mir/
- Definición: Los supuestos deben ser factores externos que están fuera del control del ejecutor y que tienen que ocurrir para que se logren los distintos niveles de objetivos de la Matriz.
- Pasos para definir los supuestos:
- Lluvia de supuestos.
- ILPES sugiere la identificación de Factores de Riesgo (financieros, políticos, sociales, ambiental, legal) por cada Resumen Narrativo de la MIR.
- Selección de supuestos.
- Ser externo del control de la gerencia del programa.
- Importante o crítico para el éxito del programa.
- Que la probabilidad de ocurrencia sea media.
- Redacción de supuestos.
- Los riesgos se deben convertir a “positivo”, es decir, redactarlos como un Supuesto.
- Los supuestos en la MIR deben ser expresados como un objetivo a alcanzar o mantener.
- Los supuestos deben ser medibles y cumplir con los atributos de calidad, cantidad y tiempo.
- Errores comunes en la identificación de supuestos en la MIR
- Colocar como un supuesto algo que puede resolver la institución responsable, es decir no es externo de la gerencia del programa.
- Colocar supuestos irrelevantes.
- Escribir los riesgos en lugar de los supuestos.
- Pregunta Clásica:
- ¿Se puede incluir como supuesto “El programa cuenta con los recursos para su operación”?
- Respuesta: No. Lo anterior representa un supuesto fatal, ya que si no se cuenta con los recursos para la operación del programa, éste no podría siquiera plantearse objetivos. CONEVAL
- Para finalizar, quiero recalcar que la Evaluación de Diseño (o algunas veces llamada Evaluación de Consistencia y Resultados) es la primera evaluación que se le practica a un Programa, dejo enlace al episodio del Podcast donde hablo sobre las Evaluaciones: https://anchor.fm/indicadores/episodes/73–Los-tipos-de-evaluacin-e4odo0
- ¿Qué es la Evaluación?
- Según Claudia Maldonado, Coordinadora General del Centro CLEAR para América Latina, la Evaluación es una herramienta que nos permite responder una sencilla pregunta:
- ¿Vamos bien o nos regresamos?
- La Evaluación sin lugar a dudas permite mejorar los Programas Presupuestarios.
- No obstante lo anterior, administrar la información de varios Programas Presupuestarios sin una herramienta que permita sistematizar la documentación, diseño, captura, monitoreo y evaluación será muy dificil (sino imposible) mejorar el actuar del Gobierno.
- Es por eso que la herramienta “Sistema de Monitoreo y Evaluación de Programas Públicos ABBA INSADISA” es un instrumento indispensable para todo organismo público que aspire a mejorar su calidad del Gasto Público.
- ¿Qué es la Evaluación?
Espero que esta presentación haya sido de utilidad. Nos escuchamos la siguiente semana!
Si tienes alguna duda o pregunta al respecto, te invito a contactarnos.
Recuerda que los reactivos en un Laboratorio Clínico son necesarios, y el Software ABBA, también.
Si este episodio ha sido de valor para ti, te pido nos des a cambio un minuto de tu valioso tiempo para dejarnos una review de 5 estrellas en Google, así nos ayudas a tener mayor visibilidad y a llegar a más personas. Da click aquí.
Si este episodio ha sido de valor para ti, te pido nos des a cambio un minuto de tu valioso tiempo para dejarnos una review de 5 estrellas en Google, así nos ayudas a tener mayor visibilidad y a llegar a más personas. Da click aquí.
