Buenos días a todos! bienvenidos a un Episodio más del Podcast Matriz de Indicadores para Resultados de ABBA INSADISA.
El día de hoy quiero compartirles acerca de un punto que es revisado en las auditorías del desempeño: se trata de la Revisión de la Lógica Horizontal de la Matriz de Indicadores para Resultados.
Ya hemos hablado en el Podcast sobre la Lógica Horizontal en episodios anteriores.
El mecanismo que establece cómo se controlará y medirá el logro de cada nivel de la matriz y de dónde se obtendrá la información necesaria para ello. Constituye la base para el seguimiento, el control y la evaluación del programa.
Recordemos que el análisis de la lógica horizontal se realiza de Derecha a Izquierda por cada nivel de la Matriz de Indicadores para Resultados, y en la Revisión de la lógica horizontal solamente intervienen por nivel las columnas de:
Resumen narrativo
Indicadores
Medios de verificación
Y la Revisión de la Lógica Horizontal se resume en dos preguntas:
¿Los medios de verificación identificados son los necesarios y suficientes para obtener los datos requeridos para el cálculo de los indicadores.?
¿Los indicadores definidos permiten hacer un buen seguimiento de los objetivos y evaluar adecuadamente el logro de los objetivos?
A continuación vamos a desglosar cada uno de los pasos sugeridos.
Paso 1. Revisión medios de verificación
Muy bien, vamos a comenzar a hacer nuestra revisión con un caso práctico:
Estuve navegando por internet y encontré ejemplos de matrices de indicadores para resultados de algunos municipios.
Seleccioné uno que dice así:
Revision de la logica Horizontal
Entonces los medios de verificación es:
Índices de contaminación del aire de la Secretaría de Ecología
Y la revisión de los medios de verificación sería así:
Elementos mínimos de los medios de verificación del indicador de acuerdo al CONEVAL
Paso 2. Check list del indicador de acuerdo a los lineamientos de construcción
Hace un par de días estaba descargando Podcast para escuchar durante un viaje largo que tenía que hacer, y entre las recomendaciones estaba el Podcast de Radio W de Martha Debayle, así que me descargué varios episodios.
Entre ellos estaba una entrevista que Martha le hizo a Carlos Kazuga, la cabeza principal de la marca Yakult en México. Yo no sabía mucho acerca de Carlos ni había escuchado mucho de él, pero comencé a escuchar esa entrevista.
Mencionó muchas tradiciones y valores de Japón, pero lo que más me gustó y es lo que quiero platicarles en este Podcast, es sobre los cuatro principios que un ser humano debe hacer para tener éxito en la vida: del Bien ser, bien hacer, bien estar y bien tener.
Como sabes, este es un Podcast técnico sobre la Matriz de Indicadores para Resultados, pero de vez en cuando me gusta hacer episodios que no tengan que ver con el tema técnico sino reflexiones de libros, artículos, o en este caso sobre la conferencia sobre el Señor Kazuga.
Bien Ser
Carlos Kazuga habla que primero se trata del «ser», bien «ser»; es decir, ser puntual, ser austero, ser disciplinado, ser estudioso, ser honesto, ser responsable, ser trabajadores.
Limpieza ¿Castigo o Forma de vida?
Honestidad: lo que no es tuyo, debe ser de alguien.
Educación: en tiempo de crisis, lo que importa es la educación y capacitación para afrontar nuevos retos y encontrar nuevas formas.
Bien hacer
Carlos Kazuga dice que todo lo que hagamos, lo debemos hacer bien (obviamente en el marco de la legalidad, no vayas a pensar si voy a robar, voy a hacerlo bien)
Si te vas a levantar hazlo bien, si de vas a vestir hazlo bien, si te vas a despedir de tu familia cuando partes a tu trabajo, hazlo bien, como si fuera el último saludo. Haz las cosas bien, ya que las personas que dan más de lo que reciben, a su familia, a sus hijos, a sus trabajadores, a sus empleados, a sus vecinos, a su sociedad, a sus compañeros de trabajo, van a llegar al tercer principio: el bien estar.
Bien estar
El Director de Yakult dice que este paso es sinónimo de felicidad, porque diste lo mejor de ti mismo a toda la gente con la que tuviste la fortuna de tratar en el día de hoy.
Te sientes feliz y contento del esfuerzo que hiciste hoy, del empeño que hiciste hoy, de tu trabajo y trato con la gente.
Y según Kazuga, siguiendo los tres pasos previos: el bien ser, bien hacer y bien estar tarde que temprano nos llevarán al último principio: el «bien tener».
Bien tener
Carlos cuenta que los japoneses consideran a las nuevas empresas como un bebé, cuando nacen requieren de mucha atención, cuidados y tiempo. Y dice que los primeros 20 años de una empresa, como la de un bebe o una persona que está creciendo, son tiempos de inversión.
El problema con los mexicanos es que a veces queremos el tener el bien tener rápido y fácil, sin pasar por el bien ser, el bien hacer no el bien estar. Entonces al año o dos, lo que se gana en las empresas en lugar de invertirlo, lo gastamos. Y luego nos quedamos sin invertir en talentos, desarrollos o habilidades que en un futuro nos permitirán sobrevivir. Kazuga dice que el bien tener es el resultado de desarrollar los tres pasos anteriores: el bien ser, bien hacer y bien estar.
Qué opinas? espero que este episodio sea de utilidad y muy valioso. Escríbeme para contarme lo que piensas de este tema.
Bien, pues a continuación te comentaré los pasos para hacer una revisión de la lógica vertical a través de tres pasos.
Paso 1. Revisión de la Sintaxis de los objetivos de la Matriz de Indicadores para Resultados.
Lo primero que debemos hacer, es una revisión de nuestros objetivos de la MIR, para asegurar que estén redactados conforme a los requerimientos y especificaciones de la Metodología de Marco Lógico (MML).
Recordemos que la primer columna de la MIR, es la que corresponde a los resúmenes narrativos, como se muestra en la siguiente figura:
La MIR, una tablita de 4×4. Columnas: Resumen narrativo, indicadores, medios de verificación y supuestos. Filas: Fin, propósito, componentes y actividades.
¿Cómo se deben escribir o qué reglas tienen cada nivel? Veamos:
Para las actividades te recomiendo cuidar tres puntos:
Cuidar escribir el objetivo con la sintaxis adecuada.
Cuidar que las actividades sean acciones propias de los operadores del programa.
Cuidar que las actividades sean acciones propias para generar o crear su componente asociado.
Cuidar que las actividades estén escritas cronológicamente.
No expresarlas como objetivos (ejemplo: si un componente dice «Realización de campañas de detección de enfermedades crónico-degenerativas en el Estado», entonces una de sus actividades sería: «Publicación de la licitación para compra de insumos, materiales y equipos», ojo de no escribir la actividad como: «Publicar la licitación para compra de insumos, materiales y equipos».)
Algo también que quiero comentar en este punto, es que algunas instituciones sí consideran correcto (otras no) escribir las actividades iniciando con un verbo en infinitivo, es decir, como objetivos: Publicar, elaborar, difundir etc. en lugar de Publicación, Elaboración, Difusión como un sustantivo derivado de un verbo. Ya dependerá de los criterios con los que te evalúe la instancia correspondiente.
Paso 2. Revisión de los supuestos.
Recordemos que los supuestos de acuerdo al Manual del ILPES 42 son factores externos que están fuera del control del ejecutor y que tienen que ocurrir para que se logren los distintos niveles de objetivos de la Matriz.
En la MIR, los supuestos ocupan la última columna de tabla.
Escribir el supuesto como algo externo de la gerencia del programa, no incluir algo que puede resolver la misma institución.
Factores de riesgo externos de la gerencia del programa: financieros, políticos, sociales, ambientales o legales.
Vamos a ver algunos ejemplos:
En el caso de algún programa para migrantes, un supuesto: «Los solicitantes reúnen los requisitos del programa y cumplen con las Reglas de Operación».
Bueno, realmente no es un supuesto bien definido, ya que el cumplimiento de los requisitos del programa y de las reglas de operación son cosas que están dentro de la gerencia del Programa y se deben asegurar.
Ejemplos de supuestos correctos deberían versar sobre condiciones climatológicas, participación de otros organismos gubernamentales ajenos a la gerencia del programa, intereses o conductas de la población objetivo.
Paso 3. Revisión de lógica vertical
Ya que aseguramos que los resúmenes narrativos de la Matriz de Indicadores para Resultados (MIR) tengan una sintaxis correcta conforme a la Metodología de Marco Lógico (MML), y que también los supuestos son correctos metodológicamente, ahora podemos pasara a realizar la revisión de la lógica vertical de la Matriz.
La revisión de debe hacer mediante una lectura de la siguiente forma:
Si se llevan a cabo las actividades y los supuestos de este nivel se ratifican, serán suficientes para producir cada componente; luego
Si se producen los componentes y los supuestos a ese nivel se ratifican, se logrará el propósito de la intervención; luego
Si se logra el Propósito del programa y se cumplen los Supuestos a ese nivel, se habrá contribuido de manera significativa a alcanzar el fin.
Conclusiones
Listo, ya quedó nuestra revisión de la lógica vertical a través de estos tres pasos. Ya dependerá de cada matriz, de cada caso en particular, pero mi sugerencia es mantener los programas sencillos, lógicos y prácticos, para que sean entendibles y medibles. No es fácil, pero es un esfuerzo que se debe de realizar.
Como seguramente ya conoces, actualmente se están llevando a cabo Auditorías de Desempeño en todas las Entidades Federativas, ya sea al gobierno estatal o al gobierno municipal (los Ayuntamientos).
Según las Normas Profesionales de Auditoría del Sistema Nacional de Fiscalización, Las Auditorías de Desempeño son:
el examen de la economía, eficiencia y eficacia de la administración pública y los programas gubernamentales. Las auditorías de desempeño cubren no solamente operaciones financieras específicas, sino además todo tipo de actividad gubernamental.
Al final de una Auditoría de Desempeño, el evaluador emite recomendaciones para la mejora del Programa Presupuestario en sus distintas facetas y partes de la Matriz de Indicadores para Resultado (MIR).
Cabe mencionar que el evaluador que realice este tipo de Auditorías, debe dominar el tema de la Metodología de Marco Lógico (MML) y la Matriz de Indicadores para Resultados; Y obviamente los criterios con los que se realiza la evaluación tienen que ver con los conceptos contenidos en:
Manual 68 de CEPAL. Formulación de Programas con la Metodología de Marco Lógico, de Eduardo Aldunate y Julio Córdova.
Manual 42 de CEPAL. Metodología de Marco Lógico para la Planificación, el Seguimiento y la Evaluación de Proyectos y Programas, de Edgar Ortegón, Juan Francisco Pacheco y Adriana Prieto.
Guía para la Elaboración de la Matriz de Indicadores de Resultados de CONEVAL.
Manual para el Diseño y Construcción de Indicadores CONEVAL.
Recordando el Árbol de objetivos
Una posible sección que se revisa en las Auditorías de Desempeño es el análisis de la relación de elementos para pasar del árbol de objetivos al resumen narrativo de la MIR.
Recordemos que un árbol de objetivos es un esquema en donde en la parte central se describe el objetivo del programa, el cual debe contener una población objetivo o área de enfoque.
Debajo se encontrarán las raíces, que corresponden a los medios para lograr los objetivos y en la parte superior del esquema se encuentran las ramas, que corresponden a los fines.
Relación entre Resumen Narrativo y Árbol de Objetivos
Este análisis es muy práctico, te comento cómo lo puedes hacer:
En una tabla con 5 columnas, los títulos de las columnas son:
Nivel del árbol de objetivos
Elemento del árbol de objetivos
Nivel MIR
Resumen Narrativo de la MIR
Comentarios de corresponencia
En la primera columna deberás escribir: Fin, Objetivos, Medios inmediatos (primer nivel o medios raíz) y Medios mediatos (segundos niveles).
En la segunda columna los elementos que correspondan a cada nivel del árbol, es decir todos los fines, un solo objetivo, y todos los medios.
En la columna de nivel MIR deberás escribir los niveles: Fin, Propósito, Componentes y Actividades.
En la Columna de Resumen Narrativo de la MIR, escribes precisamente el RN, o sea el objetivo.
Y finalmente en la última columna, deberás hacer un juicio de valor por cada nivel, si los elementos del árbol guardan relación con los elementos de la MIR.
Conclusiones
Lo que puede resultar de este ejercicio es muy valioso:
Te puedes dar cuenta que existen elementos del árbol de objetivos que no están plasmados en el Resumen Narrativo de la MIR; esto no está necesariamente mal, puede ser que algún elemento del árbol pueda incorporarse en la MIR como un supuesto. Hay que revisar cada caso en particular.
Te puedes dar cuenta que existen Componentes o Actividades en la MIR que no tienen ningún elemento relacionado con el árbol de objetivos.
Al final, la conclusión de este ejercicio es revisar que exista una consistencia entre el árbol de objetivos y la Matriz de Indicadores para Resultados.
Ejemplo tomado de la Guía para Constucción de Matriz de Indicadores para Resultados de CONEVAL
Diagrama general de la Relación entre el Resumen Narrativo de la MIR y el árbol de objetivos.
En la figura 15 apreciamos el Resumen Narrativo de la MIR nivel Propósito.
De acuerdo con CONEVAL, cuando tenemos varios fines en el árbol de objetivos, se recomienda seleccionar el fin a cuyo logro del programa contribuye de manera más significativa y directa.
Es importante recalcar el programa en si mismo no es suficiente para conseguir el objetivo en el fin; el alcance de éste depende de la suma de muchas intervenciones desarrolladas por otros programas. Por eso en la redacción del resumen narrativo del nivel Fin se escribe «Contribuir a».
Bienvenidos a un Episodio más del Podcast Matriz de Indicadores para Resultados ABBA INSADISA, el día de hoy comentaremos sobre los errores más comunes en la Matriz de Indicadores para Resultados (MIR) y cómo sugiero los puedes resolver, en tal caso de que los presentes.
Antes que nada te quiero recordar que si tienes alguna duda o pregunta sobre la MIR, puedes hacerme llegar tu inquietud a través del formulario de contacto y con mucho gusto te puedo dar mis comentarios. Me da mucho gusto que personas que escuchar el Podcast me han escrito y he dado sugerencias referente a sus Matrices.
Con base a algunas Matrices que me han enviado para darles una revisada, el día de hoy les quiero compartir algunos errores comunes que he identificado y cómo pueden solucionarlo con base a la Metodología de Marco Lógico (MML).
Los entes públicos deberán publicar en sus páginas de Internet junto con los indicadores de desempeño los elementos mínimos establecidos en la ficha técnica, señalados anteriormente.
Recuerda que tienes disponible en el Podcast el Ciclo de Ficha Técnica del Indicador en donde discutimos y damos ejemplos de cada uno de los elementos mínimos y algunos otros; entonces un error común es que en la Ficha Técnica del Indicador (FTI) no consideran el Algoritmo o Método de Cálculo.
Es decir, solamente contemplan lo que son los nombres de las Variables (variable A y variable B) pero no señalan explícitamente la forma en que van a interactuar entre ellas para hacer el cálculo matemático, es decir el algoritmo.
Se puede inferir (no siempre) por las metas que se señalan en las FTIs pero no correcto es especificar el algoritmo.
La solución
La solución es muy sencilla, incluir un apartado de algoritmo. Los más usados son:
Te invito a escuchar cada uno de los episodios, en donde platico cada uno de los algoritmos y en qué casos se utilizan.
El sentido del indicador
El error
Otro error con el que me he encontrado, es que el sentido del indicador no es considerado al momento de la parametrización de los indicadores, es decir se ponen la relación semáforo – valor de la meta como si entre más alto sea el resultado del indicador, es mejor (color verde).
La solución
Se debe tomar en consideración el sentido del indicador (ascendente o descendente) ya que por ejemplo un indicador con sentido descendente, entre menor sea el resultado, es mejor para el organismo gubernamental; tal es el caso del indicador de Tasa de mortalidad por ejemplo y viceversa para los indicadores con sentido ascendente.
Unidad de medidas de las variables
El error
Un detalle recurrente que encontré es que las unidades de las variables no son técnicamente correctas. Por ejemplo, en el indicador: «Promedio de asistentes por capacitación», en todas las unidades de medida (unidad de medida del indicador, de la variable A y variable B se considera como «asistentes»).
La solución
Debemos considerar que existen TRES UNIDADES de medida:
Unidad de medida de variable A (No. de asistentes): que sería asistentes
Unidad de medida de variable B (No. de eventos de capacitación): que sería eventos de capacitación
Unidad de medida del indicador (Promedio de asistentes por evento de capacitación): En este caso, dado a que el algoritmo es (A/B), la unidad de medida no sería Porcentaje, ni tampoco asistentes ni eventos, sino lo correcto es asistentes por evento.
La clave es que cada variable tendrá su unidad de medida, y la unidad de medida se determinará en función del Algoritmo.
Los medios de verificación
Error y solución
La mayoría de los medios de verificación con los que me he topado, están correctos; sin embargo tienen opción a mejorar, es decir, se pueden complementar para que queden más robustos y más completos para la hora de las Auditorías de Desempeño que les hagan a los programas.
Los elementos mínicmos para los medios de verificación de acuerdo con CONEVAL son:
Nombre completo del documento que sustenta la información
Nombre del área que genera o publica la información
Periodicidad con que se genera el documento (debe coincidir con la frecuencia de medición del indicador).
Liga a la página de la que se obtiene la información (si es el caso).
Te invito también a que compartas este episodio, dejes comentarios en Ivoox y reseña en Itunes. Si tienes algún comentario, puedes dejarlo en este post. Contesto todos!
Bienvenidos a un episodio más del Podcast Matriz de Indicadores para Resultados ABBA INSADISA, el día de hoy quiero platicarles un ejercicio práctico de un curso que estoy tomando en la plataforma Edx.org en donde se aprecia el uso de la Estadística para analizar las variables de cierta situación y definir una intervención pública (Programa Presupuestario) en el sector Educativo.
El caso
El caso es el siguiente:
Una funcionaria pública del Brasil cuenta en su programa presupuestario el objetivo de disminuir la deserción escolar, para lo que quiere implementar un programa presupuestario.
Hasta aquí todo bien verdad?, pero resulta que existen muchas aristas en el tema de la deserción escolar y debido a que los recursos son pocos, deben ser usados con mucha precisión.
Para iniciar la intervención se debe contar con datos, con información sobre el nivel de deserción de su país, contar con una línea base, saber como se dice coloquialmente «dónde estamos».
Variables
Así pues, se debe contar con variables que sean de interés para la implementación del programa.
La información sobre estas variables te permitirá focalizar mejor la intervención, de manera de utilizar los recursos en la población que más lo requiere.
Por ejemplo, los recursos y esfuerzos del programa ¿se deben aplicar en todas las regiones del país? ¿a qué grados escolares se les debe dar prioridad? ¿Se debe considerar colegios públicos y privados? ¿Se deben considerar a los estudiantes de todos los niveles socioeconómicos? ¿Este programa debe atender tanto a hombres como a mujeres?
Si puedes apreciar, aquí ya estamos haciendo un análisis que pasa de lo estratégico a lo operativo, a lo técnico, a lo fino.
En el curso mencionan que esas preguntas las podemos resolver si probamos la variable nivel de deserción con cada una de estas variables:
Región
Nivel o grado (primaria/secundaria)
Tipo de colegio (público/privado)
Nivel Socioeconómico (alto/medio/bajo)
Género (hombre/mujer)
Valor P
El testeo se puede obtener, según recuerdo en mis clases de estadística, ingresando información y un modelo a un programa estadístico, y obtendremos el valor p para cada análisis entre variables.
Por lo general, mientras más pequeño sea el valor p, más fuerte será la evidencia de la muestra para rechazar H0
-Minitab
Recordemos que:
Hipótesis nula
Se escribe como H0. La hipótesis nula establece que no existe una relación entre dos variables. En este caso, entre la deserción escolar y la variable de análisis en turno.
Hipótesis alternativa
Se escribe como H1. La hipótesis alternativa es básicamente lo que predice el investigador. En este caso, que la deserción escolar tiene relación con la variable de análisis en turno.
Así que los programas estadísticos nos entregan el “valor p” para cada análisis entre variables y que para estar en condiciones de rechazar la hipótesis nula y aceptar la hipótesis alternativa, este valor debe ser menor a 0,05.
Si los análisis te arrojan los siguientes “valores p” para cada variable testeada:
Variable asociada con Deserción escolar / Valor p
Región = 0.98
Nivel educacional = 0.01
Tipo de colegio /dependencia = 0.03
Nivel Socioeconómico <0.01
Género = 0.78
Conclusiones:
Por los resultados, podemos concluir que se cuenta con evidencia científica para rechazar la hipótesis nula de “no asociación con deserción escolar” en tres variables: Nivel educacional, Tipo de colegio y Nivel Socioeconómico.
En otras palabras, se cuenta con evidencia científica para decir que la deserción escolar puede estar significativamente asociada en tres variables:
Nivel educacional
Tipo de colegio
Nivel socioeconómico
Y que la deserción escolar no está significativamente asociada a la Región ni al Género.
A partir de esta información, se puede diseñar un Programa Presupuestario y su Matriz de Indicadores para Resultados de una manera más efectiva, y a sabiendas que el esfuerzo rendirá frutos porque se están tomando decisiones basadas en análisis estadísticos.
