Aplicación de los criterios smart a la matriz de indicadores para resultados

En el episodio pasado aprendimos sobre el origen de los Criterios SMART. El día de hoy me permitiré platicar acerca de cómo se aplican o cómo se relacionan dichos criterios con la Metodología de Marco Lógico (MML) y la Matriz de Indicadores para Resultados (MIR).

Antes de entrar en materia, me gustaría aclarar que la aplicación que voy a mencionar no la extraje directamente de algún documento de CONEVAL, SHCP, ILPES o algún otro organismo, sin embargo puedo decir que está apegada a los criterios mencionadas por tan prestigiadas Instituciones. Lo que quiero mencionar es que no están publicados ni reconocidos oficialmente, pero hago este episodio porque no encontré en Internet la aplicación de los Criterios SMART y la Matriz de Indicadores para Resultados.

Como nota, estoy considerando que los Criterios SMART se aplican a los objetivos, es decir, a la columna del Resumen narrativo de la MIR (que de hecho también se le conoce como la columna de los objetivos), que es la primer columna.

Así que dicho esto, vamos a comenzar:

Specific – Específico

Las preguntas que propongo hacer para revisar si los objetivos de nuestra Matriz de Indicadores para Resultados son Específicos son:

• ¿El resumen narrativo cumple con la sintaxis establecida para cada nivel (Fin, Propósito, Componentes y Actividades?
• Las siguientes dos preguntas las tomé de CONEVAL, corresponden a los primeros pasos para construir indicadores y son: ¿Los objetivos se encuentren en el nivel adecuado de la MIR?
  • Objetivos de impacto corresponden al nivel de Fin
  • Objetivos de resultado corresponden al nivel de propósito
  • Objetivos de bienes y servicios corresponden al nivel de componentes
  • Objetivos de procesos corresponden al nivel de actividades
• ¿Los Resúmenes narrativos de cada nivel tienen identificados los factores relevantes?

En quiénes se medirá (Sujeto = indica quien realiza la acción o de quien se dice algo)

Qué se pretende medir (Predicado = describe la acción que realiza el sujeto o lo que se dice del sujeto)

• Asegurar que no haya acrónimos sin definir en los objetivos.

Measurable – Medible

Para el siguiente punto, asegurar que los objetivos o metas de la Matriz de Indicadores para Resultados sean medibles, nos podríamos hacer las siguientes preguntas:

• Cada objetivo (es decir, Resumen narrativo) ¿cuenta con al menos un indicador?
• ¿Los indicadores establecidos cumplen con los Criterios CREMAA?(Claridad, Relevancia, Economía, Monitoreabilidad, Adecuado y Aportación Marginal)

Assignable – Asignable

Tomando en cuenta que todos los niveles del Resumen narrativo de la Matriz de Indicadores para Resultados (MIR) cuentan con indicadores, y que dichos indicadores cuentan con medios de verificación; las preguntas que propongo para asegurar que los objetivos sean asignables son las siguientes:

• ¿Los medios de verificación especifican el centro gestor o la unidad responsable que se encargará de generar la información correspondiente? o mejor aún:
• ¿Está especificado el nombre y el cargo de la persona encomendada?
• Les comparto los elementos mínimos que debe tener los medios de verificación del Indicador de acuerdo con CONEVAL:
  • Nombre completo del documento que sustenta la información
  • Nombre del área que genera o publica la información
  • Periodicidad con que se genera el documento (debe coincidir con la frecuencia de medición del indicador).
  • Liga a la página de la que se obtiene la información (si es el caso).

Realistic – Realista

En este punto me quedé meditando mucho, y les propongo las siguientes preguntas:

• ¿El programa presupuestario tiene un diagnóstico del problema documentado?… que contenga entre otras cosas el árbol de problema, árbol de objetivos, la estructura analítica del problema y la selección de la mejor alternativa para lograr el objetivo, es decir, solventar el problema planteado o revertir la situación no deseada.
• Para explicarme un poco mejor este punto, voy a dar un paso atrás en las definiciones. Recordemos que la Metodología de Marco Lógico es una herramienta para solucionar problemas; de ahí que los pasos a grandes rasgos sean: identificar el problema, analizar el problema, visualizar el objetivo o la situación deseada, proponer formas o caminos de llegar a ella, seleccionar la mejor opción, establecer la forma de medición y evaluar el desempeño.
• Entonces todos esos pasos, y en particular la selección de la mejor alternativa de «atacar el problema», en función de la capacidad presupuestal, facultades normativas, etc. es precisamente, desde mi punto de vista, la revisión que los objetivos del programa sean realistas, debido a que es en ese punto en donde se descartan aquellas opciones, o medios, que están apegadas a la realidad o no serán factibles de llevarse a cabo.
• De igual forma, creo yo conveniente en este punto, revisar la lógica horizontal y vertical de la Matriz de Indicadores para Resultados.

Lógica vertical: La lógica vertical es un análisis de los niveles de abajo a hacia arriba de la matriz, con el propósito de validar la causalidad entre los cuatro niveles de objetivos y sus supuestos.

La Lógica horizontal nos permite responder las siguientes preguntas:¿Los medios de verificación identificados son los necesarios y suficientes para obtener los datos requeridos para el cálculo de los indicadores?

¿Los indicadores definidos pueden hacer un buen seguimiento del proyecto o programa y evaluar adecuadamente el logro de los objetivos?

• Y finalmente en este rubro, sugiero revisar si existen procedimientos para establecer las metas de los indicadores. Recordemos que de acuerdo con el Manual para el diseño y construcción de indicadores de CONEVAL, “las metas de los indicadores permiten acreditar el grado de avance de los objetivos.
• Las metas deben ser realistas, es decir deben ser un valor que dada la capacidad técnica, humana y financiera del programa, sea factible alcanzarla en un periodo.
• De acuerdo con el IPLES, se deben considerar diferentes parámetros para establecer las metas de los indicadores: Desempeño histórico, Programas similares y Estándares.
• ILPES también nos dice que los pasos para determinar una meta son: Identificar la línea base del indicador, usar los datos de la línea base para establecer la meta (tomando en cuenta las consideraciones mencionadas) y que en caso de que no exista línea base, se debe construir.

Time related – Especificados en un periodo de tiempo

Los objetivos tendrán definidos sus indicadores, y a su vez los indicadores deberán tener definida su frecuencia de medición en la Ficha Técnica del Indicador.

• Recordemos que la SHCP en los Lineamientos para la construcción y diseño de indicadores de desempeño mediante la Metodología de Marco Lógico, define la Frecuencia de medición del indicador de la siguiente manera:

Frecuencia de medición: Es la periodicidad en el tiempo con que se realiza la medición del indicador.

Es importante considerar que cuanto más alto es el nivel de objetivos, menor será su frecuencia de medición. Así que dejo esta imagen para revisar si las frecuencias de los indicadores de la MIR son congruentes con lo que nos sugiere el CONEVAL en este caso.

Es lo que tenía para hoy, espero que sea de utilidad; cualquier duda o pregunta estoy a tus órdenes. Nos vemos en el próximo episodio!

-Isaac