Los beneficios de la Metodología de Marco Lógico y la Matriz de Indicadores para Resultados.

Muy buenos días a todos y bienvenidos a un episodio más del Podcast Matriz de Indicadores para Resultados desde Abba INSADISA, el día de hoy me permitiré comentar acerca de los beneficios de la Metodología de Marco Lógico y la Matriz de Indicadores para Resultados en las organizaciones públicas.

Introducción

Estaba revisando en YouTube un Webinar del Diplomado Presupuesto Basado en Resultados de la SHCP realizado por el Maestro José Francisco de la Torre y el Maestro Juan Carlos Robles Ríos, en donde hablan entre otros temas,  sobre los beneficios de la Metodología de Marco Lógico y la Matriz de Indicadores para Resultados y decidí rescatar algunos puntos que me parecieron muy importantes y pues aquí los vamos a comentar.

Antes de comenzar, recordemos la relación entre la Metodología de Marco Lógico y la Matriz de Indicadores para Resultados; la Metodología de Marco Lógico (MML) es una herramienta para resolver problemas… y es que la MML facilita el proceso de conceptualización del problema, diseño de la solución, además de su ejecución, monitoreo y evaluación.

Asimismo, el Gobierno realiza intervenciones para resolver problemas públicos, por lo que se decidió establecer la Metodología de Marco Lógico para el diseño de los Programas Presupuestarios.

Así que después de aplicar la MML, el resultado es una Matriz de Indicadores para Resultados (MIR). Para explicarlo de otra forma, imagínate que tienes una receta para hacer una sopa de verduras… bueno la receta sería la MML y la sopa seria la MIR, por decirlo de una manera.

Beneficios de la Metodología de Marco Lógico y la Matriz de Indicadores para Resultados

Beneficio # 1. Establecimiento de un Lenguaje Común en todas las etapas del Programa Presupuestario.

• Ejemplo del dibujo de los árboles.
• Frecuentemente pasa que cada una de las áreas: Planeación, Programación, Presupuestación, Monitoreo, Evaluación o los mismos ejecutores de los programas hablan distinto lenguaje.
• Recuerdo que el año pasado que tuve la oportunidad de dar una asesoría en un organismo público, la primer tarea fue dar un contexto del MML y la MIR y establecer las definiciones.
• Hablamos por ejemplo de que cuando digamos Componente, nos referimos a bienes y servicios por ejemplo. Cuando decimos Propósito, nos referimos al resultado esperado en la población objetivo. Cuando hablamos de supuestos, hablamos de condiciones externas al programa que son necesarias para el éxito del mismo, entre otras importantes definiciones.

Beneficio # 2. La información más importante del Programa Presupuestario contenida en un solo cuadro.

• La Gestión por Resultados (GpR) es un modelo que va más allá de que las instituciones públicas ofrezcan servicios públicos mediante procedimientos bien establecidos y normados, sino que busca obtener las mejores y más eficientes soluciones a los problemas sociales.
• Estamos hablando de resultados, de manera que la información más importante de un Programa Presupuestario está contenida de un solo cuadro, que se llama Matriz de Indicadores para Resultados (MIR).
• Por ejemplo, a un Tesorero de un municipio lo que más le interesa y de lo que se ocupa es de la recaudación del Ingreso y de la calidad de la ejecución del gasto. Bajo esa tesitura, podría entonces tener dos Programas Presupuestarios, es decir dos Matrices de Indicadores para Resultados. El propósito podría ser, en lo referente al tema del ingreso, incrementar la recaudación propia respecto de los ingresos totales, por ejemplo. En la MIR de ese programa podría estar monitoreando el avance del objetivo a nivel propósito, y también a nivel componente y actividad y Fin por supuesto.

Beneficio # 3. Revisión del diseño del Programa, es decir, la teoría de cambios o la cadena causal del mismo.

• Volvamos al ejemplo clásico del peso; si mi propósito es bajar de peso, pero no hago una planeación para ir a comprar el mandado de la semana, me duermo tarde y no preparo mi desayuno ni las colaciones del día siguiente, tomo refresco, etc. entonces no son lógicas mis acciones con el resultado que espero verdad?
•  La cadena causal consiste en la identificación de problema, planeación y diseño de mecanismos de intervención para atender las demandas sociales, ya que se supone que dichas intervenciones son capaces de “modificar” la realidad, social, económica o política para bien.
• Precisamente hablando de la cadena causal, en una evaluación de diseño un elemento a validar es la Lógica Vertical (episodio 37), en donde precisamente se analizan los niveles de la MIR desde abajo a hacia arriba, con el propósito de validar la causalidad entre los cuatro niveles de objetivos y sus supuestos.
• De acuerdo al CONEVAL, la lógica vertical nos debe permitir responder las siguientes preguntas:
• ¿Cuál es el problema de desarrollo o el objetivo estratégico de la dependencia o entidad al cual se contribuye, en el mediano o el largo plazo, con la ejecución del programa? La respuesta: El fin (Episodio 15) de la MIR.
• ¿Qué cambio se espera alcanzar en la población objetivo como resultado de que reciban los bienes o servicios del programa? Respuesta: El propósito (Episodio 16).
• ¿Qué bienes o servicios deberán ser producidos o entregados a la población objetivo para lograr el propósito? Respuesta: Los componentes (Episodio 17).
• ¿Qué tareas o acciones se deben aplicar para producir o entregar los componentes? Respuesta: Las actividades (Episodio 18).
• ¿Qué factores externos, fuera del control del programa, inciden en el cumplimiento de los objetivos? Los supuestos (Episodio 33).

Beneficio # 4. Acuerdos precisos y saber hacia dónde debemos ir y establecer los elementos para saber cuándo hemos llegado.

• ¿En que parte del programa está establecido a dónde se debe ir? La respuesta está en el FIN y el PROPÓSITO de la Matriz de Indicadores para Resultados del programa.
• ¿Cómo saber cuándo se ha llegado? a través del Monitoreo y Evaluación del Programa apoyándose en la MIR y sobre todo en los Indicadores (Episodio 20).
• Ejemplo de la Evaluación del Programa para ayudar a las personas a dejar de fumar (Episodio 87).

Beneficio # 5. Base para un propio Sistema de Evaluación al Desempeño para mejorar el Programa Presupuestario.

• Rendición de cuentas
• Aprendizaje
• Mejoramiento del Programa. El autor David Arellano Gault, en su libro «Sistemas de Evaluación al Desempeño para organizaciones públicas» (Episodio 83) define  maneja como un “compromiso técnico creíble” entre el gobierno y la sociedad, para que el primero muestre fines específicos de manera transparente.

Conclusión

Espero que este artículo haya sido de utilidad, ya que exploramos con mayor detalle los beneficios de la Metodología de Marco Lógico y la Matriz de Indicadores para Resultados. Recuerda que el objetivo de este PodCast es llevarte información sobre estos temas y convertirte sino en un experto, por lo menos conocedor e impulsor de la Gestión para Resultados en la organización pública donde te encuentres. Nos vemos en el próximo episodio!

-Isaac

La Evaluación de los programas

Muy buenos días a todos! sean bienvenidos y bienvenidas al episodio 87 del Podcast de la Matriz de Indicadores para Resultados desde ABBA INSADISA.

El día de hoy, platicaremos sobre una porción del libro «Antología de la Evaluación» que me pareció excelente y necesario de difundir entre toda la audiencia.

El inicio

La historia comienza con un Programa para ayudar a las personas a dejar de fumar, el cual consiste en que se llama a unas 100 personas cada mes para que participen en tres sesiones de actividades grupales.

¿Cómo saber el avance del programa?

Resulta que el programa citado ha operado ya por un año, y entonces el personal a cargo se hace la siguiente pregunta. ¿Cuál es el grado de avance? ¿Las personas que atiende el programa, realmente dejaron de fumar y se mantienen alejadas del cigarro?

La respuesta es que no se sabe, ya que nunca se han entrevistado a los participantes que participaron en el programa… así que los operadores del programa deciden hacer una Evaluación para saber si alcanzaron los objetivos: que las personas participantes dejen de fumar.

Asimismo, el libro afirma que en este caso, la Evaluación es relativamente sencilla, porque está claro el indicador de éxito: que los participantes dejen de fumar, ya que dejar el cigarro mejora la calidad de vida, y los pulmones, y corazón, etc. etc.

Las llamadas telefónicas y los dilemas de medición

Por lo que la historia continúa, el personal revisa las listas de asistencia de la semana anterior (ojo, la semana anterior) y los llama por teléfono y les pregunta que si dejaron de fumar, y el 47% responde que sí.

No obstante lo anterior, varios miembros del personal opinan que una semana es un periodo muy corto de tiempo y pudo haber sido que lo hayan dejado pero el punto es que no vuelvan a ser presa del vicio.. así que se recomiendan hablar a los participantes de los primeros tres meses del programa, ya ha pasado casi un año y se interesan en conocer los resultados.

Así lo hacen y resulta que el 39% dejó de fumar; Los entrevistadores se preguntan ¿si ese porcentaje es bueno? A lo que narra el libro que un miembro del equipo de evaluación les recuerda a sus colegas que muchas personas dejan de fumar sin ayuda alguna y pudo haber sido que les hubiera ido bien sin inscribirse al programa.

Por lo tanto, el equipo decide llamar a los amigos fumadores que conocen para hacerles la misma pregunta: ¿Dejó de fumar? y resulta que solo el 2% de ellos lo logró. Así que un evaluador exclama: «Lo ven?, nuestro programa sí produjo cambios».

Sin embargo, otro colega objeta que la comparación no es justa, ya que las personas que asistieron al programa estaban motivadas para dejar de fumar, mientras que las últimas personas evaluadas no.

¿Entonces… como encontrar personas que se encuentren motivadas a dejar de fumar que no asistieron al programa? Lo intentaron hacer comparando los resultados con otro programa similar, pero lo descartaron porque deseaban saber si el programa funcionaba, no se es peor o mejor que otro.

Los grupos de control

Por otro lado, alguien que conoce sobre investigación, sugiere establecer un grupo de control de asiglación aleatoria, en el que incluirán a personas con la misma motivación para dejar de fumar. Así que de las siguientes 200 solicitudes para ingresar al programa, aceptarán al azar 100 y a las 100 restantes les indicarán que ya no hay lugar sino hasta el próximo mes.

El libro narra que una vez trasncurrido ese periodo, las respuestas a las entrevistas telefónicas relevan que el 46% del grupo del programa dejó de fumar, mientras que solo el 15% del grupo de control lo logró. El personal ahora cree que tienen un dictamen final, las personas que no participaron en el programa fracasaron en su intento por dejar de fumar; pero no es del todo real, que tal si no lo intentaron dejar porque sabían que iban a ser aceptados en el programa el siguiente mes? o que tal si buscaron ayuda en otro programa, eso aumentaría el número de quienes lograron dejar de fumar.

Y en ese momento surge otro dilema, «haber, qué significa que hayan dejado de fumar», que lleva un día sin fumar? una hora?. Me recuerdo en las campañas que me tocó participar de «Chécate, Mídete, Muévete» (Unidos por tu salud), a los participantes se les hace una breve encuesta en el módulo de recepción y una pregunta es precisamente si es fumador, y recuerdo que una persona me dijo que «no era fumadora», y le volví a preguntar que hace cuánto dejó el cigarro, a lo que me respondió: «Hace 5 minutos».

Regresando a la historia del libro, alguien más sugiere plantear más preguntas sobre cuánto ha fumado la persona desde que salió del programa, no solamente si «dejó de fumar».

¿Desanimados?

Hasta este punto el equipo se encontraba desanimado, aún más dice el libro, cuando la Directora de la Institución puso en tela de juicio si las personas entrevistadas decían la verdad en sus respuestas, que tal si mienten para que no se sientan mal quienes se encuentran a cargo del programa. «Se debería constatar su respuesta con familiares o amigos, o incluso hacer prueba de saliva para detectar la presencia de nicotina».

Pero alguien objetó que no cuentan con el tiempo ni dinero necesarios para realizar un estudio tan elaborado y preguntó ¿qué se podía hacer con los recursos disponibles actualmente.?

Conclusión

Finalmente, el libro cierra este fragmento, motivando al lector que continúe leyendo, ya que al término del mismo, se espera que el lector pueda ayudar al equipo de evaluación a tomar decisiones razonables con respecto a qué acciones realizar en la siguiente etapa. Si te interesa conocer más acerca de cómo medir este tipo de programas para dejar de fumar, puedes consultarlo en las referencias del libro «Antología sobre Evaluación».

Nos vemos en el próximo episodio!

-Isaac

 

 

Consejos prácticos para contestar la evaluación sobre el nivel de implementación PbR-SED

Bienvenidos a un episodio más del Podcast Matriz de Indicadores para Resultados desde ABBA INSADISA; es un gusto saludarlos y el día de hoy me permitiré compartir sobre un tema muy interesante: Consejos prácticos para contestar el Cuestionario que mide el nivel de implementación PbR-SED en los Gobiernos Subnacionales.

Marco Jurídico

Primeramente es importante mencionar que el Cuestionario es realizado por la Secretaría de Hacienda y Crédito Público (SHCP) y se reportan los resultados en la Página de transparencia presupuestaria.

La evaluación en comento es efectuada basada principalmente en el artículo 80 de la Ley General de Contabilidad Gubernamental, que dice:

Art. 80 La SHCP deberá hacer entrega a la Cámara de Diputados un Informe del Avance alcanzado en la Implementación y operación del PbR-SED (último día hábil de abril).

Asimismo, existen otros artículos que la sustentan como el 54 y 79. Además obviamente el artículo 134 Constucional, donde básicamente se mencionan dos puntos:

• Que la asignación y uso de recursos públicos deberá realizarse con eficiencia eficacia, economía, transparencia y honradez, para satisfacer los objetivos a los que estén destinados.
• Que los resultados del uso de los recursos, deberán y podrán ser evaluados por instancias técnicas.

También están el artículo 85 de la Ley Federal del Presupuesto y Responsabilidad Hacendaria, el 49 de la Ley de Coordinación Fiscal y lo emitido por parte del Consejo Nacional de Armonización Contable (CONAC).

¿Por qué y para qué de la Evaluación?

El objetivo de la Evaluación es Claro, conocer el grado de avance del nivel de implementación del PbR-SED en todos los Estados y los Municipios seleccionados, además de la Ciudad de México.

Lo anterior para asegurar que los ejecutores del gasto público eleven la calidad del gasto, mejoren su transparencia y generen mayor valor público.

Antecedentes

• 2010 el primer diagnóstico
• 2012 el segundo diagnóstico
• 2014 tercer diagnóstico (se incluyen algunos municipios)
• 2015 cuarto diagnóstico
• 2016 quinto diagnóstico
• 2017 sexto diagnóstico

Estructura del cuestionario

1. PbR-SED
   1. Marco Jurídico
   2. Planeación
   3. Programación
   4. Presupuestación
   5. Ejercicio y Control
   6. Seguimiento
2. Transparencia
3. Capacitación PbR-SED
4. Adquisiciones
5. Recursos Humanos
6. Buenas prácticas

Cada una de las secciones tiene preguntas, y cada sección tiene una ponderación; por ejemplo pesan más las preguntas de Evaluación que las de Marco Jurídico.

Metodología y Resultados

El cuestionario ha ido evolucionando, imagínate, fue hasta en 2015 que se implementó una herramienta en línea para contestarlo (antes no me imagino como se realizó, pienso que en papel, pero que bueno que se aprovechen las tecnologías para automatizar estas tareas).

Asimismo, pues los organismos públicos responden a las preguntas y SHCP valora desde el 2015 si dicha respuesta es «suficiente» o «insuficiente» desde 2015.

Ámbito Estatal

Por otro lado, de acuerdo con el Informe de José Angel Mejía Martínez del Campo, de la Unidad de Evaluación del Desempeño, titulado: Diagnóstico sobre el Avance en la Implementación del PbR-SED en Gobiernos Subnacionales 2017 en el ámbito Estatal:

• 12 entidades federativas alcanzaron un nivel de avance mayor al 70% global en la implementación del PbR-SED
  (Nivel satisfactorio)
• 10 entidades federativas registraron un nivel de avance en el rango de entre 60% y 70%
• Cinco entidades federativas, se situaron con un avance de implementación general del PbR-SED en el 2017.
• Cinco estados se ubican en el rango de avance menor al 50%.
• El promedio nacional de las entidades federativas es de 65.3%, ubicándolo en el cuadrante de color amarillo
  (entre 60% y 70%).
• El top 5 del 2017 fueron: México, Baja California, Guanajuato, Yucatán y Puebla.
• De hecho Yucatán recibió un reconocimiento por parte del Banco Interamericano de Desarrollo (BID) en el ámbito de Gobierno Subnacional (estatal) de Latinoamerica, y tuve la oportunidad de entrevistar a Guillermo Cortés, el secretario técnico de Planeación y Evaluación del Gobierno del Estado de Yucatán. Te invito a escuchar la entrevista del episodio 64.

Ámbito Municipal

En lo que respecta al ámbito municipal:

• Dos municipios alcanzaron un nivel de avance igual o mayor al 70% global en la implementación del PbR-SED (Nivel satisfactorio).
• Tres municipios registraron un avance de entre 60% y 70%
• Cuatro municipios se posicionaron en el rango de porcentaje de avance igual a 50% y menor a 60%.
• 51 municipios y dos DTCDMX, se ubicaron en el rango menor al 50% de avance.
• Respecto al promedio nacional (ámbito municipal), el resultado de los municipios y DTCDMX que proporcionaron información en 2017 fue de 26.0%.
• El top 5 de los municipios en 2017 son: Mérida, Puebla, Querétaro, San Luis de la Paz y Guadalajara.
• Tuve la oportunidad de entrevistar a Juan Carlos Rayas, quien labora en la Unidad de Planeación del municipio de San Luis de la Paz. Te invito a escuchar la entrevista del episodio 35.

Consejos prácticos

Ahora si pasamos a los consejos prácticos que puedo compartir en este episodio:

1. La primera es hacer una reunión de kickoff como le llaman, en donde se reúna un equipo dedicado a contestar y a recopilar la información del Cuestionario. Hacerles notar la importancia de esta evaluación a nivel nacional y de hacer lo mejor posible porque es la imagen y el resultado del trabajo que se ha hecho en su Institución sobre el PbR y SED.
2. Designar un responsable por cada pregunta.
3. Organizar la información en un Google Drive, de manera que este compartida para todos los del equipo.
4. Considerar que algunas preguntas compartirán documentos soporte de sus respuestas, entonces por cuestiones de espacio en la plataforma de hacienda se recomienda subir el documento soporte (PDF) en una sola respuesta y después cuando se ocupe en otra pregunta, hacer referencia al dicho documento.
5. Ok, antes de pasar a las siguientes recomendaciones me gustaría hacer una reflexión. Considera que SHCP tiene un equipo reducido para revisar todos los cuestionarios, posiblemente serán unas 4 o 5 personas, no lo sé, pero tienen que revisar muchísima información, más de 9,000 respuestas, entonces las respuestas deben de ser lo más claras y concisas. Que no tengan que buscarle mucho sino presentarles las respuestas en una bandeja de plata.
6. Adjuntar una respuesta «resumen» con capturas de pantalla y links.
7. Revisar que los links funcionen.
8. No adjuntar todo el pdf completo, sino solamente las partes. Usar I love PDF para tal efecto.

Espero que haya sido de utilidad, nos vemos en el próximo episodio.

-Isaac

Manejo de conflictos

El día de hoy comentaremos sobre el manejo de conflictos, basándome en el libro de Project Management de los autores Kanabar y Warburton. Muy buenos días, bienvenidos y bienvenidas al episodio 85 del Podcast de la Matriz de Indicadores para Resultados desde ABBA INSADISA. Comencemos!

Introducción

Hace un par de meses estaba releyendo el libro de Project Management, específicamente la sección de Manejo de conflictos, y me pareció valioso compartirlo con ustedes.

Asimismo, este libro como su título lo indica, habla sobre la administración de proyectos… cómo crear un plan, construir un equipo de trabajo y cómo mantenerse en la ejecución del proyecto dentro del presupuesto y los tiempos de entrega; los autores afirman que prácticamente todos los administradores de proyectos se encontrarán algún día con conflictos al interior de su equipo de trabajo.

Y destacan dos puntos referente a este tema:

• Los conflictos no son necesariamente malos.
• Es natural que broten en todas las organizaciones, debido a los distintos valores e intereses de cada uno de sus miembros y departamentos.

Por ejemplo, menciona el libro que un Departamento de Finanzas en una empresa, debería estar interesado en disminuir los inventarios, mientras que el administrador del proyecto seguramente demandará más inventario para protegerse en caso de que haya retrasos en la próxima entrega.

En lo que respecta a organizaciones públicas, me tocó apreciar que durante el proceso de elaboración de los paquetes fiscales, el área Administrativa estaba interesada en poner los pesos en los códigos programáticos, por lo que generalmente «apresuraba» a su área de Planeación para que terminara de hacer las MIRs correspondientes, las cuales son un paso previo al proceso de la presupuestación.

En todo caso, cómo resolvemos los conflictos es un factor crítico para determinar si el clima del proyecto o el clima laboral será agradable o no.

Los síntomas de un conflicto

Continuando con el tema, los autores mencionan que existen varios síntomas de conflicto en un proyecto:

• Los miembros del equipo prefieren trabajar aisladamente.
• El project manager no es capaz de tomar decisiones en puntos críticos.
• Falta de entusiasmo y baja moral entre los miembros del equipo.

Asimismo, Kanabar y Warburton comentan que es buena estrategia permitir que los miembros del equipo resuelvan el problema en lugar de imponer una solución a ello.

Estrategias para resolver conflictos

Las siguientes son algunas estrategias que propone el libro Project Management:

• Ignorar el conflicto.
  • No se confronta el problema sino que se escoge ignorarlo, esperando que se desvanezca. Al usar esta estrategia, no se logra ni el interés del proyecto ni de los integrantes involucrados. Si una persona no tiene autoridad para resolver el problema, lo más seguro es que opte por usar esta técnica de ignorar el conflicto.
• Obligar la solución.
  • El project manager dice cómo se resuelve, lo dictamina sin considerar nada más que su propia opinión… en inglés se dice «my way or the highway», en español sería «se hace así, si no te gusta está la puerta abierta». Esta estrategia puede proveer una solución a corto plazo de conflictos, pero raramente provee una solución  durable.
• Suavizar.
  • Se trata de enfatizar los puntos de acuerdo y no resaltar las áreas de desacuerdo. No resuelve el conflicto, pero al menos busca mantener un ambiente en armonía por unos momentos.
• Compromisos.
  • Esto es visto como una solución «perder-perder». El project manager intenta encontrar un punto medio al conflicto. El uso excesivo de los compromisos como estrategia para resolver problemas, puede quitar respecto y poder que un project manager necesita para influenciar futuras situaciones. Esta estrategia es considerada apropiada cuando de plano los involucrados en el conflicto están altamente comprometidos a objetivos mutuamente excluyentes.
• Confrontación y resolución de problema.
  • Ésta es la mejor estrategia para resolver conflictos y de hecho provee una solución durable. La confrontación pone los desacuerdos sobre la mesa y permite al project manager negociar una solución durable.
• Negociación.
  • La negociación en los conflictos se refiere a una comunicación voluntaria de las partes involucradas, ambas en control de los procesos y resultados. Los buenos principios de negociación incluyen: separar la persona del problema, indagar y enfocarse en los intereses de las personas involucradas en el conflicto, y proponer una solución nueva en donde ambas partes ganen y se sientan satisfechas.

6 pasos para lograr soluciones «ganar-ganar»

En Building Team Power, Thomas kayser recomienda seis pasos para lograr soluciones ganar-ganar, dentro del manejo de conflictos:

• Definición y selección del problema. (Cada involucrado define su postura)
• Análisis del problema. (Evidencia, datos, investigaciones, que demuestre que el problema identificado es real. identificar y priorizar las causas del mismo).
• Generación de soluciones potenciales. (Lluvia de ideas.. creatividad para proponer soluciones).
• Selección y planeación de la solución.
• Implementación de la solución.
• Evaluación de la solución. (Se solucionó el problema).

Es todo lo que tenía para hoy,… espero que sea de utilidad y lo puedas aplicar en tu área de trabajo.

Gracias y excelente día!

-Isaac

La parametrización de los indicadores

Bienvenido al último capítulo del ciclo de la Ficha Técnica del Indicador en el Podcast de la Matriz de Indicadores para Resultados desde ABBA INSADISA.

¿Por qué es necesario parametrizar?

Cómo saber de manera rápida y visual si los objetivos de un programa presupuestario o proyecto se están o no cumpliendo. Bueno una forma es mediante la semaforización de los resultados de los indicadores, me refiero a tener un tablero en donde tengamos los resultados que van mal (en color rojo), los que van mas o menos (en color amarillo) y los que van bien (en color verde). Esto permitirá focalizar la atención en donde más se requiere a inicios del año o a mediados del año, y no llegar al final del ejercicio fiscal con sorpresas desagradables.

De manera que surge la siguiente pregunta:

¿Cómo sabemos qué color le corresponde a cada resultado del indicador?

La respuesta es: Parametrizándolos. Este ejercicio de parametrización no puede ser general sino debe ser de manera particular y específica para cada indicador; con mayor razón debido a que tenemos indicadores con sentido ascendente y descendente.

¿Qué es una parametrización?

Parametrizar podemos decir que es establecer valores de referencia para los resultados de los indicadores, con el objetivo de determinar si el resultado obtenido es bueno, es regular o no es satisfactorio; y en función de esos resultados, podremos asignar colores para su semaforización.

1er Ejemplo

Antes de mencionar el siguiente ejemplo, me gustaría aclarar que no soy médico, ni químico pero el objeto del siguiente ejemplo es meramente didáctico.

La glucosa

En los análisis clínicos hay una prueba donde se mide la glucosa a través de una gotita de sangre obtenida por una pequeña punción en el dedo de la mano.

El nivel de la glucosa en la sangre es útil para determinar si una persona tiene o no diabetes; aquí es donde entramos al tema de la parametrización de los indicadores o dicho de otra forma a analizar los valores de referencia.

La parametrización

Los valores normales de glucosa en la sangre de una persona que no tiene diabetes y está en ayunas, son entre 70 y 100 miligramos de glucosa por decilitro de sangre (mg/dL) y menor a 140 mg/dL dos horas después de haber consumido alimentos.

De manera que la parametrización del indicador de glucosa quedaría de la siguiente manera:

Siendo «X» es resultado de glucosa en la sangre para una persona en ayunas:

Si X < 70 «Semáforo: amarillo»

Si 70 <= X <= 100 «Semáforo: verde»

Si 100 < X «Semáforo: rojo»

Interpretacón

Si el resultado de la glucosa en la sangre es menor a 70, existe lo que se conoce como «hipoglucemia», que se refiere a niveles bajos de glucosa en la sangre, y aquí a manera de ejemplo le asigné un semáforo color amarillo, pero bien pudiera ser de otro color, depende del criterio que se quiera aplicar.

Si el resultado está entre 70 y 100 el color del semáforo es «verde», ya que indica que todo está bien; finalmente si el resultado es mayor a 100, se le asigna un color «rojo», indicando una urgencia.

Aplicación

Ahora, es importante reconocer, y creo que ya todos sabemos el problema de Diabetes en el que nuestro país está sumergido; seguramente la Secretaría de Salud de cada uno de los Estados de la República, tiene programas presupuestarios para atender esta situación.

Así que a manera de ejemplo, pudiera existir un indicador de ese programa llamado: «Porcentaje de personas diabéticas en la ciudad o Estado «X», mayores de 40 años que están en control de su glucosa».

Y supongamos que el encargado del programa establece los parámetros del resultado del indicador: Del 50% al 100% color verde, del 40% al 49.9% color amarillo y menor a 40% color rojo; esto se puede leer que si la ciudad o el Estado logra que más del 50% de las personas diabéticas, mayores de 40 años, estén en control de su glucosa (es decir con valores normales), entonces se considerará que el programa ha tenido éxito.

Este es un indicador con sentido ascendente, así que la meta del indicador deberá ser mayor que la línea base. Si el resultado es mayor al planeado, es representativo de un buen desempeño.

2do ejemplo

Por otro lado, hago referencia al documento “ESTADÍSTICAS A PROPÓSITO DEL…DÍA DE LA MADRE (10 DE MAYO)” publicado el 8 de mayo de 2017 por el INEGI, en donde se habla entre otros temas, sobre el indicador llamado: «Razón de mortalidad materna».

Según la Organización Mundial de la Salud (OMS), la mortalidad materna es la principal causa de muerte entre mujeres en edad reproductiva a nivel global. Uno de los principales retos a nivel mundial es la reducción de la mortalidad materna. En 2015 con la presentación de la Estrategia Mundial de Salud de las Mujeres, los Niños y los
Adolescentes, se espera disminuir la razón de mortalidad materna (RMM) a menos de 70 defunciones por cada 100,000 nacidos vivos planteada dentro del Objetivo 3, de los Objetivos de Desarrollo Sostenible (ODS).

Así que un ejercicio de parametrización de los resultados del indicador, pudiera quedar de la siguiente manera (importante, depende de los responsables del programa, esto es solo a modo de ejemplo):

Si «X» < 70 (semáforo: color verde)

Si 70 < «X» < 90 (semáforo: color amarillo)

Si 90 < «X» (semáforo: color rojo)

La Razón de Mortalidad Materna es un indicador con sentido descendente, lo que significa que si el resultado es menor a la meta planteada, es equivalente a un buen desempeño; por otro lado, si el resultado es mayor a la meta planteada significa un desempeño negativo.

Conclusiones

La parametrización de los indicadores es fundamental en un Sistema de Evaluación al Desempeño, en lo que respecta al monitoreo y la evaluación.

Asimismo, considero necesario que la parametrización de los resultados de los indicadores sea individual y personalizada para cada indicador, no es conveniente hacerla de manera generalizada.

Hemos aprendido cómo parametrizar en dos ejemplos, uno considerando un indicador con sentido ascendente y otro con sentido descendente.

Espero que haya sido de utilidad y nos vemos en el próximo episodio!.

-Isaac

La importancia de los Sistemas de Evaluación al Desempeño

La realidad

David Arellano Gault, en su libro «Sistemas de Evaluación al Desempeño para organizaciones públicas», afirma que evaluar el desempeño en las organizaciones públicas es importante. ¿Por qué? porque afrontamos la realidad siguiente: Existen cada vez menos recursos y más necesidades. razón por la que las organizaciones públicas requieren demostrar que cuentan con conocimiento e información técnica sistematizada y precisa para resolver los problemas públicos.

De aquí nace lo que en varios países se conoce como Gestión por Resultados (GpR). Este modelo va más allá de que las instituciones públicas ofrezcan servicios públicos mediante procedimientos bien establecidos y normados, sino que este modelo busca obtener las mejores y más eficientes soluciones a los problemas sociales.

Relación entre la Gestión por Resultados (GpR) y los Sistemas de evaluación al desempeño

De acuerdo con Arellano Gault, la Gestión por Resultados implica una transformación de cuatro puntos: normativa, legal, organizacional y culturalmente sustantiva del sector público; y afirma que para que la GpR funcione, los servidores públicos deberán hacerse responsables del logro de los resultados comprometidos, no solamente del acatamiento de normas y procedimientos.

¿Cuántos informes de Gobierno hemos visto donde se habla de cuántos puentes se construyeron, cuántas luminarias se compraron e instalaron, cuántas escuelas se remodelaron, etc.?; los datos anteriores son necesarios pero no suficientes, pues no se habla de resultados, tampoco de eficiencia ni eficacia. No se habla, por ejemplo de cuáles ni cuántos problemas sociales se han resuelto en materia de comunicaciones, seguridad, educación, salud, etc.

La GpR propone que las Instituciones públicas puedan rendir cuentas no solo en términos de normas, procedimientos y servicios, sino también en efectos, resultados e impactos medibles. Arellano Gault afirma que el encadenamiento racional de la acción gubernamental se encuentra en los Sistemas de Evaluación al Desempeño.

¿Qué es y en qué consiste la evaluación del desempeño?

Una primera definición «a groso modo» de la Evaluación al Desempeño que encontramos en el libro que estamos analizando, es la siguiente:

Una modalidad de revisión y evaluación de la actividad gubernamental con enfoque a resultados de la gestión pública (Barros, 2002, citado en Morales, 2006:9)

No obstante lo anterior, el autor David Arellano comenta que no hay en realidad una única definición del término Evaluación del desempeño; incluso menciona que los resultados constituyen solamente una de las varias dimensiones que pueden considerarse como «desempeño». Así que hay que añadir al análisis de desempeño los insumos, actividades y procesos que hacen posible el logro de resultados.

Entonces, según el autor del libro, el desempeño se puede ver desde los siguientes enfoques:

• Bienes y servicios que un programa ofrece a la población objetivo.
• Eficiencia, productividad o calidad de los servicios otorgados.
• Resultados intermedios del programa.
• Resultados finales del programa.

El desempeño no es entonces un concepto simple, sino que al momento de analizarlo resulta mas bien complejo de lo esperado. Por lo anterior, el libro destaca que ha sido necesario construir un Sistema Integrado de elementos que permitan en la práctica hacer del desempeño una guía fundamental de la acción gubernamental.

De acuerdo con J. Ramón Gil-García en el ensayo «Enfoque sistémico y simulación para el análisis de políticas públicas», el enfoque sistémico es una perspectiva holística debido a que integra múltiples procesos y sus interacciones en una sola unidad de análisis denominado Sistema; el término sistema puede tener varios significados en función del área de estudio que lo esté representando y analizando, pero el común denominador de un sistema es la interacción entre los elementos que están delimitados por un ambiente externo. (Mats-Olov y Gunnar, o. cit.)

La construcción de las relaciones causales: debilidad de los Sistemas de Evaluación al Desempeño.

En el libro se habla de que las cadenas causales (identificación de problema, planeación y diseño de mecanismos de intervención para atender las demandas sociales, y que dichas intervenciones son capaces de «modificar» la realidad, social, económica o política para bien), argumentos que sostienen al SED, no son lineales sino en la realidad son complejas, son muy difíciles de identificar pero de que existen, existen; en este sentido la importancia de los Sistemas de evaluación al desempeño radica en que son una propuesta de ordenación y sistematización de la acción gubernamental. El autor lo maneja como un «compromiso técnico creíble» entre el gobierno y la sociedad, para que el primero muestre fines específicos de manera transparente.

No obstante lo anterior, los Sistemas de Evaluación al Desempeño son muy útiles pero limitados; ayudan a construir aproximaciones imperfectas de las relaciones causales de la acción gubernamental, afirma Arellano.

En próximos capítulos estaremos analizando más de este libro: «Sistemas de Evaluación al Desempeño para organizaciones públicas», del escritor David Arellano.