Bienvenidos a un episodio más del Podcast de la Matriz de Indicadores para Resultados desde ABBA INSADISA. El día de hoy continuamos con el ciclo de la Ficha Técnica del Indicador, con los Criterios CREMAA y el día de hoy aprenderemos sobre la «a» de Adecuado.

Definición

De acuerdo con el Blog de CONEVAL, Adecuado Se refiere a si el indicador aporta una base suficiente de información para emitir un juicio respecto del desempeño del programa en determinado periodo.

Y como hemos visto en episodios anteriores, CONEVAL recomienda una serie de preguntas guía para verificar si cumple el indicador con los criterios CREMAA en este caso, con la «a» de «Adecuado».

Preguntas guía

Existe congruencia en el establecimiento de metas anuales y sexenales?

• La respuesta es «sí»,cuando las metas anuales y sexenales son congruentes con el sentido del indicador.

¿La dimensión del indicador está bien identificada?

• La respuesta es «sí» cuando, la dimensión del indicador coincide con los conceptos de las guías y manuales de la metodología de marco lógico (eficiencia, eficacia, calidad y economía)

Ejemplos

Ok, veamos el ejemplo y la aplicación que maneja el CONEVAL:

Indicador 1

Becas otorgadas a alumnos
Método de cálculo: (# de alumnos apoyados en el año t / # de becas programadas a entregar en el año t) * 100
Línea base: 100%
año base: 2013

Meta anual: 100%
Meta sexenal: 85%
Dimensión: Eficiencia
Sentido del indicador: Ascendente

Aplicación de las preguntas Guía

Ejemplo 1

¿Existe congruencia en el establecimiento de metas anuales y sexenales?

• NO. Debido a que el valor de la línea base es 100% y el sentido del indicador es ascendente, se esperaría que tanto la meta anual como la sexenal fueran al menos del mismo valor que la línea base pero no menores a ésta.

¿La dimensión del indicador está bien identificada?

• NO. Dado que el indicador mide lo programado contra lo realizado, mide el cumplimiento por lo que es un indicador de eficacia y no de eficiencia.

Veredicto: el Indicador 1 no es ADECUADO.

Indicador 2

Porcentaje de alumnos apoyados que concluyen sus estudios respecto al total de apoyados
Método de cálculo: (# de alumnos apoyados en el año t-5 que concluyen sus estudios en el año t / # de alumnos apoyados en el año t-5) * 100
Línea base: 65%
año base: 2013

Meta anual: 75%
Meta sexenal: 90%
Dimensión: Eficacia
Sentido del indicador: Ascendente

Aplicación de las preguntas Guía

Ejemplo 2

¿Existe congruencia en el establecimiento de metas anuales y sexenales?

• Sí. Si el valor de la línea base es del 65% y el sentido del indicador es ascendente, entonces se esperaría que tanto la meta anual como la sexenal fueran al menos del mismo valor que la línea base, en este caso la anual es del 75% y la sexenal del 90% por lo que ambas metas son congruentes.

¿La dimensión del indicador está bien identificada?

• El indicador mide el cumplimiento por lo que es un indicador de eficacia.

Espero que haya sido de utilidad y nos vemos en el próximo episodio!

-Isaac

Muy buenos días a todos y bienvenidos a un nuevo episodio del Podcast de la Matriz de Indicadores para Resultados; el día de hoy un episodio en donde comentaremos cómo determinar las metas de los indicadores.

Definición

De acuerdo con el Manual para el diseño y construcción de indicadores de CONEVAL, «las metas permiten acreditar el grado de avance de los objetivos. Dado que las metas son conocidas y acordadas con los ejecutores de los programas, es fácil comprobar quién ha cumplido cabalmente con ellas.»

Las metas es que deben ser realistas, es decir deben ser un valor que dada la capacidad técnica, humana y financiera del programa, sea factible alcanzarla en un periodo.

Es común y frecuente establecer metas por debajo de la capacidad del organismo que se alcanza y supera con facilidad (por a veces encontramos metas que superan el 1000% de lo planeado); o por el contrario, que casi nunca pasa, fijarse metas demasiado ambiciosas que no son posible cumplir.

Navegando por la red, encontré una presentación muy buena que fue impartida por CONEVAL y el IPLES CEPAL en octubre 2009 en la Ciudad de México, y el pdf tiene como título «Curso taller para la construcción de indicadores de desempeño» ; los expositores al parecer fueron Marianela Armijo y Eduardo Aldunate.

Y me voy a permitir comentar algunos puntos de esa presentación referente al tema del día de hoy: las metas de los indicadores.

Indicadores y metas

Y bueno, se menciona que la relación entre Indicador y meta es que el resultado de la medición del indicador entrega un «valor», este valor se debe comparar con la meta establecida para el indicador y esa comparación permitirá establecer un juicio respecto del desempeño del programa.

Ejemplo

Supongamos que existe un indicador llamado: Porcentaje de gastos administrativos del programa.

La meta del indicador es 20%; y el valor después del ejercicio real fue de 15%… es decir el valor real fue menor que la meta, de manera que podemos inferir que se cumplió la meta, porque entre menor sea ese porcentaje, mejor es para el programa.

Requisitos de las mteas

Bueno, y aquí viene lo bueno del programa… cómo determinar las metas? a ojo de buen cubero? al azar? tomo lo mismo del año pasado?

De acuerdo con el IPLES, se deben considerar diferentes parámetros:

• Desempeño histórico
• Programas similares
• Estándares

Deben ser posibles de cumplir con la institución con los recursos financieros, humanos, físicos y tecnológicos disponibles.

Su logro debe depender de la institución (ojo a nivel Fin ni Propósito, no debe estar bajo control de la institución, a nivel componente y actividades sí están bajo control del ejecutor) (establecer los supuestos necesarios)

Pasos para determinar una meta

ILPES nos dice que los pasos para determinar una meta:

1. Identificar la línea base del indicador
2. Usar los datos de la línea base para establecer la meta.
3. En caso de que no exista línea base, se debe construir.

¿Qué es la línea base? eso ya lo vimos en el episodio anterior, pero básicamente es mencionar ¿Dónde estamos ahora?¿Cómo hemos estado antes?

Esto nos permitirá determinar ¿Cuan lejos queremos y
podemos llegar?

Los responsables

ILPES nos dice que las metas deben tener asignados responsables por su cumplimiento a nivel de la organización, debe quedar claramente establecido cual es la Unidad, Área, Dirección, que es responsable por el cumplimiento de la meta, aún cuando otras áreas intervengan con producción intermedia o final.

Problemas frecuentes cuando se establecen las metas

• No existen o no se construyen los medios de verificación
• Los supuestos no son pertinentes (se imputan aspectos que la institución sí controla)
• Las metas estimulan un desempeño poco innovador y desafiante
• No existen datos disponibles para estimar la línea base
• La institución desconoce estándares de entidades similares
• De desconocen la población objetivo y potencial
• Riesgo de sobre o subvalorar la meta
•  Trampa de la medición: se muestra como resultados (y se hace) solo lo que se puede medir.
• Escasa utilidad para la toma de decisiones y mejora de la gestión

Es todo por el episodio de hoy, espero que haya sido de utilidad y gracias por escuchar; nos vemos en el próximo episodio!

Muy buenos días a todos! es un gusto saludarlos y en día de hoy continuamos con el Ciclo de la Ficha Técnica del Indicador, referente a la característica de Monitoreabilidad como parte de los Criterios CREMAA en el Podcast de la Matriz de Indicadores para Resultados.

Anteriormente hemos visto lo que es la Claridad, Relevancia y Economía de un Indicador, como podemos ver en los episodios pasados:

• Claridad
• Relevancia
• Economía

Hoy continuamos revisando el tema que un indicador contar con la: Monitoreabilidad. De acuerdo con el artículo ¿Cómo revisar indicadores? Criterios mínimos de claridad, relevancia monitoreabilidad y adecuación, publicado en el Blogconeval.gob.mx la Monitoreablidad es definida como:

Definición

Claridad en los medios de verificación y del método de cálculo con el fin de determinar si el indicador puede ser sujeto a una comprobación independiente.

Y como en los episodios anteriores, Coneval nos sugiere preguntas guía:

1er Pregunta Guía para determinar la Monitoreablidad

¿El indicador tiene un valor de línea base para su seguimiento?

La respuesta es sí, cuando:

• El indicador tiene especificado el valor de la línea base (puede ser «cero»), o bien, especifica cuándo se contará con dicha información.

2da Pregunta Guía para determinar la Monitoreablidad

¿Los medios de verificación planteados son consistentes?

La respuesta es sí, cuando:

• La frecuencia de medición del indicador coincide con la frecuencia con la cual los medios de verificación están disponibles o son actualizados.
• Los datos de las variables que integran el método de cálculo efectivamente se encuentran en el medio de verificación planteado.

1er Ejemplo

1era Revisión

2do Ejemplo

2da Revisión

Eso es todo por el día de hoy, espero que haya sido de utilidad y nos vemos en el próximo episodio!

-Isaac

De acuerdo con los «Lineamientos generales para la evaluación de los Programas Federales de la Administración Pública Federal» y con base en el décimo sexto artículo existen diferentes tipos de evaluación los cuales se dividen en dos: Evaluación de Programas y Evaluaciones Estratégicas.

En lo que respecta a las Evaluaciones de Programas tenemos:

• Evaluación de consistencia y resultados
• Evaluación de indicadores
• Evaluación de procesos
• Evaluación de impacto
• Evaluación específica

Evaluación de consistencia y resultados

Analiza sistemáticamente el diseño y el desempeño global de los programas para mejorar su gestión y medir el logro de sus resultados con base en la matriz de indicadores.

Este tipo de evaluación se realiza mediante trabajo de gabinete y el informe final debe contener un análisis de los siguientes apartados:

• En materia de Diseño
• En materia de Planeación Estratégica
• En materia de Cobertura y Focalización
• En materia de Operación
• En materia de la percepción de la población Objetivo
• En materia de resultados

Los términos de referencia yo los he consultado en la página de CONEVAL, en la Sección de Evaluación de la Política Social / Evaluación de consistencia y resultados.

Antes de pasar con el detalle de cada evaluación, me gustaría compartirte lo que encontré referente a la diferencia de investigación o trabajo de gabinete e investigación de campo.

La investigación de gabinete o también llamada investigación documental, se trata utilizar, analizar y presentar resultados derivados de documentos que uno los solicita y se los hacen llegar; por otro lado la investigación de campo, uno tiene que estar físicamente en el sitio donde se realizar la acción.

Evaluación de indicadores

Analiza mediante el trabajo de campo la pertinencia y alcance de los indicadores de un programa para el logro de resultados.

Evaluación de procesos

Analiza mediante trabajo de campo si el programa lleva a cabo sus procesos operativos de manera eficaz y eficiente y si se contribuye al mejoramiento de la gestión.

Evaluación de impacto

Identifica con metodologías rigurosas el cambio en los indicadores a nivel de resultados atribuible a la ejecución del programa.

Evaluación específica

Aquellas evaluaciones no comprendidas en el presente lineamiento y que se realizarán mediante trabajo de gabinete y/o de campo.

Atención de recomendaciones

Y bueno, cabe mencionar que después de que el Programa sea evaluado, por lo general hay recomendaciones o aspectos susceptibles de mejora, los cuales el ejecutor del programa deberá considerarlos y en su caso aplicarlos.

Difusión

Finalmente, es importante mencionar que estos lineamientos indican que los resultados de las evaluaciones a los programas deberán ser difundidos en sus respectivas páginas de internet, para que la gente los conozca.

Muchas gracias por su atención y nos vemos en el próximo episodio.