¿Visión integral... al evaluar?

Evaluación con Visión Integral

La evaluación trata de reunir evidencias que nos indiquen qué se ha hecho, para qué sirve y hasta qué punto se acercan o no los resultados a los previstos. También, sin duda, qué es lo imputable al programa o política, y qué a otra causa, y cuáles son los efectos adversos que se han producido. Para contestar estas cuestiones de manera más eficaz, la evaluación necesita ocuparse de todo el ciclo de intervención, conocido como evaluación integral, en relación a su aplicación a todas las fases del ciclo de la intervención pública.

La evaluación integral trata de dar respuesta a la doble función del gobierno; legitimidad (políticas con directrices de buen gobierno) y funcionalidad (buena administración y gestión), que deben de tenerse en cuenta a la hora de evaluar los objetivos, las lógicas, las necesidades de información, los criterios, cronogramas, prioridades y usuarios de la evaluación, pueden ser distintos en el nivel superior de las políticas que en el de los programas, y el informe integra los resultados de ambas funciones que se complementan.

En general, la evaluación de programas se está orientando como una disciplina que busca contribuir al desarrollo y a la inversión en programas efectivos, mediante la generación de evidencia sobre el valor de los programas, las intervenciones efectivas y también las condiciones que se relacionan con el éxito o el fracaso de los programas. En este sentido, se busca contribuir a la toma de decisiones y a la equidad social, generando conocimiento y evidencia sobre la efectividad de los programas sociales para la mejor asignación de los recursos. Por esta razón, se considera que la evaluación debe ser abordada desde un enfoque integral, en el que además de analizar los resultados alcanzados por un programa, se identifican los aspectos que limitan o potencializan su desempeño.

Partiendo de los aportes que han hecho los organismos especializados sobre los diferentes tipos de evaluación, se considera que la evaluación integral debe ser entendida como dinámica e interactiva, teniendo como objetivo verificar el desempeño y el funcionamiento de los programas, mediante la aplicación y sinergia de las diversas fases de la evaluación que permitan detectar sus áreas de mejora considerando sus etapas de formulación, planeación y operación; emitir recomendaciones sobre los ajustes que requiere el programa para mejorarlo, y así contribuir a la equidad social.

El carácter integral de la evaluación se muestra en tres aspectos, primero, en contemplar una diversidad de evaluaciones que contesten preguntas relevantes sobre el ciclo del programa, partiendo desde el diagnóstico del problema que origina el programa hasta la ejecución del mismo. Segundo, en considerar los aportes que tienen estas etapas del programa en los efectos y resultados del programa, es decir, de qué forma explican que se estén logrando los objetivos y las metas propuestas. Tercero, en incluir un abordaje de métodos mixtos: cuantitativo y cualitativo (EuropaAID 2004; WB 2009).

Planeación del Programa

Deben responderse las siguientes preguntas para no perder el enfoque:

1.       ¿Cuál es la finalidad del programa?

Fin: Es la descripción de cómo el programa contribuye, en el mediano o largo plazo, a la solución de un problema de desarrollo o a la consecución de objetivos estratégicos de la institución.

No implica que el programa, en sí mismo, será suficiente para lograr el Fin. Pueden existir otros programas que contribuyan al logro del mismo, pero si debe tener una contribución significativa.

2.       ¿Qué efecto concreto se espera del programa?

Propósito: Es el resultado directo a ser logrado en la población objetivo como consecuencia de la utilización de los componentes (bienes y/o servicios) producidos o entregados por el programa.

Es la aportación específica a la solución del problema

Cada programa debe tener un solo propósito

Se expresa como algo logrado

Normalmente tiene una estrecha relación con el nombre del programa

3.       ¿Qué productos o servicios deben ser generados y/o entregados?

Componentes: Son los bienes y/o servicios que produce o entrega el programa para cumplir con su propósito

Están dirigidos al beneficiario final (población objetivo) o en algunos casos, a beneficiarios intermedios

No es una etapa en el proceso de producción o entrega de los bienes y/o servicios

Deben ser los necesarios (y “suficientes”) para lograr el propósito

4.       ¿Qué se tiene que hacer para generar esos productos o servicios?

Actividades: Son las principales tareas que se deben cumplir para el logro de cada uno de los componentes del programa.

Deben listarse en orden cronológico y agruparse por componente

Pueden ser una o varias

Pueden existir algunas comunes a varios componentes

Consistencia de la Lógica Vertical

Las actividades son las necesarias y suficientes para producir el componente.

Los componentes son los necesarios y suficientes para lograr el propósito.

Si se logra el propósito, debería resultar en la contribución del fin.

Los objetivos deben estar claramente definidos, no deben existir ambigüedades ni objetivos múltiples a nivel de propósito y fin.

Todos los (“involucrados”) deben entender lo mismo por cada nivel especificado.

Debilidades comunes

Fines muy “lejanos” del propósito lo que impide determinar, por insignificante, el aporte que hace el programa a su logro

Fin igual al propósito (redactados en forma diferente pero diciendo lo mismo)

Relaciones causales poco claras, entre los componentes

Programas con más de un propósito, frecuentemente incorporados en una sola frase

Población objetivo no identificada

En algunos casos, muchas actividades, en otros, muy pocas que dejan fuera algunas que se consideran relevantes para el logro de los componentes.

Supuestos (Retos)

§  -Son factores externos, que están fuera del control de la institución responsable de un programa, pero que inciden en el éxito o fracaso del mismo.

§ -Cada programa puede enfrentar riesgos ambientales, financieros, institucionales, climatológicos, sociales u otros que pueden hacer que el mismo fracase.

§ -Los supuestos tienen la virtud de obligar a quienes formulan el programa a explicitar los riesgos y a quienes lo ejecutan a estar pendientes de ellos.

§ -Cada supuesto corresponde a un riesgo que enfrenta el proyecto, no controlable por gerencia del proyecto.

§ - El supuesto es una condición que tiene que darse para que se cumpla la relación de causalidad en la jerarquía de objetivos.

§ - Sólo se consideran los riesgos que tengan una probabilidad razonable de ocurrencia.

§  -Representan condiciones necesarias para el logro de los objetivos que no dependen de la gerencia del programa.

Evaluación de Etapas a través de Indicadores:

•          Es un instrumento que entrega información cuantitativa respecto del logro          de un objetivo.

•          Puede corresponder a aspectos cuantitativos o cualitativos del logro del objetivo

•          Sirven para tomar decisiones, ajustar, corregir, mejorar, etc.

•          Proporcionan la base para supervisar y evaluar el programa.

•          Pueden reflejar aspectos cualitativos o cuantitativos.

•          Establecen una relación entre variables.

•          Entregan información cuantitativa.

•          Se les asocian metas que nos permiten conocer en qué medida se cumplen los objetivos.

•          Es recomendable acordarlos con los involucrados.