Tema 19 – Evaluación y control de intervenciones sociales. Definición y su necesidad. Métodos de diseño de la evaluación. Proceso de evaluación. Técnicas e instrumentos. Organización de los recursos y actividades de evaluación. Tratamiento y organización de la información. Metodología de investigación-acción.

INTRODUCCIÓN

Si utilizamos el diccionario evaluar significa señalar el valor de algo, estimar, apreciar, calcular; también estimar los conocimientos, aptitudes y rendimientos de los alumnos.

Hay quién habla de evaluar como “recogida de información que permite juzgar entre varias decisiones posibles” (Stufflebean, 1980), lo más importante es la recogida de información para poder tomar las decisiones oportunas.

De forma general podemos decir que el término evaluación es una palabra que tiene usos diferentes y que puede aplicarse a una gama muy variada de actividades humanas.

Como una primera aproximación a la precisión conceptual del término, podemos decir que la palabra evaluación designa el conjunto de actividades que sirven para dar un juicio, hacer una valoración, medir “algo” (objeto, situación, proceso) de acuerdo con determinados criterios de valor con que se emite dicho juicio.

En el ámbito de los servicios, programas y proyectos sociales, existen una serie de términos que se emplean con frecuencia y que –en ocasiones- se utilizan de forma similar al de evaluación, siendo necesario precisar y diferenciar su alcance como:

– Medición, que se refiere a la extensión y/o cuantificación de algo, pero sin determinar su valor.

– Estimación, que tiene un carácter aproximado y una carga subjetiva, ya que no implica exigencia metódica y formal como la evaluación sistemática.

– Seguimiento, que es el proceso analítico para registrar, recopilar, medir y procesar una serie de informaciones que revelan la marcha o desarrollo de un programa y que asegura una retroalimentación constante para una mejor ejecución del mismo.

– Control, que consiste en una verificación de resultados, no de su valoración (lo que constituiría una evaluación)

La evaluación sólo será útil si se utiliza como medio para mejorar un programa. Las intervenciones sociales requieren un buen diagnóstico y una evaluación permanente para poder hacer las modificaciones necesarias según vaya siendo preciso.

La evaluación consiste en recoger la información más relevante para después tomar una decisión.

La evaluación ha de ser sistemática, requiere un proceso de planificación en el que tenemos que responder a las preguntas de qué, cómo, dónde y cuándo evaluar. La evaluación tiene que estar planificada de antemano y cubrir todos los momentos de la intervención social, desde el diagnóstico e incluso evaluar la propia evaluación.

2. EVALUACIÓN Y CONTROL DE INTERVENCIONES SOCIALES. DEFINICIÓN Y SU NECESIDAD.

Cuando en las ciencias sociales y en las diferentes modalidades de intervención social se habla de evaluación, se alude a una forma de valoración sistemática que se basa en el uso de procedimientos que, apoyados en el uso del método científico, sirve para identificar, obtener y proporcionar la información pertinente y enjuiciar el mérito y el valor de algo de manera justificable.

Según Ander Egg, 2000, “La evaluación es una forma de investigación social aplicada, sistemática, planificada y dirigida; encaminada a identificar, obtener y proporcionar de manera válida y fiable, datos e información suficiente y relevante en que apoyar un juicio acerca del mérito y el valor de los diferentes componentes de un programa (tanto en la fase de diagnóstico, programación o ejecución), o de un conjunto de actividades específicas que se realizan, han realizado o realizarán, con el propósito de producir efectos y resultados concretos; comprobando la extensión y el grado en que dichos logros se han dado, de forma tal, que sirva de base o guía para una toma de decisiones racional e inteligente entre cursos de acción, o para solucionar problemas y promover el conocimiento y la comprensión de los factores asociados al éxito o al fracaso de sus resultados”

Evaluar consiste en la recogida e interpretación sistemática de una información con vistas a emitir un juicio de valor que facilite la toma de decisiones de cara a la mejora de lo evaluado. La evaluación ha de tener un enfoque cualitativo y cuantitativo.

También para Espinoza Vergara el concepto de evaluación tiene el mismo significado, pues entiende que “Evaluar es comparar en un instante determinado lo que se ha alcanzado mediante una acción con lo que se debería haber alcanzado de acuerdo a una programación previa.”

Respecto a un proyecto es comparar en un instante determinado lo que se ha alcanzado mediante una acción con lo que se debería haber alcanzado de acuerdo a una programación previa.

En otras definiciones, se resalta la importancia de la utilización del método científico en la evaluación, de la necesidad de la utilización del método de investigación social, por lo que hablaríamos de investigación evaluativa. Así pues, desde esta perspectiva, la evaluación no sólo persigue medir los resultados de las intervenciones, sino que también, por otra parte, pretende medir los procesos de cambio o la naturaleza de las propias intervenciones

La evaluación debe ser: Útil, viable, ética y precisa o exacta

Lo que no debe ser:

– Evaluar al final sin fijar al principio lo que ha de evaluarse

– Decidir de antemano lo que se va a evaluar y dedicar todos los esfuerzos a ello

– Reducir la evaluación a mera cuantificación de datos, números o porcentajes, hay que completar los datos cuantitativos con datos cualitativos y contextuales

– Subjetiva, De la misma forma que la evaluación no es un mero dato, tampoco se puede reducir a mera opinión sin suficiente fundamento, sin explicaciones y sin recomendaciones o alternativas sugeridas para afianzar los resultados positivos y/o evitar los negativos.

– Burocrática, acostumbra a darse en ámbitos institucionales en donde ésta termina convirtiéndose en una rutina obligada y puramente formal.

Evaluamos para valorar el grado de idoneidad (programa necesario/programa real), eficacia (objetivos pretendidos/resultados obtenidos) y grado de eficiencia (resultados obtenidos/medios requeridos).

La evaluación está alcanzando importancia como medio de demostrar el valor de los programas. La demanda de evaluación llega de 3 direcciones distintas:

• Las instituciones que financian los servicios
• Los usuarios
• Los propios trabajadores

Hay que revisar la eficacia en la asignación de recursos

3. MÉTODOS DE DISEÑO DE LA EVALUACIÓN

En el momento de realizar cualquier valoración, necesariamente la fundamentamos sobre una serie de ideas o posturas.

Podemos diferenciar dos grandes enfoques:

• El enfoque cuantitativo: intenta acercarse a la realidad desde una perspectiva experimental y analítica acotando al máximo la realidad que evalúa y controlando todas las variables que intervengan en ella. Evaluar equivale a investigar y utiliza los métodos de la investigación experimental, matemáticos y estadísticos

• El enfoque cualitativo: pretende estudiar la realidad con una pretensión descriptiva y comprensiva, opta por la comprensión global y abierta de los fenómenos. Los métodos utilizados desde esta perspectiva son los basados en la observación y descripción de fenómenos (etnografía, estudio de casos, observación sistemática, triangulación…)

En la práctica se encuentran posturas intermedias que abogan por la utilización conjunta de los enfoques cuantitativo y cualitativo.

A partir de estos enfoques se puede decidir un método de diseño de la evaluación, un modelo que proporcione un marco de referencia que oriente la elaboración de una evaluación concreta. Existen muchas clasificaciones, una podría ser:

v Modelos centrados sobre los resultados, se expresan en términos cuantitativos

v Modelos centrados sobre la eficiencia de los programas internos de la propia organización

v Modelos causales, se identifican con la investigación experimental, búsqueda de relaciones causales entre variables intervinientes en la realidad estudiada

v Modelos culturales, valoración de los aspectos culturales de una organización (normas, símbolos, creencias…)

v Modelos centrados en la evaluación del cambio, orientados hacia el cambio social, valoran el impacto o la repercusión

4. PROCESO DE EVALUACIÓN

La evaluación de un proyecto constituye un proceso que tiene sus raíces desde el instante que se inicia la fase de diagnóstico y concluye en el momento en que termina su ejecución, se realiza una medición final de sus logros y se extraen conclusiones finales.

Las etapas del proceso de evaluación de un programa son:

1. Determinar los objetivos del programa, qué se evalúa y para qué se evalúa.
2. Establecimiento de un marco de referencia, concretar lo que se va a evaluar. Son los indicadores de evaluación
3. Elección y elaboración de instrumentos para la obtención de información
4. Recogida de datos a través de los instrumentos establecidos
5. Análisis de la información, transformación de los datos recogidos en un material manipulable y significativo para fundamentar nuestro juicio
6. Presentación de los resultados y conclusiones, con los datos analizados y valorados suficientemente, llega el momento de ponerse a redactar el informe de evaluación, para presentarlo y difundirlo a los interesados.
7. Recomendación de medidas a tomar y adopción de decisiones para mejorar lo evaluado

La evaluación se realiza en diferentes momentos:

Evaluación de la fase de diagnóstico, Esta evaluación se hace después de haber estudiado la realidad y es previa a la formulación del proyecto. Se evalúa el contexto y la realidad sobre la que se quiere intervenir y se realiza un diagnóstico de las necesidades de y con el grupo destinatario, para dirigir nuestra acción. Este tipo de evaluación coincide con el análisis de la realidad, que ya ha sido tratado previamente.

Esta evaluación sirve, sobre todo, para ayudar a desarrollar objetivos y para tomar decisiones sobre la planificación de la intervención. A su vez cumple la función de ofrecer una base que sirva para juzgar los resultados del programa.

Evaluación del diseño Esta es una evaluación del diseño del programa, de su coherencia y su aplicabilidad.

Puede cumplir una función de ayuda, a la hora de dar forma a propuestas y proyectos y formar decisiones sobre la estructuración de los mismos. Permite, además, obtener una base para juzgar cómo se está llevando a cabo el programa.

Las bases para este tipo de evaluación se pueden encontrar en los procesos de planificación y elaboración de proyectos

Evaluación de la implementación y ejecución, este tipo de evaluación sirve para guiar el proceso de ejecución del programa, de manera que se obtenga una información útil para realizar los ajustes convenientes mientras el programa se está llevando a cabo.

Busca, pues, explicaciones de lo que pasa, de los fallos y lo cambios que se producen.

Se puede realizar a través de distintos “puntos de control” y tiene una función de retroalimentación, de ofrecer información que permita mejorar y refinar el diseño y la ejecución del programa. Esta información, además, puede ser útil posteriormente cuando se evalúen los resultados. Así, este tipo de evaluación de proceso pretende ir ajustándose mejor a la realidad y a los destinatarios a los que se dirige.

Evaluación de los resultados, Describe y juzga los resultados de un programa de intervención, relacionándolos con los objetivos y las necesidades, para evaluar el mérito y valía del programa en su conjunto. Así, sirve para evaluar los efectos que ha producido el programa., no sólo los pretendidos y positivos, sino también los no buscados y negativos.

Se evalúa una vez finalizada la acción y facilita la tomad e decisiones sobre la continuación, terminación o modificación del programa.

5. TÉCNICAS E INSTRUMENTOS.

Para saber que instrumentos son los más adecuados a la hora de registrar la información hemos de hacernos las siguientes preguntas:

Qué información se necesita

Para qué y para quiénes se va a evaluar

De qué medios se dispone

Con cuanto tiempo se cuenta

Cuándo ha de llevarse a cabo

Quiénes van a recoger la información

Desde qué postura se emprende la evaluación.

Tipos de técnicas e instrumentos:

1. OBSERVACIÓN: suele ser el procedimiento más utilizado en la obtención de información para evaluar. Se basa en el estudio metódico de los fenómenos tal o como se nos presentan a nuestros sentidos. Un buen observador requiere de cierto entrenamiento aunque puede ayudarse de instrumentos auxiliares para el registro de datos como grabaciones, fotografías, filmaciones. Una buena observación requiere el ejercicio de ciertas habilidades, destrezas y actitudes (atención, interés y conocimiento, honradez, respeto y discreción paciencia y constancia, objetividad)

La observación puede ser:

– Relación entre el observador y lo observado

v No participante

v Participante

– Grado de elaboración y sistematización

v No estructurada

v Estructurada

Para llevar a cabo la observación se han de tener en cuenta 3 pasos:

1. Establecer y delimitar claramente lo que se quiere observar

2. Identificar y delimitar los escenarios

3. Fijar y distribuir los tiempos

Existen muchas técnicas de observación, la más utilizada son notas de campo, tomadas durante o después de la observación en forma de diario, informes periódicos, hojas o fichas de seguimiento.

2. CUESTIONARIO: encuesta destinada a recoger datos de forma escrita en base a preguntas que los encuestados han de contestar. Es útil para obtener información cuando la población que se maneja es demasiado grande.

La estructura elemental de un cuestionario:

– Datos personales o de identificación

– Preguntas o cuestiones que se quieren plantear

– Criterios para la elaboración de las preguntas de un cuestionario (necesaria, relevante, comparable, sencilla y clara, exacta y precisa, concisa, objetiva y progresiva)

El tipo de preguntas pueden ser: abiertas y cerradas.

3. ENTREVISTA: obtener información a partir de la palabra hablada mediante una intervención personal con el entrevistado. Mayor profundidad y riqueza de datos, lleva más tiempo y resulta más reducido su campo de aplicación.

Condiciones del entrevistador: empatía, curiosidad, naturalidad

Tipos de entrevistas:

v Estructurada

v Semiestructurada

v No estructurada

También pueden ser:

Individuales

Grupales

Colegiadas (varios entrevistadores a un solo sujeto)

Periódicas o repetidas

Hay que crear un clima cómodo y relajado, tener a mano un guión, observar mientras se habla o se escucha, es conveniente comunicar al entrevistado el propósito y garantizar la discreción en sus declaraciones

4. ANÁLISIS DOCUMENTAL: recogida de documentos escritos y/o impresos de cara a su análisis, es una tarea preliminar básica que fundamenta y economiza la recogida de información posterior. Hay que comprobar la autenticidad.

5. TECNICAS GRUPALES: algunas técnicas grupales son susceptibles de aprovecharse como instrumentos de información. Debate dirigido, pequeño grupo de discusión, Philips 6/6, foro, estudio de casos, torbellino de ideas, etc.

6. TECNICAS DE EXPRESIÓN: existen diversas técnicas que gracias a sus posibilidades expresivas fomentan la creatividad y motivan la reflexión y participación. Pueden lograr un tipo de información que por otros procedimientos no saldría. Actividades de expresión plástica y dramática.

7. MEDIOS AUDIOVISUALES: auxiliares para almacenar la información obtenida (magnetófono, video, fotografías, diapositivas)

8. TÉCNICAS PARA PRESENTAR LOS RESULTADOS DE LA EVALUACIÓN: Técnicas orales (conferencia, mesa redonda, debate…), técnicas escritas (dossier, murales, publicaciones…) técnicas audiovisuales

6. ORGANIZACIÓN DE LOS RECURSOS Y ACTIVIDADES DE EVALUACIÓN.

La evaluación constituye una parte muy importante del proyecto y debe incluirse en su diseño. Además, diseñar la evaluación en este momento, permite orientar el seguimiento del proyecto, durante la fase de ejecución, y la recogida de datos para la evaluación final, evitando que al llegar ese momento no dispongamos de ellos.

El plan de evaluación, ha de tener en cuenta al menos los siguientes aspectos:

– Aspectos a evaluar e indicadores de evaluación.

– Momentos y espacios de reunión dedicados a la evaluación: cronograma.

– Personas que participarán, tareas que deberán realizar y dedicación estimada a la evaluación: equipo evaluador.

– Fuentes de información disponibles para la obtención de datos sobre los indicadores definidos: procedimientos y técnicas de recogida y obtención de datos.

– Estimación, en lo posible, del coste económico del desarrollo del plan de evaluación, incluyéndolo entre los costes directamente derivados de la ejecución del proyecto

Hay que tener en cuenta las personas implicadas en el proceso de evaluación:

· Los responsables de la investigación evaluativo

· Los que encargan la evaluación

· Los que realizan la evaluación

· Los usuarios o destinatarios de los programas que son objeto de evaluación

Þ Hay que seleccionar las variables a medir y elaborar los indicadores de evaluación

Þ Elegir los instrumentos adecuados

Þ Elaborarlos

Þ Aplicarlos

Þ Elaboración y presentación de los resultados. Formulación de conclusiones y recomendaciones

Þ Adoptar decisiones y aplicarlas, reajustes y modificaciones a fin de mejorar el programa.

Es necesario determinar los aspectos a evaluar y establecer una batería de indicadores que permitan evaluar:

§ Los resultados: el grado de consecución de los objetivos (eficacia o efectividad del proyecto), las actividades realizadas, el impacto esperado del proyecto y la satisfacción de las y los destinatarios.

§ La gestión del proyecto: los aspectos vinculados al proceso que parezcan relevantes, la eficiencia en el uso de los recursos, etc.

Indicadores de logros: permiten evaluar los cambios que se espera lograr al final del proyecto, e incluso más allá de su finalización, relacionados con su objetivo general (por ejemplo, el porcentaje de adolescentes, sobre el total de destinatarios y destinatarias, que acceden puntualmente a una experiencia de ocio positivo) o con sus objetivos específicos.

Indicadores de actividad: permiten evaluar la ejecución de las actividades (realización, número de participantes…).

Indicadores de impacto: permiten evaluar los cambios esperados y deseados, que pueden producirse como consecuencia del proyecto, pero que no tienen relación con su propósito u objetivo (por ejemplo, la mejora del rendimiento escolar de las y los adolescentes).

Además, la evaluación de resultados debe incluir siempre indicadores que permitan conocer el grado de satisfacción de las y los usuarios (ajuste de los logros a sus expectativas, satisfacción con las actividades…), de las y los destinatarios que no hayan participado efectivamente en el proyecto y de las partes interesadas en general.

Indicadores de procesos: permiten evaluar el ajuste y adecuación de los procesos de gestión (ajuste a plazos, realización de tareas según lo previsto,…)

Indicadores de recursos: permiten evaluar el ajuste de los recursos a lo previsto y su uso adecuado (cantidad de recursos utilizados, eficiencia, aprovechamiento de las instalaciones, desempeño profesional…).

7. TRATAMIENTO Y ORGANIZACIÓN DE LA INFORMACIÓN

La información constituye uno de los componentes básicos del proceso de evaluación. La información que obtenemos tiene que tener una serie de rasgos:

• Fidedigna, no manipulada
• Representativa, con información global y completa de la realidad estudiada
• Suficiente, como para ser significativa
• Significativa, que sea relevante
• Exacta, sin ambigüedades

El tratamiento de la información comprende cuatro etapas:

o Elección y preparación de los instrumentos para recopilar la información

o Recogida de datos a través de los instrumentos preparados

o Tratamiento de los datos obtenidos mediante una serie de estrategias y métodos de análisis, de esta forma la materia en bruto (datos primarios) se convierte en información elaborada

o Comunicación y difusión de los resultados a sus destinatarios

Una vez recogida la información conviene ordenarla y analizarla en función de los objetivos perseguidos en el proyecto y finalmente sistematizarla en un informe: el informe de evaluación. El informe de evaluación debe contemplar la evaluación realizada en todas las fases del proyecto, no sólo los aspectos positivos, sino también las limitaciones y aspectos negativos.

Un informe debe reflejar:

– El grado de diferencia entre lo pretendido y lo observado

– Los errores

– Los aspectos que deben cambiar

– Los aciertos

– Los aspectos que se deben potenciar.

El informe de evaluación debe ser útil, para ello depende del contenido y de la forma de presentación. El contenido debe tener una descripción de los datos, el análisis de los mismos y propuesta alternativa pensando en futuras aplicaciones del proyecto.

Utilización de los resultados de la evaluación para proponer correcciones, reajustes y modificaciones, a fin de mejorar el programa y asegurar en la medida de lo posible la satisfacción de las necesidades de los usuarios

Para validar la evaluación (saber si se ha hecho bien y los resultados a los que se ha llegado son legítimos) hay que tener dos criterios:

– Validez, averiguar hasta que punto la evaluación valora exactamente lo que quiere valorar y no otra cosa

– Fiabilidad, una evaluación para que sea fiable ha de poder repetirse sin que los resultados varíen

Uno de los procedimientos más eficaces y apropiados para validar una evaluación es la TRIANGULACIÓN, consiste en la utilización de diferentes métodos, sujetos, instrumentos o tiempos, con el fin de aumentar la exactitud de los resultados.

La investigación cualitativa está un período de cambios tecnológicos que influyen en su carácter esencial, y aunque la mayoría de los programas informáticos se utilizan para analizar datos, son programas diseñados para el análisis de datos cualitativos.

Por la naturaleza existen dos tipologías de software. Por una parte están el software genérico y en otro, el software específico.

8. METODOLOGÍA DE INVESTIGACIÓN- ACCIÓN.

Investigación-acción es el proceso sistemático de estudio crítico in situ de una actividad para buscar el perfeccionamiento de ésta. La investigación surge de la acción, se desarrolla a través de su propia acción y sus resultados redundan directamente en la modificación optimizante de la acción.

Más que de cuestiones teóricas la investigación-acción dedica su atención a problemas prácticos y aborda su resolución a través de la misma práctica. La investigación-acción tiene una función formativa.

Cuando la investigación-acción se aplica a grupos sociales, surge la investigación participativa.

La investigación-acción debe ser:

– Informativa: permite conocer de forma descriptiva y explicativa, cuantitativa y cualitativamente el estado de avance de la acción y su incidencia en el cumplimiento de objetivos, metas.

– Formativa

– Operativa: permite tomar decisiones correctivas oportunas

– Participativa: se funda en la intervención cada vez más consciente, activa y autónoma de la población en base a las tareas de evaluación

Entendemos la investigación-acción como un proceso planificado de reflexión, observación, acción y evaluación, de carácter cíclico, como resultado del trabajo en equipo con el propósito de intervenir en la práctica para mejorarla/modificarla.

Consiste en reflexionar sobre la práctica.

Es una forma de acercarse a la realidad social con toda su problemática y necesidades, intentando promover la participación activa de las personas. Quiere incidir sobre la realidad buscando alternativas que posibiliten la transformación y mejora de la realidad. Debe llevarse a cabo de forma planificada y estructurada

Las fases para llevar a cabo la investigación-acción:

a) Organización del grupo

b) Descubrimiento del problema

c) Objetivos del estudio

d) Planteamiento de la hipótesis-acción

e) Dinámica para probar la hipótesis-acción

f) Interpretación e integración de los resultados

g) Informe de investigación-acción

h) Cambio producido en la práctica

Técnicas e instrumentos en la investigación-acción:

· Diarios

· Análisis de documentos

· Fotografías

· Grabaciones de audio y video

· Participación de un observador externo

· Entrevistas

· Comentarios en vivo

· Cuestionarios

· Triangulación

En estos momentos nadie duda que las organizaciones, sean públicas, no lucrativas o privadas, deben introducir los conceptos y las prácticas de lo que se ha venido llamando Sistemas de Gestión de Calidad. Estos sistemas introducen en la práctica diaria la racionalidad asociada a la experiencia:

• Hay que planificar los procesos y los resultados que se quieren obtener,
• Desarrollar la tarea como se ha planificado,
• Comprobar y evaluar la tarea realizada y por último,
• Actuar en consecuencia.

Además de actuar tenemos que investigar de manera permanente lo que estamos haciendo. El objetivo es HACERLO MEJOR

9. CONCLUSIÓN

Los contenidos de este tema están relacionados con todos los ciclos y módulos de la familia de Servicios Socioculturales y a la Comunidad, el tema de la evaluación está presente en todas las intervenciones socioeducativas.

Pero en concreto este tema se trabaja sobre todo en los ciclos de Animación Sociocultural (próximamente Animación Sociocultural y Turística) y en el ciclo de Integración Social y dentro de estos ciclo con el módulo de Metodología de la Intervención Social y Contexto y Metodología de la Intervención Social, se dan las bases teóricas que se han de aplicar en todos los programas y proyectos que nuestros alumnos/as han de diseñar, implementar y evaluar.

BIBLIOGRAFÍA

Evaluación de la animación sociocultural: guía de orientación para animadores / Víctor Juan Ventosa Pérez. Madrid: Editorial Popular, 1992.

Ander-Egg, Ezequiel. Metodología y práctica de la animación socio cultural

Elaboración de proyectos sociales: casos prácticos. Gloria Pérez Serrano

Ventosa, V.J. Desarrollo y evaluación de proyectos socioculturales. CCS, Madrid, 2001