Tema 7 – El proceso evaluador: fases, agentes y problemas habituales. Estrategias de evaluación: técnicas e instrumentos; clasificación, descripción y pautas de aplicación. Metodología de investigación-acción. Evaluación en ocio y tiempo libre.

INTRODUCCIÓN

La evaluación sólo será útil si se utiliza como medio para mejorar un programa. Las intervenciones sociales requieren un buen diagnóstico y una evaluación permanente para poder hacer las modificaciones necesarias según vaya siendo preciso.

Evaluar consiste en la recogida e interpretación sistemática de una información con vistas a emitir un juicio de valor que facilite la toma de decisiones de cara a la mejora de lo evaluado.

La evaluación ha de tener un enfoque cualitativo y cuantitativo.

• El enfoque cuantitativo: intenta acercarse a la realidad desde una perspectiva experimental y analítica acotando al máximo la realidad que evalúa y controlando todas las variables que intervengan en ella. Evaluar equivale a investigar y utiliza los métodos de la investigación experimental, matemáticos y estadísticos

• El enfoque cualitativo: pretende estudiar la realidad con una pretensión descriptiva y comprensiva, opta por la comprensión global y abierta de los fenómenos. Los métodos utilizados desde esta perspectiva son los basados en la observación y descripción de fenómenos (etnografía, estudio de casos, observación sistemática, triangulación…)

Tenemos que responder a las preguntas de qué, cómo, dónde y cuándo evaluar. La evaluación tiene que estar planificada de antemano y cubrir todos los momentos de la intervención social, desde el diagnóstico e incluso evaluar la propia evaluación.

Respecto a un proyecto es comparar en un instante determinado lo que se ha alcanzado mediante una acción con lo que se debería haber alcanzado de acuerdo a una programación previa. La evaluación debe ser: Útil, viable, ética y precisa o exacta

Evaluamos para valorar el grado de idoneidad (programa necesario/programa real), eficacia (objetivos pretendidos/resultados obtenidos) y grado de eficiencia (resultados obtenidos/medios requeridos).

La evaluación está alcanzando importancia como medio de demostrar el valor de los programas. La demanda de evaluación llega de 3 direcciones distintas:

• Las instituciones que financian los servicios
• Los usuarios
• Los propios trabajadores

Hay que revisar la eficacia en la asignación de recursos

2. EL PROCESO EVALUADOR: FASES, AGENTES Y PROBLEMAS HABITUALES.

La evaluación de un proyecto constituye un proceso que tiene sus raíces desde el instante que se inicia la fase de diagnóstico y concluye en el momento en que termina su ejecución, se realiza una medición final de sus logros y se extraen conclusiones finales que se suelen plasmar en un informe final.

Las etapas del proceso de evaluación de un programa son:

1. Determinar los objetivos del programa, qué se evalúa y para qué se evalúa.

2. Establecimiento de un marco de referencia, concretar lo que se va a evaluar. Son los indicadores de evaluación

3. Elección y elaboración de instrumentos para la obtención de información

4. Recogida de datos a través de los instrumentos establecidos

5. Análisis de la información, transformación de los datos recogidos en un material manipulable y significativo para fundamentar nuestro juicio

6. Presentación de los resultados y conclusiones, con los datos analizados y valorados suficientemente, llega el momento de ponerse a redactar el informe de evaluación, para presentarlo y difundirlo a los interesados.

7. Recomendación de medidas a tomar y adopción de decisiones para mejorar lo evaluado

La evaluación se realiza en diferentes momentos:

– Evaluación de la fase de diagnóstico, es la fase con la que se inicia el desarrollo de un proyecto, hay que estudiar la situación real para después poder programar adecuadamente.

– Evaluación del diseño, fase en la cual se define el proyecto con la información que se ha recogido y analizado en la fase del diagnóstico. Se debe evaluar la viabilidad del proyecto. Si los objetivos generales son congruentes con la idea del proyecto, si los objetivos específicos están bien formulados, si la actividades están bien organizadas, si están previstos los recursos necesarios

– Evaluación de la implementación, esta fase es cuando se realizan las gestiones necesarias para poner en marcha el proyecto. Hay que evaluar si las actividades se han realizado dentro de los plazos programados, si los recursos tanto humanos como materiales y técnicos han estado disponibles, el grado de conocimiento y compromiso de los beneficiarios, la situación financiera del proyecto.

– Evaluación de la ejecución, durante la ejecución de un proyecto hay que evaluar la capacidad del proyecto para modificar la situación de partida y si se van cumplido los objetivos previstos (idoneidad del proyecto), el grado de consecución de los objetivos y metas en un plazo determinado (eficacia del proyecto) y también analizar la relación entre los recursos utilizados y los resultados conseguidos (eficiencia del proyecto)

– Evaluación de los resultados, que efectos positivos o negativos ha producido el proyecto, se han cubierto las necesidades reales de la población, si se han cumplido los objetivos, si ha habido resultado inesperados, se benefician todos los destinatarios de igual manera, funcionó el equipo adecuadamente.

Los agentes implicados en la evaluación son:

® Los que la hacen

® Los que la encargan

® Lo que dan la información

® Los que reciben la información

® Los beneficiarios de las acciones

Los problemas habituales que nos encontramos son:

– Evaluar al final sin fijar al principio lo que ha de evaluarse

– Decidir de antemano lo que se va a evaluar y dedicar todos los esfuerzos a ello

– Reducir la evaluación a mera cuantificación de datos, números o porcentajes, hay que completar los datos cuantitativos con datos cualitativos y contextuales

– Subjetiva

– Burocrática

3. ESTRATEGIAS DE EVALUACIÓN: TÉCNICAS E INSTRUMENTOS; CLASIFICACIÓN, DESCRIPCIÓN Y PAUTAS DE APLICACIÓN.

Para saber que instrumentos son los más adecuados a la hora de registrar la información hemos de hacernos las siguientes preguntas:

Qué información se necesita

Para qué y para quiénes se va a evaluar

De qué medios se dispone

Con cuanto tiempo se cuenta

Cuándo ha de llevarse a cabo

Quiénes van a recoger la información

Desde qué postura se emprende la evaluación.

Tipos de técnicas e instrumentos:

1. OBSERVACIÓN: suele ser el procedimiento más utilizado en la obtención de información para evaluar. Se basa en el estudio metódico de los fenómenos tal o como se nos presentan a nuestros sentidos. Un buen observador requiere de cierto entrenamiento aunque puede ayudarse de instrumentos auxiliares para el registro de datos como grabaciones, fotografías, filmaciones. Una buena observación requiere el ejercicio de ciertas habilidades, destrezas y actitudes (atención, interés y conocimiento, honradez, respeto y discreción paciencia y constancia, objetividad)

La observación puede ser:

– Relación entre el observador y lo observado

v No participante

v Participante

– Grado de elaboración y sistematización

v No estructurada

v Estructurada

Para llevar a cabo la observación se han de tener en cuenta 3 pasos:

1. Establecer y delimitar claramente lo que se quiere observar

2. Identificar y delimitar los escenarios

3. Fijar y distribuir los tiempos

Existen muchas técnicas de observación, la más utilizada son notas de campo, tomadas durante o después de la observación en forma de diario, informes periódicos, hojas o fichas de seguimiento.

2. CUESTIONARIO: encuesta destinada a recoger datos de forma escrita en base a preguntas que los encuestados han de contestar. Es útil para obtener información cuando la población que se maneja es demasiado grande.

La estructura elemental de un cuestionario:

– Datos personales o de identificación

– Preguntas o cuestiones que se quieren plantear

– Criterios para la elaboración de las preguntas de un cuestionario (necesaria, relevante, comparable, sencilla y clara, exacta y precisa, concisa, objetiva y progresiva)

El tipo de preguntas pueden ser: abiertas y cerradas.

3. ENTREVISTA: obtener información a partir de la palabra hablada mediante una intervención personal con el entrevistado. Mayor profundidad y riqueza de datos, lleva más tiempo y resulta más reducido su campo de aplicación.

Condiciones del entrevistador: empatía, curiosidad, naturalidad

Tipos de entrevistas:

v Estructurada

v Semiestructurada

v No estructurada

También pueden ser:

Individuales

Grupales

Colegiadas (varios entrevistadores a un solo sujeto)

Periódicas o repetidas

Hay que crear un clima cómodo y relajado, tener a mano un guión, observar mientras se habla o se escucha, es conveniente comunicar al entrevistado el propósito y garantizar la discreción en sus declaraciones

4. ANÁLISIS DOCUMENTAL: recogida de documentos escritos y/o impresos de cara a su análisis, es una tarea preliminar básica que fundamenta y economiza la recogida de información posterior. Hay que comprobar la autenticidad.

5. TECNICAS GRUPALES: algunas técnicas grupales son susceptibles de aprovecharse como instrumentos de información. Debate dirigido, pequeño grupo de discusión, Philips 6/6, foro, estudio de casos, torbellino de ideas, etc.

6. TECNICAS DE EXPRESIÓN: existen diversas técnicas que gracias a sus posibilidades expresivas fomentan la creatividad y motivan la reflexión y participación. Pueden lograr un tipo de información que por otros procedimientos no saldría. Actividades de expresión plástica y dramática.

7. MEDIOS AUDIOVISUALES: auxiliares para almacenar la información obtenida (magnetófono, video, fotografías, diapositivas)

8. TÉCNICAS PARA PRESENTAR LOS RESULTADOS DE LA EVALUACIÓN: Técnicas orales (conferencia, mesa redonda, debate…), técnicas escritas (dossier, murales, publicaciones…) técnicas audiovisuales

4. METODOLOGÍA DE INVESTIGACIÓN-ACCIÓN.

El término “investigación acción” proviene del autor Kurt Lewis y fue utilizado por primera vez en 1944. describía una forma de investigación que podía ligar el enfoque experimental de la ciencia social con programas de acción social que respondiera a los problemas sociales principales de entonces. Mediante la investigación – acción, Lewis argumentaba que se podía lograr en forma simultáneas avances teóricos y cambios sociales.

Investigación-acción es el proceso sistemático de estudio crítico in situ de una actividad para buscar el perfeccionamiento de ésta. La investigación surge de la acción, se desarrolla a través de su propia acción y sus resultados redundan directamente en la modificación optimizante de la acción.

Entendemos la investigación-acción como un proceso planificado de reflexión, observación, acción y evaluación, de carácter cíclico, como resultado del trabajo en equipo con el propósito de intervenir en la práctica para mejorarla/modificarla.

Consiste en reflexionar sobre la práctica.

La investigación-acción debe ser:

– Informativa: permite conocer de forma descriptiva y explicativa, cuantitativa y cualitativamente el estado de avance de la acción y su incidencia en el cumplimiento de objetivos, metas.

– Formativa

– Operativa: permite tomar decisiones correctivas oportunas

– Participativa: se funda en la intervención cada vez más consciente, activa y autónoma de la población en base a las tareas de evaluación

Más que de cuestiones teóricas la investigación-acción dedica su atención a problemas prácticos y aborda su resolución a través de la misma práctica.

Es una forma de acercarse a la realidad social con toda su problemática y necesidades, intentando promover la participación activa de las personas. Quiere incidir sobre la realidad buscando alternativas que posibiliten la transformación y mejora de la realidad. Debe llevarse a cabo de forma planificada y estructurada

Cuando la investigación-acción se aplica a grupos sociales, surge la investigación participativa. En la medida en que miembros de una comunidad toman parte en la investigación.

KURT LEWIN habla de tres fases pero ahora se habla más bien de cuatro fases:

1.- La Observación (diagnóstico y reconocimiento de la situación inicial). El proceso de investigación-acción comienza en sentido estricto con la identificación de un área problemática o necesidades básicas que se quieren resolver. Ordenar, agrupar, disponer y relacionar los datos de acuerdo con los objetivos de la investigación, es decir, preparar la información a fin de proceder a su análisis e interpretación. Ello permitirá conocer la situación y elaborar un diagnóstico.

2.- La Planificación (desarrollo de un plan de acción, críticamente informado, para mejorar aquello que ya está ocurriendo). Cuando ya se sabe lo que pasa (se ha diagnosticado una situación) hay que decidir qué se va a hacer. En el plan de acción se estudiarán y establecerán prioridades en las necesidades, y se harán opciones ente las posibles alternativas.

3.- La Acción (fase en la que reside la novedad). Actuación para poner el plan en práctica y la observación de sus efectos en el contexto en que tiene lugar. Es importante la formación de grupos de trabajo para llevar a cabo las actividades diseñadas y la adquisición de un carácter de lucha material, social y política por el logro de la mejora, siendo necesaria la negociación y el compromiso.

4.- Reflexión en torno a los efectos como base para una nueva planificación. Será preciso un análisis crítico sobre los procesos, problemas y restricciones que se han manifestado y sobre los efectos lo que ayudara a valorar la acción desde lo previsto y deseable y a sugerir un nuevo plan.

El proceso de investigación – acción constituye un proceso continuo, una espiral, donde se van dando los momentos de problematización, diagnóstico, diseño de una propuesta de cambio, aplicación de la propuesta y evaluación, para luego reiniciar un nuevo circuito partiendo de una nueva problematización.

Técnicas e instrumentos en la investigación-acción:

· Diarios

· Análisis de documentos

· Fotografías

· Grabaciones de audio y video

· Participación de un observador externo

· Entrevistas

· Comentarios en vivo

· Cuestionarios

· Triangulación

5. EVALUACIÓN EN OCIO Y TIEMPO LIBRE.

Es importante la planificación y por tanto la evaluación en los proyectos en el marco del tiempo libre si queremos un cambio hacia nuevos comportamientos y estilos de vida.

Es importante que sea una evaluación participativa, que incorpore a los destinatarios al diseño y realización de la misma, con la implicación activa de los usuarios.

Hay que realizar una evaluación desde la perspectiva de los intereses, apreciaciones y necesidades de los participantes.

Los instrumentos para la recogida de información han de ser fáciles de utilizar, susceptibles de manejarse en grupo y atractivos para motivar y facilitar la expresión y comunicación. Es útil la aplicación de técnicas grupales y de expresión.

Además de evaluar los proyectos y los destinatarios hay que evaluar a los animadores y a los centros donde se realizan los proyectos

6. CONCLUSIÓN

Siempre evaluación de cara a la mejora de lo planificado.

Este tema es muy general y afecta a todos los ciclos de la familia, y a casi todos los módulos. Es una tarea fundamental de los técnicos de esta familia la evaluación en todas las intervenciones realizadas y también la evaluación como punto de partida en la intervención, para conocer la situación a la que tenemos que dar solución.

BIBLIOGRAFÍA

Evaluación de la animación sociocultural: guía de orientación para animadores / Víctor Juan Ventosa Pérez. Madrid: Editorial Popular, 1992.

Ander-Egg, Ezequiel. Metodología y práctica de la animación socio cultural

Elaboración de proyectos sociales: casos prácticos. Gloria Pérez Serrano

Ventosa, V.J. Desarrollo y evaluación de proyectos socioculturales. CCS, Madrid, 2001