Search

Meta-Avaliação é a avaliação da avaliação. O presente trabalho descreve o processo de meta-avaliação conduzido numa instituição universitária (Centro Universitário Newton Paiva, Minas Gerais, Brasil) pela Fundação Cesgranrio, Rio de Janeiro, Brasil, sendo o foco da meta-avaliação a auto-avaliação da referida instituição. O princípio desencadeador da tarefa foi o entendimento da meta-avaliação como atividade crucial para assegurar a integridade de uma avaliação, desde a sua concepção até seus resultados. Nesse sentido, a meta-avaliação verificou até que ponto a auto-avaliação em questão correspondeu às quatro categorias de standards ou padrões de programas avaliativos (JOINT COMMITEE ON STANDARDS FOR EDUCATIONAL EVALUATION, 1994) em termos de utilidade (atendendo às necessidades de informação dos interessados), viabilidade (sendo realística, prudente, diplomática e simples), ética (sendo legal e ética) e precisão (revelando de forma técnica e adequada informações sobre como o julgamento de mérito e de relevância foram feitos). Tais padrões foram verificados ao longo da avaliação em curso (meta-avaliação formativa) e ao final (meta-avaliação somativa). Os passos metodológicos (STUFFLEBEAM, 2000) incluíram a interação inicial com os envolvidos e interessados na missão, a escolha de uma equipe qualificada para a condução do processo, a definição das questões de meta-avaliação, o acordo quanto os padrões de julgamento da avaliação do Centro Universitário Newton Paiva, a elaboração do contrato de meta-avaliação, a coleta e revisão da informação acessível e necessária, a análise e interpretação de informações quantitativas e qualitativas à luz dos padrões, a elaboração de informes e a colaboração, junto à instituição-cliente e aos interessados em geral, na interpretação e aplicação de resultados. Tão importante quanto a constatação do sucesso na execução da avaliação do Centro Universitário Newton Paiva foi o fortalecimento da capacidade avaliativa entre os envolvidos, através de uma abordagem inovadora de empowerment (FETTERMAN, 2001) assegurada ao longo de toda a missão – um resultado que emerge como um dos maiores desafios da avaliação no século XXI.

This paper describes the activities of a slum-improvement community Program and its concomitant evaluation, both conducted by a non-profit evaluation organization in Brazil, as well as their imminent consequences. The unique aspects of this experience were: (a) recognizing the community's knowledge for detecting its own needs; (b) selecting the best partnership to develop the activities and a competent team to conduct evaluation and metaevaluation; (c) emphasis on community capacity building in evaluation, self-determination, and self-sustainability, and (d) continuous feedback to partners, sponsors and the community. Some visible consequences of this evaluation were: (a) an observed increase in the number of children in school, their performance and respect for moral values, (b) reduced violence, sex abuse, child labor and drug consumption and (c) a notable impact on the evaluating organization itself seen in their commitment to building an innovative methodology. Hopefully the betterment of the present situation is predictive of a dignified future opening up for the community.Este trabajo, conducido por una organización sin fines lucrativos, describe las actividades de un programa de desenvolvimiento social en comunidades de baja rienda, bien como, su concomitante evaluación y sus principales consecuencias. Los aspectos más originales de esta experiencia fueron: (a) reconocimiento de la capacidad de la comunidad en detectar sus propias necesidades; (b) selección de los mejores aparceros para realizar las acciones y de una equipe competente para conducir la evaluación y la meta-evaluación; (c) énfasis en la capacitación de las comunidades para la evaluación, autodeterminación y autosustentabilidad; y aún, (d) retorno de los resultados a los aparceros, patrocinadores y comunidad. Algunas de las consecuencias visibles de esta evaluación fueron: (a) percepción del aumento del número de estudiantes, de la mejoría de su desempeño y desenvolvimiento de sus valores morales; (b) reducción de violencia, abuso sexual, trabajo infantil y consumo de drogas; (c) impacto substancial en la propia institución evaluadora con relación a su compromiso en construir y innovar procedimientos metodológicos. Se espera que la mejoría de la situación sea preanunciador del desenvolvimiento de un futuro digno para las comunidades.Este trabalho descreve as atividades de um programa de desenvolvimento social local em comunidades de baixa renda, bem como, sua concomitante avaliação e suas principais conseqüências, conduzidos por uma organização sem fins lucrativos, no Brasil. Os aspectos mais originais desta experiência foram: (a) reconhecimento da capacidade da comunidade em detectar suas próprias necessidades; (b) seleção dos melhores parceiros para realizar as ações e de uma equipe competente para conduzir a avaliação e a meta-avaliação; (c) ênfase na capacitação das comunidades em avaliação, auto-determinação, e auto-sustentabilidade; e ainda (d) devolução contínua de processo e resultados a parceiros, financiadores, e comunidades. Algumas das conseqüências visíveis desta avaliação foram: (a) a percepção do crescimento do número de crianças na escola, do seu desempenho e do respeito por valores morais; (b) redução de violência, abuso sexual, trabalho infantil e consumo de droga; (c) substancial impacto na própria instituição avaliadora no que se refere ao seu compromisso de construir e inovar metodologias. Espera-se que a melhoria da situação atual seja um preditor do desenvolvimento de um futuro digno para as comunidades.