Search

That an individual evaluee is a unique composition of attributes and needs is commonly understood. What is less obvious is that programs, too, have complex personalities of their own, like the individuals that compose them. They draw their needs from their own contexts, and draw meaning from an evaluation, operating in these unique contexts. What is meaningful to one program may not be so for another. Evaluation is influenced by the program's context. Reciprocally, it can influence the context too. The challenge is to fully discover the context with its needs, so results are meaningful to the program in its sphere of influence. Three types of evaluation contexts from the Brazilian experience will be illustrated and discussed in this paper - a high visibility program within a political context; a low visibility program with an unclear context; and a program context with two simultaneously active components.La evaluación de un individuo se la entiende, comúnmente, como una composición única de atributos y necesidades. Lo menos obvio es que los programas también tienen personalidades complejas por sí propias, así como los individuos que los componen. Ellos sacan sus necesidades de sus propios contextos, elaboran de ese modo el significado para una evaluación que opere en estos contextos únicos. Lo que es significativo para un programa puede no serlo para el otro. El contexto del programa influye en la evaluación. Y viceversa, la evaluación también puede influenciar el contexto. El desafío es descubrir por completo el contexto con sus necesidades, así los resultados serán significativos para el programa en su esfera de influencia. En este trabajo se ilustrarán y discutirán tres tipos de contextos de evaluación de la experiencia brasileña: un programa de gran visibilidad dentro de un contexto político, un programa de poca visibilidad en un contexto inespecífico, y un programa cuyo contexto contenga simultáneamente los dos componentes.O ato de um indivíduo avaliado ser uma composição única de atributos e necessidades é facilmente entendido. O menos óbvio é que os programas também têm personalidades complexas por si mesmos, como os indivíduos que os compõem. Eles extraem as suas necessidades de seus próprios contextos, e daí encontram sentido na avaliação que opere nesses contextos singulares. O que é significativo para um programa pode não ser para outro. A avaliação é influenciada pelo contexto do programa. Reciprocamente, ela pode influenciar o contexto também. O desafio é descobrir por completo o contexto com suas necessidades. Assim os resultados serão significativos para o programa em sua esfera de influência. Três tipos de contextos de avaliação da experiência brasileira são ilustrados e discutidos neste trabalho - um programa de grande visibilidade dentro de um contexto político, um programa de baixa visibilidade em um contexto difuso, e um programa cujo contexto contem simultaneamente os dois componentes.

Meta-Avaliação é a avaliação da avaliação. O presente trabalho descreve o processo de meta-avaliação conduzido numa instituição universitária (Centro Universitário Newton Paiva, Minas Gerais, Brasil) pela Fundação Cesgranrio, Rio de Janeiro, Brasil, sendo o foco da meta-avaliação a auto-avaliação da referida instituição. O princípio desencadeador da tarefa foi o entendimento da meta-avaliação como atividade crucial para assegurar a integridade de uma avaliação, desde a sua concepção até seus resultados. Nesse sentido, a meta-avaliação verificou até que ponto a auto-avaliação em questão correspondeu às quatro categorias de standards ou padrões de programas avaliativos (JOINT COMMITEE ON STANDARDS FOR EDUCATIONAL EVALUATION, 1994) em termos de utilidade (atendendo às necessidades de informação dos interessados), viabilidade (sendo realística, prudente, diplomática e simples), ética (sendo legal e ética) e precisão (revelando de forma técnica e adequada informações sobre como o julgamento de mérito e de relevância foram feitos). Tais padrões foram verificados ao longo da avaliação em curso (meta-avaliação formativa) e ao final (meta-avaliação somativa). Os passos metodológicos (STUFFLEBEAM, 2000) incluíram a interação inicial com os envolvidos e interessados na missão, a escolha de uma equipe qualificada para a condução do processo, a definição das questões de meta-avaliação, o acordo quanto os padrões de julgamento da avaliação do Centro Universitário Newton Paiva, a elaboração do contrato de meta-avaliação, a coleta e revisão da informação acessível e necessária, a análise e interpretação de informações quantitativas e qualitativas à luz dos padrões, a elaboração de informes e a colaboração, junto à instituição-cliente e aos interessados em geral, na interpretação e aplicação de resultados. Tão importante quanto a constatação do sucesso na execução da avaliação do Centro Universitário Newton Paiva foi o fortalecimento da capacidade avaliativa entre os envolvidos, através de uma abordagem inovadora de empowerment (FETTERMAN, 2001) assegurada ao longo de toda a missão – um resultado que emerge como um dos maiores desafios da avaliação no século XXI.

There is no doubt that having evaluation policies makes the evaluator's job easier, by providing more transparency to the evaluation process and more security to those involved. However, this can only happen when policies are presented to potential stakeholders in clear language, as they are disseminated and utilized for guiding practice. This suggests that building an evaluation culture is necessary in order to effectively implement an evaluation policy, so it can be fully utilized. This paper briefly introduces and presents what the authors understand as the concept of " evaluation culture" and " evaluation policy" . Then, it discusses the importance of evaluation policies for practice of both evaluation and meta-evaluation, and points out the possible consequences of absence of policies. Recommendations are derived from these considerations in order to inspire procedures to build and implement evaluation policies. Finally, reflections are presented based on the Brazilian experience about " culture-policy-practice" inter-relations in evaluation.No hay duda de que las políticas de evaluación tornan el trabajo del evaluador una tarea más fácil por dar más transparencia al proceso de evaluación y más seguridad a las personas participantes. Todavía, eso solo se da cuando esas políticas son presentadas a stakeholders (interesados) en potencial, utilizando lenguaje clara, ya que ellas son divulgadas y utilizadas para guiar la práctica. Se sugiere, así, que la construcción de una cultura de evaluación es necesaria para que una política de evaluación sea implementada efectivamente para ser plenamente utilizada. Ese artículo presenta, de modo conciso, lo que los autores entienden por " cultura de evaluación" y " política de evaluación" ; discute la importancia de políticas de evaluación en la práctica de la evaluación y de la meta-evaluación; y destaca las posibles consecuencias de la ausencia de esas políticas. A partir de tales consideraciones, surgen recomendaciones que tienen como intuito inspirar el desarrollo y la implementación de esas políticas. Finalmente, son presentadas reflexiones basadas en la experiencia brasileña considerando las interrelaciones " cultura-política-práctica" en la evaluación.Não há dúvida de que as políticas de avaliação tornam o trabalho do avaliador uma tarefa mais fácil por darem mais transparência ao processo avaliativo e mais segurança às pessoas envolvidas. No entanto, isso só se dá quando essas políticas são apresentadas a stakeholders (interessados) em potencial, em uma linguagem clara, já que elas são divulgadas e utilizadas para guiar a prática. Sugere-se, assim, que a construção de uma cultura de avaliação é necessária para que uma política de avaliação seja implementada efetivamente de modo a ser plenamente utilizada. Esse artigo apresenta, de maneira concisa, o que os autores entendem por " cultura de avaliação" e " política de avaliação" ; discute a importância de políticas de avaliação na prática da avaliação e da meta-avaliação; e destaca as possíveis conseqüências da ausência dessas políticas. A partir de tais considerações, surgem recomendações que têm como intuito inspirar o desenvolvimento e a implementação dessas políticas. Finalmente, são apresentadas reflexões baseadas na experiência brasileira com relação às inter-relações " cultura-política-prática" na avaliação.

Falsas verdades têm, há muitas décadas, impregnado o sistema educacional, com fundamentos que justificam a reprovação dos alunos na educação escolar a que têm direito. É urgente, portanto, provocar junto a educadores, famílias e sociedade em geral, uma substancial reflexão, no sentido de substituir a repetência e a evasão por uma avaliação que promova o aperfeiçoamento contínuo das crianças e dos jovens.

This paper describes the activities of a slum-improvement community Program and its concomitant evaluation, both conducted by a non-profit evaluation organization in Brazil, as well as their imminent consequences. The unique aspects of this experience were: (a) recognizing the community's knowledge for detecting its own needs; (b) selecting the best partnership to develop the activities and a competent team to conduct evaluation and metaevaluation; (c) emphasis on community capacity building in evaluation, self-determination, and self-sustainability, and (d) continuous feedback to partners, sponsors and the community. Some visible consequences of this evaluation were: (a) an observed increase in the number of children in school, their performance and respect for moral values, (b) reduced violence, sex abuse, child labor and drug consumption and (c) a notable impact on the evaluating organization itself seen in their commitment to building an innovative methodology. Hopefully the betterment of the present situation is predictive of a dignified future opening up for the community.Este trabajo, conducido por una organización sin fines lucrativos, describe las actividades de un programa de desenvolvimiento social en comunidades de baja rienda, bien como, su concomitante evaluación y sus principales consecuencias. Los aspectos más originales de esta experiencia fueron: (a) reconocimiento de la capacidad de la comunidad en detectar sus propias necesidades; (b) selección de los mejores aparceros para realizar las acciones y de una equipe competente para conducir la evaluación y la meta-evaluación; (c) énfasis en la capacitación de las comunidades para la evaluación, autodeterminación y autosustentabilidad; y aún, (d) retorno de los resultados a los aparceros, patrocinadores y comunidad. Algunas de las consecuencias visibles de esta evaluación fueron: (a) percepción del aumento del número de estudiantes, de la mejoría de su desempeño y desenvolvimiento de sus valores morales; (b) reducción de violencia, abuso sexual, trabajo infantil y consumo de drogas; (c) impacto substancial en la propia institución evaluadora con relación a su compromiso en construir y innovar procedimientos metodológicos. Se espera que la mejoría de la situación sea preanunciador del desenvolvimiento de un futuro digno para las comunidades.Este trabalho descreve as atividades de um programa de desenvolvimento social local em comunidades de baixa renda, bem como, sua concomitante avaliação e suas principais conseqüências, conduzidos por uma organização sem fins lucrativos, no Brasil. Os aspectos mais originais desta experiência foram: (a) reconhecimento da capacidade da comunidade em detectar suas próprias necessidades; (b) seleção dos melhores parceiros para realizar as ações e de uma equipe competente para conduzir a avaliação e a meta-avaliação; (c) ênfase na capacitação das comunidades em avaliação, auto-determinação, e auto-sustentabilidade; e ainda (d) devolução contínua de processo e resultados a parceiros, financiadores, e comunidades. Algumas das conseqüências visíveis desta avaliação foram: (a) a percepção do crescimento do número de crianças na escola, do seu desempenho e do respeito por valores morais; (b) redução de violência, abuso sexual, trabalho infantil e consumo de droga; (c) substancial impacto na própria instituição avaliadora no que se refere ao seu compromisso de construir e inovar metodologias. Espera-se que a melhoria da situação atual seja um preditor do desenvolvimento de um futuro digno para as comunidades.

Evaluation may be a relevant tool for the practice of democracy. In order for it to occur, quality and proper utilization of its results must be assured (PATTON, 1997). Therefore, the consolidation of democratic principles in a society and the promotion of effective social interactions (FETTERMAN; WANDERSMAN, 2005) will benefit enormously from a greater and better use of evaluation in all possible formats. The Brazilian Evaluation Network was created approximately three years ago in a country with a recent history of democratic practice. Within a theoretical framework networks do not have boundaries or limits for debate. However, cultural and historical aspects create limits for the discussions and boundaries among its participants. This paper intends to shed light into some of these limits and boundaries, reflecting over how they are being overcome.Uma avaliação pode ser um importante instrumento para o exercício da democracia. Para que isso ocorra é preciso assegurar a qualidade da avaliação, bem como a utilização apropriada dos seus resultados (PATTON,1997). Desta forma, a construção de uma sociedade democrática, que busca a melhoria permanente dos seus processos sociais (FETTERMAN; WANDERSMAN, 2005), depende do aprimoramento contínuo da sua prática de avaliação, em suas variadas manifestações. No Brasil, há aproximadamente 3 anos, foi criada a Rede Brasileira de Avaliação. Uma rede que, em sua concepção teórica, não possui limites ou fronteiras de discussão. Contudo, existem aspectos culturais e históricos (envolvendo valores), que criam limites para as referidas discussões e estabelecem fronteiras entre as diferentes instâncias. Este trabalho apresenta alguns destes limites e fronteiras, refletindo sobre a forma como aqueles que encomendam e que conduzem avaliações vêm contornando os limites e ultrapassando fronteiras.

This paper analyzes a conflict frequently encountered by an evaluation professional working in the Brazilian context and its implications to the evaluation process. The challenge is to follow ethical principles that guide a true evaluation, and yet untangle the interaction of all the actors within a complex political context, where: (a) the recognition and regulation of the evaluation profession leaves much to be desired; (b) a strong professional association of evaluators is yet to be formed, and (c) we have little empirical guidance that can enlighten the actors in the evaluation process. The conflict for the evaluator is in implementing the principles and standards that guide the formal preparation of an evaluation professional, in the face of limited autonomy of decisions regarding the use of results and recommendations. We illustrate this conflict by describing three case examples of evaluations by the Cesgranrio Foundation that focused social, educational and corporate programs.Este trabalho avalia um conflito freqüentemente encontrado por um profissional de avaliação atuando no contexto brasileiro bem como suas respectivas implicações para o processo avaliativo. O desafio está em cumprir os princípios éticos que guiam uma verdadeira avaliação e que ainda qualificam as interações de todos os atores dentro de um complexo contexto político no qual: (a) o reconhecimento e a regularização da profissão de avaliador deixam muito a desejar; (b) uma sólida associação profissional de avaliadores está ainda por ser constituída e (c) temos precária orientação prática para prestar esclarecimento aos atores no processo avaliativo. O conflito para o avaliador está na implementação dos princípios e padrões que guiam a formação de um avaliador profissional em face da limitada autonomia de decisões em relação à utilização de resultados e recomendações. Ilustramos aqui este conflito descrevendo três exemplos de casos em avaliação realizados pela Fundação Cesgranrio, enfocando programas nas áreas social, educacional e empresarial.