Ana Carolina Letichevsky

La Categoría precisión en la meta-evaluación: aspectos prácticos y teóricos en un nuevo enfoque

This article deals with the category precision of a true evaluation in the scope of evaluation and meta-evaluation (evaluation of evaluation). First, it presents the modern conceptualization of evaluation and meta-evaluation and then discusses the role of meta-evaluation to ensure the quality of an evaluation process, in its different approaches, from the four categories of a true evaluation (utility, viability, ethics and precision). The emphasis of the article is on the category precision: (1) its importance in a meta-evaluation, in all the phases or stages of an evaluation, with its advances and its limitations and; (2) its application in the meta-evaluation itself which, while an evaluative process, must also follow the four patterns of a true evaluation. In this sense, practical and theoretical aspects which merit attention in the negotiation, the design, the implementation and the conduction of a meta-evaluation are presented, when the paradigm of the treatment of the data of a meta-evaluation, through the classical logic and not the fuzzy logic, is discussed.This article deals with the category precision of a true evaluation in the scope of evaluation and meta-evaluation (evaluation of evaluation). First, it presents the modern conceptualization of evaluation and meta-evaluation and then discusses the role of meta-evaluation to ensure the quality of an evaluation process, in its different approaches, from the four categories of a true evaluation (utility, viability, ethics and precision). The emphasis of the article is on the category precision: (1) its importance in a meta-evaluation, in all the phases or stages of an evaluation, with its advances and its limitations and; (2) its application in the meta-evaluation itself which, while an evaluative process, must also follow the four patterns of a true evaluation. In this sense, practical and theoretical aspects which merit attention in the negotiation, the design, the implementation and the conduction of a meta-evaluation are presented, when the paradigm of the treatment of the data of a meta-evaluation, through the classical logic and not the fuzzy logic, is discussed.

A fuzzy decision support system for meta-evaluation a new approach and a case study performed in Brazil

Este articulo presenta una nueva metodologia para meta-evaluacion que utiliza conjuntos fuzzy e logica fuzzy. Esta metodologia es compuesta por un instrumento de coleta de dados y por uno sistema de inferencia fuzzy. Las ventajas de la metodologia propuesta son: (i) el instrumento de coleta de dados, que permite respuestas intermediarias; (ii) la capacidad del sistema de inferencia de adaptarse a necesidades especificas; (iii) transparencia, a traves de la utilizacion de reglas linguisticas que facilitan tanto el entendimiento como la discusion de todo el proceso. Las reglas fueron construidas con base en las directrices establecidas por el Joint Committee on Standards for Educational Evaluation(1994) y por informaciones fornecidas por especialistas. El sistema puede auxiliar evaluadores que aun no tienen experiencia en meta-evaluacion. Un estudio de caso es presentado comovalidacion de la Metodologia propuesta.This paper presents a new methodology for meta-evaluation that makes use of fuzzy sets and fuzzy logic. It is composed of a data collection instrument and of a hierarchical fuzzy inference system. The advantages of the proposed methodology are: (i) the instrument, which allows intermediate answers; (ii) the inference process ability to adapt to specific needs; and (iii) transparency, through the use of linguistic rules that facilitate both the understanding and the discussion of the whole process. The rules are based on guidelines established by the Joint Committee on Standards for Educational Evaluation (1994) and also represent the view of experts. The system can provide support to evaluators that may lack experience in meta-evaluation. A case study is presented as a validation of the proposed methodology.A fuzzy decision support system for meta-evaluation a new approach and a case study performed in

Ethical issues of evaluation practice within the brazilian political context

Este trabalho avalia um conflito frequentemente encontrado por um profissional de avaliacao atuando no contexto brasileiro bem como suas respectivas implicacoes para o processo avaliativo. O desafio esta em cumprir os principios eticos que guiam uma verdadeira avaliacao e que ainda qualificam as interacoes de todos os atores dentro de um complexo contexto politico no qual: (a) o reconhecimento e a regularizacao da profissao de avaliador deixam muito a desejar; (b) uma solida associacao profissional de avaliadores esta ainda por ser constituida e (c) temos precaria orientacao pratica para prestar esclarecimento aos atores no processo avaliativo. O conflito para o avaliador esta na implementacao dos principios e padroes que guiam a formacao de um avaliador profissional em face da limitada autonomia de decisoes em relacao a utilizacao de resultados e recomendacoes. Ilustramos aqui este conflito descrevendo tres exemplos de casos em avaliacao realizados pela Fundacao Cesgranrio, enfocando programas nas areas social, educacional e empresarial.

Captando o significado do contexto para uma avaliação significativa

La evaluacion de un individuo se la entiende, comunmente, como una composicion unica de atributos y necesidades. Lo menos obvio es que los programas tambien tienen personalidades complejas por si propias, asi como los individuos que los componen. Ellos sacan sus necesidades de sus propios contextos, elaboran de ese modo el significado para una evaluacion que opere en estos contextos unicos. Lo que es significativo para un programa puede no serlo para el otro. El contexto del programa influye en la evaluacion. Y viceversa, la evaluacion tambien puede influenciar el contexto. El desafio es descubrir por completo el contexto con sus necesidades, asi los resultados seran significativos para el programa en su esfera de influencia. En este trabajo se ilustraran y discutiran tres tipos de contextos de evaluacion de la experiencia brasilena: un programa de gran visibilidad dentro de un contexto politico, un programa de poca visibilidad en un contexto inespecifico, y un programa cuyo contexto contenga simultaneamente los dos componentes.O ato de um individuo avaliado ser uma composicao unica de atributos e necessidades e facilmente entendido. O menos obvio e que os programas tambem tem personalidades complexas por si mesmos, como os individuos que os compoem. Eles extraem as suas necessidades de seus proprios contextos, e dai encontram sentido na avaliacao que opere nesses contextos singulares. O que e significativo para um programa pode nao ser para outro. A avaliacao e influenciada pelo contexto do programa. Reciprocamente, ela pode influenciar o contexto tambem. O desafio e descobrir por completo o contexto com suas necessidades. Assim os resultados serao significativos para o programa em sua esfera de influencia. Tres tipos de contextos de avaliacao da experiencia brasileira sao ilustrados e discutidos neste trabalho - um programa de grande visibilidade dentro de um contexto politico, um programa de baixa visibilidade em um contexto difuso, e um programa cujo contexto contem simultaneamente os dois componentes.

Capturing the meaning of context for a meaningful evaluation

La evaluacion de un individuo se la entiende, comunmente, como una composicion unica de atributos y necesidades. Lo menos obvio es que los programas tambien tienen personalidades complejas por si propias, asi como los individuos que los componen. Ellos sacan sus necesidades de sus propios contextos, elaboran de ese modo el significado para una evaluacion que opere en estos contextos unicos. Lo que es significativo para un programa puede no serlo para el otro. El contexto del programa influye en la evaluacion. Y viceversa, la evaluacion tambien puede influenciar el contexto. El desafio es descubrir por completo el contexto con sus necesidades, asi los resultados seran significativos para el programa en su esfera de influencia. En este trabajo se ilustraran y discutiran tres tipos de contextos de evaluacion de la experiencia brasilena: un programa de gran visibilidad dentro de un contexto politico, un programa de poca visibilidad en un contexto inespecifico, y un programa cuyo contexto contenga simultaneamente los dos componentes.O ato de um individuo avaliado ser uma composicao unica de atributos e necessidades e facilmente entendido. O menos obvio e que os programas tambem tem personalidades complexas por si mesmos, como os individuos que os compoem. Eles extraem as suas necessidades de seus proprios contextos, e dai encontram sentido na avaliacao que opere nesses contextos singulares. O que e significativo para um programa pode nao ser para outro. A avaliacao e influenciada pelo contexto do programa. Reciprocamente, ela pode influenciar o contexto tambem. O desafio e descobrir por completo o contexto com suas necessidades. Assim os resultados serao significativos para o programa em sua esfera de influencia. Tres tipos de contextos de avaliacao da experiencia brasileira sao ilustrados e discutidos neste trabalho - um programa de grande visibilidade dentro de um contexto politico, um programa de baixa visibilidade em um contexto difuso, e um programa cujo contexto contem simultaneamente os dois componentes.

Captura el contexto para una evaluación significativa

La evaluacion de un individuo se la entiende, comunmente, como una composicion unica de atributos y necesidades. Lo menos obvio es que los programas tambien tienen personalidades complejas por si propias, asi como los individuos que los componen. Ellos sacan sus necesidades de sus propios contextos, elaboran de ese modo el significado para una evaluacion que opere en estos contextos unicos. Lo que es significativo para un programa puede no serlo para el otro. El contexto del programa influye en la evaluacion. Y viceversa, la evaluacion tambien puede influenciar el contexto. El desafio es descubrir por completo el contexto con sus necesidades, asi los resultados seran significativos para el programa en su esfera de influencia. En este trabajo se ilustraran y discutiran tres tipos de contextos de evaluacion de la experiencia brasilena: un programa de gran visibilidad dentro de un contexto politico, un programa de poca visibilidad en un contexto inespecifico, y un programa cuyo contexto contenga simultaneamente los dos componentes.O ato de um individuo avaliado ser uma composicao unica de atributos e necessidades e facilmente entendido. O menos obvio e que os programas tambem tem personalidades complexas por si mesmos, como os individuos que os compoem. Eles extraem as suas necessidades de seus proprios contextos, e dai encontram sentido na avaliacao que opere nesses contextos singulares. O que e significativo para um programa pode nao ser para outro. A avaliacao e influenciada pelo contexto do programa. Reciprocamente, ela pode influenciar o contexto tambem. O desafio e descobrir por completo o contexto com suas necessidades. Assim os resultados serao significativos para o programa em sua esfera de influencia. Tres tipos de contextos de avaliacao da experiencia brasileira sao ilustrados e discutidos neste trabalho - um programa de grande visibilidade dentro de um contexto politico, um programa de baixa visibilidade em um contexto difuso, e um programa cujo contexto contem simultaneamente os dois componentes.

Cultura de avaliação e política de avaliação como guias para a sua prática: reflexões a respeito da experiência brasileira

Nao ha duvida de que as politicas de avaliacao tornam o trabalho do avaliador uma tarefa mais facil por darem mais transparencia ao processo avaliativo e mais seguranca as pessoas envolvidas. No entanto, isso so se da quando essas politicas sao apresentadas a stakeholders (interessados) em potencial, em uma linguagem clara, ja que elas sao divulgadas e utilizadas para guiar a pratica. Sugere-se, assim, que a construcao de uma cultura de avaliacao e necessaria para que uma politica de avaliacao seja implementada efetivamente de modo a ser plenamente utilizada. Esse artigo apresenta, de maneira concisa, o que os autores entendem por “cultura de avaliacao” e “politica de avaliacao”; discute a importância de politicas de avaliacao na pratica da avaliacao e da meta-avaliacao; e destaca as possiveis consequencias da ausencia dessas politicas. A partir de tais consideracoes, surgem recomendacoes que tem como intuito inspirar o desenvolvimento e a implementacao dessas politicas. Finalmente, sao apresentadas reflexoes baseadas na experiencia brasileira com relacao as inter-relacoes “cultura-politica-pratica” na avaliacao.

Evaluation culture and evaluation policy as guides to practice: reflections on the Brazilian experience

Nao ha duvida de que as politicas de avaliacao tornam o trabalho do avaliador uma tarefa mais facil por darem mais transparencia ao processo avaliativo e mais seguranca as pessoas envolvidas. No entanto, isso so se da quando essas politicas sao apresentadas a stakeholders (interessados) em potencial, em uma linguagem clara, ja que elas sao divulgadas e utilizadas para guiar a pratica. Sugere-se, assim, que a construcao de uma cultura de avaliacao e necessaria para que uma politica de avaliacao seja implementada efetivamente de modo a ser plenamente utilizada. Esse artigo apresenta, de maneira concisa, o que os autores entendem por “cultura de avaliacao” e “politica de avaliacao”; discute a importância de politicas de avaliacao na pratica da avaliacao e da meta-avaliacao; e destaca as possiveis consequencias da ausencia dessas politicas. A partir de tais consideracoes, surgem recomendacoes que tem como intuito inspirar o desenvolvimento e a implementacao dessas politicas. Finalmente, sao apresentadas reflexoes baseadas na experiencia brasileira com relacao as inter-relacoes “cultura-politica-pratica” na avaliacao.

Cultura de evaluación y política de evaluación como guías para su práctica: reflexiones sobre la experiencia brasileña

Nao ha duvida de que as politicas de avaliacao tornam o trabalho do avaliador uma tarefa mais facil por darem mais transparencia ao processo avaliativo e mais seguranca as pessoas envolvidas. No entanto, isso so se da quando essas politicas sao apresentadas a stakeholders (interessados) em potencial, em uma linguagem clara, ja que elas sao divulgadas e utilizadas para guiar a pratica. Sugere-se, assim, que a construcao de uma cultura de avaliacao e necessaria para que uma politica de avaliacao seja implementada efetivamente de modo a ser plenamente utilizada. Esse artigo apresenta, de maneira concisa, o que os autores entendem por “cultura de avaliacao” e “politica de avaliacao”; discute a importância de politicas de avaliacao na pratica da avaliacao e da meta-avaliacao; e destaca as possiveis consequencias da ausencia dessas politicas. A partir de tais consideracoes, surgem recomendacoes que tem como intuito inspirar o desenvolvimento e a implementacao dessas politicas. Finalmente, sao apresentadas reflexoes baseadas na experiencia brasileira com relacao as inter-relacoes “cultura-politica-pratica” na avaliacao.

A Fuzzy Inference System for Meta-Evaluation

This paper presents a new methodology for meta-evaluation that makes use of fuzzy sets and fuzzy logic concepts. It comprehends a data collection instrument and a hierarchical fuzzy inference system. The advantages of the proposed system are: (i) the instrument, which allows intermediate answers; (ii) the inference process ability to adapt to specific needs; (ii) transparency, through the use of linguistic rules that helps both the understanding and the discussion of the whole process. The rules are based on guidelines established by the Joint Committee on Standards for Educational Evaluation and also represent the view of experts. The system can provide support to evaluators that may lack experience in meta-evaluation, which is the case in some developing countries. A case study is presented as a validation of the proposed methodology.