Meta-avaliação: das abordagens às possibilidades de aplicação

Metaevaluation: from approaches to possibilities of application

Metaevaluación: de los abordajes a las posibilidades de aplicación

PÁGINA ABERTA

Metaevaluación: de los abordajes a las posibilidades de aplicación

Ligia Gomes Elliot

PhD em Educação/Avaliação, Universidade da California (UCLA), Los Angeles; Coordenadora de Pós-Graduação, Mestrado Profissional em Avaliação, Fundação Cesgranrio.E-mail: [e-mail]

RESUMO

Dada a importância de seus resultados, projetos, programas e serviços dirigidos a diferentes segmentos da sociedade têm sido acompanhados por avaliações que buscam revelar se houve o alcance da desejada qualidade. No entanto, a condução adequada dessas avaliações pode ser posta em cheque, isto é, verificada por meio de meta-avaliações. Meta-avaliação foi definida como a avaliação de uma avaliação. Assim, o presente artigo apresenta algumas abordagens que representam a contribuição de diversos autores para a realização de meta-avaliações. São abordagens aplicáveis a meta-avaliações somativas e formativas. Algumas indicações de meta-avaliações já desenvolvidas fazem parte do artigo, que destaca as possibilidades de utilização da última versão publicada dos padrões internacionais de avaliação, do Joint Committee on Standards for Educational Evaluation.

Palavras-chave: Meta-avaliação. Abordagens de meta-avaliação. Padrões de avaliação.

ABSTRACT

Given the importance of their results, projects, programs and services aimed at different segments of society have been accompanied by evaluations that seek to reveal whether the scope of the desired quality was reached. However, the proper conduct of these assessments can be put in check, that is verified by metaevaluations. Metaevaluation was defined as the evaluation of an evaluation. Thus, this paper presents some approaches that represent a variety of contributing authors to conduct metaevaluation. Approaches are applicable to summative and formative metaevaluations. Some examples of metaevaluations already developed are part of the article, which highlights the possibilities of using the last version of international standards of evaluation published by the Joint Committee on Standards for Evaluations.

Keywords: Metaevaluation. Metaevaluation approaches. Standards of evaluation.

RESUMEN

Dada la importancia de sus resultados, proyectos, programas y servicios dirigidos a diferentes segmentos de la sociedad han debido estar acompañados por evaluaciones que tratan de revelar si se alcanzó la calidad deseada. Aunque las metaevaluaciones han tenido una correcta conducción, ésta puede ser puesta en jaque, es decir, se puede verificar por medio de metaevaluaciones. Es bueno recordar que se definió la metaevaluación como la evaluación de una evaluación. Este artículo presenta algunos abordajes que representan la contribución de diversos autores para la realización de metaevaluaciones. Dichos abordajes se aplican a metaevaluaciones sumativas y formativas. Algunas indicaciones de las metaevaluaciones ya desarrolladas integran este artículo, que pone de relieve las posibilidades de utilización de la última versión publicada de los modelos internacionales de evaluación, del Joint Committee on Standards for Educational Evaluations.

Palabras clave: Metaevaluación. Abordajes de Metaevaluación. Modelos de evaluación.

Introdução

Nos tempos atuais, tem havido um crescente aumento do interesse pela qualidade dos resultados obtidos a partir de projetos, programas e serviços desenvolvidos nos campos social, empresarial, da educação e da saúde, no âmbito público e privado, dirigidos a diferentes segmentos da sociedade. Dada a importância do foco e das finalidades dessas áreas, tal interesse muitas vezes traz, em consequência, a realização de avaliações que intencionam revelar se a desejada qualidade foi alcançada. Por meio das avaliações, busca-se saber, por exemplo, se os objetivos traçados foram atingidos de forma adequada e eficaz, se o processo de desenvolvimento de projetos e programas revelou seu mérito ou qualidade intrínseca, se as ações realizadas e os serviços prestados podem ser associados a algum tipo de impacto para os beneficiados ou interessados. Enfim, a avaliação busca trazer à tona aspetos, dados e indicadores de que o objeto avaliado, seja ele um projeto, um programa ou um serviço, é adequado, eficiente, eficaz ou relevante, isto é, se demonstra ter algum valor ajuizado a partir de critérios estabelecidos pelo avaliador ou ainda sugeridos pelos interessados nos resultados da avaliação.

No entanto, a condução adequada das avaliações também pode ser posta em cheque, isto é, verificada por meio de meta-avaliações. Meta-avaliação foi definida literalmente por Scriven (1991) como a avaliação de uma avaliação. Na realidade, é a verificação da qualidade da própria avaliação à luz de diversos critérios, quando o meta-avaliador contratado ao término da avaliação focaliza o relatório produzido, realizando no caso, uma meta-avaliação somativa. Além dessa, Berends e Roberts (2003) destacaram duas razões para se proceder a uma meta-avaliação. Uma é possibilitar a verificação da aplicação de um código de comportamento adequado durante todo o estudo, ou seja, a ética adotada pelos avaliadores, se ela existe e como foi praticada. Outra concebe a meta-avaliação como uma prática de reflexão sobre todos os procedimentos utilizados na avaliação, dando oportunidade à incorporação de novos conhecimentos por parte não só dos meta-avaliadores, como também dos avaliadores, quando tomam ciência da análise realizada.

Os procedimentos apropriados para a realização de meta-avaliações podem variar de acordo com o tipo da avaliação realizada. A literatura apresenta algumas possibilidades para a condução de meta-avaliações. Talvez o marco de referência conceitual mais conhecido seja o produzido pelo Joint Committee on Standards for Educational Evaluations (1994), agora em sua 3ª edição (JOINT COMMITTEE..., 2011). Essa obra, referência na área, oferece padrões não só para a elaboração e execução de avaliações, como também para a realização de meta-avaliações.

Stufflebeam (2001, p. 185), reunindo sua própria definição de avaliação e as dimensões apontadas pelo Joint Committee, afirmou que

Meta-avaliação é o processo de delinear, obter e aplicar informação descritiva e de julgamento - sobre a utilidade, a viabilidade, adequação e precisão de uma avaliação e sua natureza sistemática, competente conduta, integridade/honestidade, respeitabilidade e responsabilidade social - para orientar a avaliação e divulgar publicamente seus pontos fortes e fracos.

Existem, porém, outras formas ou abordagens que podem ser de grande utilidade aos avaliadores e interessados na qualidade das avaliações realizadas. É objetivo de o presente artigo trazer, ao leitor interessado, algumas abordagens que representam a contribuição de diversos autores para a realização de meta-avaliações. Inclui ainda algumas indicações de meta-avaliações já desenvolvidas.

Assim, serão apresentadas as seguintes abordagens aplicáveis a meta-avaliações somativas: Lista Chave de Verificação da Avaliação de Scriven (2007); critérios considerados essenciais, Abordagem da Segunda Opinião e Abordagem Mista ou Híbrida, por Davidson (2005); Padrões de Avaliação (JOINT COMMITTEE..., 2011).

Uma sugestão de abordagem voltada para a meta-avaliação formativa é adicionada, trazendo mais um emprego possível da metodologia da meta-avaliação. De acordo com Stufflebeam (2001, p.183), a meta-avaliação formativa é empregada durante o processo de desenvolvimento da avaliação e "auxilia avaliadores a planejar, conduzir, melhorar, interpretar e comunicar os seus estudos de avaliação".

Nos exemplos de meta-avaliações realizadas estão os estudos de Berliner (2010), Figueiró, Thuler e Dias (2008), Gadelha (2010), Hedler e Torres (2009), Pereira (2010) e Serour (2010).

Abordagens somativas

Por definição, as abordagens somativas de meta-avaliação ocorrem após o término da avaliação, depois que todo o processo avaliativo já aconteceu. Nesse tipo de abordagem, o meta-avaliador lida com relatórios prontos e pode também utilizar bancos de dados coletados, documentação analisada, registros feitos, depoimentos, enfim todo o material disponível que diz respeito e retrate a avaliação desenvolvida. As meta-avaliações somativas, segundo Stufflebeam (2001), auxiliam os interessados a perceber tanto os pontos fortes como as fragilidades da avaliação realizada e ainda o seu mérito e valor.

A lista chave de verificação de avaliação

A Lista Chave de Verificação de Avaliação (Key Evaluation Checklist - KEC), desenvolvida e periodicamente revisada por Scriven (2007), é um quadro de referência que pode ser tanto usado na operacionalização de avaliações de produtos, de unidades organizacionais como departamentos, associações, consultorias, avaliações de serviços e de práticas diversas como também em meta-avaliações. Na meta-avaliação, a Lista de Verificação serve para orientar cada ponto de verificação do relatório de avaliação, conforme se pode observar em seu resumo contido na Figura 1. A legenda sugerida por Davidson (2005) se aplica ao julgamento de cada ponto.

A Lista Chave de Verificação de Avaliação aborda quatro componentes principais de uma avaliação e de seu relatório e o autor os denominou de Preliminares, Fundamentos, Sub-avaliações e Conclusões. Cada componente da Figura 1 representa um nível para se meta-avaliar a avaliação feita. O primeiro, das Preliminares, busca informação que identifique a avaliação, e isto é feito por meio dos itens I, II e III. O Sumário Executivo deve trazer uma visão geral dos resultados de forma sintética, em poucas páginas, uma ou duas. De acordo com Scriven (2007), a finalidade dessa primeira parte ainda não é investigar, mas possivelmente resumir os resultados da avaliação relativos aos pontos 11 a 15 da Lista Chave de Verificação de Avaliação.

Já o Prefácio deve informar quem encomendou a avaliação e as razões principais, quais as questões avaliativas e quais os interessados ou públicos que aguardam os resultados da avaliação e/ou deles necessitam. Caso o relatório da avaliação não contenha esses dois componentes, as informações devem ser buscadas no texto existente.

A Metodologia apresenta os procedimentos utilizados, o que inclui o desenho e a abordagem adotados pela avaliação, entre outros procedimentos. Busca-se saber, neste aspecto, o que é necessário para desenvolver as etapas metodológicas da avaliação e como foram desenvolvidas. Ou o que era necessário e não foi incorporado ao processo avaliativo.

No segundo componente ou nível, os Fundamentos da avaliação englobam a razão de existência do objeto, seja ele um projeto, programa, material, serviço prestado, entre outros. Também se ocupam da descrição desse objeto, da indicação dos principais interessados, dos recursos disponíveis para manter o objeto e ajudá-lo a ser eficaz em seus propósitos, e dos valores adotados pelo avaliador. Entre esses últimos, encontram-se valores definidos em relação ao padrão adotado pela avaliação, valores relativos a requisitos legais, éticos, profissionais, valores culturais, históricos, tradicionais, científicos, tecnológicos, políticos, econômicos, o que não esgota a lista de possibilidades (SCRIVEN, 2007). Na realização de uma meta-avaliação serão aplicados os aspetos que forem pertinentes.

No terceiro nível, estão o que o autor denominou de Subavaliações, pois dirigidas ao processo e aos resultados ou impactos da avaliação, aos custos que são considerados pelo autor como elemento-chave na determinação de valor, às comparações entre um programa e outro mais efetivo e, ainda, à capacidade de os componentes da avaliação terem valia para uma futura utilização em outro local. A relevância geral da avaliação também faz parte desse nível, incluindo o que está indo bem, o que está faltando, qual o melhor uso dos recursos, respeitando-se a relação custo-efetividade.

Finalmente, no quarto nível, das Conclusões, há dois pontos opcionais, relativos a recomendações e explanações, e a responsabilidades sobre os resultados e possíveis justificativas. Nem sempre uma avaliação contém informações desse tipo. O ponto referente a relatórios e o tipo de apoio dado à divulgação dos resultados aborda os formatos e os destinatários dos relatórios. O último ponto trata da própria meta-avaliação, zelando para que todos os aspetos tenham sido cobertos e tragam respostas a respeito de pontos fortes e fracos da avaliação, assim como conclusões sobre as categorias essenciais de padrões de avaliação, a saber: utilidade, viabilidade, adequação e precisão.

Um estudo mais minucioso da Lista Chave de Verificação de Avaliação pode ser realizado a partir da sua versão integral, fornecida para uso dos interessados (SCRIVEN, 2007).

Critérios fundamentais

Em um capítulo dedicado à avaliação de avaliações, Davidson (2005) apresenta cinco critérios fundamentais para orientar a meta-avaliação, buscando seu mérito ou qualidade intrínseca. São eles a validade, a utilidade, a conduta, a credibilidade e os custos. A autora define claramente tais critérios:

Avaliações devem produzir conclusões válidas e justificáveis; ser úteis ao cliente e a outros públicos relevantes; ser conduzidas de uma maneira ética, legal, profissional e apropriada; ser digna de crédito para os públicos relevantes; e ser tão econômica, rápida e não obtrusiva quanto possível (DAVIDSON, 2005, p. 205).

Conhecer cada um deles irá auxiliar a sua futura aplicação em meta-avaliações.

Validade

A validade da avaliação diz respeito à relação entre as conclusões apresentadas pelo avaliador e sua justificativa. O avaliador, para chegar às conclusões, utiliza tanto os fatos e dados coletados, como atribui valores ao julgar, por exemplo, a relevância desses dados. São os valores que determinam os critérios adotados pelo avaliador. É necessário, portanto, na meta-avaliação, verificar as fontes de dados que o avaliador utilizou e as associações feitas entre fatos e valores de modo a constatar o quanto as conclusões se justificam.

Buscando a validade da avaliação, a meta-avaliação deve questionar o que foi feito, enfatiza Davidson (2005, p. 206): "O avaliador fez inicialmente as questões corretas? O avaliador dimensionou a avaliação apropriadamente? O que foi deixado de fora que deveria ter sido incluído e vice versa?"

Como, às vezes, os avaliadores lidam com limitações de tempo, de orçamento e até mesmo de pessoal, a meta-avaliação deve considerar tais restrições, pois elas podem atingir a validade das conclusões. Cabe verificar se as limitações realmente impediram o avaliador de concluir o estudo apropriadamente e se ele as apontou no relatório final, de modo que o leitor possa entender essa relação.

Davidson (2005) considera a Lista Chave de Verificação da Avaliação elaborada e modificada por Scriven como um quadro de referência para orientar avaliadores em sua lida profissional e um dos instrumentos mais úteis para julgar a validade de uma avaliação. Enfatiza, também, que os padrões de avaliação (JOINT COMMITTEE..., 1994) pertinentes ao objeto avaliado, são de grande utilidade em meta-avaliações, quando da verificação da validade da avaliação. O uso de ambos, Lista Chave de Verificação e Padrões de Avaliação, também é proveitoso em meta-avaliações. Assim, a autora sugere o emprego dos seguintes elementos presentes nas duas fontes de referência como critérios para a meta-avaliação da validade de uma avaliação (DAVIDSON, 2005, p. 208-209):

Cobre todas as fontes relevantes de valor (ex.: necessidades, padrões relevantes, definições de senso comum sobre valor).

Cobre compreensivamente processo, resultado e custo.

Não inclui critérios irrelevantes ou ilícitos.

Inclui análises qualitativas e quantitativas que são apropriadas aos dados coletados.

Estabelece claramente como os dados são interpretados.

Explicita com clareza a procedência das conclusões avaliativas (nada de saltos lógicos ou "fumaça no espelho").

Inclui recomendações válidas (se existirem, ou seja, há base suficiente para propô-las e permite reconhecer que elas vão funcionar se forem implementadas).

Utilidade

Uma avaliação precisa ser útil para aqueles que a encomendaram e que nela têm interesse. Assim, a utilidade de uma avaliação é determinada pela necessidade que determinado grupo de interessados possui em relação a seus resultados. Dessa forma, tanto a avaliação quanto seus resultados precisam ser:

relevantes para as questões ou decisões dos interessados; pontuais, de modo que os resultados estejam disponíveis quando as pessoas interessados necessitarem tomar decisões, e comunicados claramente em linguagem, mídia e canais de comunicação apropriados (DAVIDSON, 2005, p. 209).

As avaliações participativas ou que adotam a abordagem de empoderamento (empowerment) trabalham habilidades de avaliador junto aos avaliados quando compartilham atividades avaliativas e instâncias de decisão com os participantes envolvidos. Nesses casos, a utilidade da avaliação aumenta. A capacidade de aprender a avaliar, que foi praticada durante o processo avaliativo, se torna, ela própria, um resultado da avaliação de extrema utilidade para os participantes. É importante enfatizar que a meta-avaliação deve verificar em que medida os resultados da avaliação estão sendo utilizados. Tal procedimento se torna um forte indicador do alcance do critério de utilidade. Quanto mais os resultados forem usados pelos participantes ou pelos interessados na avaliação, mais forte se torna o atendimento ao critério de utilidade.

Conduta

Conduta é um critério mais aplicável ao processo da avaliação do que ao relatório completo e acabado. É durante o desenvolvimento do processo avaliativo que o meta-avaliador pode observar se padrões legais, éticos e profissionais, de adequação cultural e de não impedimento do próprio processo da avaliação foram respeitados pelo avaliador.

Os padrões legais são aqueles relacionados à legislação local, nacional e até internacional, dependendo do objeto avaliado. Os padrões éticos preconizam não colocar os participantes em perigo, obter seu consentimento para participar da avaliação e proteger a confidencialidade dos dados e das informações obtidos. Padrões profissionais, dirigidos aos avaliadores como o que se espera de seu desempenho profissional, podem ser encontrados na publicação denominada Princípios Orientadores para Avaliadores, da American Evaluation Association (Associação Americana de Avaliação), apresentada em português na obra de Worthen, Sanders e Fitzpatrick (2004). Já os padrões culturais dizem respeito a determinadas culturas ou grupos étnicos e adquirem nuances particulares em cada local. São padrões que tratam do respeito devido a todo e qualquer grupo humano, independente de sua origem. O envolvimento dos participantes ou avaliados constitui um aspecto importante no contexto cultural da avaliação e, por conseguinte, da meta-avaliação.

Os padrões ligados ao não impedimento de etapas do desenvolvimento da avaliação, ou das atividades dos participantes e mesmo dos avaliadores, verificam o fluxo das atividades avaliativas e sua adequação, sem interrupções desnecessárias.

Credibilidade

A obtenção de credibilidade para uma avaliação está diretamente relacionada à aceitação, por parte dos interessados, dos resultados e suas fontes, isto é, em que medida merecem crédito. De acordo com Davidson (2005, p. 211), os elementos fundamentais de credibilidade de uma avaliação são: "a) familiaridade com o contexto; b) independência, imparcialidade, e/ou falta de conflito de interesse; e c) expertise (especialidade) em avaliação e na matéria sob investigação."

Para o avaliador ter familiaridade com o contexto será preciso conhecer bem o projeto, ou o programa que está sendo avaliado, em sua estrutura, organização, normas, ou ainda conhecer o grupo onde o objeto avaliado se insere ou serve. Essa familiaridade permitirá uma apresentação de resultados mais realista e mais próxima do entendimento dos interessados, pois o avaliador relatará algo do qual conhece os antecedentes e o entorno.

Independência e imparcialidade são fatores que se tornam mais presentes quando a avaliação é divulgada para públicos externos ou para grupos de interesse (stakeholders). São importantes no trato de conflito de interesses que poderiam prejudicar a credibilidade da avaliação. O avaliador não deve ter preferências por qualquer grupo de stakeholders, nem apresentar julgamentos tendenciosos. Tais posturas fazem parte de sua atuação como profissional.

Possuir domínio de suas atividades profissionais de avaliador e ainda conhecer o objeto sob avaliação também fazem parte do critério de credibilidade. A importância desse domínio pode variar de uma avaliação para outra. Muitas vezes, acredita-se que um grupo de especialistas de conteúdos pode conduzir adequadamente a meta-avaliação porque possui o conhecimento substantivo, mas nem sempre isso acontece. Assim, a presença do avaliador ou de sua equipe, com domínio da competência técnica, é necessária para garantir a credibilidade da meta-avaliação.

Custos

Uma avaliação sempre inclui diferentes tipos de custo. No caso de avaliações encomendadas, a prestação de contas, a relevância das despesas, o pagamento dos avaliadores e de outros itens fazem parte de uma equação em que se deseja saber se os resultados valem o que custaram. É uma relação custo-benefício que se procura e deve ser equilibrada. Esse é um ponto a ser visto também na meta-avaliação. A literatura específica mostra como calcular a efetividade dos custos de uma avaliação.

Padrões de Avaliação

Os Padrões de Avaliação representam um esforço conjunto e prolongado de várias organizações e associações norte-americanas e canadenses, ligadas à educação e à avaliação. A finalidade desse empreendimento foi produzir, em uma linguagem clara e de fácil apreensão, diretrizes que pudessem tanto servir de orientação para a elaboração de projetos avaliativos de programas ou de outros objetos de avaliação, quanto para a execução deles próprios, e até para a meta-avaliação que se volta para o julgamento de avaliações realizadas.

A criação

Data de 1981 a publicação da primeira edição intitulada Standards for evaluations of educational programs, projects, and materials (Padrões para avaliações de programas, projetos e materiais educacionais), de autoria do Joint Committee on Standards for Educational Evaluation (1981). Após uma década de uso e de aceitação internacional dos padrões, o Joint Committee ampliou o escopo dos padrões, voltando-se para a avaliação de programas em diversas áreas e procedeu a ajustes e acréscimos necessários a essa finalidade. Em 1994, a segunda edição foi publicada com o título de The program evaluation standards (Padrões de avaliação de programas).

No processo de elaboração e revisão das duas edições dos Padrões, foram mobilizadas 15 organizações e associações patrocinadoras, contando com a colaboração de sete membros da equipe do projeto, painéis de validação envolvendo um presidente, cinco membros, 58 redatores, 19 consultores, 116 membros dos Painéis Nacionais de Revisão, 14 do Painel Internacional de Revisão, 61 participantes nos testes de campo e 100 participantes das Audiências Nacionais.

Em 2004, 10 anos após a publicação da 2ª edição dos Padrões, foi iniciado o processo de desenvolvimento para a publicação da 3ª edição. Esse processo foi semelhante ao anterior. A partir de um survey nacional dos membros do Joint Committee, o processo envolveu os comentários e sugestões de mais de 300 stakeholders, a seleção de uma equipe destes para investigar formatos compatíveis para as descrições dos padrões, apresentações diversas e revisões dos padrões por uma força tarefa composta por quatro membros¹, mais de 75 revisores nacionais e internacionais, seis audiências nacionais, testes de campo realizados por 50 usuários, validação por um painel em 2008, revisão geral pelo Joint Committee em 2009, sendo então considerados prontos para a certificação final como padrões de avaliação de programa concedida pelo American National Standards Institute (Instituto Americano de Padrões Nacionais). Em 2011, o Joint Committee é apoiado por 17 organizações.

Os Padrões e suas características

De acordo com o Joint Committee (2011, p. xxii), os Padrões de Avaliação "identificam e definem qualidade da avaliação e guiam os avaliadores e usuários a perseguir essa qualidade". No entanto, não significam leis, pois são produto de extenso trabalho de discussão, revisão e consenso entre os membros do Joint Committee. Os padrões requerem responsabilidade e julgamento em cada avaliação, "fornecem uma heurística para ser usada na definição e atendimento de problemas novos que o contexto da avaliação apresenta" (JOINT COMMITTEE..., 2011, p. xxii).

Os padrões de avaliação de programas traduzem os atributos considerados essenciais a uma avaliação de qualidade: utilidade, exequibilidade, adequação, precisão e responsabilização². Em um total de 30, são organizados nessas cinco categorias conforme a pertinência mais evidente. A publicação apresenta, entre outros conteúdos, o título e a descrição de cada padrão, seu fundamento e clarificação, considerações específicas que orientam sua aplicação ou sua verificação, perigos que podem ocorrer e levar ao não atendimento do padrão quando a aplicação é realizada. Isso pode ser evitado na prática se, em tese, os perigos forem antecipados pelo avaliador.

Os padrões de utilidade, em número de oito, transparecem a preocupação com as necessidades de informação dos usuários, interessados na avaliação. É preciso que os resultados sejam úteis a quem encomendou a avaliação. Caso contrário, a avaliação não se justifica, pois não serviu ao cliente ou aos interessados. De acordo com esses padrões, a avaliação deve ser conduzida por um avaliador ou equipe competente e isto deve servir como garantia de sua credibilidade; dar atenção a todos os interessados (stakeholders) na avaliação em foco; negociar os propósitos da avaliação e selecionar informação relevante de modo a atender às necessidades desses interessados; indicar os valores que embasam os propósitos, processos e a interpretação dos resultados; apresentar comunicações e relatórios que descrevam claramente o que foi realizado e que sejam entregues nos prazos estabelecidos; considerar as possíveis consequências e influência que os resultados da avaliação podem vir a ter.

Os quatro padrões de exequibilidade se relacionam com "efeitos de contextos, culturas, custos, política, poder e recursos disponíveis" (JOINT COMMITTEE..., 2011, p. xxviii). São voltados para procedimentos que assegurem que a avaliação será gerenciada de modo efetivo, será prática e realística, será cuidadosa ao tratar do contexto e seus interesses políticos e culturais, será tanto efetiva quanto eficiente ao utilizar os recursos. Esses padrões lidam com a dimensão política da avaliação, a praticidade dos procedimentos e os custos.

Os padrões de adequação, em número de sete, pretendem assegurar que a avaliação será desenvolvida respeitando aspetos morais, éticos e legais concernentes à qualidade da avaliação. Esses padrões são relativos ao bem estar das pessoas envolvidas na avaliação ou que possam ser afetadas por seus resultados. Lidam com acordos e contratos entre clientes e avaliadores; tratam do respeito aos direitos dos participantes e a suas interações durante a avaliação, assim como cuidam de possíveis conflitos de interesses; focalizam o julgamento equilibrado de pontos fortes e fracos do objeto avaliado; tornam os resultados acessíveis aos interessados, apresentando um balanço contábil dos gastos com a avaliação.

Os padrões de precisão buscam garantir que a informação técnica da avaliação referente às características que determinam o valor ou mérito do programa sob avaliação será adequada e confiável. São oito padrões que abordam a descrição do programa e do contexto; tratam de características de validade, fidedignidade e gerenciamento da informação; focalizam a análise dessa informação, a justificativa das conclusões e decisões, assim como a abrangência e a imparcialidade dos comunicados divulgados e dos relatórios elaborados.

Os três padrões da nova categoria, responsabilização da avaliação, encontram apoio nos padrões anteriores, de utilidade, exequibilidade, adequação e precisão. Tratam da documentação da avaliação como comprovação de cada etapa realizada, da meta-avaliação tanto interna - como forma de investigar e prestar contas do desenvolvimento durante o processo de realização, quanto externa - como atestado de qualidade da avaliação por outros avaliadores. Estão diretamente relacionados à meta-avaliação e, por concepção, utilizam todos os 27 padrões, desde que pertinentes ao que estiver sendo julgado.

Assim, conforme a natureza da avaliação ou da meta-avaliação, a aplicação dos padrões será variada. Dependendo do objeto em foco, alguns padrões podem não ser adequados ao julgamento do programa, projeto, objeto ou evento.

Passos para aplicação dos Padrões

Na 2ª edição dos padrões de avaliação, o Joint Committee (1994) sugeriu alguns passos para auxiliar o processo de utilização dos padrões que podem ser úteis a quem se dedicar a tal tarefa.

1º) Conhecer o conteúdo dos padrões

No sentido de efetuar uma boa utilização dos padrões, o Joint Committee (1994) sinaliza que o avaliador deve se tornar familiarizado com o conteúdo dos padrões de avaliação. O conhecimento conceitual e prático é o passo inicial para quem vai aplicá-los. Uma sugestão para consolidar ou ampliar esse conhecimento é aplicar os padrões a uma avaliação e pedir a opinião de especialistas; outra é discutir a aplicação com colegas e stakeholders. Nessa capacitação em grupo, o avaliador pode concentrar-se em uma categoria de padrões, antes de focalizar as demais. Tais experiências tornarão a aprendizagem mais valiosa, afirma o Joint Committee (1994). Sem dúvida, a frequência da utilização tornará os padrões mais conhecidos e ajudará a sua aplicação.

2º) Tornar claro os propósitos da avaliação

Para o avaliador ou meta-avaliador, as razões para avaliar um dado programa precisam ser claramente enunciadas de modo a permitir o alcance dos propósitos. Assim, são muitas as decisões a serem tomadas pelo avaliador ou meta-avaliador de um programa. De acordo com o próprio Joint Committee (1994, p. 10-11), algumas questões precisam ser levantadas por ambos:

Quais são as necessidades prioritárias dos participantes do programa? Quais são as melhores abordagens para atender essas necessidades? Quais são os componentes do programa que devem ser mantidos ou modificados?

Todos os participantes devem receber o mesmo programa?

Quais as atividades de acompanhamento (follow-up) que devem ser implementadas para o programa?

O programa deve ser divulgado?

3º) Tornar claro o contexto da avaliação

Ao elaborar o planejamento da avaliação, o Joint Committee (1994, p. 11) recomenda que o avaliador faça as seguintes questões que irão ajudar a revelar elementos contextuais do objeto (projeto, programa, material, outros) sob avaliação:

Quem deseja a avaliação? Por quê?

O que vai fazer com os resultados?

Para quando necessitam dos resultados?

Qual o orçamento da avaliação?

Qual é o programa (objeto) a ser avaliado?

Quais os recursos adicionais disponíveis?

Quais são as questões políticas potenciais?

4º) Aplicar cada Padrão considerando os propósitos e o contexto da avaliação

O avaliador pode então aplicar cada padrão orientando o plano da avaliação, ou seu desenvolvimento, ou a apreciação de sua consecução, por intermédio do relatório. A aplicação dependerá da finalidade, avaliação ou meta-avaliação.

A publicação do Joint Committee (2011) fornece uma Tabela Funcional de Conteúdos que tem por finalidade ajudar na escolha dos padrões mais pertinentes ou importantes para cada componente ou atividade da avaliação. Essa Tabela foi reorganizada no Quadro 1.

O Quadro 1 apresenta os 30 padrões, listados em suas respectivas categorias (utilidade, exequibilidade, adequação, precisão e responsabilização), assinalados de acordo com a pertinência às atividades da avaliação constantes das colunas seguintes que são indicadas na legenda.

No caso da meta-avaliação somativa que focaliza a avaliação já concluída e seu relatório, "o avaliador desejará saber o que foi feito na avaliação, o que não foi, como também o impacto da avaliação" (JOINT COMMITTEE..., 1994, p. 11). Para tanto, o meta-avaliador poderá precisar julgar toda a avaliação realizada e buscar outras informações, suplementares, com os participantes. A aplicação dos padrões vai julgar a avaliação do programa e o meta-avaliador fará perguntas como: o programa "merece crédito? Pode ser usado como está? Precisa de mais informação antes que a avaliação possa ser julgada com justiça?" (JOINT COMMITTEE..., 1994, p.12).

Uma lista de verificação para aplicação dos padrões fornecida pelo Joint Committee (1994) pode facilitar a tarefa de julgar a qualidade da avaliação. Essa lista traz os padrões, distribuídos em suas categorias, e oferece uma escala de pode ser reproduzida. A escala inclui quatro pontos para julgar o nível de atendimento do objeto avaliado em relação a cada padrão: a) atendido; b) parcialmente atendido; c) não atendido; e d) não se aplica.

O meta-avaliador deverá assinalar seu julgamento relativo a cada padrão, na lista de verificação, após analisar o conteúdo do relatório de avaliação. Se vários avaliadores julgarem um mesmo relatório, os resultados assinalados devem ser confrontados e as discrepâncias devem ser discutidas para se chegar a um consenso.

5º) Decidir o que fazer com os resultados

Conforme expressa o Joint Committee (1994), na etapa final da aplicação dos padrões, cabe discutir os resultados obtidos com a equipe do programa, com o avaliador e ainda outros interessados. Nesse momento, espera-se que os pontos críticos da avaliação sejam identificados e que algumas recomendações importantes para a melhoria da avaliação possam ser feitas. Se for necessário, é interessante que se pense em formular planos de coleta de informação suplementar ou que se discutam maneiras de aumentar a capacidade avaliativa da organização ou da equipe, como uma forma de empoderamento (empowerment) desse pessoal, em avaliação.

Abordagem da segunda opinião

A Abordagem da Segunda Opinião funciona da mesma forma como em casos de dúvidas sobre um diagnóstico feito, quando o paciente solicita a opinião a um segundo profissional médico. No caso da meta-avaliação, uma nova equipe realiza outra avaliação do mesmo objeto, utilizando os mesmos procedimentos e instrumentos, o mesmo caminho metodológico. No final, o segundo relatório é comparado com o primeiro, com a finalidade de verificar se as conclusões são semelhantes àquelas que a primeira avaliação apresentou. Se houver discrepâncias, então, o meta-avaliador, o avaliador e suas respectivas equipes precisam verificá-las para se chegar a um retrato fiel do que foi avaliado.

Abordagem híbrida

Nessa abordagem, híbrida ou eclética, que conjuga dois procedimentos, o meta-avaliador faz o julgamento da avaliação como ela é, da maneira como foi realizada e apresentada, acrescentando uma verificação cruzada de aspetos que podem ser questionados quando a avaliação for divulgada. Isso ocorre quase sempre quando os stakeholders não concordam com alguns dos resultados encontrados. É uma maneira sistematizada de verificar a qualidade da avaliação e de clarificar pontos de discordância nos resultados ou em sua interpretação.

Abordagem formativa

A meta-avaliação formativa visa à melhoria de uma avaliação que está sendo desenvolvida, ou seja, que se encontra em progresso. É Davidson (2005) quem sugere algumas maneiras de conduzir meta-avaliação formativa.

A equipe de avaliação contrata como consultor um especialista em medidas ou em conteúdo, que aprecia e comenta o plano da avaliação, dando ajuda para resolver algum problema. A equipe pode ainda utilizar um painel orientador composto por avaliadores especialistas, membros da organização onde ocorre a avaliação e especialistas em conteúdo. Além de trazer contribuições enriquecedoras à avaliação, o emprego de um painel que inclui os membros da organização aumenta o envolvimento desses indivíduos e a posterior aceitação dos resultados da avaliação.

Outra possibilidade de realizar a meta-avaliação formativa é contar com observadores independentes atuando como meta-avaliadores. Esses observadores têm a tarefa de revisar os rascunhos dos relatórios parciais referentes à avaliação em andamento, antes de serem entregues ao cliente. Tal procedimento daria oportunidade de cobrir pontos julgados deficientes, de melhorar a coleta dos dados, entre outros aspetos. A revisão de relatórios parciais pode incluir stakeholders buscando atender-lhes as necessidades, que assim que serão contempladas no relatório final.

Exemplos de meta-avaliações

Como anunciado na introdução deste artigo, alguns exemplos de meta-avaliações realizadas no país serão aqui comentados como forma de trazer, ao leitor, ilustrações sobre o processo de avaliar uma avaliação. Os contextos de aplicação são variados, como também a forma de desenvolvimento.

Berliner (2010) focalizou, em sua dissertação de Mestrado em Avaliação, a avaliação do processo avaliativo para levantamento do Indicador Nacional de Alfabetismo Funcional (Inaf), criado pelo Instituto Paulo Montenegro, uma organização do Instituto Brasileiro de Opinião Pública (Ibope). Desenvolveu, portanto, uma meta-avaliação.

O indicador, através de questionários e testes, que retratam situações enfrentadas no cotidiano, avalia as habilidades e competências para interpretar e solucionar problemas de letramento e numeramento em amostra da população das zonas rural e urbana, na faixa etária de 15 a 64 anos (BERLINER, 2010, p. 7).

A autora adotou, inicialmente, o V epistemológico de Gowin para embasar a modelagem do processo de análise do Inaf, tomando as duas questões avaliativas do estudo como ponto de partida:

1) Em que medida o instrumento utilizado pelo IBOPE para determinação do Indicador de Alfabetismo Funcional é adequado para avaliar se os entrevistados sabem ler e escrever?

2) Até que ponto o INAF abrange as principais capacidades/ habilidades necessárias para determinar o alfabetismo funcional? (BERLINER, 2010, p. 44).

O V de Gowin consiste em "uma ferramenta capaz de esclarecer a complexidade do assunto abordado e simplificar o processo de construção do conhecimento" (BERLINER, 2010, p. 41), o que proporcionou "uma análise meta-cognitiva da apuração do indicador de alfabetismo" (BERLINER; ELLIOT, 2010, p. 1). Em prosseguimento, a avaliação do processo de levantamento do Inaf foi desenvolvida com base nas categorias e padrões de avaliação formulados pelo Joint Committee on Standards for Educational Evaluation (1994). A autora selecionou, então, os padrões pertinentes ao objeto em avaliação, no caso o processo de apuração do Inaf, buscando níveis de atendimento, dentro de cada categoria. Esse é um exemplo de meta-avaliação somativa.

Figueiró, Thuler e Dias (2008) se propuseram a meta-avaliar os Estudos de Linha de Base (ELB) gerados pelo Projeto de Expansão e Consolidação da Saúde da Família (Proesf), financiado com recursos do Ministério da Saúde. As questões avaliativas formuladas orientaram a meta-avaliação: "Em que medida os ELB atenderam aos padrões de coerência teórica e prática para avaliação das avaliações - meta-avaliação? E como essas medidas variaram na dependência das diferentes inserções dos meta-avaliadores? (FIGUEIRÓ; THULER; DIAS, 2008, p. 49).

Os autores se valeram dos padrões de avaliação do Joint Committee (1994) e acrescentaram a categoria "especificidade do Termo de Referência (TOR)", composta por três padrões, a saber: "coerência com o modelo teórico, análise multidimensional e análise relacional dos resultados" (FIGUEIRÓ; THULER; DIAS, 2008, p. 50). A meta-avaliação abrangeu a escolha de profissionais para integrar a equipe de meta-avaliadores, a seleção e teste dos instrumentos apropriados, a seleção de uma amostra de relatórios dos Estudos de Linha de Base, a revisão e consequente classificação desses relatórios como resultado da meta-avaliação. A diversidade da natureza dos contextos onde o Proesf se desenvolveu, além das várias metodologias avaliativas utilizadas e a falta de padronização dos relatórios, aliada à falta de prática em meta-avaliar foram identificadas como limitações do estudo.

Gadelha (2010) tratou dos requisitos necessários para a avaliação de Centros de Referência de Assistência Social (Cras), em sua dissertação de Mestrado em Gestão do Conhecimento e Tecnologia da Informação. O estudo abordou de que modo "ferramentas metodológicas de meta-avaliação podem contribuir na descoberta de novos requisitos de software que apóiem o processo avaliativo" (GADELHA, 2010, p. 15). Dessa forma, o autor aplicou apenas três padrões de avaliação selecionados da publicação de 1994 do Joint Committee: avaliação completa e justa, informações sistemáticas e conclusões justificadas. Tal escolha foi devido ao fato de esses padrões estarem associados à descoberta dos novos requisitos buscados. A meta-avaliação se baseou nas recomendações e nos erros comuns praticados quando não se utiliza cada padrão como diretriz, numa avaliação. O autor elaborou um quadro para cada padrão com as recomendações e os erros comuns, objetivando favorecer o registro dos aspetos atendidos, ou não, na avaliação. Os insumos utilizados na meta-avaliação foram o relatório existente, o software Gerente do CRAS 2008, entrevistas semiestruturadas com um especialista de negócios e um de Tecnologias da Informação. A partir da meta-avaliação somativa dos Centros de Referência, que são unidades de política pública de assistência social, o estudo pretendeu trazer insumos para o aperfeiçoamento da tecnologia utilizada nesses centros.

Com caráter somativo, a meta-avaliação foi também utilizada no campo das auditorias por Hedler e Torres (2009). Após apresentar a concepção de um modelo de meta-avaliação, o objetivo do estudo foi aplicar esse modelo "à auditoria de natureza operacional (ANOP) do Tribunal de Contas da União, meta-avaliando seus critérios, padrões, validade e confiabilidade dos procedimentos e resultados das ANOPs" informam os autores (HEDLER; TORRES, 2009, p. 469). A meta-avaliação incidiu sobre 10 relatórios de auditorias. Os autores utilizaram 20, dos 30 padrões propostos pelo Joint Committee (1994), adaptando-os ao conteúdo em foco, relatórios de auditorias. Atribuíram pontos aos padrões plenamente, parcialmente ou não atendidos, utilizando a metodologia sugerida pelo Joint Committee, e estabeleceram comparação com categorias de análise que refletem a teoria e o problema emergentes do conteúdo dos relatórios: características dos programas; enfoque da auditoria; contexto político; métodos e técnicas e dificuldades da auditoria. A junção desses elementos trouxe, ao estudo, contribuições metodológicas e de conteúdo.

O foco da avaliação de Pereira (2010) foi o edital de seleção de professores para o Colégio Pedro II, no Rio de Janeiro. Como a seleção consiste em um processo avaliativo e o referencial utilizado foram os padrões de avaliação do Joint Committee (1994), a autora conduziu assim uma meta-avaliação somativa a partir da análise dos editais e de informações dadas pelos responsáveis pela condução do processo seletivo, em confronto com 20, dos 30 padrões que compõem a obra do Joint Committee. Utilizou, para isso, as diretrizes adequadas para cada padrão selecionado, por sua pertinência com o objeto da avaliação.

Serour (2010), em dissertação de Mestrado Profissional em Avaliação, desenvolveu uma meta-avaliação somativa do relatório da Avaliação Institucional Externa de uma universidade fluminense. A avaliação fora formalmente realizada por Comissão Externa designada pelo Instituto Nacional de Pesquisas Educacionais Anísio Teixeira (Inep), do Ministério da Educação. Na meta-avaliação, a autora utilizou na metodologia as categorias de eficácia, eficiência, efetividade e relevância para verificar a validade e a confiabilidade dos procedimentos e resultados apresentados no relatório final. Baseou-se em Davok (2006), que propôs um modelo de meta-avaliação de processos de avaliação da qualidade de cursos de graduação, aplicando-o a seguir. A partir dessa referência, os principais critérios para a meta-avaliação foram definidos e a autora estabeleceu, de forma apropriada, a relação entre eles e as questões avaliativas de seu estudo, como se verifica no Quadro 2.

A meta-avaliação conduzida por Serour (2010), além do caráter somativo, se enquadra na abordagem da Segunda Opinião, apesar de ter também utilizado critérios adicionais aos empregados na avaliação original.

Considerações finais

Embora o presente artigo não tenha esgotado o tema tratado, nem esta era a sua pretensão, tornaram-se evidentes as vantagens da meta-avaliação. Em diversas instâncias, a necessidade de meta-avaliar uma avaliação, seu relatório ou o próprio processo avaliativo é a forma de atestar-lhes a qualidade ou de evidenciar pontos que ainda precisam ser burilados.

Enquanto no exterior a meta-avaliação já dispõe de trajetória considerável e a 3ª edição dos padrões de avaliação tenha sido publicada após mais de seis anos de revisão e aperfeiçoamento, no Brasil os esforços se mostram recentes, não parece que existam muitos estudos divulgados empregando essa metodologia. Provavelmente tal constatação se deva ao fato de a literatura sobre meta-avaliação ainda permanecer escassa para os interessados, ou esses não conseguirem compor um grupo coeso a ponto de fortalecer tal tipo de estudo.

Os exemplos brasileiros encontrados de meta-avaliação, na maior parte, são aplicações feitas por autores de teses de Doutorado e dissertações de Mestrado. Apesar da relevância, os estudos representam um exercício acadêmico de boa qualidade, mas não se tornam retrato de uma prática difundida e consistente entre avaliadores profissionais. Na área da Saúde, destaca-se a proposta de Hartz, Felisberto e Silva (2008) de adaptação dos padrões de avaliação do Joint Committee para a área de projetos de Saúde, com consequente aplicação nos ELB. Trata-se de uma publicação específica voltada para a meta-avaliação, embora nem todos os artigos desta publicação relatem meta-avaliações realizadas.

Nas aplicações brevemente aqui apresentadas, pode-se observar que a meta-avaliação ocorreu em diferentes campos do conhecimento e objetos, afirmando a multidisciplinaridade da metodologia, característica essencial da própria avaliação: processo avaliativo de levantamento do indicador de alfabetismo, estudos de linha de base em projetos de saúde, software empregado na área da saúde, auditorias, edital e processo seletivo de professores, instituição de ensino superior. Outros campos e focos são também passíveis de aplicação útil desta metodologia. Esta é uma área aberta e profícua para os avaliadores mobilizados pela qualidade de sua práxis, que deve ser foco de aperfeiçoamento constante, nas diversas áreas de atuação na sociedade.

Reconhece-se que parte do desafio inerente às avaliações consiste em estabelecer um equilíbrio entre avaliadores e avaliados, face aos resultados encontrados, principalmente em projetos das áreas Social, da Saúde e da Educação. A questão da responsabilização pela emissão dos resultados e a forma como foram gerados e coletados também se coloca nesse momento. Certamente, os esforços em torno da meta-avaliação trarão mais compreensão e segurança em relação ao processo avaliativo e à responsabilidade de todos os envolvidos, aumentando assim as possibilidades de utilização dos resultados. Eis delineado o ciclo desejável da avaliação/meta-avaliação, em busca da desejada qualidade de seu processo e seus resultados.

Recebido em: 19/07/2011

Aceito para publicação em: 26/10/2011

• BERENDS, L.; ROBERTS, B. Evaluation standards and their application to indigenous programs in Victoria, Australia. Evaluation Journal of Australasia, Canberra, Australia, v. 3, n. 2, p. 54-59, 2003.
• BERLINER, M. R. Avaliação do Indicador Nacional de Alfabetismo Funcional 2010. 67 f. Dissertação (Mestrado Profissional em Avaliação) - Fundação Cesgranrio, Rio de Janeiro, 2010. Orientadora: Profa. Dra. Ligia Gomes Elliot.
• BERLINER, M. R.; ELLIOT, L. G. Indicador Nacional de Alfabetismo Funcional: como avaliar as deficiências educacionais de jovens adultos no Brasil. In: CONGRESSO INTERNACIONAL DE AVALIAÇÃO, 2., 2010, Braga. Trabalhos apresentados... Braga, PT: Universidade do Minho; Joinville, SC: Univille, 2010.
• DAVIDSON, E. J. Evaluation methodology basics Thousands Oaks, CA: Sage, 2005.
• DAVOK, D. F. Modelo de meta-avaliação de processos de avaliação da qualidade de cursos de graduação. Tese (Doutorado) - Programa de Pós-Graduação em Engenharia de Produção, Universidade Federal de Santa Catarina, Florianópolis, 2006.
• FIGUEIRÓ, A. C.; THULER, L. C.; DIAS, A. L. F. Padrões internacionais dos estudos de linha de base. In: HARTZ, Z. M. A.; FELIBERTO, E.; SILVA, L. M. V. (Org.). Meta-avaliação da atenção básica à saúde: teoria e prática. Rio de Janeiro: Ed. Fiocruz, 2008.
• GADELHA, M. G. Elicitação de requisitos baseada em meta-avaliação: o caso dos centros de referência social. 2010. 99 f. Dissertação (Mestrado em Gestão do Conhecimento e Tecnologia da Informação) - Universidade Católica de Brasília, Brasília, DF, 2010.
• HARTZ, Z. M. A.; FELISBERTO, E.; SILVA, L. M. V. (Org.). Meta-avaliação da atenção básica à saúde: teoria e prática. Rio de Janeiro: Ed. Fiocruz, 2008.
• HEDLER, H. C.; TORRES, C. V. Meta-avaliação de auditorias de natureza operacional do Tribunal de Contas da União. RAC, Curitiba, v. 13, n. 3, p. 469-486, 2009. Disponível em: <http://www.scielo.br/pdf/rac/v13n3/v13n3a08.pdf>. Acesso em: 16 nov. 2010.
• JOINT COMMITTEE ON STANDARDS FOR EDUCATIONAL EVALUATION. The program evaluation standards: a guide for evaluators and evaluation users: a guide for evaluators and evaluation users. 3rd. ed. Thousands Oaks, CA: Sage, 2011.
• JOINT COMMITTEE ON STANDARDS FOR EDUCATIONAL EVALUATION. The program evaluation standards: how to assess evaluation of educational programs. 2nd. ed. Thousands Oaks, CA: Sage, 1994.
• ______. Standards for evaluations of educational programs, projects, and materials. Hightstown, NJ: McGraw-Hill Book Co., 1981.
• PEREIRA, T. L. P. C. Avaliação do edital de seleção de professores de primeiro segmento do Colégio Pedro II. 2010. 73 f. Dissertação (Mestrado Profissional em Avaliação) - Programa de Pós-Graduação em Avaliação, Fundação Cesgranrio, Rio de Janeiro, 2010. Orientadora: Profa. Dra. Ligia Gomes Elliot.
• SCRIVEN, M. Evaluation thesaurus 4th. ed. Newbury Park, CA: Sage, 1991.
• ______. Key evaluation checklist Kalamazoo, MI: The Evaluation Center, 2007. Disponível em: <http://www.wmich.edu/evalctr/archive_checklists/kec_feb07.pdf>. Acesso em: 18 jul. 2011.
• SEROUR, M. G. Meta-avaliação da avaliação institucional externa da Universidade do Grande Rio Prof. José de Souza Herdy - Unigranrio 2010. 71 f. Dissertação (Mestrado Profissional em Avaliação) - Fundação Cesgranrio, Rio de Janeiro, 2010. Orientadora: Profa. Dra. Angela Carrancho da Silva.
• STUFFLEBEAM, D. L. The metaevaluation imperative. American Journal of Evaluation, Thousand Oaks, v. 22, n. 2, p.183-209, 2001.
• WORTHEN, B. R.; SANDERS, J. R.; FITZPATRICK, J. L. Avaliação de programas: concepções e práticas. São Paulo: Ed. Gente, 2004.

Meta-avaliação: das abordagens às possibilidades de aplicação

Metaevaluation: from approaches to possibilities of application

1

Donald B. Yarbrough, Lyn M. Shulha, Rodney K. Hopson, Flora A. Caruthers são os membros do

Joint Committee on Standards for Educational Evaluation, responsáveis pela 3ª edição de

The Program Evaluation Standards: a guide for evaluators and evaluation users (2011).

2

O termo

accountability foi aqui traduzido como responsabilização.

Datas de Publicação

• Publicação nesta coleção
  01 Fev 2012
• Data do Fascículo
  Dez 2011

Histórico

• Aceito
  26 Out 2011
• Recebido
  2011