Parâmetros e paradigmas em meta-avaliação: uma revisão exploratória e reflexiva

Parameters and paradigms for meta-evaluation: an exploratory and reflective review

REVISÃO REVIEW

Parâmetros e paradigmas em meta-avaliação: uma revisão exploratória e reflexiva

Parameters and paradigms for meta-evaluation: an exploratory and reflective review

Juarez Pereira Furtado^I; Hélène Laperrière^II

^IDepartamento Saúde, Educação e Sociedade, Universidade Federal de São Paulo (Campus Baixada Santista). Av. Ana Costa 95, Vila Mathias. 11065-400 Santos SP. [e-mail]

^IISchool of Nursing, Faculty of Health Sciences, University of Ottawa

RESUMO

A avaliação da avaliação não é um simples jogo de palavras ou uma indagação sobre quem avalia a avaliação. Muito mais do que isso, trata-se de avaliar os diversos componentes de um processo avaliativo e os próprios avaliadores. No presente artigo, pretendemos abordar algumas possibilidades da meta-avaliação no campo da avaliação de programas e serviços: fomentar a interação entre a produção teórica e prática no campo; auxiliar no balizamento de métodos e estratégias em uma área marcada por interesses políticos e pela profusão de possibilidades metodológicas; e fomento do rigor ético e científico das práticas avaliativas. Concluiremos esta resenha exploratória da literatura discutindo algumas questões históricas e políticas envolvendo a avaliação e a meta-avaliação de programas e serviços, apresentando críticas às pretensões universalistas e igualitárias presentes em alguns posicionamentos.

Palavras-chave: Meta-avaliação, Avaliação de programas e serviços, Epistemologia

ABSTRACT

The evaluation of an evaluation is not a mere play on words or simply an investigation into the person who evaluates the evaluation. It is far more than that. It is about how to evaluate the diverse components of the evaluation process and the evaluators per se. In this paper, we discuss some promising possibilities for meta-evaluation in the field of evaluation of programs and services. These include fostering interaction between theoretical and practical production in fieldwork and supporting the definition of methods and strategies in a sector imbued with political interests and a profusion of methodological possibilities, and promoting ethical and scientific rigor in the evaluation practices. We conclude this exploratory and reflective review by raising some historical and political questions related to evaluation and meta-evaluation of programs and services and by criticizing the universalist and egalitarian pretensions contained in some evaluation approaches.

Key words: Meta-evaluation, Evaluation of programs and services, Epistemology

Introdução

É possível que o contínuo e crescente interesse pela avaliação da avaliação traduza certa humildade do campo diante de sua relativamente breve história e reflita a busca pelo rigor científico e ético das ações avaliativas. Embora contínua e crescente¹, a inserção da meta-avaliação nas agendas nacional e internacional não é garantia de sua efetiva utilização nem de que venha, de fato, a qualificar os processos avaliativos. Tudo dependerá de como e sob quais paradigmas irão operar as categorias que se propõem a avaliar as avaliações.

A meta-avaliação se caracteriza por ter a avaliação como objeto de interesse. É de natureza qualitativa² e pretende estabelecer um julgamento de valor, com critérios pré-definidos, com base em informações existentes ou construídas sobre uma determinada avaliação (em curso ou já realizada) para subsidiar eventuais tomadas de decisão. Veja que temos aí os componentes essenciais da avaliação - informação, estabelecimento de critérios, julgamento e tomada de decisão - aplicados sobre a própria avaliação.

A avaliação da avaliação não é um simples jogo de palavras ou uma indagação sobre quem avalia a avaliação. Muito mais do que isso, trata-se de avaliar os diversos componentes de um processo avaliativo e os próprios avaliadores. Não se trata simplesmente de uma fase complementar, na qual se avalia os diversos componentes da avaliação. Há que se considerar que no contexto de programas e políticas de saúde, a avaliação traz, inexoravelmente, forte componente político, uma vez que estão envolvidos múltiplos atores com opiniões diversas e muitas vezes divergentes.

Neste contexto, a igualdade entre todos os atores participantes é uma pretensão democrática não realista e a escolha dos procedimentos, técnicas e critérios está longe de ser neutra. As situações específicas modelam as opções e os modelos utilizados; além do que, a "verdadeira vida", em campo, é muito distinta tanto do programa planejado quanto da avaliação concebida.

No transcorrer da discussão, pretendemos abordar algumas possibilidades que a meta-avaliação poderá trazer ao campo da avaliação, tais como: fomentar a interação entre a produção teórica e a prática no campo; auxiliar no balizamento de métodos e estratégias em uma área marcada por interesses políticos e pela profusão de possibilidades metodológicas; e fomento do rigor ético e científico das práticas avaliativas. Concluiremos discutindo algumas questões históricas e políticas envolvendo a avaliação e a meta-avaliação de programas e serviços, apresentando críticas às pretensões universalistas e igualitárias presentes em alguns posicionamentos.

Nossa experiência em campo, no que tange à meta-avaliação, nos permitiu perceber um certo desconforto dos avaliadores diante da possibilidade de serem avaliados. Talvez caiba iniciar nosso percurso pelas discussões presentes neste texto indagando se, de fato, a avaliação será mesmo bem recebida entre os seus pares e sobre possíveis estratégias a serem desenvolvidas para aumentar a permeabilidade dos avaliadores a essa iniciativa.

Superando a crise: a meta-avaliação como meio de aproximar teoria e prática

No Brasil, a avaliação desperta crescente interesse a partir dos anos 90, quando a ampliação do número de iniciativas ligadas às políticas públicas sociais aumenta³, no contexto da constituição de 1988 que amplia os direitos civis dos cidadãos brasileiros. O Sistema Único de Saúde (SUS), nesse bojo, vem ampliar a importância econômica e política de serviços e programas do setor saúde. Configurando-se como o grande projeto social de nosso país, as ações do SUS tornam-se alvo de questionamentos sobre sua eficiência, eficácia e efetividade, estimulando o surgimento de demandas por avaliações sistemáticas⁴.

O chamado terceiro setor também se destaca no que tange à avaliação no Brasil. Pela iniciativa de várias Organizações Não Governamentais (Ongs), têm sido traduzidos e publicados textos importantes da área e oferecidos cursos sobre o tema, além da efetiva utilização da avaliação em projetos conduzidos por essas organizações, impelidos pela exigência dos financiadores (sejam instituições ou cidadãos individualmente).

A despeito do crescente interesse pela temática da avaliação, sobretudo no interior das universidades e do terceiro setor, o Brasil tem ainda muito a caminhar para o estabelecimento da avaliação como prática incorporada na gestão de iniciativas públicas e como forma de prestar contas à sociedade dos recursos investidos na área social. Ainda prevalece a ênfase nos lançamentos ou anúncios de projetos, em detrimento do árduo trabalho de analisar criticamente os desdobramentos práticos dos programas e serviços cujas fitas de inauguração foram cortadas há muito⁵.

À falta de uma cultura avaliativa local, vem somar-se o fato da avaliação como campo conceitual e de trabalho ainda carecer de contornos mais definidos, tanto aqui quanto em outros países. O papel do avaliador comporta várias indefinições, conceitos da área são utilizados de maneiras distintas ou mesmo divergentes além do que novos conceitos são criados com frequência, redundando em grande diversidade terminológica identificada há tempo⁶ e que parece perdurar aqui⁵ e em outros países⁷. Já se afirmou, inclusive, haver tantos tipos de avaliação quanto de avaliadores^8,9.

Essa grande diversidade de concepções e estratégias no campo da avaliação suscita esforços visando dotar o campo de alguma ordem, geralmente lançando-se mão da elaboração de inúmeras formas de classificações - o que, ao contrário do pretendido, só fazem acrescentar mais corredores ao labirinto.

Se adotado o referencial epistemológico de Kuhn¹⁰, essa diversidade de nomenclatura e significados indicaria um estado pré-paradigmático no campo da pesquisa. Tal estágio se caracterizaria pela existência de tantas teorias quanto de pesquisadores. Em um artigo muito oportuno sobre essa questão, Dubois e Marceau⁷ levantam hipóteses sobre a inserção da avaliação em um estado de eterna revolução científica. Para eles, tal situação se deveria a um profundo distanciamento entre os níveis teórico e prático no campo da avaliação, condicionando uma situação na qual a reflexão sistemática e as ideias dali originadas não seriam confrontadas com o mundo das práticas e, por outro lado, a prática avaliativa não se serviria das reflexões que se vêm acumulando no campo teórico. Assim, pesquisadores situados em torno de questões epistemológicas da avaliação não desenvolveriam suas ideias nas realidades do campo e, por sua vez, os avaliadores em campo prescindiriam do debate, da apropriação e da utilização de reflexões produzidas pelos teóricos.

Nesse contexto, consideramos que a meta-avaliação teria especial pertinência ao levantar questões sobre o que realmente está ocorrendo ou ocorreu com a avaliação inicialmente pretendida, se gerou resultados dignos de utilização e se lançou mão de princípios e padrões estabelecidos¹¹, aumentando o trânsito entre ação e reflexão. Para Patton¹¹, a meta-avaliação proveria informações sobre as limitações e as potencialidades da avaliação realizada, aumentando sua credibilidade e permitindo aos grupos de interesse julgarem e contextualizarem os resultados obtidos.

Nesse sentido, consideramos justamente o desenvolvimento de "avaliações da avaliação" - expressão criada por Orata nos anos 1940¹² - uma forma de potencializar a convergência entre prática e teoria, propiciando um modo eficaz de contribuir para a superação dessa crise epistemológica, uma vez que o campo e os componentes da realidade poderiam gerar questões cuja consideração e processamento por meio de meta-avaliações promoveriam sobremaneira o avanço do campo da avaliação em todos os níveis. Aliás, não devemos nos esquecer que o surgimento da meta-avaliação (termo introduzido em 1969 por Michael Scriven) é tributário da preocupação em qualificar os processos avaliativos em todos os seus componentes, uma vez que avaliações mal feitas podem suscitar decisões prejudiciais aos cidadãos e aos programas ou serviços analisados¹³.

A meta-avaliação como subsídios para escolhas e definições éticas e metodológicas

Além de contribuir para a aproximação e o desenvolvimento de questões epistemológicas, metodológicas e práticas, a meta-avaliação poderia se constituir como importante instrumento de auxílio para a definição do melhor caminho a ser tomado - dentre os muitos existentes no eclético campo da avaliação - segundo cada caso específico.

Nesse sentido, a verificação de como determinada estratégia avaliativa está respondendo às questões formuladas em torno de um determinado programa ou serviço poderia, além de qualificar práticas avaliativas já escolhidas e que estejam em curso, fornecer elementos para a escolha de um ou outro método na fase de planejamento de projetos de avaliação.

Ressaltamos que o ato de avaliar avaliações não estaria a serviço de estabelecer hegemonias ou tentar homogeneizar procedimentos, restringindo opções e dizendo qual é "o" método. Ao contrário, deve garantir a pluralidade gerando subsídios para a escolha mais adequada (a partir da avaliação de avaliações) dentre as muitas possíveis, segundo o que se pretende fazer e levando-se em consideração a qualidade das mesmas.

Em escritos recentes, Lincoln¹⁴ afirma que a avaliação de quarta-geração é flexível na medida em que não adere a um discurso específico, mas a interesses plurais e a múltiplas vozes. Segundo a autora¹⁴, trata-se da abordagem melhor adaptada à pesquisa-ação, à pesquisa-ação participativa e aos modelos baseados na construção do conhecimento gerado pela comunidade e voltados para a própria comunidade. Entretanto, House e Howe¹⁵ alertam para os problemas advindos da exacerbação desse relativismo, que não leva em conta que interesses plurais não são neutros, mas cultural e historicamente enraizados, portando valores morais e políticos a serviço de interesses particulares.

Na atualidade, para Alkin e Christie⁸, a produção em torno da avaliação poderia ser classificada em três grandes grupos: a) aqueles voltados para os valores e os julgamentos dos grupos de interesse envolvidos com um dado serviço ou programa; b) aqueles especialmente ocupados com as questões de método envolvidas no processo avaliativo e c) autores preocupados com a efetiva utilização dos resultados da avaliação realizada.

Diante dessa profusão de possibilidades, faz-se necessário investigar qual ou quais caminhos têm respondido melhor às necessidades e às questões que colocaram um determinado processo avaliativo em andamento, e que a nosso ver seria um segundo ponto a justificar a meta-avaliação, além daquele discutido no tópico anterior. Ou seja, se a meta-avaliação pode fomentar o encontro entre teoria e prática e assim subsidiar o desenvolvimento do campo, por outro lado, e nessa mesma via, as conclusões advindas da avaliação de avaliações poderiam auxiliar na definição do melhor caminho a ser empreendido dentre os muitos existentes.

Porém, é importante considerar que além de questões ontológicas e epistemológicas que, por sua vez, influenciam ou determinam as opções metodológicas em avaliação¹⁶, existem outros fatores, sobretudo de natureza política que influenciam sobremaneira o processo^17,18. Assim, o orçamento destinado, o cronograma e, sobretudo, as influências de ordem política de potenciais beneficiários ou vítimas da avaliação¹⁹ podem determinar o curso do processo mais do que o previsto ou até mesmo o aceitável.

Assim sendo, a meta-avaliação estaria não só a serviço de dar suporte à melhor escolha para um determinado caso, mas também poderia cumprir o papel de evidenciar outros fatores que podem influenciar ou mesmo determinar essa "escolha", já que "todo estudo avaliativo é tendencioso em certa medida. As decisões que um avaliador toma sobre o que examinar - métodos, instrumentos, grupos a ouvir - influenciam o resultado da avaliação. A própria história pessoal do avaliador, suas preferências, treinamento profissional e experiência afetam a maneira de conduzir o estudo"²⁰.

Meta-avaliar com quais parâmetros?

Se a meta-avaliação deixa de ser um requinte e passa a ser uma expectativa, poderíamos indagar sobre o perfil do meta-avaliador: alguém que soubesse, ao mesmo tempo, fazer a avaliação original, dizer se está boa e ainda apontar seus problemas? Whorthen et al.²⁰, com os pés no chão, afirmam que a melhor meta-avaliação é aquela possível. E esta poderia ser feita: pelos próprios avaliadores, com base em critérios de qualidade estabelecidos por órgãos competentes; pelos usuários da avaliação (gestores, financiadores, trabalhadores, usuários etc), uma vez que não é necessário formação técnica especializada para perceber se uma avaliação é relevante, inteligível e não tendenciosa; e, por avaliadores competentes e que tenham domínio dos meios e compreensão do objeto avaliado.

De nossa parte, agregaríamos um quarto modo, compondo uma meta-avaliação que congregue os avaliadores originalmente envolvidos no projeto considerado, usuários da avaliação e colegas avaliadores detentores de certa externalidade, buscando assim coerência com avaliações participativas e que incluam os diversos atores envolvidos.

Alguns autores de textos seminais da área começaram a discutir procedimentos e critérios formais de meta-avaliação, nas décadas de 60 e 70, de modo a caracterizar boas e más avaliações²⁰. A avaliação da avaliação passa a interessar tanto os que são avaliados, quanto avaliadores e gestores e, nos Estados Unidos, um longo processo que permeia diversas associações e comitês converge para o estabelecimento de trinta padrões que deveriam ser aplicáveis na condução de processos avaliativos realizados em qualquer área do conhecimento²¹.

Tais padrões, inicialmente concebidos para a avaliação em educação, foram adaptados para as demais áreas e agrupados sob quatro diretrizes gerais, pelo Joint Committee on Standards for Educational Evaluation, em 1988²⁰. As categorias são: Utilidade (a avaliação deve suprir as necessidades de informação prática dos grupos de interesse); Viabilidade (a avaliação deve ser realista, prudente e diplomática); Conveniência (a avaliação deve respeitar os convênios sociais implícitos moralmente constituídos e zelar pelo bem-estar dos grupos de interesse envolvidos) e Precisão (este padrão pretende assegurar que a avaliação revele e transmita informações tecnicamente adequadas sobre as características que expressam o mérito e relevância do que está sendo avaliado). Tais diretrizes apresentam limitações provenientes do momento histórico e do país na qual foram criadas e das restrições inerentes ao estabelecimento de padronizações, mas auxiliaram significativamente a ampliar o campo da avaliação, ao evidenciarem as limitações de métodos experimentais de pesquisa em atenderem a maior parte dessas diretrizes e padrões²².

Por seu turno, a Associação Americana de Avaliação (AEA) validou junto a seus membros os seguintes princípios que devem guiar a prática e os praticantes da avaliação: 1) investigação sistemática e rigorosa; 2) competência (inclusive para perceber suas limitações); 3) integridade e honestidade; 4) respeito às pessoas; 5) responsabilidade pelo bem estar coletivo e pelo interesse público.

Mesclando os princípios da Joint Committee com aqueles estabelecidos pela Associação Americana de Avaliação (AEA), Stufflebeam¹³ define operacionalmente a meta-avaliação como "(...) the process of delineating, obtaining, and applying descriptive information and judgmental information - about the utility, feasibility, propriety, and accuracy of an evaluation and its systematic nature, competent conduct, integrity/honesty, respectfulness, and social responsibility - to guide the evaluation and/or report its strengths and weaknesses."

Para Hartz e Contandriopoulos²³, operacionalmente a meta-avaliação pode ser compreendida como um julgamento e síntese de uma avaliação ou de um de seus componentes, fundado em padrões e critérios estabelecidos por associações e outras instituições, como apresentamos nos parágrafos acima. No entanto, precisamos estar atentos ao fato de que critérios como do Joint Committee ou da AEA são inexoravelmente genéricos e culturalmente norte-americanos, cabendo aos realizadores da meta-avaliação traduzir para a realidade local noções como a de utilidade, precisão e responsabilidade social, dentre outros.

Dito de outra forma, é bom que possamos contar com alguns parâmetros pré-estabelecidos que auxiliem no julgamento da qualidade e da pertinência de uma avaliação. Mas, tal quando realizamos avaliações, precisamos adequar os critérios à realidade avaliada em um diálogo permeável aos imprevistos e vicissitudes locais.

Quando realizar a meta-avaliação?

Para Worthen et al.²⁰, a finalidade da meta-avaliação é "ajudar a avaliação a realizar seu potencial". Segundo nossa perspectiva, seriam ao menos três o que compreendemos como potencialidades de um processo avaliativo: auxiliar a qualificação do objeto avaliado; empoderar os grupos de interesse envolvidos; e, gerar subsídios para o contínuo aprimoramento teórico e prático do campo da avaliação. E, conforme argumentaremos a seguir, tais potencialidades são especialmente melhor desenvolvidas se realizarmos meta-avaliações simultâneas ao curso da avaliação enfocada.

Afinal, que efeitos teriam uma meta-avaliação somativa, feita ao final do processo, na qualificação daquela avaliação em curso e consequentemente da iniciativa avaliada? Recentemente, Hanssen et al.²⁴ levantaram discussão sobre a relevância do que eles chamaram de "meta-avaliações simultâneas", realizadas de modo que estas possam efetivamente contribuir com a qualificação de uma avaliação que esteja em andamento. Para os autores²⁴, os trabalhos de meta-avaliação tradicionais frequentemente têm caráter somativo; são conduzidos no fim do processo e limitam a coleta de dados a informações já estabelecidas e entrevistas com a equipe de avaliação e da iniciativa avaliada. Por sua vez, a meta-avaliação simultânea se diferenciaria da tradicional por: ser conduzida simultaneamente ao desenvolvimento e à implementação de um novo método; possuir aspectos formativo e somativo; ser permeável ao meio; e, incluir múltiplas e originais estratégias de coleta de dados.

O potencial de empoderamento de uma avaliação pode ser desenvolvido por meio de uma meta-avaliação simultânea na medida em que esta última possibilite aos diversos grupos de interesse não naturalizarem o processo avaliativo, mas considerá-lo como algo a ser relativizado e cotejado com critérios, padrões e diretrizes. Desse modo, uma meta-avaliação aberta e que inclua os grupos de interesse envolvidos possibilitaria aos atores sociais não só compreenderem melhor o programa ou serviço avaliado, mas também os parâmetros utilizados e a racionalidade impressa no processo de julgamento do mesmo. Um efeito adicional desse processo seria maior legitimidade e credibilidade dos resultados, bem como aumento na chance de utilização das informações produzidas.

Finalmente, no que tange tanto ao aprimoramento das reflexões quanto das práticas avaliativas, concordamos com Hanssen et al.²⁴ quando afirmam que "[...] just as evaluation can improve programs and contribute to knowledge in the field, conducting meta-evaluations can improve both particular evaluations as well as evaluation practice." Assim, a necessidade de mais interação teoria-prática, seguida de reflexões sistemáticas, identificada por Dubois e Marceau⁷, nos parece ser especialmente contemplada por meio de meta-avaliações simultâneas, na medida em que estas últimas debruçam-se sobre práticas concretas no sentido de aprimorá-las, mas também verificando o que se passa com as concepções e paradigmas do campo em processos tangíveis, evitando a estagnação de marcos teóricos da área.

Participação e rigor no desenvolvimento de meta-avaliação

Considerando que a meta-avaliação é calcada em estratégias qualitativas, no que concerne ao "rigor" não seria compatível a simples transposição de critérios de validade interna e externa, confiabilidade e objetividade para o seu interior. Guba e Lincoln²⁵ propõem a utilização de critérios paralelos aos tradicionais referenciais de qualidade da pesquisa convencional, de tal forma que os primeiros aproximem-se destes no que concerne à tarefa de prover rigor ao estudo, mas que simultaneamente mantenham coerência com o posicionamento ontológico e epistemológico do referencial qualitativo presente em meta-avaliações.

Estes critérios seriam de credibilidade (substituto da validade interna) na qual a pretensão de isomorfismo entre os dados e a realidade objetiva seriam substituídos por um isomorfismo entre os constructos de realidade dos participantes e as reconstruções a eles atribuídas pela pesquisa. A capacidade de transferência (substituto da validade externa) baseia-se no provimento de dados e informações tão completas quanto possíveis, de modo a facilitar a transposição de julgamentos de uma parte para a outra. A fidedignidade (substituto da confiabilidade) seria garantida justamente pela flexibilidade e permeabilidade da pesquisa às mudanças ocorridas no campo. Finalmente, a capacidade de confirmação (substituto da objetividade) asseguraria que as informações, as interpretações e os resultados da pesquisa estejam correlacionados ao contexto e aos atores sociais e, ao contrário do critério de objetividade, não suprimiria os valores, as motivações ou as ideologias dos pesquisadores, considerando sistematicamente fatores contextuais, políticos e outros, inerentes ao próprio pesquisador, que podem afetar o curso e o resultado da pesquisa.

Consideramos importante que, tanto quanto possível, a meta-avaliação tenha caráter formativo e inclua os diversos atores envolvidos em uma dada avaliação o que, dentre outras vantagens, aumentaria inclusive o isomorfismo entre os constructos de realidade dos participantes e o que foi atribuído pela pesquisa.

No que tange à participação, poderíamos utilizar as discussões realizadas por Weaver e Cousin²⁶ e Riddle²⁷ originalmente dirigidas para a avaliação, adaptando-as ao que acreditamos ser procedente também na meta-avaliação. Assim sendo, poderíamos ter meta-avaliação participativa do tipo pragmática quando voltada essencialmente para a solução de problemas particulares ou para a realização de melhorias em uma dada avaliação, sendo caracterizada por pequenos graus de disputa de poder e pelo envolvimento de grupos com algum poder de decisão em torno do processo avaliativo abordado. A meta-avaliação participativa pluralista (stakeholder-based evaluation) seria especialmente utilizada quando o avaliador antevê a existência de importantes conflitos de valores entre diferentes grupos de interesse. Neste caso, assegurando sempre um relativo controle do processo, os meta-avaliadores deverão garantir a compreensão e a consideração das diferentes perspectivas e concepções que sustentam determinados atores envolvidos com a avaliação. Finalmente, a meta-avaliação participativa emancipadora teria como cerne o empoderamento, o desenvolvimento dos participantes avaliadores e não avaliadores, dotando-os de capacidade - tanto na forma quanto no conteúdo do estudo desenvolvido - e aumentando sua capacidade de intervenção na realidade cotidiana, proveniente de um maior esclarecimento sobre os muitos posicionamentos individuais e institucionais envolvidos. Afinal, devemos considerar que (meta)avaliar seria, acima de tudo "(...) uma tomada de consciência das posições sustentadas e das ações realizadas visando à realização de um projeto de mudança, e de como essa avaliação é sempre uma tensão entre atores diretamente envolvidos na ação transformadora e aqueles que os enquadram, dirigem e controlam - atores também legítimos e necessários, embora com pontos de vista que precisam de uma compreensão do que enquadram. Logo, a avaliação é necessariamente interna e externa, não só pela posição dos diversos atores como também, e mais profundamente, porque a intenção transformadora deve ouvir a realidade que procura transformar: todo ator autônomo é responsável pelos fins, pelos meios que ele escolhe e pela construção do resultado de seus esforços²⁸".

Desafios da meta-avaliação: confrontando pretensões igualitárias e universalistas

A avaliação ligada a programas e políticas de saúde, particularmente a avaliação participativa, possui uma forte dimensão sociopolítica. Hedler e Gibram² apresentam um modelo de meta-avaliação que inclui um quadro teórico qualitativo de análise da meta-avaliação de programas sociais no Brasil. Porém, esses autores abordam o contexto de um programa ou de uma política social definida a priori, no qual os principais atores são as agências encarregadas da avaliação de programas governamentais.

Uma perspectiva de avaliação que abrange o ponto de vista de vários atores, como os usuários, os gestores e os profissionais da ponta, endereça outras e mais questões para a meta-avaliação: quem define os programas, a maneira de avaliar e os critérios da avaliação? Quando se avalia a avaliação, deve-se considerar importantes aspectos ligados à democratização do processo de avaliação: atores diretamente ou indiretamente afetados pelo programa ou pela política de saúde foram excluídos da avaliação? Como se dá efetivamente o processo participativo? Há variáveis e indicadores que escapam ao olhar avaliador pré-determinado?

Ainda que a avaliação ou a meta-avaliação se proponham a valorizar a participação, esta deve se dar superando pretensões ingênuas ou mal intencionadas de um certo igualitarismo inexistente na vida real. Igualmente, a pretensão de rigor não nos deve fazer esquecer a advertência de Scriven²⁹ de se evitar reduzir a avaliação a uma agência de verificação dos efeitos esperados de um programa ou serviço.

Por essa razão, destacamos aqui a necessidade de que sejam consideradas na meta-avaliação as ações não programadas e não estruturadas (se considerados os planos iniciais tanto do programa avaliado quanto da própria avaliação), mas que, no entanto, podem influenciar significativamente o curso de um programa, uma política social, uma avaliação³⁰. Deve-se evitar considerar o objeto da avaliação (um programa, um serviço etc.) e da meta-avaliação (processos avaliativos) como algo unificado, estruturado, hierarquizado e submisso a controles internos e externos.

Tal impermeabilidade se faz ignorando ações e aspectos distintos ou divergentes do que foi inicialmente proposto nos projetos de intervenção e de avaliação, mas que efetivamente ocorrem no campo^31,32. Ou seja, devemos estar atentos e metodologicamente instrumentalizados para perceber e efetivamente considerar ações em campo não programadas e não estruturadas, mas que são decisivas e cruciais ao funcionamento da intervenção em análise.

Crítica às pretensões igualitárias

Dentro da abordagem de "quarta geração", Guba e Lincoln²⁵ têm tentado conciliar os objetivos de avaliação dos atores participantes (todas as diversas opiniões) visando chegar a um entendimento sobre a finalidade, o método e o uso da avaliação³³. Baseado no paradigma construtivista, estes autores consideram que os indivíduos "constroem" suas percepções da realidade e conferem uma função de agente facilitador ao pesquisador construtivista, cujo papel é fazer emergir as questões, as preocupações e os pontos de vista dos participantes dentro de um processo de negociação⁸.

Para House e Howe¹⁵, a "volta interpretativa" dentro da avaliação de quarta geração tem por origem uma justificação da inclusão das "perspectivas internas e subjetivas" e de todas as "vozes" dos marginalizados ou excluídos do processo de avaliação. Segundo os princípios democráticos, a avaliação deveria incorporar todos os interesses legítimos dentro do seu processo. O conhecimento é ativamente construído por um diálogo entre certos atores convidados à compartilhar seu ponto de vista no grupo. Isto significa que tanto o conhecimento quanto o modo de construí-lo (o diálogo) estão culturalmente e historicamente ancorados a valores morais e políticos, servindo assim a interesses particulares^15,34,35.

House e Howe³⁴ acolhem a perspectiva democrática introduzida por Guba e Lincoln²⁵, porém manifestam caráter crítico no que concerne à deliberação no método proposto por estes últimos. Em última análise, a concepção essencial a ser revista na proposta de Guba e Lincoln²⁵ seria o ideal de uma participação igualitária e de uma reciprocidade plena entre todos os participantes, sendo a avaliação expressão de todos os pontos de vista. Para House e Howe¹⁵, há que se atingir um ponto de equilíbrio entre uma concepção "hiper-igualitária" - que considera que todos os pontos de vista são iguais dentro da obtenção do consenso, conforme sugerido por Guba e Lincoln²⁵ - e uma concepção "hiper-pluralista", calcada não no consenso, mas na evidenciação de diversidades.

Na mesma via, Zúñiga³⁶ questiona o qualificativo "quarta geração" que pressupõe um "progresso integrador". Isto é, como se tivesse havido contínua e linear qualificação da área até convergir em um "consenso" entre todos os avaliadores, configurando uma "sucessão histórica" que orientaria o campo da avaliação. Contrário à ideia de convergência, o autor³⁶ afirma que essa sucessão dentro do campo da avaliação seria fortemente influenciada por ideologias científicas e políticas junto às variadas formas de cumplicidades institucionais. A avaliação se situa em um campo de forças composto por vertentes metodológicas, epistemológicas e políticas que podem convergir ou antagonizar. Dentre os tensionamentos possíveis, podemos identificar o "cabo-de-guerra" entre o Estado e a Sociedade civil para definir as competências, os indicadores e os critérios de sucesso de uma ação transformadora realizado por Ongs e outras iniciativas do terceiro setor.

A avaliação de Quinta Geração³³ preconiza a necessidade de ir além do dialogo, incluindo também a dimensão do "agir". Afinal, o que vamos fazer coletivamente com as informações coletadas em conjunto? Não é suficiente propor aos participantes emitir suas opiniões e questionamento. Considerando um processo contínuo de superação das limitações do campo da avaliação - e no contexto dessa discussão sobre meta-avaliação - poderíamos afirmar que a avaliação da avaliação deveria fomentar a consciência da necessidade da ação para transformar a situação avaliada. O próprio avaliador, inserido no grupo participante, deveria encorajar o coletivo a transpor as fronteiras do diálogo, caminhando em direção a uma ação coletiva. Neste caso, a avaliação da avaliação deve ultrapassar a dimensão de pesquisa e de coleta de informações para incluir um plano de ação realista dentro de um contexto local especifico.

Críticas às pretensões universalistas e deterministas

As dificuldades de avaliação de programas e serviços em saúde coletiva são principalmente descritas por Green e Kreuter³⁷ e Rootman et al.³⁸ na literatura anglo-saxã. Entre as dificuldades apontadas encontram-se a existência de prazos relativamente restritos para a constatação de mudanças e a consideração de variáveis que se interpenetram, tornando-se dificilmente analisáveis, mas que, ainda assim, podem contribuir significativamente para as mudanças pretendidas pelo projeto original.

Tais pesquisadores^37,38 valorizam modelos avaliativos baseados em especialistas, nos quais o avaliador se afigura como um "consultor" que recebe a tarefa de seus financiadores³⁹. Potvin et al.⁴⁰ criticam concepções de avaliação lineares e sequenciais, nas quais os atores são submetidos a imperativos de ordem técnica.

Para as autoras⁴⁰ os modelos lógicos (pretensas representações gráficas de um programa ou serviço) ilustrariam claramente essa concepção idealizada e técnica da avaliação, uma vez que em tais modelos os diversos atores que efetivamente sustentam as ações transformadoras de um determinado programa ou serviço raramente são explicitados. Desse modo, as ações local e coletiva do cotidiano de programas e serviços avaliados (e que frequentemente os sustentam de especial maneira) são colocadas na periferia das estruturas formais.

Ao se omitir ou desconsiderar o informal dentro dos programas e serviços e o formal nas ações cotidianas e comunitárias, observa-se uma construção artificial, privada dos elementos que se optou por colocar à margem da análise. Defendemos a ideia de que a avaliação e a meta-avaliação devem considerar tanto as estruturas formais quanto as informais de uma ação coletiva^41,42, não deixando de lado dimensões da ação cotidiana que, justamente por criarem alternativas e paralelos ao inicialmente previsto por portarias e outras regulamentações, acabam fortalecendo e sustentando de especial maneira os objetivos inicialmente traçados^43,31.

Segundo Friedberg⁴², as estruturas formais ou aparentes de uma organização são a tecnologia utilizada, a infraestrutura e a logística, o organograma, a regulação interna, os processos, os instrumentos de coordenação e os indicadores de gestão ou de avaliação. Tais estruturas são frequentemente evidenciadas nos documentos públicos de um programa ou serviço. Por sua vez, as estruturas informais ou profundas são constituídas pelas relações de poder e por alianças, pelos jogos entre atores diversos, pelas regras implícitas de alguns "jogos" e pela cultura da organização local. A estrutura informal pode ser também caracterizada como o "jogo de cintura" e o "jeitinho" dos atores que atuam na ponta, na linha de frente, em uma tentava de aproximarem-se dos objetivos de um programa nacional de saúde pública (note o paradoxo: às vezes as estruturas informais são estabelecidas justamente para a obtenção do que é preconizado pelas estruturas formais).

Se uma avaliação considera unicamente os discursos e os documentos públicos das estruturas aparentes (formais) de um programa de saúde e rejeita dimensões profundas (informais) que acompanham a intervenção verdadeiramente realizada nos serviços de saúde, colocará de lado as condições de trabalho, as situações imprevistas e os desafios verdadeiramente encontrados. Isto posto, consideramos que a meta-avaliação (sobretudo se simultânea) deve tentar identificar em que medida as estruturas informais e profundas foram consideradas na avaliação analisada. Tal posicionamento permitiria aos processos avaliativos investigarem as maneiras por meios das quais os trabalhadores estabelecem interfaces entre o planejado e as dificuldades concretas oriundas do campo de ação, contribuindo dentre outras coisas para redefinições do plano inicial de uma intervenção.

Para melhor compreender uma situação dentro de um contexto especifico, a avaliação deverá considerar as pistas que os atores constituem a partir de sua lida cotidiana. O papel do "avaliador da avaliação" será o de recolher os traços das ações destas novas redes de atores (sobretudo informais e profundas). A inclusão do informal dentro da avaliação tem o potencial de acrescentar a compreensão dos desafios e dos conflitos não explícitos que emergem de políticas, de programas ou de serviços e das diversas e singulares alianças que vão se estabelecendo em torno dos mesmos.

À guisa de conclusão

Estas alianças dissimuladas e camufladas supõem que um ator pode ter diferentes discursos que ele adapta aos diversos diálogos necessários ao estabelecimento de relação com as demais instâncias e organizações (usuários, profissionais, gestores, políticos, amigos, etc.) - situação nomeada de "alianças sub-reptícias", termo usado por Zúñiga⁴⁴ ao tratar do que chamou de gestão anfíbia. Neste tipo de gestão, o ator social aprende com a observação e vai construindo interpretações da realidade com hipóteses aproximativas, como que tateando aquilo que não pode ainda ser definido como certo ou certeza.

Assim sendo, nossos esforços de aproximação sistemática da realidade em um processo de avaliação irão tensionar com esse cenário sempre mutante, no qual se misturam consciências políticas de diferentes matizes, distintas relações sociais e alianças camufladas que se alteram dependendo do contexto.

Devemos refletir sobre estes grandes desafios da avaliação que podem aparecer de forma mais evidente no transcorrer de um exercício de avaliação da avaliação. Por essa razão, consideramos de grande importância a análise das dimensões sociopolíticas formais e informais envolvidas nas parcerias estabelecidas na avaliação em geral e na avaliação participativa em particular, em que diversos atores se "movem" em contextos sociais e históricos específicos. Há que se considerar ainda as ações não programadas³³ que inevitavelmente fugirão do inicialmente previsto e/ou planejado no interior de programas e projetos, como as redes sociais comunitárias, os gestos da vida cotidiana, os laços de solidariedade, as ações de cooperação, as lutas antagonistas, dentre outras, cuja imprevisibilidade - mas também concretude - deverão ser consideradas em processos avaliativos e meta-avaliativos⁴³.

Devemos considerar a relevância de uma concepção ética do conhecimento como solidariedade humana, na qual os saberes tornam-se pleno direito dos integrantes de uma sociedade na qual foram gerados. Na democracia política, a avaliação das avaliações de programas e de políticas de saúde serve para demonstrar as particularidades inerentes a um processo "único" de avaliação considerando seu contexto peculiar com atores humanos que fazem parte de uma referida sociedade. O exercício da meta-avaliação pode ser essencial para que compreendamos não somente o desenvolvimento da democracia dentro da avaliação, mas também a maneira pela qual um contexto singular produz a formulação de conhecimentos que, ao fim e ao cabo, são sempre co-construídos.

Colaboradores

JP Furtado e H Laperrière participaram igualmente de todas as etapas de elaboração do artigo.

Artigo apresentado em 08/07/2010

Aprovado em 10/09/2010

Versão final apresentada em 15/10/2010

• 1. Hartz ZMA, Felisberto E, Silva LMV. Meta-avaliação da atenção básica à saúde: teoria e prática. Rio de Janeiro: Fiocruz; 2008.
• 2. Heldler H, Gibram N. The Contributions of Metaevaluation to Program Evaluation: Proposition of a Model. J Multidiscip Evaluation 2009;6(12):210-223.
• 3. Hartz ZMA. A avaliação na área da saúde: dos modelos conceituais à prática da implantação de programas. Rio de Janeiro: Fiocruz; 1997.
• 4. Figueiredo AMA, Tanaka OU. A avaliação no SUS como estratégia na reordenação da saúde. Cad Fundap 1996;19:98-105.
• 5. Furtado JP. A avaliação de programas e serviços. In: Campos GWS, Minayo MC, organizadores. Tratado de Saúde Coletiva São Paulo: Hucitec; 2006.
• 6. Silva LMV, Formigli VL. Avaliação em saúde: limites e perspectivas. Cad Saude Publica 1994;10(1):80-91.
• 7. Dubois N, Marceau R. Un état des lieux théoriques de l'évaluation: une discipline à la remorque d'une révolution scientifique qui n'en finit pas. The Can J Program Evaluation 2005;20(1):1-36.
• 8. Alkin MC, Christie CA. Evaluation Roots: Tracing Theorists'Views and Influences. Thousand Oaks: Sage; 2004.
• 9. Patton MQ. Practical evaluation Beverly Hills: Sage Publications; 1982.
• 10. Kuhn T S. A estrutura das revoluções científicas São Paulo: Perspectiva; 1987.
• 11. Patton MQ. Utilization-focused evaluation Thousand Oaks: Sage; 1997.
• 12. Cook TD, Gruder CL. Metaevaluation research. Evaluation Review 1978;2(1):5-51.
• 13. Stufflebeam DL. The Metaevaluation Imperative. Am J Evaluation 2001;22(2):183-209.
• 14. Lincoln YS. Fourth generation evaluation in the New Millennium. In: Donaldson SI, Scriven M, editors. Evaluating Social Programs and Problems Visions for the New Millennium. New Jersey: Lawrence Eribaum Associates Publishers; 2003.
• 15. House ER, Howe KR. Values in Evaluation and Social Research Thousand Oak: Sage; 1999.
• 16. Furtado JP. Avaliação para o conhecimento e a transformação. In: Bosi ML, Mercado F, organizadores. Avaliação qualitativa em saúde Rio de Janeiro: Vozes; 2006.
• 17. Denis JL, Lehoux P, Champagne F. A knowledge utilization perspective on fine-tuning dissemination and contextualization knowledge. In: Lemieux-Charles L, Champagne F, editors. Using knowledge and evidence in health care Toronto: University of Toronto Press; 2004. p. 18-40.
• 18. Zúñiga R. La evaluación comunitaria: contextos éticos y políticos. Cuad Trabajo Social 2000;13:211-229.
• 19. Barberger M, Rugh J. Une stratégie pour composer avec les contraintes inhérentes à la pratique. In: Brousselle A, Champagne F, Contandriopoulos AP, Hartz ZL, organizadores. L'évaluation: concepts et méthodes. Montreal: Les Presses de l'Université de Montréal; 2009.
• 20. Worthen BR, Sanders JR, Fitzpatrick JL. Avaliação de programas: concepções e práticas. São Paulo: Edusp, Editora Gente; 2004.
• 21. Letichevsky AC, Vellasco MMBR, Tanscheit R, Souza RC. La categoria precisión en la meta-evaluación: aspectos prácticos y teóricos en un nuevo enfoque. Aval. Pol. Públ. Educ. 2005;13(47):255-268.
• 22. Stufflebeam DL. A Note on the Purposes, Development, and Applicability of the Joint Committee. Evaluation Standards. Am J Evaluation 2004;25(1):99-102.
• 23. Hartz ZMA, Contandriopoulos AP. In: Hartz ZMA, Felisberto E, Silva LMV, organizadores. Meta-avaliação da atenção básica à saúde: teoria e prática. Rio de Janeiro: Fiocruz; 2008.
• 24. Hanssen CE, Lawrez F, Dunet DO. Concurrent Meta-Evaluation. Am J Evaluation 2008;29(4):572-582.
• 25. Guba EG, Lincoln YS. Fourth Generation Evaluation Newbury Park: Sage Publications; 1989.
• 26. Weaver L, Cousins JB. Unpacking the participatory process. J Multidisc Evaluation 2004;1:19-40.
• 27. Riddle V. Suggestion d'améliorations d'un cadre conceptual de l'évaluation participative. La Rev Cannadienne d'évaluation de programme 2006;21(2):1-24.
• 28. Zúñiga R, Laperrière H. Avaliação comunitária: conflitos verticais e ambiguidades metodológicas. In: Bosi JLM, Mercado F, organizadores. Avaliação qualitativa de programas de saúde: enfoques emergentes. São Paulo: Hucitec; 2006.
• 29. Scriven M. Reflections. In: Alkin MC. Evaluation Roots Tracing theorists' views and influences. Thousand Oaks: Sage; 2004. p.183-185.
• 30. Laperrière H. Evaluations in Partnership Between State and Popular Civil Society: The Case of Collective Fight Against AIDS in Quebec. J Multidiscip Evaluation [Online journal]. [cited 2012 Feb 5]. Available at: http://survey.ate.wmich.edu/jmde/index.php/jmde_1/thesis/view/8, 2008.
• 31. Laperrière H. Les inégalités entre le local et les centres d'expertises. Une pratique réflexive collective de production de connaissances dans la lutte communautaire. Colloque Renouvellement démocratique des pratiques. Actions et Interventions sociales, UQAM, Montréal, 14 nov. 2008.
• 32. Laperrière H, Potvin L, Zuniga R. A socio political framework of evaluability assessment for participatory evaluations: how to make sense of the power differences in programs that involve the State and Civil society? Evaluation, 18(2) (April 2012).
• 33. Fontan JM. L'évaluation de cinquième génération. Cahiers de recherche sociologique 2001;35:7-14.
• 34. House ER, Howe KR. Deliberative Democratic Evaluation. New Directions for Evaluation 2000;85:3-12.
• 35. House ER. The role of the evaluator in a political world. The Can J Program Evaluation 2004;19(2):1-16.
• 36. Zúñiga R. L'évaluation et le publique: science, éthique et politique. Cahiers de recherche sociologique 2001;35:15-30.
• 37. Green LW, Kreuter MW. Health Promotion Planning: An Educational and Ecological Approach. 3^th ed. Mountain View: Mayfield Publishing Company; 1999.
• 38. Rootman I, Goodstadt M, Hydman B, McQueen DV, Potvin L, Springett J, Ziglio E. Evaluation in health promotion Principles and perspectives. Copenhague: WHO Regional Publications, European Series, nş 92; 2001.
• 39. Champagne F, Contandriopulos AP, Tanon A. A Program Evaluation Perspective on Processes, Practices, and Decision-Makers. In: Lemieux-Charles L, Champagne F, organizadores. Using Knowledge and Evidence in Health Care Multidisciplinary Perspectives. Toronto: University of Toronto Press; 2004. p.139-171.
• 40. Potvin L, Bilodeau A, Gendron S. Trois défis pour l'évaluation en promotion de la santé. Promotion et Education 2008;15(Supl. 1):17-21.
• 41. Friedberg E. Le pouvoir et la règle Dynamiques de l'action organisée. Paris: Ed. Du Seuil; 1997.
• 42. Friedberg E. Jeux d'acteurs Enjeux de pouvoir. L'analyse stratégique des organisations. DVD-ROM. Paris: ReO Multimedia; 2007.
• 43. Laperrière H.Taking Evaluation Contexts Seriously: A Cross-Cultural Evaluation in Extreme Unpredictability. J Multidisc Evaluation 2006;3(4):41-57.
• 44. Zúñiga R. La gestion amphibie. Revue internationale d'action communautaire 1988;19(59):157-168.

Datas de Publicação

• Publicação nesta coleção
  20 Nov 2012
• Data do Fascículo
  Mar 2012

Histórico

• Recebido
  08 Jul 2010
• Aceito
  15 Out 2010
• Revisado
  10 Set 2010