Avaliação: conceitos e métodos

RESENHAS BOOK REVIEWS

Marly Marques da Cruz

Escola Nacional de Saúde Pública Sergio Arouca, Fundação Oswaldo Cruz, Rio de Janeiro, Brasil. [e-mail]

AVALIAÇÃO: CONCEITOS E MÉTODOS. Brouselle A, Champagne F, Contandriopoulos AP, Hartz Z, organizadores. Rio de Janeiro: Editora Fiocruz; 2011. 292 pp.

ISBN: 978-85-7541-218-3

Os autores do livro Avaliação: Conceitos e Métodos nos brindam com uma produção acadêmica interdisciplinar, marcada pela qualidade e diversidade da abordagem teórico-metodológica acerca da construção de modelos de avaliação de intervenções complexas. O material produzido expressa a experiência do Groupe de Recherche Interdisciplinaire en Santé (Gris) da Universidade de Montreal, que há anos investe na interface e compartilhamento de saberes e práticas em avaliação com diferentes grupos de pesquisas, de diferentes países, para o avanço do conhecimento científico neste campo.

Numa perspectiva de aperfeiçoamento de um modelo integrado de avaliação das intervenções em saúde, os autores promovem um mergulho reflexivo nos principais marcos teórico-conceituais, que ajudam a compreender a amplitude e a abrangência dos paradigmas em avaliação referidos às bases epistemológicas, ontológicas, metodológicas e teleológicas de orientação e legitimação do campo, e nos exemplos empíricos que ilustram muito bem as proposições metodológicas.

O modelo em questão foi testado em pesquisas avaliativas realizadas em Quebec (Canadá), e em outros países da Europa, África e América do Sul, cujo principal núcleo de discussão nos últimos anos tem sido o Brasil. Ele integra diferentes concepções e abordagens de avaliação e, por seu caráter inovador, contribui para a construção de capacidades e desenvolvimento de habilidades necessários à aplicação de técnicas e métodos variados e complementares de avaliação.

O livro, escrito de forma clara e bastante didática, está organizado em três grandes partes e cada uma delas composta por capítulos. A primeira parte é intitulada Os Fundamentos da Avaliação, e nesta constam os principais marcos teóricos e conceituais que embasam a avaliação como campo de saber e de prática.

O primeiro capítulo enuncia os grandes períodos históricos relacionados às diferentes gerações da avaliação, conforme apresentado por Guba & Lincoln no livro Fourth Generation Evaluation do ano de 1989, e suas principais características. Como uma atividade muito antiga, a avaliação sistemática das intervenções sociais ao longo dos anos sofreu a influência das transformações econômicas, políticas, sociais, culturais, cujo auge se revela com o processo de modernização das sociedades ocidentais e com a hegemonia da racionalidade científica moderna, quando a avaliação se legitima como campo de conhecimento. Esse último se afirma como período marcado pela profusão dos meios de produção e disseminação do conhecimento em avaliação por meio das organizações profissionais, e expansão do processo de profissionalização e institucionalização desta.

De forma sintética e bem articulada, o segundo capítulo expõe diferentes conceitos de avaliação, as tipologias de intervenções e seus componentes, a natureza e finalidade da avaliação, a abordagem avaliativa e as inter-relações existentes. Nessa parte os autores tomam como ilusória a pretensão de se apresentar uma concepção universal e absoluta da avaliação, e propõem uma definição com os elementos concordantes da literatura especializada em que "avaliar consiste fundamentalmente em emitir um juízo de valor sobre uma intervenção, implementando um dispositivo capaz de fornecer informações cientificamente válidas e socialmente legítimas sobre essa intervenção ou qualquer um de seus componentes, com o objetivo de proceder de modo a que os diferentes atores envolvidos, cujos campos de julgamento são por vezes diferentes, estejam aptos a se posicionar sobre a intervenção para que possam construir individual ou coletivamente um julgamento que possa se traduzir em ação". A intervenção, nesse caso, é concebida como um "sistema organizado de ação" cujos componentes são constituídos pela estrutura, atores, práticas, processos de ação, finalidades e ambiente da intervenção. Essa, por sua vez, pode ser objeto de dois tipos de avaliação: a avaliação normativa, que busca apreciar cada um dos componentes da intervenção em função de critérios e normas; e a pesquisa avaliativa, que depende de procedimentos científicos que permitam analisar e compreender as relações de causalidade entre diferentes componentes da intervenção. Ou seja, o diferencial explicitado nesse capítulo diz respeito a uma forma diferente de se pensar os componentes da intervenção na orientação do modelo de avaliação, bem como nos usos da avaliação como instrumento de gestão norteador da tomada de decisão.

No terceiro é introduzido o histórico e as definições de modelização, a sua utilidade, e de forma sintética são apresentados o modelo causal, o modelo lógico teórico e o modelo lógico operacional. As distintas possibilidades de elaboração de modelos lógicos são trazidas pelos autores como ferramentas fundamentais para a prática do avaliador em qualquer modalidade de avaliação. A complexidade das intervenções e dos determinantes das práticas dos atores sociais nelas implicados é reconhecida, assim como são elencados um conjunto de elementos-chave no processo de construção de modelos. Nesse processo, o avaliador deve se apropriar das possibilidades teóricas para explicitação do fenômeno (teórico), sem perder de vista a interação com a experiência dos atores envolvidos (tácito), cujas práticas têm influência direta nas intervenções.

Na segunda parte do livro os autores procuram aprofundar os aspectos teóricos e metodológicos da avaliação discorrendo sobre Os Tipos de Avaliação, as questões correspondentes a cada um deles, e alguns exemplos concretos no campo da saúde. Cada um dos sete capítulos que compreendem essa parte do livro corresponde a cada um dos tipos, denominados como apreciação normativa, a análise estratégica, a análise lógica, a análise de produção, análise de efeitos, a avaliação econômica e a análise de implantação. Observa-se que nesses capítulos são identificadas em cada tipo de avaliação questões distintas, denotando assim o registro das múltiplas possibilidades de desenhos e abordagens de acordo com os interesses de gestores, profissionais e usuários na avaliação.

A terceira e última parte do livro enfatiza as questões relativas ao Maximizar o Impacto das avaliações, ressaltando dois tópicos relevantes: o da utilização da avaliação e o da meta-avaliação. No debate da utilização é destacado como marco os anos 60, quando se inicia a reflexão dos avaliadores em torno do impacto real de seu trabalho sobre as tomadas de decisões. Carol Weiss, em 1966, publicou o artigo Utilization of Evaluation: Toward Comparative Study que trata da natureza, das causas, dos determinantes e das consequências da avaliação, e abre o caminho para pesquisas teóricas e empíricas. Uma importante discussão travada pelos autores diz respeito à tipologia dos modelos de utilização da avaliação, que se baseia nas "configurações lógicas das funções e das dimensões da avaliação concebida como um sistema organizado de ação", que deve manter valor e um sentido, adaptar-se ao ambiente, ser efetuada de modo produtivo e com qualidade e alcançar metas. O último capítulo oferece uma reflexão a respeito dos marcos que possibilitam "avaliar a avaliação" como um sistema institucionalizado de auxílio à tomada de decisões. Contudo, o questionamento sobre a capacidade da avaliação em produzir informações e julgamentos pode ajudar concretamente os decisores e usuários a melhorar o desempenho de seus sistemas de saúde. Ao considerar a avaliação em si mesma um tipo particular de intervenção, são apresentadas as noções de pertinência, mérito e credibilidade como atributos que resguardam uma boa relação, em um determinado contexto, entre a avaliação, os diferentes atores nela envolvidos e os problemas a resolver.

Enfim, essa é uma publicação relevante a ser recomendada a docentes, pesquisadores, gestores, alunos e curiosos por apresentar um quadro conceitual e estratégias metodológicas robustas e consistentes do campo da avaliação, e mais particularmente da avaliação em saúde. A construção harmônica dos textos, acompanhada dos exemplos, faz dessa obra uma referência útil e devidamente apropriada para os processos de formação e atualização do saber, do fazer e do ser em avaliação.

Datas de Publicação

• Publicação nesta coleção
  18 Jun 2012
• Data do Fascículo
  Jul 2012