RESENHAS REVIEWS

Zulmira Maria de Araujo Hartz

Departamento de Medicina Social e Preventiva e Groupe de Recherche Interdisciplinaire en Santé (GRIS), da Universidade de Montréal

Minayo MCS, Assis SG & Souza ER (orgs). Avaliação por triangulação de métodos: abordagem de programas sociais. Rio de Janeiro: Editora Fiocruz, 2005 244p.

Aqueles que implementam políticas enfrentam pressões cada vez mais acentuadas para que demonstrem sua eficiência e efetividade. Se fazer julgamentos, para avaliar qualquer intervenção, não é uma tarefa simples, ela é de muito maior complexidade em programas e políticas sociais, voltados para a educação, saúde, habitação, trabalho, justiça e outros domínios do bem-estar coletivo. Considerando a natureza emancipadora, participativa, intersetorial e requerendo sustentabilidade de longo prazo, inerentes a essas ações, para que possam alcançar o impacto desejado, tem se tornado consensual a necessidade do uso concomitante de múltiplas abordagens de pesquisa, mas o desenvolvimento, aprendizado e difusão do conhecimento e métodos para avaliar estes complexos programas e políticas, embora tenham avançado nas últimas décadas, são ainda insuficientes.

A carência de avaliadores com os conhecimentos e a competência indispensáveis para efetuar os estudos demandados resultou, em muitos casos, na adoção de critérios inapropriados para avaliação dessas iniciativas em que a randomização de grupos ou controles é tida como inadequada conhecendo-se a impossibilidade de se recriarem condições laboratoriais com as comunidades envolvidas nos projetos. Abordagens multidimensionais em determinantes de saúde, e a impossibilidade de impor controles rígidos ao ambiente exigem modelos híbridos, associando métodos qualitativos e quantitativos, que ultrapassem os limites dos estreitos parâmetros ou indicadores dos desenhos experimentais. Além disso, avaliações concentradas apenas na eficácia podem fornecer estimadores do impacto, mas são insuficientes para revelar "o porquê ou como" um programa funciona, questionamento tão importante quanto saber se as mudanças desejadas ocorreram particularmente na pespectiva de sua reprodutibilidade em diferentes contextos. Processos de avaliação, combinando indicadores de implantação, resultados de curto e longo prazo, fornecem níveis de análise mais apropriados à tomada de decisões.

Do ponto de vista epistemológico, a mixagem de métodos e pluralidade dos focos de observação não se justificam apenas em fundamentos técnicos operacionais e sim em pressupostos paradigmáticos, baseados na parcialidade da produçao do conhecimento e na possibilidade de incrementar sua validade pela interpenetraçao de valores e modalidades de percurso, em relação ao objeto de estudo, próprios à lógica da "triangulação" Conseqüentemente, a participação em todos os estágios do processo de avaliação dos que têm interesse direto nas ações programáticas é também um importante pré-requisito para sua realização, explicitando valores subjacentes aos objetivos oficiais das intervenções e das pesquisas avaliativas. Ela permite que a visão de diferentes grupos implicados seja considerada, aumentando a relevância, a credibilidade e a probabilidade de que os resultados desse processo sejam utilizados. Breve, a multiplicidade de métodos e de abordagens tem como pressuposto que a avaliação e seu contexto são mutuamente constituídos, conectando-se a avaliação a uma prática democrática que vai incorporando diferentes valores e percorrendo caminhos diversos na (co)construção de conhecimento.

O livro Avaliação por triangulação de métodos: abordagem de programas sociais se alinha na síntese teórica e prática dessa nova perspectiva, seu mérito superando substancialmente os tradicionais manuais de avaliação para se constituir em uma obra de referência fundamental da avaliação contemporânea em sua exigência de multi strategy evaluations. Escrito pela equipe do Centro Latino-Americano de Estudos de Violência e Saúde Jorge Careli, da Escola Nacional de Saúde Pública, da Fundação Oswaldo Cruz (Claves/Ensp/Fiocruz), a partir da experiência de investigação interdisciplinar e metodológica desse grupo – composto de epidemiologistas, estatísticos, sociólogos, antropólogos, psicólogos e comunicadores sociais –, os autores apresentam uma abordagem totalmente inovadora de respostas às questoes colocadas pela complexidade da avaliaçao dos programas sociais, de sua concepção teórica à comunicação dos resultados.

Anulando a distância entre textos com marcos teorico-metodológicos consagrados ou mais sofisticados, e aqueles de natureza operativa, cujo viés instrumental dispensa a contextualização e a teorização, os pesquisadores, ao mesmo tempo, teorizam, trabalham as técnicas e ensinam o "pulo do gato" (re)construindo sua prática com os leitores. A trajetória completa de avaliação do Programa Cuidar vai se revelando através dos diferentes capítulos do livro, em um processo contínuo de conhecimento-aprendizagem-valoração desta intervenção educacional, cuja complexidade nos permite extrapolar para a avaliaçao de outros campos das políticas sociais. Os pesquisadores-avaliadores demonstram, neste exercício, a disposição necessária para explicitar as várias abordagens e olhares que permitiram aproximar seu objeto de investigaçao, apreendendo e qualificando a contribuição da intervenção analisada nos processos de mudanças dessa realidade social: escola, família, comunidade.

Esta publicação se destina, portanto, a todos os profissionais envolvidos na formulação, gestão e/ou avaliaçao de ações (inter)setoriais, organizacionais e comunitárias interessados em "como avaliar programas e projetos sociais". Os seguintes questionamentos desagregam e ordenam os elementos de resposta ao longo do texto, ancorados em uma ampla revisão da literatura, esquemas operativos e agradável linguagem coloquial:

Por que problematizar a noção de "mudança", subjacente a todas as intervenções, como marco conceitual e operacional da avaliação?

Quais os pré-requisitos e passos incontornáveis para a triangulação de métodos?

Como equacionar os problemas emergentes, da definição de indicadores à contrução dos dados no trabalho de campo?

Que desafios, e pistas para seu enfrentamento, caracterizam a organização, análise e interpretação dos dados?

Como aperfeiçoar o processo de apresentação e comunicação dos resultados?

Em resumo, pode-se afirmar que este livro, aliando aspectos reflexivos e ilustrativos, com o devido equilíbrio e complementaridade de contribuição dos métodos quantitativos e qualitativos, alcança realmente o desejável objetivo de nos falar da "cozinha da avaliação", como pretendem as organizadoras, no que concerne aos utensílios básicos, ingredientes necessários e procedimentos claros. Seu receituário, no entanto, vai além da "comida caseira" e sua leitura nos orienta a preparar um banquete em que a avaliação possa ser degustada com "sabor brasileiro", mas respeitando-se os cânones da culinária científica e deontológica, das comunidades internacionais dos pesquisadores de programas e políticas públicas, comprometidos com uma prática democrática da avaliação como ação social.

Datas de Publicação

• Publicação nesta coleção
  17 Mar 2006
• Data do Fascículo
  Dez 2005