Meta-avaliação de uma avaliação participativa desenvolvida por gestores municipais de saúde com foco no padrão "Utilidade"

Meta-evaluation of a participantory evaluation conducted by municipal health administrators with a focus on "utility"

Metaevaluación de una evaluación participativa desarrollada por gestores municipales de salud, centrándose en el padrón "Utilidad"

Resumo:

Este artigo tem por objetivo analisar a utilidade de um processo local de avaliação, desenvolvido por gestores e gerentes de uma região de saúde de São Paulo, Brasil, e discutir a necessidade da escolha criteriosa do referencial teórico para o julgamento deste quesito em abordagens participativas. Para a análise da organização do processo, utilizou-se o referencial de Patton, voltado a facilitar o uso da avaliação pelos participantes. Para análise da influência da avaliação, foram seguidas as dimensões propostas por Weiss, Greene e Kirkhart. Diversos tipos de influência foram identificados no campo com base no referencial escolhido. Conclui-se que um modelo de avaliação, que busca promover junto aos interessados a identificação de novas possibilidades de negociação de poder, exige escolhas metodológicas para análise de qualidade que não se restrinjam aos valores técnicos ou instrumentais, mas se ampliem ao reconhecimento da influência em direções múltiplas: alcances/intenções a curto e longo prazos, etapas do processo avaliativo e públicos diversos.

Palavras-chave:
Gestor de Saúde; Avaliação em Saúde; Participação Comunitária

Abstract:

This article aims to analyze the utility of a local evaluation process developed by administrators and managers of a regional health office in São Paulo, Brazil, and to discuss the need for a well-based choice of theoretical reference to judge this item in participatory approaches. To analyze the organization of the process, the study used the Patton reference, focused on facilitating participants' use of the evaluation. To analyze the evaluation's influence, the dimensions proposed by Weiss, Greene, and Kirkhart were followed. Various types of influence were identified in the field, based on the selected reference. In conclusion, an evaluation model that seeks to promote, together with the stakeholders, the identification of new possibilities of power negotiation requires methodological choices for quality analysis that are not limited to technical or instrumental values, but which expand with the recognition of influence in multiple directions: short and long-term scope and intentions, stages in the evaluation process, and various audiences.

Keywords:
Health Manager; Health Evaluation; Consumer Participation

Resumen:

Este artículo tiene como objetivo analizar la utilidad de un proceso local de evaluación, desarrollado por gestores y gerentes de una región de salud de São Paulo, Brasil, y discutir la necesidad de una elección basada en criterios del marco de referencia teórico para el juicio de este requisito en enfoques de corte participativos. Para el análisis de la organización del proceso, se utilizó el referencial de Patton, dirigido a facilitar el uso de la evaluación por parte de los participantes. Para el análisis de la influencia de la evaluación, fueron seguidas las dimensiones propuestas por Weiss, Greene y Kirkhart. Diversos tipos de influencia se identificaron en este campo, en base al marco de referencia elegido. Se concluye que un modelo de evaluación, que busca promover junto a los interesados la identificación de nuevas posibilidades de negociación de poder, exige elecciones metodológicas para un análisis de calidad, que no se restrinjan a los valores técnicos o instrumentales, sino que se amplíen al reconocimiento de la influencia en múltiples direcciones: alcance/intención a corto y largo plazo, etapas del proceso evaluativo y públicos diversos.

Palabras-clave:
Gestor de Salud; Evaluación en Salud; Participación Comunitaria

Introdução

Estudos sobre meta-avaliação vêm se tornando mais frequentes no Brasil, felizmente possibilitando aos avaliadores tanto um enriquecimento técnico como a possibilidade de refletir acerca de aspectos éticos e políticos, tão sensíveis ao campo da avaliação ^1,2,3.

Pode-se contar atualmente com padrões definidos pelas sociedades nacionais de avaliação para o julgamento da qualidade de suas práticas. Os padrões publicados pelo Joint Committee on Standards for Educational Evaluation ⁴ (Estados Unidos e Canadá) - utilidade, factibilidade, ética, precisão e responsabilização/accountability - tornaram-se internacionalmente reconhecidos e servem de base a publicações semelhantes em diversos países ^5,6. Argumenta-se, entretanto, que tais padrões devam ser complementados quando de sua utilização, na medida em que oferecem critérios muito gerais para julgamento, e exemplos limitados, em sua maioria, a condições ideais ⁷ de aplicação.

A escolha de um referencial teórico consistente para a compreensão de um padrão é essencial, uma vez que possibilita tanto uma análise conceitual quanto o desvelamento de valores subjacentes ao modelo escolhido e o detalhamento de suas possibilidades de aplicação.

Este artigo busca empreender essa tarefa trazendo uma reflexão acerca do padrão relacionado à "utilidade" de uma avaliação, geralmente considerado em meta-avaliações.

O conceito de utilidade vem sendo revisto e ampliado ao longo do tempo por diversos autores da área. Os primeiros estudos a respeito do "uso" da avaliação datam do final dos anos 1960, e eram basicamente pautados na utilização instrumental dos resultados da avaliação ⁸. Rapidamente, com base na reflexão sobre a prática, outros tipos de uso foram identificados e descritos pelos avaliadores: inicialmente o uso simbólico e o uso conceitual ⁹.

A obra de Patton ¹⁰, Utilization-Focused Evaluation, cuja primeira edição data de 1978, traz a utilidade como o principal atributo de uma avaliação. Excelência técnica e rigor metodológico são apontados como insuficientes para garantir sua qualidade: o avaliador deve assumir a responsabilidade por sua utilização, cujo planejamento é iniciado de forma concomitante ao processo avaliativo. É oferecida uma série de proposições/passos para o estabelecimento de uma base consistente que promova o compromisso de uso da avaliação entre o avaliador e os interessados.

Greene ¹¹, em 1988, trouxe uma importante contribuição voltando sua atenção ao processo de desenvolvimento da avaliação e identificando nele tipos de mudanças - cognitivas, afetivas e conceituais - vividas pelos participantes. Pouco depois, na década de 1990, autores como Whitmore ¹² e Patton ¹³ designaram claramente o uso do processo avaliativo - process-based use - no qual a participação dos interessados em uma avaliação, por si só, já possibilitaria mudanças em sua compreensão/prática.

A adequação do termo "uso", quando se refere a uma avaliação, assumiu também especial importância na discussão do atributo "utilidade" em meta-avaliações. Weiss ¹⁴, em 1980, já expressava um incômodo em relação a essa expressão, dizendo estar impregnada por uma imagem de aplicação apenas dos resultados da avaliação - instrumental, episódica, e não condizente com o desenvolvimento do campo, que já incluía outros tipos de utilização. Shulha & Cousins ¹⁵ pontuaram, na mesma linha, que a influência exercida por um processo avaliativo é um fenômeno multidimensional que envolve a interação das diversas dimensões anteriormente mencionadas (instrumental, simbólica, conceitual, cognitiva, afetiva, política).

Kirkhart ¹⁶ amplia essa reflexão e propõe o termo "influência" em substituição a "uso" e "utilização". Em sua Integrated Theory of Influence, busca ultrapassar mudanças objetivas e unidirecionais anteriormente descritas, e traduzir aquelas promovidas por avaliações com maior nível de complexidade, não lineares e multifacetadas. Propõe um modelo tridimensional baseando-se nos eixos Fonte, Tempo e Intenção como forma de enriquecimento das análises quanto à influência exercida por avaliações ¹⁷.

Este trabalho tem o objetivo de analisar a utilidade de um processo local de avaliação, desenvolvido por secretários municipais e assessores técnicos de uma região de saúde de São Paulo, Brasil, e discutir a necessidade da escolha criteriosa do referencial teórico para o julgamento deste quesito em abordagens participativas.

Metodologia

O estudo teve como objeto a avaliação primária empreendida por um grupo de representantes de 8 dos 18 municípios que compõem uma das Comissões Intergestores Regional (CIR) da região escolhida, a partir de adesão voluntária após apresentação da proposta.

Avaliação participativa

A avaliação foi realizada com a utilização de métodos mistos, quali/quantitativos ^18,19. Dados secundários relacionados ao atendimento prestado na atenção básica e na de média/alta complexidade a usuários com queixas relacionadas à indicação de cirurgia geral eletiva (colecistectomia) foram levantados com base no acesso ao sistema da Central de Regulação de Oferta de Serviços de Saúde (CROSS), a listagens fornecidas pelo Ambulatório Médico de Especialidades (AME), e ao DATASUS (Departamento de Informática do SUS) usando-se os programas Tabnet/Tabwin (DATASUS. http://portal.saude.gov.br/portal/se/datasus/area.cfm?id_area=732).

A compreensão desses dados foi aprofundada a partir de uma abordagem qualitativa aos usuários que aguardavam vaga, ou que haviam realizado a cirurgia no máximo dois anos antes em serviços públicos. Entrevistas individuais semiestruturadas e grupos focais foram utilizados como método de coleta de dados primários. Em todos os munícipios, com exceção do município polo, o convite para os informantes foi feito à totalidade daqueles que: (1) figuravam em uma listagem de espera para vaga de cirurgia no Hospital Estadual localizado no município polo, ou nos registros das Unidades Básicas de Saúde (UBS) e Regulação; (2) puderam ser acessados por contato telefônico. No caso do município polo, procurou-se contemplar usuários de Unidades Tradicionais e da Estratégia Saúde da Família, dispersos segundo tempo de espera no período entre 2011 e 2014, ou, de acordo com o segundo critério, que realizaram a cirurgia até dois anos antes.

Para a análise dos dados coletados junto aos usuários usou-se a metodologia hermenêutico-dialética ²⁰, valorizando a sua característica interpretativa e diversa.

Esse material empírico e também os dados dos registros/sistemas de informação foram discutidos e analisados em 7 oficinas realizadas com os gestores e gerentes, dispersas ao longo de 10 meses de trabalho.

Meta-avaliação

A coleta de dados para a meta-avaliação se deu nas oficinas e em entrevistas em profundidade realizadas com os participantes após a finalização das atividades, tendo como foco o processo anteriormente desenvolvido e possíveis mudanças, vividas pelos atores e entorno, a ele relacionadas.

O material gerado foi analisado em base a uma metodologia hermenêutico-dialética ²⁰. Procurou-se compreendê-lo considerando seu contexto, selecionando trechos que retratassem os diversos pontos de vista dos atores, preservando e retratando a riqueza inerente aos dados qualitativos.

Cabe lembrar que um processo de análise baseado nesse tipo de abordagem - qualitativa - não almeja traçar uma linha de causalidade direta entre a participação no processo avaliativo e as mudanças identificadas. Partiu-se do pressuposto de que os participantes estavam sujeitos a toda sorte de influências em seus diferentes contextos de ação, e que as mudanças identificadas após a realização do processo avaliativo poderiam ter sido fomentadas ou fortalecidas por ele. Na leitura das oficinas, determinados trechos discursivos foram sublinhados em seu contexto como sinais de processos reflexivos vividos pelos participantes que puderam ser associados à avaliação. Nas entrevistas, as questões formuladas buscaram associar o mais claramente possível as experiências descritas ao processo de avaliação desenvolvido.

Em paralelo ao trabalho de campo procedeu-se à revisão da literatura existente com o objetivo de enriquecer a análise do padrão "utilidade" na pesquisa. Baseando-se nesse levantamento, no qual se destaca o estudo realizado por Hartz & Denis ²¹, foram escolhidos os referenciais considerados pelos pesquisadores potentes para a análise do "uso" de uma avaliação no desenho adotado - local e participativo.

O passo seguinte foi a releitura do material empírico, buscando utilizações do processo/resultados avaliativos não identificadas previamente.

O referencial de Patton ²² foi empregado para identificar e analisar as decisões tomadas no planejamento e execução do processo que visaram a facilitar sua utilização pelos participantes (Figura 1).

Figura 1:
Síntese dos passos para organização da avaliação segundo referencial da Utilization-Focused Evaluation²².

Para a análise do material empírico coletado nas oficinas e entrevistas finais, tomou-se por base o modelo tridimensional proposto por Kirkhart ¹⁷ para análise da influência de processos avaliativos, que é composto dos eixos: (1) Fonte - incluindo a influência exercida tanto pelo processo quanto pelos resultados de uma avaliação; (2) Tempo - afirmando que o uso do que foi aprendido no processo avaliativo pode se dar em diversos momentos e ao longo do tempo, não estando restrito à sua finalização; e (3) Intenção - valorizando tanto a utilização prevista durante o planejamento da avaliação como mudanças não previstas/não intencionais, tanto positivas como negativas, associadas ao processo.

O referencial de Greene ¹¹ foi utilizado para analisar as mudanças vividas pelos atores no decorrer do processo avaliativo, relacionando-as aos tipos por eles descritos, quais sejam, (1) mudança cognitiva que se refere ao processamento ativo e assimilação de informações; (2) afetiva, incluindo sentimentos de elevação da autoestima e valor; e (3) política, mediante a inclusão de uma diversidade de pontos de vista na construção da ação.

Para a análise da influência que os resultados da avaliação tiveram sobre os participantes e seu entorno, foi usado o referencial de Weiss ⁹ que diferencia as utilizações instrumental, ou seja, resultados que tiveram interferência direta na tomada de decisões acerca do objeto de estudo, fosse ele um programa ou política; simbólica, qualificando os resultados da avaliação que são incorporados ao debate político com o objetivo de validar e/ou reforçar decisões prévias; e a conceitual, relacionada a mudanças na compreensão dos envolvidos sobre temas tratados na avaliação, não necessariamente expressas em atitudes ou procedimentos por eles assumidos.

Todos os informantes concordaram em tomar parte no estudo e assinaram os termos de consentimento livre e esclarecido. A pesquisa foi aprovada pelo Comitê de Ética em Pesquisa da Faculdade de Saúde Pública, Universidade de São Paulo (FSP/USP), parecer 1.006.380, de 24 de abril de 2015.

Resultados e discussão

Inicialmente, serão apresentados aqui aspectos da organização da avaliação primária que contribuíram para a sua utilização, tomando por base os passos sintetizados na Figura 1 ²². Na sequência, a descrição da influência que o processo teve sobre os participantes e entorno, com base no referencial elaborado pelas autoras consultadas ^9,11,17, associando-a ao tipo de influência identificada - foram inseridos recortes de discursos realizados nas oficinas/entrevistas, visando a uma aproximação e melhor compreensão quanto aos temas abordados durante as mesmas. Ao final, reflexões desenvolvidas ao longo do trabalho visando a aprofundar a possibilidade de análise crítica de avaliações realizadas nesse tipo de desenho.

Organização da avaliação primária

A adesão dos participantes ao processo em foco foi voluntária, feita a partir de convite dos pesquisadores à CIR. O foco para a avaliação, escolhido pelo grupo, foi o fluxo de cirurgias eletivas de colecistectomia na região, tomado como um traçador do papel e da relação entre os entes federados na gestão dos níveis de complexidade do sistema de saúde (passo 1).

Esse tema colocava intencionalmente em relevo as limitações vividas pelo gestor municipal nesse compartilhamento. "...aprender a fazer [avaliação] dentro da cirurgia geral, porque a gente tem lá o paciente com a hérnia, com a vesícula, e nós não sabemos se ele está parado aqui, no AME, se ele está parado no Estadual... A gente fica perdido" (secretário municipal).

A sensibilidade do traçador permitiu a mobilização dos atores para a busca de informações e alternativas que pudessem proporcionar-lhes posição mais sustentada e confortável nas negociações entre níveis de gestão e com prestadores privados, principal uso previsto para o processo avaliativo (passo 2). "Vamos levantar quem está vindo fazer colecistectomia aqui no Estadual... Podem estar atingindo a meta, mas não com a gente. De repente, ele [Hospital Estadual] está fazendo 500 cirurgias que não são para a gente..." (assessor técnico). "Precisamos saber dos gargalos para batalhar com o prestador para reivindicar melhoras. Diminuir esse tempo de espera..." (secretário municipal).

O grupo, bastante heterogêneo em termos de tempo de experiência e formação técnica na área da Saúde, empreendeu diversos movimentos de prospecção e retração no planejamento da coleta de dados, buscando selecionar aqueles que realmente lhe seriam úteis para a análise pretendida e projetando atores a serem incluídos ainda durante a avaliação ou apenas ao final, na discussão dos achados (passo 3). "Podemos conseguir um volume de dados sobre este tipo de problema... é olhar o problema de um outro jeito ... porque os nossos dados não são em rede, os nossos dados são localizados no serviço..." (secretário municipal). "Mas aí a gente teria que pegar pessoas concretas, para saber a trajetória que eles fizeram..." (secretário municipal).

Foram feitas explorações conjuntas e individuais dos sistemas eletrônicos de informação, e a coleta de dados qualitativos foi organizada pelos gestores em seus municípios e coordenada no campo pelos pesquisadores (grupos focais com usuários). Os dados foram analisados pelo grupo em reuniões imediatamente posteriores à coleta. "Deixa eu também já ir anotando: o que eu vou fazer no meu município é saber por que os casos ficaram na espera do AME e não no ambulatório do município... Ver quem já fez cirurgia no município. Se a maioria der urgência, já tenho explicação: foi complicação que foi para o Pronto Socorro..." (assessor técnico).

Houve também análise aprofundada dos dados empíricos em duas oficinas já no final do processo, sempre de forma articulada a utilizações futuras do material coletado (passo 4). "Eu acredito que esse trabalho também pode servir para a gente dizer assim: vamos fazer uma FPO [ficha de programação físico-orçamentária] por quantidade..." (assessor técnico). "Acho que a gente tinha que ter uma discussão, que talvez nos dê força para dizer assim: quanto desses trinta mil procedimentos a gente precisa para cirurgia geral, para atender à nossa demanda?, porque deveria ser assim com tudo..." (secretário municipal).

Realizou-se uma sessão formal de apresentação dos achados avaliativos incluída na reunião mensal da CIR, mas acredita-se que o principal canal de disseminação foram as reuniões de um grupo de trabalho da Câmara Técnica da CIR que reúne, também mensalmente, representantes do estado, municípios e prestadores privados (passo 5).

Influência exercida pela avaliação nos participantes/entorno

O processo possibilitou discussões ampliadas acerca de temas essenciais à prática de gestão, tais como integralidade do cuidado em saúde e o papel dos três níveis de gestão governamental na organização do sistema (Influência Cognitiva ¹¹). Na medida em que se identifica a carência de um conhecimento sólido na área da Saúde e de um nível de reflexão mais aprofundado sobre questões atuais do sistema por parte de muitos gestores, principalmente em municípios pequenos, é essencial valorizar a função reflexiva que pode assumir o processo de avaliação. "Eu entrei como secretário, eu nem tinha noção de saúde pública... Aprendi muito com a pesquisa, com as discussões, foi muito interessante para mim... Atrapalha a falta de comunicação do prestador com a secretaria municipal..." (secretário municipal). Colocar em questão convicções que rotineiramente surgem em discussões pode levar a uma análise mais crítica da realidade por parte dos gestores.

A tomada de decisão na gestão municipal muitas vezes é intuitiva e/ou baseada na experiência profissional do gestor e/ou de sua equipe, mais do que em informações consistentes acerca do objeto em questão. A avaliação participativa possibilitou o acesso sistematizado à perspectiva dos usuários e às informações dos sistemas eletrônicos, cuja utilização geralmente não faz parte da rotina do gestor, e que podem ser também utilizadas como fonte de recursos para a decisão (Influência Cognitiva ¹¹). "...A gente nunca tinha sentado e pegado o quadro: tantas cirurgias eram realizadas por tal prestador em tal ano... ver a meta que cada município estava atingindo... E ali foi possível. A gente se deparou com dados, informações, que realmente a gente não conhecia" (secretário municipal).

Embora as discussões tenham nascido em um grupo que já tinha uma construção "hierárquica" - "doutores" e "não doutores", "antigos "e "novatos" - foi possível a criação de um ambiente propício a que distintos pontos de vista pudessem ser explicitados e discutidos (Influência Política ¹¹). "A experiência foi valiosa, na medida em que você se sente participante do processo, com o pé no chão e dentro dele. Me senti privilegiada de poder estar colocando a questão do meu município na situação que é comum para a região... de repente você está lá se colocando, te pega um insight... o improviso é individual, mas a solução pode ser a mesma" (secretária municipal). Além disso, as atividades realizadas levaram a um enriquecimento dos debates e compreensão de diferentes visões, que favoreceram as negociações entre parcerias governamentais e público-privadas, fornecendo sustentação para novos acordos ainda durante o processo de avaliação.

Na análise dos dados coletados nas diversas oficinas, observou-se uma alteração na posição assumida pelos gestores municipais frente aos demais entes federados e prestadores de serviços, que pode ser associada a um ganho em empoderamento do grupo (Influência Afetiva ¹¹). No início do processo, algumas falas retratavam os níveis federativos como níveis hierárquicos (o que não se confirma objetivamente na organização proposta pelo SUS): "Temos que montar um produto que a gente leve a uma instância superior" (secretário municipal). Num segundo momento, solicitar informações em nível estadual aparece como um "direito": "Essa lista de espera para cirurgia... Vamos pedir no grupo de trabalho ... é um direito nosso" (assessor técnico) - suscitando uma atitude de maior segurança quanto ao papel sob sua responsabilidade. A troca de informações com os níveis estadual e federal tornou-se uma ferramenta essencial para a gestão, e não uma solicitação a ser encaminhada. Num momento subsequente, as colocações apontam para um processo de negociação em andamento: "Quando a gente conversou a respeito de ampliar o número de cirurgias eletivas com o hospital... se a gente começar a forçar isso de certa forma... " (secretário municipal).

O diálogo entre representantes dos municípios, estado, organizações sociais e prestadores privados em busca de alternativas para a gestão da espera - excessiva - por vagas de cirurgia geral, vivenciada por usuários com indicação para este procedimento, foi fortalecido. A avaliação trouxe uma caracterização mais precisa da deficiência existente e o quadro pôde se tornar objeto de negociações (Influência Instrumental dos Resultados da Avaliação ⁹). Surgiram proposições de mudanças no papel dos hospitais de pequeno porte nos municípios, que se voltarão ao atendimento de urgências, possibilitando que os hospitais de grande porte (estaduais) se voltem ao atendimento de casos de maior complexidade. "...Vários hospitais de pequeno porte muito pouco utilizados... fortalecer essa rede dos municípios pequenos, para ver se consegue cobrar mais do Hospital Estadual aquilo que, de fato, ele precisa fazer..." (secretário municipal).

Os gestores municipais tinham conhecimento, previamente ao processo avaliativo, de que o número de cirurgias eletivas efetuadas pelo Hospital Estadual (grande porte) vinha caindo. Tendo por base, entretanto, os dados sistematizados e analisados durante a avaliação, foi possível demandar, com maior firmeza, à organização privada que gerencia o hospital soluções para o aumento da oferta (Influência Simbólica dos Resultados da Avaliação ⁹). "Eles se propuseram, quando a gente apresentou essas demandas, a estudar a estruturação agora de um terceiro horário cirúrgico, noturno" (assessor técnico).

Alguns dos gestores participantes da avaliação optaram por engajar-se em iniciativas de fortalecimento da Educação Permanente na região. "Na nossa CIR, já há algumas reuniões de câmara técnica, que a gente vem colocando essa inexpressividade da participação, e uma falha é no nosso NEP [Núcleo de Educação Permanente] ... Então, ontem, nós nos comprometemos e fomos na reunião do NEP. Foi superprodutivo, foram mais duas gestoras. A gente amarrou de fazer agora um trabalho..." (secretário municipal). Considerando que o processo da pesquisa em foco tinha como um de seus principais objetivos a aprendizagem, a valorização do conhecimento expressa na ação descrita assume especial importância (Influência Conceitual ⁹ e Não Intencional ¹⁷ dos resultados da avaliação).

É importante reforçar a necessidade, especialmente em processos participativos, de que a avaliação ultrapasse o objetivo único de influência instrumental na tomada de decisão, que ainda se coloca como o mais comum/esperado tanto por aqueles que demandam como por aqueles que executam as avaliações.

Note-se que, no processo realizado nesta pesquisa, uma visão de utilidade da avaliação restrita à influência no processo decisório levaria a discussão unicamente a questões como "ampliação da oferta cirúrgica", extremamente importante, mas não a ponto de suplantar a consideração ao crescimento/amadurecimento vivido pelos gestores/gerentes.

Diversos autores corroboram essa análise e apontam inclusive, com base em dados empíricos, que o uso instrumental de um processo avaliativo é muito menos frequente do que o apregoado ^9,23,24. "...Os tomadores de decisão são influenciados por uma série de outros fatores, como, por exemplo, as expectativas dos participantes do programa e seus gestores, o apoio dos financiadores, as demandas do poder, os custos da mudança, a capacidade de realização, dentre outras, que acabam por frustrar a sua utilização imediata" ⁹ (p. 13).

A importância excessiva dirigida ao uso instrumental nega o amplo espectro de utilização dos processos avaliativos. A visão de que o conhecimento científico dos especialistas em avaliação deva ser utilizado como recurso-mestre, único, para o desenvolvimento da prática, parece extremamente restrita ²⁵.

De uma perspectiva construtivista, por exemplo, a avaliação transpõe a função de rastreamento de evidências científicas para o processo de gestão, e investe também valor na construção de um conhecimento compartilhado e rico em significados entre os atores sociais, ganhando a possibilidade de assumir outra inserção no corpo social. Configura-se como mais uma tecnologia para fortalecer os distintos interessados nos programas avaliados - inclusive beneficiários, trabalhadores de ponta - nas negociações políticas nas quais precisam se envolver.

Relembrando Freire ²⁶ (p. 32), "como trabalhar, não importa em que campo... sem ir conhecendo as manhas com que os grupos humanos produzem sua própria sobrevivência?".

Na área da Saúde, soma-se o fato de que tais processos de aprendizagem se tornam ainda mais importantes que a influência direta em decisões de programas específicos, já que estas decisões dificilmente podem ser qualificadas como sustentáveis. A estabilidade delas tem o limite do surgimento das inovações tecnológicas ou das mudanças nas relações de poder entre os interessados.

Grande parte das avaliações de programas governamentais na Saúde no Brasil tem por base a verificação do alcance de objetivos planejados segundo critérios nacionais previamente definidos - um modelo estritamente racional da tomada de decisão, referenciado à análise de sistemas ²⁷ - no qual a elaboração objetiva das metas de um programa se colocam acima do conhecimento prático do "dia a dia" das comunidades onde o mesmo é desenvolvido ²⁵. Reforçamos que este é apenas um dos enquadres possíveis para uma avaliação. De um ponto de vista construtivista, processos podem também se conectar ao interesse de indivíduos e grupos locais, evitando a comparação de sua realidade apenas com critérios externos, e facilitando sua aprendizagem e apropriação tanto dos achados como do processo avaliativo ²².

Assim como avaliar, meta-avaliar é uma tarefa que inclui riscos. Pode-se analisar criticamente avaliações concluídas ou em andamento, com base em critérios absolutamente diversos, que nem sempre se tornam suficientemente manifestos. Paradigmas - muitas vezes tão arraigados à estrutura de pensamento de um pesquisador, que lhe parece dispensável referi-los - farão com que seu julgamento tenda à valorização positiva de aspectos que para outros parecerão completamente equivocados ²⁸. Dependendo do referencial utilizado, uma avaliação/meta-avaliação pode priorizar questões administrativas e organizacionais, e ignorar, ou deixar em segundo plano, aquelas ligadas a condições sociais e políticas ²⁹.

Nesta pesquisa, foi feita a escolha metodológica por um modelo de avaliação participativo, aqui tomado segundo a perspectiva de Cousins & Whitmore ³⁰, que o definem como aquele no qual se estabelece uma relação de parceria entre avaliador e interessados na avaliação para a construção conjunta de um conhecimento avaliativo.

Tal escolha se deve à posição de que avaliações realizadas a partir de demandas/interesses específicos de atores locais apresentam maior chance de serem proveitosamente utilizadas, de forma sintonizada a um objetivo maior de desenvolvimento ³¹.

Cabe caminhar no sentido do estabelecimento de uma cultura de avaliação, e de meta-avaliação, na qual a explicitação dos valores subjacentes às análises realizadas esteja sempre presente.

Considera-se, além disso, importante fazer uma ressalva à demanda, atual e crescente, de que a perspectiva de utilização de uma avaliação para a tomada de decisão seja adotada como seu principal guia ^32,33 e, em se tratando da construção do conhecimento científico, de que sua conexão imediata à solução de problemas práticos seja hipervalorizada. Essa é uma ideia corrente e exemplo disso são os financiamentos prioritariamente dirigidos a pesquisas com intensa colaboração entre universidade e gestores/técnicos/práticos ³³. Se por um lado essa direção rompe com o modelo do pesquisador encastelado em seus processos de produção, e amplia vertiginosamente a utilização do conhecimento científico, por outro, surge o receio de que coloque em risco sua própria independência de formulação e rigor ²¹.

O uso de uma avaliação para a tomada de decisão deve ser estimulado, mas priorizá-lo como objetivo primeiro de um processo avaliativo pode implicar riscos éticos ao processo ²⁹. Um exemplo basta para explicitá-los: uma avaliação solicitada por um parceiro governamental terá mais chances de ser utilizada se os seus resultados estiverem em acordo com a política que vem sendo desenvolvida. Essa discussão fica aqui sublinhada por sua possibilidade de enriquecer a concepção de utilização dos processos avaliativos no momento atual.

Neste trabalho, a metodologia de análise baseada na diversidade de influências que pode ter uma avaliação, planejadas ou não, e na sua possibilidade de dispersão no tempo ^9,13,17, permitiu a identificação do desenvolvimento dos gestores nos campos cognitivo, político e até mesmo afetivo, ainda durante o processo realizado; e o vislumbre de sinais de mudanças que ocorrerão em termos de sustentação teórica para ajustes na conversação entre parceiros e a proposição de iniciativas que tornem vivos espaços institucionais de aprendizagem.

Conclusão

Iniciar a análise da utilidade de uma avaliação pelo estudo de um quadro mais amplo de proposições teóricas possibilitou aos autores a compatibilização entre dimensões de análise escolhidas e suas próprias opções teóricas.

Na proposição de um modelo que busca promover junto aos distintos interessados a identificação de novas possibilidades de negociação de poder, as escolhas metodológicas para análise do material empírico - autores, modelos e composição de modelos - foram feitas na busca por descortinar valores não apenas técnicos ou instrumentais.

Os referenciais teóricos propostos por Patton e Kirkhart ampliam as possibilidades de planejamento e análise da utilização de um processo participativo de avaliação como fenômeno social complexo: multidirecional, proveniente das várias possibilidades de encontro entre pessoas, e disperso ao longo do tempo.

Da mesma forma, compreender a avaliação no contexto da tendência atual de consumo do conhecimento científico, ajuda o pesquisador a adotar uma postura crítica em relação ao direcionamento dos processos avaliativos exclusivamente à facilitação da utilização, de forma indiscriminada. A perspectiva de utilização pode ser maior quando a avaliação é planejada e orientada segundo o ponto de vista do proponente, principalmente quando há investimento de recursos financeiros. No entanto, o risco ético deve ser considerado, tendo em vista a busca por assegurar sua qualidade dentro de critérios escolhidos e explicitados.

Agradecimentos

Pesquisa financiada pela Fundação de Amparo à Pesquisa do Estado de São Paulo (FAPESP - Auxílio à Pesquisa processo nº 2011/23434-0, Bolsa de Doutorado processo nº 2012/06204-4, Bolsa Estágio de Pesquisa no Exterior processo nº 2014/22240-6).

Referências

• ¹
  Nickel DA, Natal S, Hartz ZMA, Calvo MCM. O uso de uma avaliação por gestores da atenção primária em saúde: um estudo de caso no Sul do Brasil. Cad Saúde Pública 2014; 30:2619-30.
• ²
  Furtado JP, Laperrière H. Parâmetros e paradigmas em meta-avaliação: uma revisão exploratória e reflexiva. Ciênc Saúde Coletiva 2012; 17:695-705.
• ³
  Pires DA, Colussi CF, Calvo MCM. Avaliação da gestão municipal da saúde bucal na Atenção Básica: precisão do instrumento de pesquisa. Ciênc Saúde Coletiva 2014; 19:4525-34.
• ⁴
  Yarbrough DB, Shulha LM, Hopson RK, Caruthers FA. The program evaluation standards: a guide for evaluators and evaluation users. 3rd Ed. Thousand Oaks: Sage Publications; 2011.
• ⁵
  United Kingdom Evaluation Society. Guidelines for good practice in evaluation. http://www.ader-evaluare.ro/docs/UK%20Evaluation%20Society.pdf (acessado em 13/Nov/2015).
  » http://www.ader-evaluare.ro/docs/UK%20Evaluation%20Society.pdf
• ⁶
  Anderson SB, Braskamp LA, Cohen WM, Evans JW, Gilmore A, Marvin KE, et al. Evaluation Research Society standards for program evaluation. New Directions for Program Evaluation 1982; 15:7-19.
• ⁷
  Cabra-Torres F. El diálogo como fundamento de comunicación ética en la evaluación. Educación y Educadores 2010; 13:239-52.
• ⁸
  Leviton LC, Hughes EF. Research on the utilization of evaluations: a review and synthesis. Eval Rev 1981; 5:525-48.
• ⁹
  Weiss CH. An alternate route to policy influence: how evaluations affect D.A.R.E. Am J Eval 2005; 26:12-30.
• ¹⁰
  Patton MQ. Utilization-focused evaluation. 1st Ed. Thousand Oaks: Sage Publications; 1978.
• ¹¹
  Greene JG. Stakeholder participation and utilization in program evaluation. Eval Rev 1988; 12:91-116.
• ¹²
  Whitmore E. Evaluation and empowerment: it's the process that counts. Empowerment and Family Support Networking Bulletin (Cornell University Empowerment Project) 1991; 2:1-7.
• ¹³
  Patton MQ. Utilization-focused evaluation. 4th Ed. Thousand Oaks: Sage Publications; 2008.
• ¹⁴
  Weiss CH. Knowledge creep and decision accretion. Knowledge: Creation, Utilization, Diffusion 1980; 1:381-404.
• ¹⁵
  Shulha LM, Cousins JB. Evaluation use: theory, research, and practice since 1986. Eval Pract 1997; 18:195-208.
• ¹⁶
  Kirkhart KE. Reconceptualizing evaluation use: an integrated theory of influence. New Directions for Evaluation 2000; 88:5-23.
• ¹⁷
  Kirkhart KE. Culture and influence in multisite evaluation. New Directions for Evaluation 2011; 129:73-85.
• ¹⁸
  Creswell JW. Projeto de pesquisa: métodos qualitativos, quantitativos e mistos. Porto Alegre: Editora Artmed; 2010.
• ¹⁹
  Minayo MCS, Assis SG, Souza ER. Avaliação por triangulação de métodos: abordagem de programas sociais. Rio de Janeiro: Editora Fiocruz; 2008.
• ²⁰
  Minayo MCS. Hermenêutica-dialética como caminho do pensamento social. In: Minayo MCS, Deslandes SF, organizadores. Caminhos do pensamento: epistemologia e método. Rio de Janeiro: Editora Fiocruz; 2002. p. 83-108.
• ²¹
  Hartz ZMA, Denis JL, Moreira E, Matida A. From knowledge to action: challenges and opportunities for increasing the use of evaluation in health promotion policies and practices. In: McQueen DV, Potvin L, editors. Health promotion evaluation practices in the Americas: values and research. New York: Springer; 2008. p. 101-20.
• ²²
  Patton MQ. Utilization-focused evaluation in Africa. Nairobi: Prudence Nkinda Chaiban and Mahesh Patel; 1999.
• ²³
  Figueiró AC, Hartz Z, Samico I, Cesse EAP. Usos e influência da avaliação em saúde em dois estudos sobre o Programa Nacional de Controle da Dengue. Cad Saúde Pública 2012; 28:2095-105.
• ²⁴
  Natal S. Implantação e meta-avaliação, com foco na utilidade, das pesquisas financiadas pelo projeto Fortalecimento da Estratégia DOTS em Grandes Centros Urbanos com Alta Carga de Tuberculose no Brasil - Fundo Global, 2009-2011. Cad Saúde Colet (Rio J.) 2012; 20:137-45.
• ²⁵
  Schwandt TA. The centrality of practice to evaluation. Am J Eval 2005; 26:95-105.
• ²⁶
  Freire P. Pedagogia da autonomia: saberes necessários à prática pedagógica. São Paulo: Paz e Terra; 1996.
• ²⁷
  House ER. Evaluating with validity. Thousand Oaks: Sage Publications; 1980.
• ²⁸
  Santos Guerra M, Olivos T. ¿El momento de lá metaevaluación educativa? Revista Mexicana de Investigación Educativa 2006; IX:913-31.
• ²⁹
  Henry GT. Why not use? New Directions for Evaluation 2000; 88:85-98.
• ³⁰
  Cousins JB, Whitmore E. Framing participatory evaluation. New Directions for Evaluation 1998; 80:5-23.
• ³¹
  Nickel DA, Calvo MCM, Natal S, Freitas SF, Hartz ZMA. Desenvolvimento da capacidade avaliativa na gestão da atenção básica: um estudo de caso exemplar em Santa Catarina, Brasil, de 2008 a 2011. Cad Saúde Pública 2014; 30:839-50.
• ³²
  Weiss CH. Have we learned anything new about the use of evaluation? Am J Eval 1998; 19:21-33.
• ³³
  Denis JL, Lehoux P, Champagne F. A knowledge utilization perspective on fine-tuning dissemination and contextualizing knowledge. In: Champagne F, Lemieux-Charles L, editors. Using knowledge and evidence in health care: multidisciplinary perspectives. Toronto: University of Toronto Press; 2004. p. 18-40.

Datas de Publicação

• Publicação nesta coleção
  2017

Histórico

• Recebido
  01 Jul 2015
• Revisado
  29 Fev 2016
• Aceito
  02 Maio 2016