A relação entre o avaliador e o objeto avaliado

The relationship between evaluator and the evaluated object

ARTIGOS ORIGINAIS ORIGINAL ARTICLES

A relação entre o avaliador e o objeto avaliado

The relationship between evaluator and the evaluated object

Katia Virginia de Oliveira Feliciano

Grupo de Estudos de Avaliação em Saúde. Instituto Materno Infantil Prof. Fernando Figueira, IMIP. Rua dos Coelhos, 300. Boa Vista. Recife, PE, Brasil. CEP: 50.070-550. E-mail: [e-mail]

RESUMO

Em um contexto onde o desenvolvimento do processo de institucionalização da avaliação da atenção básica requisita a participação dos envolvidos, fazendo crescer as dúvidas quanto à possibilidade de isenção dos avaliadores internos diante dos elementos de fracasso que forem identificados no trabalho cotidiano, este artigo discute uma questão que permeia toda prática avaliativa: a relação entre o avaliador e o objeto de avaliação. Adota-se a perspectiva de que na atenção à saúde o objeto da avaliação não é exterior ao avaliador e está inserido em uma rede simbólica que justifica os interesses e comporta uma interpretação da ação. Na inclusão do monitoramento e da pesquisa avaliativa à rotina dos serviços, a realização de uma análise relativamente distanciada resulta do reconhecimento de que a neutralidade é uma ilusão, ou seja, é a capacidade de aceitar as possibilidades de preconceber os fatos que permite, mediante um exercício prático sistemático, admitir a realidade como ela é, não como se gostaria que fosse. Assim, quanto mais se alcança um equilíbrio crítico e auto-crítico entre condições objetivas e subjetivas, mais se desvela a realidade.

Palavras-chave: Avaliação, Institucionalização

ABSTRACT

In a context where the institutionalization process of basic attention evaluation requires the participation of those involved, doubts are raised concerning the possibility of exemption of internal evaluators in the face of failure elements identified in daily work and the object of evaluation. A perspective is adopted relative to healthcare that the object of evaluation is not detached from the evaluator and is inserted in a symbolic network justifying interest and ensuing an action interpretation. When including monitoring and research related to services routine, a relatively unbiased analysis results from the recognition that neutrality is an illusion, or, the ability of accepting the possibilities of preconceiving the facts permitting, through a systematic practical exercise, to admit reality as it is, and not as one would hope for. Therefore, the more a criticism and self-criticism balance between objective and subjective conditions is reached the more reality one unravels.

Key words: Evaluation, Institutionalization

Introdução

A principal finalidade da avaliação em saúde é aprimorar a capacidade de oferecer adequada atenção e melhor condição de saúde aos cidadãos. A avaliação solicita a articulação de uma proposta de natureza técnica-política com a prática daqueles que estão executando e usufruindo às ações de saúde, sendo compreendida e vivenciada de diferentes modos pelos que dela participam. Como as ações dos envolvidos no processo de implantação são concretamente pautadas pelos pressupostos e interesses conformados nos diversos contextos, é comum que a realização das atividades modifique o desenho original das políticas de saúde.^1,2 Logo, para evitar uma compreensão restrita e distorcida do que se está avaliando, é prudente empregar como referência, além dos princípios gerais que norteiam a avaliação e dos critérios e regras técnicas aplicados, a contínua e imprescindível rede de interação entre formuladores de política, planejadores, gestores, profissionais de saúde, usuários e não-usuários, instituições do setor e de fora do setor saúde.^3-5

Lobo⁶ afirma que só por meio da institucionalização, isto é, tornando-se uma atividade regular de governo, a avaliação poderá se constituir em um importante instrumento de tomada de decisão a respeito das políticas públicas. Tal processo demanda a superação das resistências ao que é considerado como o papel essencialmente fiscalizador e burocrático da avaliação, além da construção de capacidade institucional. O que requer a capacitação dos profissionais para a coleta, ordenamento e análise de dados, utilizando os resultados advindos da avaliação, o desenvolvimento de estratégias, métodos e técnicas para atender a situações diferenciadas, assim como a definição sobre a quem compete executar as tarefas previstas. Acerca desse último elemento, Sulbrandt citado por Lobo,⁶ sugere a criação de unidades próprias dentro das diversas estruturas organizacionais com a função de coordenar o processo de avaliação dos programas.

Stevenson et al.⁷ lembram que diferentes significados podem ser atribuídos à capacidade institucional. De uma perspectiva, essa capacidade poderia ser desenvolvida tendo como referência os conceitos da "organização que aprende", isto é, com base no reconhecimento pelo nível local da utilidade da avaliação continuada, construída como parte do processo de planejamento, de tal modo que torne exeqüível o máximo aproveitamento das informações produzidas. De outra, poderia efetivar-se mediante a atuação de um "centro de recursos" disponível para apoiar a avaliação em todos os serviços que executassem determinadas ações programáticas, estando a capacidade institucional para a prática avaliativa localizada no nível regional do sistema a quem compete à prestação de assessoria técnica. Uma terceira possibilidade compreenderia uma combinação das duas anteriores.

A experiência de Stevenson et al.⁷ aponta o modelo combinado como o mais fecundo para o incremento da capacidade institucional de avaliação nos contextos que necessitam fomentar a capacidade interna para a operação das etapas iniciais do processo avaliativo, tais como a definição das questões a serem avaliadas, a escolha do referencial teórico, a formulação dos objetivos, os caminhos a serem seguidos para alcançar os objetivos e a coleta de dados; e contar com o apoio externo para o processamento e a análise de dados. Esses constatam uma ampla variação no crescimento da capacidade avaliativa do nível local, mas o maior aporte de assessoria técnica está sistematicamente relacionado com o aumento dessa capacidade. Por isso, a recomendação de que os "centros de recursos" e dos serviços locais desenvolvam um processo colaborativo de aprendizagem.

A institucionalização da avaliação implica em assumir novas responsabilidades, executar novas tarefas, dentre as quais adquire particular importância, a reflexão crítica sobre o cotidiano do trabalho, trazendo implícita a transformação do conjunto de idéias, valores e práticas que caracterizam a cultura da organização.^3,7 É fato que toda mudança tem condições organizacionais próprias que favorecem ou desfavorecem o processo cultural de alteração dos valores. A capacitação dos profissionais de saúde e a criação de estruturas para coordenar a avaliação são etapas necessárias da institucionalização,^5-7 mas que têm um caráter transitório⁵ devido à baixa potencialidade para assegurar a continuidade da avaliação. A constituição de uma cultura avaliativa requer mudanças profundas nas concepções e no dia-a-dia do trabalho, estando referida aos significados que as informações e os conhecimentos venham a adquirir no processo de legitimação das decisões relativas ao planejamento local.

É com base no conhecimento da realidade que devem ser negociados e estabelecidos pactos entre os membros da equipe, a equipe e a comunidade, a equipe e os níveis de maior densidade tecnológica, assim como entre a equipe e as distintas instâncias organizacionais de dentro e de fora do setor saúde. O processo de institucionalização explicita a dimensão política da avaliação, implicando no comprometimento de todos os envolvidos em uma ampla rede de negociações. Em síntese, torna-se necessário incluir como preocupação cotidiana uma dialética complexa entre o interno e o externo. Cresce, portanto, a importância do avaliador interno e pretende-se que ocorra outro tipo de interação entre esse e o avaliador externo.

Para alguns autores,^2,6 entretanto, não tem sentido o governo avaliar o próprio governo, por isso sugerem o reforço de avaliadores externos que sejam de entidades acadêmicas ou do setor não governamental. Esse posicionamento decorre, principalmente, das dúvidas quanto à possibilidade dos profissionais que estão comprometidos com a implantação de uma dada estratégia de atuação se manterem isentos diante dos elementos de fracasso que forem identificados na prática cotidiana. Esta pretensa ausência de imparcialidade constituindo-se em uma falta de rigor metodológico, tornaria os relatórios de acompanhamento em "avaliações" destituídas de valor avaliativo. É baseado no princípio de neutralidade do observador, o qual concebe a isenção de juízos de valor como antecedente necessário da validade, que se conferem valores diferenciados aos julgamentos que resultam do monitoramento das ações, em comparação com aqueles originados de uma pesquisa avaliativa. Porém, questionase também a qualidade dos dados coletados no dia-a-dia dos serviços.

São pertinentes as críticas às deficiências que comprometem a coleta de dados feita pelos que estão "dentro" do processo de trabalho em curso.^2,6 Ao discutir o Sistema Único de Saúde (SUS) pela ótica do planejamento estratégico situacional, Ferreira⁸ afirmou que o plano de implantação desse sistema, em geral, havia chegado apenas ao momento normativo em que foi estabelecido o desenho "do que deve ser feito" para modificar uma determinada situação de saúde. Isso é coerente com o que ocorre na estratégia saúde da família, pois embora o Ministério da Saúde⁹ reitere nos documentos o caráter essencial do monitoramento das ações, vinculando-o aos processos de decisão, e da necessidade de realizar a programação das atividades, não é habitual que as equipes analisem as possibilidades de operacionalização do modelo proposto e tampouco concretizem esta etapa do planejamento em saúde.

Na ausência de um projeto de intervenção local, diante da acirrada competição de necessidades, das concepções arraigadas sobre o caráter burocrático dos sistemas de informação³ e do despreparo das equipes para lidar com os dados,^2,4,6 torna-se remota a necessidade de avaliar a conformidade do que está sendo executado, o que termina reforçando a produção de dados que são encaminhados para outros níveis organizacionais sem que sejam utilizados pelo nível local. A programação e o recurso à supervisão como educação continuada e estratégia gerencial são essenciais para assegurar o monitoramento. A falta de uma reflexão sistemática sobre os elementos constituintes da organização e da execução do trabalho compromete a qualidade da informação, já que sem o exercício da crítica persistem os problemas na padronização da coleta e no registro de dados.¹⁰

Merece reparo, contudo, a associação direta entre a validade da avaliação e a colocação do avaliador exterior ao objeto que estuda, para evitar a contaminação de informações e conhecimentos com os valores individuais. Pouco informadas ou desinformadas sobre o "porque" e o "para que" de avaliações que respondem à solicitação dos financiadores de programas ou à iniciativa de instituições acadêmicas, as equipes técnicas e administrativas sentem que seu cotidiano é invadido por alguém que pode ter dificuldade para compreender o processo de trabalho e as interações entre os envolvidos.^4,5,11

Embora seja pouco habitual que os resultados da avaliação cheguem aos informantes, a sua associação à auditoria ou ao controle externo tende a fazer com que as recomendações finais pareçam ameaçadoras. É pertinente lembrar que a maneira como esses informantes definem o papel do observador tem profundas repercussões sobre a validade das conclusões derivadas de dados coletados.

Em uma conjuntura em que o Ministério da Saúde, através do Departamento de Atenção Básica da Secretaria de Atenção à Saúde, confere prioridade a institucionalização da avaliação, isto é, ao processo de inclusão do monitoramento e da investigação avaliativa à rotina dos serviços, mediante a realização de um conjunto de ações voltadas para o fortalecimento e ou desenvolvimento da capacidade técnica dos diversos níveis do sistema de saúde,¹² sobressai-se uma questão que permeia toda a prática avaliativa: a relação entre o avaliador e o objeto de avaliação. Esse artigo foi escrito para compartilhar algumas reflexões sobre a realização de uma avaliação que adote, simultaneamente, um procedimento rigoroso para examinar os diversos componentes da gestão, do cuidado e do impacto nas condições de saúde e um procedimento participativo para valorizar a produção de respostas para as questões apresentadas por aqueles que vivenciam a realidade avaliada, de modo a ampliar a utilização de seus resultados.

A relação entre o avaliador e o objeto avaliado

A avaliação em saúde não é um processo exclusivamente técnico, mas permanece subordinada aos critérios da ação racional teleológica,¹³ seja como "ação instrumental" - orientada por regras técnicas que buscam organizar os meios que são adequados ou inadequados para alcançar um controle eficiente da realidade; ou "ação estratégica" - orientada por estratégias deduzidas de preceitos que ensinam a fazer bem aquilo que se empreende, possibilitando a valoração correta ou incorreta de possíveis alternativas de comportamento; ou ainda como uma combinação das duas. Desse modo, destaca, essencialmente, o "sentido cognitivo" de conhecimentos e informações que proporcionem resultados capazes de permitir um maior domínio das situações, enquanto encobre o comprometimento da avaliação com o "sentido prático" de mediação de compromissos sobre a melhor forma de agir.

O predomínio dessa racionalidade torna a avaliação dependente de uma lógica que, ao salientar os julgamentos que resultam da aplicação de regras técnicas e estratégicas descontextualizadas, obscurece o fato de que os significados e valores constitutivos das práticas de distintos sujeitos operam simultaneamente, de forma articulada ou não, solicitando a construção de acordos obtidos mediante o compartilhamento de convicções e de pactos alcançados por meio da negociação de interesses conflitantes. O questionamento é inerente a todo uso da linguagem, assim, como pré-condição para realização da comunicação, deve haver a possibilidade de reinterpretar não apenas o que é dito, mas a própria situação de fala. Em situações e contextos específicos, a idéia da construção intersubjetiva do discurso pode ser distorcida pela assimetria na regras de produção do diálogo e pela desigualdade na distribuição dos papéis aos falantes.

É o reconhecimento social das desigualdades de autoridades técnicas e científicas que tem permitido justificar a assimetria para produzir, validar e expressar as competências e conhecimentos, seja no âmbito das práticas de saúde, nas relações entre o usuário e os membros da equipe, sobretudo entre o usuário e o médico; seja no campo da avaliação entre os avaliadores e os avaliados, situação em que se acresce a autoridade política. A função ideológica, nesse último exemplo, é legitimar a pretensão de neutralidade do avaliador externo, ocultando os valores e interesses que orientam as suas escolhas. É preciso atentar que em uma sociedade onde a linguagem científica alcançou o valor de um mito indiscutível, a ideologia esconde-se atrás dessa linguagem com a pretensão de realizar a justificação mais convincente de que a ciência é um lugar nãoideológico.¹⁴

Constituindo-se como um fenômeno social, o objeto da avaliação em saúde não é estranho, tampouco exterior ao avaliador.^15,16 Essa identidade entre sujeito e objeto é decorrente do fato de que ao analisar a organização e as práticas de saúde, o avaliador está lidando com aspectos que lhe dizem respeito pessoal e socialmente. Além do mais, o objeto da avaliação em saúde é intrinsecamente ideológico, na medida em que a realidade social, sempre, possui uma rede simbólica que justifica os interesses e comporta uma interpretação do contexto onde ocorre a ação. Para Ricoeur,¹⁴ o que a ideologia interpreta e justifica é a relação com as autoridades, o sistema de autoridade, o qual se distingue pelo modo como se processa a sua legitimação. Ao invés de buscar a eliminação da ideologia, já que a neutralidade não passa de uma ilusão, deve-se pretender a convivência crítica que reduza a incursão excessiva de juízos de valor.

É tendo como referência à demarcação científica da avaliação que Contandriopoulos et al.¹⁷ diferenciam os julgamentos que resultam da aplicação de critérios e normas (avaliação normativa) daqueles que são estabelecidos a partir de procedimentos científicos (pesquisa avaliativa), mas afirmam que a utilização das informações e dos conhecimentos produzidos é condição necessária, já que a avaliação está implicada na tomada de posição sobre o sucesso e ou o fracasso da ação sob apreciação. Assim, no que concerne aos objetivos e a forma de utilização das informações, esses autores divergem da visão predominante na literatura internacional sobre o tema onde são definidas fronteiras rígidas entre a avaliação para a decisão e a pesquisa avaliativa,¹⁸ estando esta última direcionada à produção de conhecimento cientificamente válido, voltado para confirmação ou negação de hipóteses explicativas de determinados fenômenos, não sendo a sua finalidade primordial fornecer subsídios para aqueles que formulam e implementam políticas e programas.

Tanaka e Melo¹⁹ estão de acordo com as concepções hegemônicas no tocante às diferenças na cientificidade dos distintos tipos de avaliação, enquanto Uchimura e Bosi (2002: 1563)²⁰ questionam o paradigma positivista ao sustentar que:

"[...] a análise de programas ou de seus constituintes à luz de critérios e normas, sejam estes cientificamente estabelecidos, ou não, consiste, sim, em uma atividade científica, que requer, para sua execução, determinado rigor metodológico".

No âmbito da avaliação da promoção da saúde, Potvin et al.²¹ adotam uma posição que privilegia a fecundidade das informações produzidas, independentemente do tipo de avaliação, quando consideram ultrapassada a distinção entre monitoramento de programas, avaliação de processo e de resultados, tendo em vista que todos contribuem tanto para a melhoria das estratégias de intervenção como para a acumulação de conhecimentos no campo investigado.

Apesar das reconhecidas limitações de avaliações que apenas correlacionam o desenvolvimento das ações programáticas à aplicação de normas e ao cumprimento de metas, a avaliação normativa não representa um conhecimento acrítico, crédulo. Esse tipo de avaliação tem um referencial que orienta as decisões frente à realidade, abarcando os preceitos técnicos e estratégicos para a concretização de procedimentos e atividades, além dos critérios para a adequação de recursos materiais, humanos e tecnológicos. Aqui também, por motivos óbvios, busca-se a validade e a confiabilidade da mensuração. Convém destacar, contudo, que a pesquisa avaliativa encerra uma maior complexidade teórico-metodológica que exige outros conhecimentos e um avaliador com experiência no campo da pesquisa.¹⁹

Em nome da neutralidade da posição do observador, a concepção que associa a racionalidade científica à produção de um conhecimento válido, de algum modo legitima a separação entre o avaliador e o seu objeto de avaliação. Ressaltam-se as desvantagens atribuídas ao avaliador interno, quais sejam, fazer parte da estrutura cotidiana de poder, talvez aspirar ganhos pessoais, inibir a expressão de opiniões pelos usuários e poder ter dificuldade para expressar juízos de valor, tendendo a minimizar os elementos de fracasso do programa.^2,6 Daí a desvalorização dos relatórios de acompanhamento e a compreensão de que as avaliações precisam ser realizadas por órgãos independentes. Nessas circunstâncias, para Saul¹¹ (2000: 50):

"[...] A relação que se estabelece entre o pesquisador e o pesquisado é de natureza passiva: o objeto deve fornecer evidências para o avaliador que as julga ou que as organiza e sintetiza, oferecendo-as ao julgamento do decisor".

No âmbito de uma separação rígida entre avaliação para a decisão e pesquisa avaliativa, conforme revisão de Novaes,¹⁸ apenas na realização da primeira a participação do avaliador interno é tida como essencial, mas, em decorrência da suspeição sobre a imparcialidade, dos objetivos e modos de utilização das informações produzidas, não lhe é atribuída nenhum caráter científico. No entanto, as discussões atuais têm se encaminhado no sentido de, paralelamente, reforçar a utilização de um procedimento rigoroso no processo avaliativo, em qualquer tipo de avaliação, e desvincular a questão da posição do avaliador em relação ao objeto avaliado dos pressupostos positivistas a respeito da natureza do real.

São muitas as críticas feitas a avaliação pelo caráter externo e a busca de objetividade na pretensão de separar valores e fatos.^3,4,11 A necessidade de dar conta do real, explorá-lo, expressá-lo de forma fundamentada e adequada, requer o reconhecimento da simultaneidade e complementaridade do significado e intencionalidade inerentes às estratégias e práticas de saúde e das condições objetivas para operar o modelo de organização proposto. A desconsideração da capacidade de gestores, profissionais e usuários avaliarem e emitirem juízos sobre o mundo do trabalho acentua a tensão entre norma e realidade, já que encobre o fato de que as regras técnicas e estratégicas são perpassadas por suposições de validade que podem ser problematizadas. Nesse sentido, segundo Habermas (1989: 82).²²

"[...] A imposição de normas está duplamente codificada, porque os motivos para o reconhecimento de pretensões de validez normativas podem remeter tanto a convicções quanto a sanções, ou a uma mescla complicada de discernimento e violência. [...] Esses amálgamas, porém, são interessantes na medida em que constituem um indício de que não basta a entrada em vigor positivista das normas para assegurar duradouramente sua validez social".

Com os fundamentos da ciência que valorizam a objetividade e neutralidade do pesquisador sendo questionados, tem sido dada uma ênfase crescente à possibilidade de realizar um processo avaliativo que contemple as questões e os julgamentos a serem realizados a partir dos distintos posicionamentos dos grupos de implicados com um programa ou serviço de saúde.^4,5,11 Os procedimentos participativos permitem uma apropriação reflexiva e socializada entre os formuladores, gestores, prestadores de serviços e beneficiários da ação em curso, além disso retira o avaliador da posição solitária de único agente valorativo, tendo em vista que o valor atribuído é construção de um coletivo. Carvalho⁴ considera que a avaliação participativa persegue com novas abordagens metodológicas dois objetivos centrais: incorporar os grupos envolvidos nas ações públicas e desencadear um processo de aprendizagem social.

A avaliação participativa ainda é percebida com certa reserva científica, já que sacrificaria a objetividade e neutralidade em favor da utilidade social da pesquisa.^4,5,11 Todavia, ao pretender alcançar uma compreensão mais detalhada e profunda da implantação de modelos assistenciais e programas, esse tipo de avaliação recorre ao cruzamento de múltiplos pontos de vista para desenvolver uma visão cooperativa a partir de uma série de informantes e de diferentes procedimentos de coleta de dados. O recurso às diferentes abordagens, aos diversos olhares possibilita uma maior aproximação a uma situação particular e concreta, ou seja, uma maior objetivação na busca de uma análise realista. Desse modo, cumpre com o critério interno mais importante da cientificidade,¹⁵ portanto, não dispensa o rigor metodológico.

Há de considerar que a avaliação participativa requer do avaliador, além da competência necessária para o desenvolvimento de uma avaliação qualificada, habilidades de mediação e estimulação do processo compartilhado por meio de questionamentos, informações e esclarecimentos.^4,5,11 O diálogo é uma categoria central desse tipo de avaliação, independentemente da sua especificidade teórico-metodológica e da maior ou menor contribuição do elemento externo. São as relações dialógicas que criam os espaços de negociação, tornando possível (ou não) a concordância entre os juízos críticos acerca das necessidades de saúde e das formas diferenciadas de operar as ações de saúde que expressam a especificidade das interações dentro da equipe e entre esta e a população. Assim, é mais realista aceitar que o sujeito não é neutro e a partir daí buscar a possibilidade de redução da falta de isenção de juízos de valor.¹⁵

Para Mendes-Gonçalves¹⁶ é fundamental assumir, metodologicamente, a inseparabilidade entre sujeito e objeto do conhecimento, explicitando a vinculação necessária de toda investigação sobre fenômenos sociais a posições de valor. Sobressai a postura ativa do pesquisador que não é concebido como um registrador de dados, nem como um veículo para a introdução de 'visões de mundo' nos resultados da pesquisa. Aqui, o objeto do conhecimento é construído de forma metódica pelo pesquisador, por meio do encadeamento de aspectos selecionados da multiplicidade de fenômenos que se apresentam à experiência. A validade do conhecimento obtido é medida pelo confronto com o real e não com quaisquer valores ou opiniões dominantes.

Qualquer que seja a finalidade da pesquisa, para Morin²³ a relação entre sujeito e objeto é dinâmica, dialética, no sentido de mútua influência. Logo, o pesquisador está sempre envolvido afetiva, histórica, conceitual e profissionalmente, devendo explicitar as suas implicações. De acordo com Habermas,²² compreender o que é dito exige a "participação" e não a mera "observação". As implicações mais importantes dessa perspectiva são: 1) os pesquisadores não se colocarão na posição adotada por aqueles que dizem simplesmente "como as coisas se passam", mas daqueles que procuram "compreender o que lhes é dito", assim renunciam à suposta neutralidade da posição privilegiada do observador, estando envolvidos nas negociações sobre o sentido e a validez de discursos e práticas.

Estas posições traduzem a intenção de assumir os conflitos que decorrem do processo de aproximação à realidade, salientando a dialética da participação e do distanciamento sempre retomada na interação entre o avaliador e o avaliado. Assim, no intento de manter uma relação que seja o mais transparente possível, opta-se por uma prática enriquecida pela reflexão, de modo a alcançar um equilíbrio crítico e autocrítico entre condições objetivas e subjetivas. Reconhece-se o lado formal da realidade e da atividade científica, que precisa de sistematização, de rigor lógico, de competência. Porém, concordando com Demo (1989: 84)²⁴ quando lembra que:

"A realidade social em parte é dada, em parte é feita. Não há sujeito objetivo, mas é fundamental controlar a ideologia, não pelo distanciamento farsante, mas pelo enfrentamento aberto, no espaço da estratégia da discutibilidade"

Essa ponderação que é produto de um exercício prático sistemático para construção de uma consciência crítica, constitui-se como uma necessidade quando a pretensão de criar um ambiente favorável ao fortalecimento ou desenvolvimento de condições organizacionais para que o processo avaliativo venha a ser parte integrante da rotina dos serviços básicos de saúde, de tal modo que mantenha o seu fluxo de benefícios ao longo do tempo, motiva o papel indutor do governo central na institucionalização da avaliação.¹² É interessante ressaltar a oportunidade desse empreendimento, pois, como enfatiza Bodstein,¹ a implementação da atenção básica pelo município tem propiciado o surgimento de uma diversidade de contextos locais, o que torna indispensável avaliar processos e resultados intermediários que possam evidenciar a ocorrência (ou não) de mudanças significativas, assim como contribuir para uma posterior validação do impacto.

O monitoramento, cujo sentido advém de seu compromisso com a discussão e a reformulação periódica do trabalho, é um instrumento básico da avaliação processual. Apesar de restrito aos aspectos nucleares do trabalho planejado, ou seja, ao "que é feito" por referência ao que "se pode e/ou se deve fazer", solicita o debate reflexivo sobre as práticas locais e os contextos onde as mesmas estão inseridas, introduzindo as necessidades de saúde, as potencialidades e os limites diante das necessidades postas, além dos pressupostos, valores e sentimentos sobre as condições de saúde e o desempenho dos serviços.¹⁰ Até porque a legitimidade das decisões sobre prioridades, objetivos e estratégias, está referida à programação pactuada com a comunidade das atividades a serem executadas pela equipe.

Contudo, o monitoramento não pode dar conta da complexidade das inter-relações envolvidas na prestação de atenção em saúde, o que torna imprescindível a realização de pesquisas avaliativas para complementar a avaliação continuada, rotineira, das ações de saúde.²⁵ Atualmente, essas pesquisas têm sido motivadas, sobretudo, por questões colocadas a partir da experiência e do referencial teórico de pesquisadores externos. Porém, qualquer que seja a posição do pesquisador com relação ao objeto de estudo, o seu enfoque deveria estar voltado para a apreensão do fenômeno em seus movimentos e em sua interação com o contexto, criando espaços para a expressão das diferentes percepções e questões dos grupos de implicados. No âmbito da institucionalização, é pertinente destacar o compromisso com a capacitação e desenvolvimento desses grupos, estimulando o fortalecimento das redes de negociação para a construção de mudanças.

As mudanças pretendidas pelo processo de institucionalização da avaliação se apóiam nas possibilidades de todos os envolvidos na prestação de serviços de saúde questionarem as interpretações de necessidades no campo da avaliação, isto é, de submeterem à revisão crítica as interpretações tradicionais sobre os saberes e as práticas que lhes são concernentes. Pressupõem, portanto, que novos sistemas de valores relativos à avaliação podem ser formados a partir da transformação dos contextos, já que diante da criação e recriação de necessidades os valores vigentes perderiam a sua conexão com uma satisfação tecnicamente adequada de necessidades reais. Habermas²⁶ ao refletir sobre a relação entre o potencial social da técnica e o mundo da vida manifesta a expectativa de situações que favoreçam o poder político de um pensamento ligado ao diálogo, capaz de dar andamento a uma discussão que relacione o saber e poder técnicos com o saber e querer práticos.

A perspectiva positivista tem repercussões negativas na institucionalização da avaliação à medida que utiliza como referência uma relação entre saber especializado e político que encaminha os processos de tomada de decisão pelo modelo tecnológico, subestimando a essencialidade da mediação do progresso técnico com a prática da vida social. Restringe, por conseguinte, o andamento de uma discussão que relacione as oportunidades de satisfação possibilitadas pela técnica e a autocompreensão das necessidades práticas, criando obstáculos para a atividade crítica dirigida ao conhecimento e à ação. Assim, inibe o surgimento de demandas provocadas pelo conflito de interesses e, conseqüentemente, as implicações da avaliação com o estabelecimento de pactos mediante os quais as instituições, as coletividades e as pessoas, podem coordenar seus planos de ação e alcançar suas metas, denotando a disposição cooperativa para estabelecer compromissos.

São várias as proposições no que concerne a uma abordagem mais ampla da avaliação, as quais, com o intento de descortinar o sentido prático de mediação de pactos, salientam os elementos encontrados nos enfoques que visam à aprendizagem social e organizacional, logo, os elementos que formalizam a avaliação como um dispositivo de mudança. Apoiados em um referencial construtivista, Guba e Lincoln²⁷ propuseram um método de construção e reconstrução da realidade cujo caráter interpretativo requer comparação e contraste entre os diferentes pontos de vista, propiciando a capacitação e criando espaços para negociar as transformações. No entanto, observa-se que apesar do avaliador externo participar de todo processo, os autores dão pouca ênfase à operacionalização das contribuições vindas de fora dos grupos de interesse.

Destaca-se também o construtivismo do Método da Roda que

"[...] se propõe a trabalhar objetivando a constituição de coletivos organizados, o que implica construir capacidade de análise e de co-gestão para que os agrupamentos lidem tanto com a produção de bens e serviços, quanto com sua própria constituição" (Campos; 2000: 36).²⁸

Ao incluir questões do avaliador externo que compartilha temas, documentos, interpretações e viabiliza a negociação, esse método enfatiza a conjugação do olhar de "fora" e do olhar de "dentro", trazendo como contribuição à avaliação participativa a introdução sistemática de um relativo grau de externalidade, desde que um elemento não pertencente ao grupo atua como o "apoiador institucional". A presença desse condutor do processo avaliativo permite revisar e superar eventuais resistências diante da diversidade de pontos de vista e das discordâncias entre os participantes.

No campo da educação, Saul¹¹ propõe o que denomina de avaliação emancipatória, a qual se caracteriza como um processo de análise e crítica de uma dada realidade visando a sua transformação. Comprometida com a autodeterminação dos participantes por meio da capacitação e desenvolvimento dos envolvidos e da construção da capacidade de análise e de co-gestão, estimula uma participação ampla e diversificada dos elementos, contemplando tanto o consenso quanto o dissenso. O avaliador que assume o papel de coordenador do trabalho avaliativo e de um orientador dessas ações deve de preferência integrar a equipe de planejamento e implementação das ações. Partindo do princípio de que a tarefa científica pode ser realizada com os recursos locais, mesmo nas situações mais insatisfatórias, sugere uma abordagem teórico-metodológica mais modesta para adequar-se ao nível atual de desenvolvimento na maioria dos contextos locais.

A institucionalização está relacionada com a participação efetiva daqueles potencialmente afetados por eventuais conseqüências da avaliação, com a sua capacidade de assumir a crítica da sua própria ação, mediante procedimentos de reflexão sobre a sua prática, e de reconhecer a sua responsabilidade e compromisso na tomada de decisões e encaminhamentos das mesmas. Logo, pode ser apreendida como a resultante de uma grande construção coletiva, cujo poder de transformação não se restringe à competência na realização de tarefas técnicas, mas abrange também o processo de conscientização. Há de atentar para a importância que pode assumir as características da interação entre o avaliador interno e o avaliador externo sobre a tomada de consciência que prepara os envolvidos para a responsabilidade da decisão.

Considerações finais

No percurso de inclusão do monitoramento e da investigação avaliativa à rotina dos serviços, é o reconhecimento de que a neutralidade é um mito que permite superar a ilusão da isenção de juízos de valor, aspecto essencial para a realização de uma análise ou interpretação relativamente distanciada. Essa ponderação é produto de uma consciência crítica capaz de aceitar suas possibilidades de preconceber os fatos e por meio de um exercício prático sistemático de admitir a realidade como ela é, não como gostaria que fosse. Observa-se que, nesse sentido, o processo de conscientização, o qual não pode existir fora da práxis, ou seja, sem que o ato reflexão-ação-reflexão seja parte indissociável da implantação de programas e serviços, é um teste de realidade, pois quanto mais conscientização, mais se desvela a realidade.^15,24

Com o processo de institucionalização sendo compreendido como aprendizagem social e institucional, à medida que crescem as exigências de posicionamento dos avaliadores internos diante das políticas, programas e do trabalho em saúde e suas finalidades aumenta, também, a necessidade de discutir a contribuição do elemento externo na avaliação participativa. Aspecto fundamental, quando se pretende apreender globalmente o processo de trabalho em saúde, é a capacidade de dar conta do caráter específico dos acordos, dos jogos de interesses e das estratégias que permeiam as relações entre os interessados, os quais podem provocar posturas cristalizadas advindas de reiterações, auto-referência e paralisação frente a temas considerados tabus.

Nessas circunstâncias, o que deveria sobressair é a perspectiva da triangulação de avaliadores, a qual relaciona a participação de avaliadores de formações e experiências diferenciadas ao desenvolvimento de uma visão cooperativa. Aqui é pertinente ressaltar a convergência com a opinião de Furtado,⁵ acerca da inclusão do avaliador externo, qual seja, que conceber um avaliador como potencialmente capaz de efetuar contribuições efetivas, é assumi-lo como inserido no processo, o que mostra a impropriedade de esperar uma asséptica separação entre sujeito e objeto de estudo. A tomada de posição dos avaliadores que estão "dentro" ou "fora" da gestão, dos serviços e das práticas avaliadas é orientada por valores e interesses.

Em um contexto onde a ênfase na premissa teórica da externalidade entre avaliador e objeto avaliado continua propiciando que os avaliados associem a avaliação à idéia de constrangimento,¹¹ é justamente a legitimidade que os modos participativos de avaliar alcançaram entre os interessados nas ações que tem motivado as proposições nesse campo. Ainda que a avaliação participativa possa ser relacionada à maioria dos objetivos explicitados dos processos avaliativos,¹⁷ considerando o seu caráter estratégico (contribuir para o planejamento da intervenção) e fundamental (para o progresso dos conhecimentos), a sua grande força decorre de seu potencial formativo, já que é inegável que os seus resultados ganham maior legitimidade entre os grupos envolvidos na ação, o que fortalece a sua capacidade de melhorar uma intervenção no seu decorrer.

Cabe lembrar que é o princípio da democracia que torna manifesta a possibilidade dos participantes do processo avaliativo olharem criticamente as propostas de ação e arbitrarem entre interesses conflitantes, tendo em vista a formação de um pacto. De acordo com Habermas,²⁹ esta é a opção possível quando existe assimetria de poder entre os envolvidos, a exemplo da avaliação em saúde. Para atenuar os potenciais de ameaça advindos dessa assimetria e garantir a eqüidade dos compromissos, de modo que a negociação seja considerada como uma "combinação" entre as partes, são regulados: o direito à participação, o tipo de temas e contribuições, a permissão de sanções, entre outros. Na combinação, o pacto é obtido de modo não-coercitivo, mas não traduz uma "maneira de ver" comum, podendo ser aceito por razões "diferentes": considerações racionais de vantagens e desvantagens, hábito arraigado e reconhecimento da autoridade do inter-locutor.

É a liberdade comunicativa que assegura a legitimidade da avaliação, conforme abre espaço para a concretização da coerência entre a autonomia do julgamento de cada um e a expectativa do consenso de todas as pessoas que dizem respeito à discussão prática.¹³ Porém, a falta de hábito no compartilhamento da responsabilidade pode se manifestar na contradição entre a prática e o discurso. Segundo Ricoeur,³⁰ a única maneira de compensar os deslocamentos da liberdade, do campo da iniciativa individual ao campo da decisão coletiva, é fazer participar o maior número possível de indivíduos na discussão e na decisão. Assim, os desafios que abarcam a expectativa de continuidade implícita na institucionalização, ressaltando o conjunto de meios e mediações que a avaliação põe em jogo, torna essencial criar condições para a formação e renovação de uma vontade comum pelos membros de um grupo, de uma comunidade.

Isso remete à complexidade e singularidade do processo de construção de uma avaliação que não se atenha ao acompanhamento e fiscalização das ações em saúde, mas que, também, seja um espaço para a capacitação e a conformação de uma rede de compromissos. É justamente a tão buscada quanto difícil articulação da qualidade técnica e científica com a intervenção social que pode vir a ser a grande contribuição da institucionalização da avaliação aos novos paradigmas da produção de conhecimento. Com sua importância decorrendo das repercussões que a revisão crítica de saberes e práticas podem ter sobre a qualificação dos grupos de implicados para atuar no modelo tecnológico de organização das práticas de saúde.

Recebido em 27 de setembro de 2005

Versão final apresentada em 25 de outubro de 2005

Aprovado em 3 de novembro de 2005

Este artigo foi produzido no Contexto da Cooperação UNESCO e Ministério da Saúde, Projeto 914BRA1061 ATENÇÃO BÁSICA - PRODOC. As opiniões aqui expressas são de responsabilidade do autor e não refletem necessariamente a visão da UNESCO sobre o assunto.

• 1. Bodstein R. Atenção básica na agenda da saúde. Ciênc Saúde Coletiva 2002; 7: 401-12.
• 2. Arretche MTS. Tendências no estudo sobre avaliação. In: Rico EM, organizador. Avaliação de políticas sociais: uma questão em debate. 3. ed. São Paulo: Cortez; 2001. p. 29-39.
• 3. Merhy EE. Em busca de ferramentas analisadoras das tecnologias em saúde: a informação e o dia a dia de um serviço, interrogando e gerindo trabalho em saúde. In: Merhy EE, Onocko R, organizadores. Agir em saúde: um desafio para o público. 2. edição. São Paulo: Hucitec; 2002. p. 113-50.
• 4. Carvalho MCB. Avaliação participativa - uma escolha metodológica. In: Rico EM, organizador. Avaliação de políticas sociais: uma questão em debate. 3. ed. São Paulo: Cortez; 2001. p. 87-94.
• 5. Furtado JP. Um método construtivista para a avaliação em saúde. Ciênc Saúde Coletiva 2001; 6: 165-81.
• 6. Lobo T. Avaliação de processos e impactos em programas sociais: algumas questões para reflexão. In: Rico EM, organizador. Avaliação de políticas sociais: uma questão em debate. 3. ed. São Paulo: Cortez; 2001. p. 75-84.
• 7. Stevenson JF, Florin P, Mills DS, Andrade M. Building evaluation capacity in human service organizations: a case study. Eval Program Plan 2002; 25: 233-43.
• 8. Ferreira JAV. Planejamento em saúde: dificuldades na implantação do Sistema Único de Saúde. Disponível em: http://www.sopravariar.hpg.ig.com.br/dificuldades_sus.htm [2003 abril 17].
• 9. Ministério da Saúde. A implantação da unidade de saúde da família. Brasília (DF); 2000. (Cadernos Atenção Básica: Programa de Saúde da Família, 1).
• 10. Ministério da Saúde. Secretaria de Políticas de Saúde. Departamento de Atenção Básica. Monitoramento na atenção básica de saúde: roteiros para reflexão e ação. Brasília (DF); 2004.
• 11. Saul AM. Criando um novo paradigma. In: Saul AM. Avaliação emancipatória: desafios à teoria e à prática de avaliação e reformulação de currículo. 5. ed. São Paulo: Cortez; 2000. p. 53-74.
• 12. Felisberto E. Monitoramento e avaliação na atenção básica: novos horizontes. Rev Bras Saúde Matern Infant 2004; 4: 317-321.
• 13. Habermas J. Teoria de la acción comunicativa. 2. ed. Madrid : Taurus; 1988.
• 14. Ricoeur P. Ciência e ideologia. In: Ricoeur P. Interpretação e ideologias. 4. ed. Rio de Janeiro: Francisco Alves; 1990. p. 63-75.
• 15. Demo P. Introdução à metodologia da ciência. São Paulo: Atlas; 1991.
• 16. Mendes-Gonçalves RB. O processo da pesquisa, as questões teóricas e metodológicas. In: Mendes-Gonçalves RB. Tecnologia e organização social das práticas de saúde. São Paulo: Hucitec, ABRASCO; 1994. p. 15-54
• 17. Contandriopoulos AP, Champagne F, Denis JL, Pineault, R. A avaliação na área da saúde: conceitos e métodos. In: Hartz MZA, organizadora. Avaliação em saúde: dos modelos conceituais à prática na análise de implantação de programas. Rio de Janeiro: Fiocruz; 1997. p. 29-47.
• 18. Novaes MHD. Avaliação de programas, serviços e tecnologias em saúde. Rev Saúde Pública 2000; 34: 547-59.
• 19. Tanaka OY, Melo C. Reflexões sobre a avaliação em serviços de saúde e a adoção das abordagens qualitativa e quantitativa. In: Bosi MLM, Mercado FJ, organizadores. Pesquisa qualitativa de serviços de saúde. Petrópolis: Vozes; 2004. p. 121-36.
• 20. Uchimuri KY, Bosi MLM. Qualidade e subjetividade na avaliação de programas e serviços em saúde. Cad Saúde Pública 2002; 18: 1561-9.
• 21. Potvin L, Haddad S, Frohlich K. Beyond process and outcome evaluation: a comprehensive approach for evaluating health promotion programmes. In: Rootman IG, Hyndman B, MacQueen DV, Potvin L, Springett J, Ziglio E. eds. Evaluation in health promotion: principles and perspectives. Copenhagen: World Health Organization; 2001. p. 45-62.
• 22. Habermas J. Ciências sociais reconstrutivas versus ciências sociais compreensivas. In: Habermas J. Consciência moral e agir comunicativo. Rio de Janeiro: Tempo Brasileiro; 1989. p. 37-60.
• 23. Morin E. Problemas de uma epistemologia complexa. In: Morin E. O problema epistemológico da complexidade. Lisboa: Martim; 1996. p. 13-34.
• 24. Demo P. Neutralidade científica. In: Demo P. Metodologia científica em ciências sociais. 2. ed. São Paulo: Atlas; 1989. p. 70-85.
• 25. Hartz MZA. Pesquisa em avaliação da atenção básica: a necessária complementação do monitoramento. Divul Saúde Debate 2000; 21: 29-35.
• 26. Habermas J. Progresso técnico e mundo social da vida. In: Habermas J. Técnica e ciência como 'ideologia'. Lisboa: Edições 70; 2001. p. 45-92.
• 27. Guba EG, Lincoln YS. Guidelines and checklist for constructivist (a.k.a. fourth generation) evaluation. Disponívelem:http://geocities.com/HotSprings/Villa/4308/avafis.htm? [2005 maio 20].
• 28. Campos GWS. Eixos de conformação do método. In: Campos GWS. Um método para análise e co-gestão de coletivos: a constituição do sujeito, a produção de valor de uso e a democracia em instituições: o método da roda. São Paulo: Hucitec;2000. p. 21-65.
• 29. Habermas J. Direito e democracia: entre facticidade e vali-dade. Rio de Janeiro: Tempo Brasileiro; 1997. v.1
• 30. Ricoeur P. Tarefas do educador político. In: Ricoeur P. Em torno ao político. São Paulo: Loyola; 1995. p. 145-60.

Datas de Publicação

• Publicação nesta coleção
  23 Fev 2006
• Data do Fascículo
  Dez 2005

Histórico

• Aceito
  03 Nov 2005
• Revisado
  25 Out 2005
• Recebido
  27 Set 2005