O uso de uma avaliação por gestores da atenção primária em saúde: um estudo de caso no Sul do Brasil

Use of evaluation by primary healthcare managers: a case study in southern Brazil

Utilización de una evaluación por parte de gestores de la atención primaria: un estudio de caso en el sur de Brasil

Resumos

O objetivo do artigo foi realizar uma meta-avaliação, com foco na utilização, em um estado do Sul do Brasil. Caracterizou-se como estudo de caso único, com coleta de dados primários por meio de entrevistas semiestruturadas com gestores e técnicos de secretarias de saúde. A análise de conteúdo ocorreu por categorias definidas na matriz avaliativa: contexto político-organizacional e implantação da avaliação. Verificou-se que o contexto político-organizacional apresentou fragilidades nos quesitos de experiência, equipe de avaliação e espaço e tempo para reflexão. A autonomia técnica foi verificada no estado e em um município. Na implantação da avaliação a qualidade avaliativa satisfez os critérios, porém não houve uma definição prévia à avaliação dos usos e usuários. Houve relato de uso para planejamento de ações e uso político. Concluiu-se que a avaliação produziu informações importantes aos interessados, sendo o contexto político-organizacional o principal limitante do uso.

Gestão em Saúde; Avaliação em Saúde; Atenção Primária à Saúde

This article reports on a meta-evaluation, focused on utilization, in a state in southern Brazil. This was a single case study with primary data collection using semi-structured interviews with health department administrators and staff. Content analysis used categories defined in the evaluation matrix: political and organizational context and implementation of evaluation. The political and organizational context revealed weaknesses in the items on experience, evaluation team, and time and space for reflection. Technical autonomy was verified in the State and in one municipality. In the implementation of evaluation, evaluative quality met the established criteria, but there was no prior definition of the uses and users of evaluation. One report referred to use for planning actions and political use. The study concluded that evaluation produced important information for stakeholders, with the political and organizational context as the principal limiting factor for use.

Health Management; Health Evaluation; Primary Health Care

El propósito de este artículo es realizar una meta-evaluación, centrándose en el uso, en el sur de Brasil. Se caracterizó como un estudio de caso único con recopilación de datos primarios a través de entrevistas semiestructuradas con directivos y técnicos de los departamentos de salud. El análisis de contenido fue por categorías evaluativas definidas en conjunto: contexto político-institucional e implementación de la evaluación. Se encontró que el contexto político y organizativo mostró debilidades en las categorías de experiencia, equipo de evaluación, así como espacio y tiempo para la reflexión. Se verificó la autonomía técnica en el estado y un municipio. En la aplicación de la revisión de calidad evaluativa los criterios fueron satisfactorios, pero no había una definición previa de los usos de evaluación y usuarios. Existió un uso informado de las acciones de planificación, así como político. Se concluyó que la evaluación produce información importante para los actores y el contexto político-organizativo es el principal factor que limita el uso.

Gestión en Salud; Evaluación en Salud; Atención Primaria de Salud

Introdução

A avaliação fundamentada em padrões estabelecidos ou conhecimento científico é um instrumento para qualificar a gestão pública de saúde. As informações produzidas pela avaliação contribuem em diferentes graus para a decisão, porém por si só não se traduz em ação; é necessário identificar a sua capacidade de produzir informações úteis e que corroborem as necessidades dos potenciais usuários ¹. As consequências das avaliações não estão restritas ao processo decisório, elas influenciam as pessoas ligadas à instituição, ordenando mudanças organizacionais, compondo uma propaganda para beneficiar a imagem da gestão por meio dos resultados positivos da avaliação, dentre outros usos e influências relatados na literatura.

O uso é a consequência da avaliação, um atributo relevante a ser considerado no processo e no resultado avaliativo ². As avaliações, com algumas exceções, ainda têm modesta influência nas políticas públicas, os seus resultados não são imediatamente traduzidos em ações, e o seu uso a médio e longo prazos não tem sido explorado pelos avaliadores^{3 , 4 , 5}. Verificar o uso de avaliação conduzida e financiada por instituições públicas promove uma prestação de contas à sociedade, e demonstra a responsabilidade com os gastos públicos na área da saúde na qual os recursos são sempre escassos e muito disputados⁴.

Existem classificações de tipos de uso: o instrumental refere-se a usos tangíveis e diretos das conclusões ou das recomendações da avaliação para tomar decisões como mudanças no financiamento, na operacionalização de alguma meta³; uso processual faz referência às mudanças no comportamento individual ou organizacional como resultado da participação em uma avaliação, o compartilhamento de experiências, aumento do comprometimento⁶; já o uso simbólico ou político é referente a usos não tangíveis que legitimam ou subsidiam uma decisão já tomada ou posições políticas pré-definidas, ou quando fornecem referência independente e objetiva para justificar ações e argumentar por uma decisão. Há uma importante diferença entre utilizar a avaliação para confirmar uma posição existente e distorcer ou manipular a avaliação ou seus resultados para os propósitos dos interessados³.

Com relação às variáveis que interferem no uso da avaliação, elas dependerão do tipo de avaliação e da pergunta de pesquisa a ser respondida. No entanto, existe uma classificação desenvolvida com base em revisões de literatura por Cousins & Leithwood⁷ e atualizada por Johnson et al.⁸, que apresenta três categorias: características de tomada de decisão ou formulação de políticas; características da avaliação; e participação dos interessados. A primeira diz respeito à cultura organizacional, ou seja, valores das organizações e instituições, normas de trabalho, descrições de cargos e requisitos da função. Também as características individuais como nível de conhecimento sobre avaliação, abertura para mudanças, o relacionamento entre os membros da organização e os avaliadores, e principalmente as polaridades entre os interesses dos atores envolvidos no processo⁹, interferem no uso. As características da avaliação estão relacionadas à sua implantação e condução, à convergência entre os objetivos da avaliação e à expectativa de informação dos atores, à identificação e priorização de potenciais usuários e usos, à comunicação dos achados e ao rigor metodológico ou reconhecimento público dos avaliadores porque aumenta a credibilidade da avaliação. A terceira categoria, participação dos interessados, relaciona-se às características individuais dos atores inseridos na avaliação, seu comprometimento, relevância da avaliação para os interessados, e o seu envolvimento direto.

Na revisão de Johnson et al.⁸, dentre os 41 artigos empíricos que coletavam e analisavam dados, somente cinco datam da década de 2000 e apenas um deles analisou o papel dos interessados na avaliação participativa. Os demais artigos analisaram as variáveis relacionadas com as características da implantação da avaliação e de tomada de decisão.

Em único estudo empírico, publicado em revistas científicas nacionais sobre o uso e influência da avaliação do Programa Nacional de Controle da Dengue¹⁰, houve maior ocorrência de uso na categoria de uso instrumental e de influência da avaliação em tempo imediato (curto prazo) e de fonte processual (durante a realização da avaliação). Os autores identificaram uma correspondência entre a abordagem da avaliação com foco na utilidade e o favorecimento do uso no decorrer da rotina de trabalho na instituição, bem como o interesse coletivo em adotar os produtos e as recomendações da avaliação.

Os elementos citados - foco na utilidade e interesse institucional para o uso da avaliação - estão relacionados aos padrões de meta-avaliação. O termo meta-avaliação foi introduzido por Michael Scriven, em 1969, conceituando-a como qualquer tipo de avaliação cujo objeto é outra avaliação, constituindo um processo de descrição, julgamento e síntese que assegura a sua qualidade¹¹. Fundamenta-se na verificação de coerência teórica, prática e ética da pesquisa aos padrões e critérios validados¹¹. Padrões e critérios para efetuar o julgamento quanto à qualidade da avaliação são divulgados e revisados por instituições especializadas, como a American Evaluation Association e o Joint Committee on Standards for Educational Evaluation¹². A aplicação dos critérios não resume o conceito de meta-avaliação, uma vez que são bastante genéricos e compreendem na sua origem uma cultura diferente da brasileira, baseada nas experiências norte-americanas. A finalidade maior da meta-avaliação é ajudar a avaliação a alcançar três potencialidades: auxiliar a qualificação da intervenção avaliada, instrumentalizar os grupos de interesse envolvidos, e gerar subsídios para o aprimoramento do campo da avaliação ¹³.

O artigo analisa o uso de uma avaliação desenvolvida pela Secretaria de Estado da Saúde de Santa Catarina (SES), na Região Sul do Brasil, considerada um caso exemplar¹⁴ e com boa avaliação quanto à implantação da avaliação para o fortalecimento da capacidade avaliativa¹⁵. As questões investigaram quais as consequências relevantes da avaliação e os fatores que as favoreceram, por meio de entrevistas com gestores estaduais, municipais e profissionais de unidades básicas de saúde. Apresenta caráter qualitativo e, portanto, não tem função comparativa entre os municípios; o foco é identificar o uso e os fatores contextuais e avaliativos que nele interferiram.

Metodologia

Estudo de caso único, com dois níveis de análise do sistema de saúde, estadual e municipal, para meta-avaliar uma intervenção, com foco na sua utilização.

O caso é a Avaliação da Gestão da Atenção Básica desenvolvida pela SES, inserida no contexto de indução da cultura avaliativa pela Política Nacional de Monitoramento e Avaliação da Atenção Básica no Sistema Único de Saúde (SUS), que visava a institucionalizar a avaliação nas secretarias estaduais de saúde e fortalecer a capacidade técnica em monitoramento e avaliação nas secretarias municipais de saúde. A intervenção meta-avaliada foi um dos produtos do projeto de Fortalecimento das Secretarias Estaduais de Saúde em Monitoramento e Avaliação, com início no ano de 2004, e apoio técnico operacional do Núcleo de Extensão e Pesquisa em Avaliação em Saúde vinculado à Universidade Federal de Santa Catarina (NEPAS-UFSC). As etapas de desenvolvimento e aplicação do piloto terminaram em 2006. A avaliação vem sendo aplicada de forma contínua desde o ano de 2008, em todos os municípios do estado. Os objetivos de sua implantação pelo estado foram: desenvolver um modelo de avaliação da atenção básica de pronta resposta ao gestor, realizar as avaliações em 100% dos municípios, identificar os pontos críticos da atenção básica, e divulgar o processo e resultados de forma compreensível aos gestores, técnicos e sociedade civil. Os objetivos de curto prazo visaram a aumentar a capacidade avaliativa e formalizar a avaliação; os de médio e longo prazos, obter melhorias na gestão da atenção básica e melhorias sociais em saúde.

A avaliação apresenta duas dimensões: gestão do sistema municipal de saúde, que reflete a capacidade do gestor de promover o acesso aos serviços de atenção básica; e provimento da atenção básica, que corresponde à garantia da assistência à saúde conforme os princípios de universalidade e integralidade. A primeira dimensão é composta pelas subdimensões atuação intersetorial, participação popular, recursos humanos e infraestrutura, com um total de 16 indicadores. A dimensão de provimento da atenção básica, com as subdimensões: promoção/prevenção e diagnóstico/tratamento, tem como focos a criança, o adolescente, o adulto e o idoso, com um total de 24 indicadores. São ao todo quarenta indicadores, calculados com base em dados secundários dos sistemas oficiais do SUS e de dados primários declaratórios coletados anualmente pela SES por meio de um formulário eletrônico. São realizadas revisões baseando-se nos resultados de cada aplicação, com a finalidade de substituir indicadores não discriminatórios, incluir indicadores de políticas prioritárias e induzir a implantação de novas ações, que ocorrem em oficinas de trabalho com a participação dos técnicos e gerentes da SES e apoio do NEPAS-UFSC. Os resultados das avaliações são divulgados em página institucional online da SES (Avaliação da gestão municipal da atenção básica em Santa Catarina http://portalses.saude.sc.gov.br/index.php?option=com_content&view=article&id=1406%3Aavaliacao-da-gestao-da-atencao-basica-em-santa-catarina-proesf&catid=458&Itemid=464, acessado em 01/Mai/2014) com acesso livre, e em seminário anual com a presença de representantes dos municípios.

A definição do caso decorreu de ser considerado como exemplar, com características únicas: envolvimento direto dos interessados na avaliação e sua continuidade, o que despertou a curiosidade de aprofundar o estudo sobre as suas consequências. A seleção das unidades de análise para este estudo de caso ocorreu com base no desempenho dos municípios nas avaliações no período de 2008 a 2010. Considerou-se que os municípios com os melhores indicadores apresentassem maior chance de utilização da avaliação do que os demais. Para determinar o desempenho, os indicadores municipais foram transformados em uma escala monótona de [0;1], com amplitude de 0 a 40 pontos. Posteriormente, o desempenho do município no período de 2008 a 2010 foi calculado utilizando-se os seguintes valores: (1) média dos três anos da dimensão gestão do sistema municipal de saúde; (2) média dos três anos da dimensão provimento da atenção básica; (3) média dos três anos do valor da soma das duas dimensões, denominada valor geral; (4) média das diferenças entre os valores gerais de 2008-2009 e 2009-2010. Para cada valor médio enumerado foi estabelecido um ranking, sendo que o maior valor alcançado pelo município determinava o primeiro lugar, assim, formaram-se quatro rankings - um para cada valor médio acima citado. Em seguida, as colocações nos rankings foram somadas, de forma que o menor valor determinava o melhor desempenho do município. Esse cálculo permitiu considerar as diferenças entre os valores gerais no período para incluir municípios que apresentaram melhora nos indicadores - aumento do valor na escala monótona - e não somente os que apresentaram os maiores valores nos três anos.

O critério de inclusão foi apresentar um dos cinco melhores conjuntos de indicadores nas avaliações do período, em quatro estratos por porte populacional: porte I - até 10 mil habitantes (n = 172); porte II - de 10 a 50 mil (n = 94); porte III - de 50 a 100 mil (n = 15); porte IV - mais de 100 mil habitantes (n = 12). Portanto, em cada porte, cinco municípios eram elegíveis para o estudo, seguindo a ordem decrescente do ranking de desempenho no conjunto de indicadores. Quatro tentativas de contato foram realizadas com o responsável pela atenção básica nos municípios, em ordem decrescente de classificação, até obter a unidade do estrato. O critério de exclusão foi não apresentar um informante-chave com, no mínimo, dois anos consecutivos de participação do processo avaliativo, com o objetivo de identificar e excluir as unidades em que a memória institucional apresentava interrupções. As unidades de análise investigadas foram a SES, no nível estadual, e quatro unidades no nível municipal, sendo um município de cada estrato populacional (portes I, III e IV), mais a capital do estado (porte IV). O porte II foi excluído do estudo porque dentre os cinco municípios com o melhor conjunto de indicadores neste estrato, dois não aceitaram participar da pesquisa e três apresentavam o critério de exclusão.

A coleta de dados de fonte primária ocorreu por entrevistas semiestruturadas com os gestores municipais e estaduais e profissionais de unidades básicas de saúde. O critério de indicação do entrevistado era ser responsável pela atenção básica no município e ter participado no mínimo em dois anos consecutivos da avaliação. Destaque-se que o responsável pela atenção básica é quem preenche o formulário anual da avaliação e também o contato direto da Gerência de Atenção Básica da SES com o município. A estratégia para determinar o número de entrevistas não pode ser baseada em esgotamento de informações porque havia um número limitado de pessoas que participaram e conheciam o processo da avaliação. Solicitava-se ao primeiro contato que indicasse outros que também tivessem participado da avaliação por pelo menos dois anos consecutivos, para a entrevista. Além dos gestores, foram solicitadas indicações de profissionais de unidades básicas de saúde, resultando em uma indicação em cada unidade de análise, exceto em um município, onde não houve indicação destes profissionais. Entrevistar gestores e profissionais de saúde das unidades básicas teve o intuito de triangular as informações e identificar se a avaliação teve algum uso direto no serviço de saúde e não somente na gestão.

A Table 1 descreve os 15 entrevistados. Os cargos de diretor da atenção básica e coordenador da Estratégia Saúde da Família têm funções equivalentes nos municípios. O pesquisador de campo realizou um pré-teste com o roteiro de entrevista, a fim de verificar o entendimento das questões pelo entrevistado. Esse roteiro continha itens para identificar o contexto político-organizacional da secretaria de saúde, a implantação e desenvolvimento da avaliação. Para identificar os usos, o pesquisador posteriormente organizou as informações de acordo com a matriz e os classificou (por exemplo: alteração no preenchimento do sistema de informação foi classificada como uso instrumental). As entrevistas foram gravadas para a transcrição, com a anuência do entrevistado.

Tabela 1
Descrição dos entrevistados.

Porte	Unidade de análise	n	Cargo
I	A	3	Diretor da atenção básica
			Coordenador de saúde bucal
			Responsável pela unidade de saúde
III	B	4	Coordenador da Estratégia Saúde da Família
			Apoio do setor de planejamento
			Coordenador de saúde bucal
			Responsável pela unidade de saúde
IV	C	3	Coordenador da Estratégia Saúde da Família
			Coordenador de saúde bucal
			Responsável pela unidade de saúde
IV	D	2	Diretor da atenção básica
			Diretor de planejamento
-	SES		Coordenador de acompanhamento e avaliação da atenção básica
			Gerente de planejamento
			Técnico e ex-gerente da atenção básica

• SES: Secretaria de Estado da Saúde de Santa Catarina.

A análise das informações foi feita com análise de conteúdo segundo categorias pré-definidas na matriz avaliativa, elaboradas com base na revisão da literatura prévia e do modelo teórico-lógico, no qual em cinza estão os aspectos aferidos neste artigo (Tabelas 2 e 3; Figura 1).

Tabela 2
Matriz avaliativa: dimensão contexto político-organizacional. Características internas da organização dos níveis municipal e estadual e fatores situacionais que afetam o uso da avaliação.

Categorias/Indicadores	Justificativa/Rationale
Competência dos atores Formação em avaliação Experiência em avaliação	A competência do avaliador é um fator importante para a utilização da avaliação. Competências são combinações de conhecimentos, habilidades e atitudes no desempenho profissional, dentro de determinado contexto organizacional.
Cultura avaliativa na instituição Existência de avaliação Equipe para avaliação Acesso às lideranças políticas Tempo reservado para avaliação Tempo reservado para discussão	A existência de uma avaliação e de uma equipe para desenvolver a atividade na secretaria de saúde é um indício de que ela é considerada importante pela gestão. Indivíduos com acesso às lideranças conseguem mais facilmente apresentar os resultados e influenciar a tomada de decisão baseada na informação. A existência de um tempo para desenvolver a avaliação e a reserva de um momento para discussão sobre o processo estimulam a reflexão e o pensar avaliativo.
Autonomia técnica Adequação da matriz Alteração de indicadores Definição de novos parâmetros	Apropriação dos conceitos de avaliação e sua aplicação segundo as prioridades locais e capacidade de propor e realizar ações ou soluções, com ou sem a assessoria técnica.
Autonomia de recursos Infraestrutura Recursos financeiros Flexibilidade do orçamento	A autonomia de recursos próprios ou a possibilidade de remanejar o orçamento para áreas identificadas como críticas é forma de garantir a continuidade do processo e determina a sua importância na instituição.
Relação institucional Interinstitucional Intrainstitucional	Boas relações institucionais estabelecem parcerias e confiança entre as esferas políticas e reduzem o nível de conflito.
Complementaridade Existência de fontes de informação para decisão	A existência de outras fontes de informação para uso nas decisões poderá induzir o uso da avaliação.

Tabela 3
Matriz avaliativa: dimensão implantação da avaliação. Fatores relativos à avaliação que interferem no uso.

Categorias/Indicadores	Justificativa/Rationale
Qualidade da avaliação Utilidade Viabilidade Propriedade Acurácia	A qualidade da avaliação dá credibilidade aos achados. Utilidade é a identificação e atendimento às necessidades de informação dos interessados; viabilidade é a produção de informações de valor significativo de forma que justifique a realização da avaliação; propriedade é a condução da avaliação de acordo com preceitos éticos para que os envolvidos não se sintam ameaçados ou prejudicados; acurácia é a transmissão das informações aos interessados em tempo hábil e com validade.
Usos e usuários Definição dos usos Definição dos usuários	A identificação dos usos pretendidos e dos usuários da avaliação é anterior ao início da avaliação para que seja conduzida a fim de favorecê-los.
Envolvimento dos interessados Definição do objeto da avaliação Indicadores e parâmetros Coleta de dados Análise de dados Determinação do juízo de valor Divulgação do resultado	Os interessados e usuários previstos são incluídos no processo para se apropriarem da avaliação e reforçar os usos determinados em cada etapa: definição do objeto/desenho da avaliação, definição de indicadores e parâmetros, coleta de dados, análise de dados, determinação juízo de valor, divulgação do resultado.
Divulgação da informação Tradução do conteúdo Meio de divulgação Momento	A divulgação dos achados da avaliação deve ter linguagem e conteúdo fáceis de entender para os diferentes públicos, acesso irrestrito, e ocorrer em diversos momentos, não somente após a conclusão do processo.

Figura 1
Modelo teórico-lógico do uso e influência da avaliação. Fonte: adaptado de Hartz et al. (5).

O Comitê de Ética em Pesquisa com Seres Humanos da UFSC, de acordo com as normas estabelecidas pela Resolução n ^o 196/96 do Conselho Nacional de Saúde, aprovou a pesquisa (n^o 2.424/ 2011).

Resultados

Os resultados estão apresentados de acordo com as dimensões da matriz avaliativa contexto político-organizacional e implantação da avaliação e suas respectivas categorias, e os usos segundo a classificação feita pelo pesquisador na análise das informações.

A dimensão contexto político-organizacional identificou as características internas das secretarias de saúde municipais e do Estado de Santa Catarina, e fatores situacionais atrelados ao uso por meio de seis categorias: competência dos atores, cultura avaliativa, autonomia técnica, autonomia de recursos, relação institucional e complementaridade de informações.

Na categoria de competência dos atores, todos os municípios apresentavam pelo menos um entrevistado com formação em Saúde Pública ou Avaliação, mas somente um entrevistado relatou ter experiência em avaliação: "(...) pouco de experiência tanto de formação [e] também bastante experiência do trabalho" (Apoio do setor de planejamento, município B). Na SES, dois entrevistados relataram procura por formação complementar em avaliação para desempenharem as funções: "(...) fui fazer aula de avaliação na UFSC [Universidade Federal de Santa Catarina] não fazia parte do meu universo esse mundo de avaliação e monitoramento" (Técnico e ex-gerente da atenção básica, SES) e "Participando do grupo da avaliação que fui me interessando (...) fui fazer disciplina de avaliação porque queria entender" (Coordenador de acompanhamento e avaliação da atenção básica, SES).

Na categoria de cultura avaliativa, a SES possui equipe e processos avaliativos em andamento, mas o tempo para desenvolvê-los é escasso: "Não faço só isso (...) é a minha função principal mas as coisas acontecem o tempo todo (...) o ideal é que tivesse pessoas para tocar esses outros processos [não relacionados à avaliação]" (Coordenador de acompanhamento e avaliação da atenção básica, SES) e "Tem duas pessoas que trabalham [na avaliação] e que fazem trezentas coisas (...) no momento que tem um processo de avaliação se dedica mais a isso mas não trabalha com avaliação só" (Gerente de planejamento, SES). O município D relatou outras avaliações em andamento e há dispensa de tempo para realizar a avaliação, portanto foi o único com complementaridade de informações, por meio do pacto de indicadores municipais utilizado pelo setor de planejamento e da atenção básica. Nas outras unidades de análise não existem avaliações em andamento, e o espaço e tempo disponível para discutir a avaliação são esporádicos: "É ruim aqui porque o único tempo que tem é quarta-feira, mas é reunião de equipe e tu não consegue resolver a coisa [discussão de indicadores]" (Coordenador de saúde bucal, município A).

A autonomia técnica para adequação da matriz, mudança de indicadores e parâmetros foi verificada na SES e no município D: "[a atenção básica do município] incorporou indicadores de avaliação da secretaria estadual, assim como do Pacto e do PROESF, componentes de um pacto de indicadores municipais" (Diretor da atenção básica, município D). A autonomia de recursos financeiros para a avaliação apresenta deficiência no estado: "Recurso para ir no município é complicado, [fazer] evento para discutir avaliação não tem [recurso financeiro] (...) por isso é emperrado, não tem autonomia financeira" (Coordenador de acompanhamento e avaliação da atenção básica, SES).

Não foram relatados conflitos significativos na relação institucional entre SES e municípios, ao contrário: "A nova organização da SES possibilita mais acesso, eles [municípios] ligam e perguntam como é que eu faço isso? Como eu leio isso?" (Técnico e ex-gerente da atenção básica, SES) e alguns informantes relataram a relação entre a secretaria e a UFSC: "Com a ida da [nome do coordenador de avaliação] para a divisão, tem essa influência porque coincidiu com ida [do coordenador de avaliação] pra universidade" (Gerente de planejamento, SES) e nos municípios B e D: "Lá [na UFSC] tive oportunidade de fazer mestrado em cima da avaliação (...) tive as disciplinas próprias da avaliação (...) faço parte do NEPAS [grupo de pesquisa em avaliação da UFSC] (...) acho que por isso a gente conseguiu aproveitar melhor essa questão da avaliação aqui, tentou repassar algumas coisas" (Coordenador de Saúde Bucal, município B) e "Queríamos juntar indicadores e fazer um pacto, que os indicadores fizessem sentido para a secretaria (...) constituiu um grupo de trabalho (...) a [nome da professora da UFSC] apoiou em várias oficinas e ajudou muito" (Diretor de planejamento, município D).

Na subdimensão de implantação da avaliação, o objetivo foi identificar fatores relativos à avaliação que interferem na sua utilização, por meio de suas quatro categorias: qualidade da avaliação, usos e usuários, envolvimento dos interessados, e divulgação da informação. Na primeira categoria, aferiu-se a qualidade por intermédio dos quesitos de utilidade (significa o atendimento às necessidades de informação dos interessados, o caso estudado teve suas consequências úteis relatadas pelos entrevistados), de viabilidade (a avaliação é viável política e financeiramente, fato comprovado pela sua continuidade), de propriedade (determina a condução da avaliação segundo os preceitos éticos, o caso não apresentou relatos de desrespeito ao indivíduo ou às instituições participantes ou afetadas pela avaliação), e de acurácia (significa transmitir as informações aos interessados em tempo hábil e com a devida validade, este quesito foi satisfeito devido à divulgação em seminário estadual e página online apresentando o processo e os resultados da avaliação). Não houve uma definição dos usos e usuários prévia e o envolvimento dos interessados ligados aos municípios ocorreu em apenas um momento, na coleta de dados: "Só foi pedido (...) precisava coletar e que fosse atrás para conseguir os dados" (Coordenador de saúde bucal, município B). Na SES houve envolvimento dos atores desde a fase inicial da avaliação até a divulgação dos resultados: "Já tinha sido feito uma discussão grandona (...) porque esse primeiro momento foi diretor, superintendente, era uma linha hierárquica maior, aí num segundo momento é que tava fechando os indicadores era a participação basicamente da [Gerência da] atenção básica" (Gerente de planejamento, SES). Segundo os entrevistados, a tradução do conteúdo nos relatórios utilizou linguagem técnica e foi acessível, bem como o meio de divulgação, exceto nos municípios D e C onde a divulgação para as equipes de saúde não ocorreu: "A gente não divulgou pras equipes que ficou bem [colocado na avaliação]" (Diretor da atenção básica, município D) e "Acho que as pessoas nem sabem [da avaliação]" (Responsável pela unidade de saúde, município C). Percebeu-se divergência quanto ao momento e forma de divulgação da avaliação no município B, onde os informantes responsáveis pela atenção básica relataram uma reunião para apresentar os resultados às equipes de saúde: "Sim, sim, a gente passou na época pra todas equipes (...)" (Coordenador da Estratégia Saúde da Família, município B), e contrapondo: "Foi sentado com alguns setores pra melhorar, mas sentar geral não, dessa avaliação específica não foi feito não" (Coordenador de saúde bucal, município B), e "Como que é essa avaliação, quais são os indicadores, qual é o objetivo, né?, só que pra nós não chega (...)" (Responsável pela unidade de saúde, município B).

A seguir, são apresentados os usos identificados pelo pesquisador com base na organização e análise das informações das entrevistas. O uso dos resultados para planejamento de ações (uso instrumental) foi relatado pelos entrevistados dos municípios A e B que utilizaram as reuniões de equipe para mostrar os resultados e encontrar soluções: "(...) aonde tava vermelhinho ou mesmo o que precisava melhorar era discutido em equipe e daí era colocado em ação" (Diretor da atenção básica, município A) e "(...) era uma coisa importante o que foi perguntado na avaliação, foi a partir dali que começou a dar valor algumas coisas que antes não dava" (Coordenador de saúde bucal, município B). Foram citados exemplos: organização do atendimento, excesso do número de consultas médicas, e demanda: "Tem que usar né?, porque tu faz uma avaliação, se tá tendo muita consulta o por que tem tanta" (Diretor da atenção básica, município A) e "Priorizar as biópsias (...) teve atendimento a outras faixas etárias (...) várias unidades agora realizam agendamentos que na época era demanda" (Coordenador de saúde bucal, município B). O município D utilizou indicadores da avaliação para montar o pacto de indicadores municipal: "(...) tinha alguns indicadores que coincidiam com o que a gente tava pensando sobre longitudinalidade do cuidado (...) e agregou isso num painel de indicadores municipais" (Diretor da atenção básica, município D). Por outro lado, o município C não relatou uso instrumental: "Não, não foi sentado para fazer um novo planejamento (...) infelizmente não foi feito" (Responsável pela unidade de saúde, município C).

Nos municípios A e B ocorreram usos diretos (instrumental) em momentos diferentes: "Essa avaliação serviu para isso também, a gente tava fazendo as próteses desde 2010 e não estava sendo informado" (Diretor da atenção básica, município A), e "A gente não chegou a pegar o resultado, mas mesmo durante avaliação que foi coletar os dados foi importante porque daí começou a comparar com os dados que tinha para ver o que tava com falta" (Coordenador de saúde bucal, município B).

As falas retratam o reconhecimento externo e a força política para afirmar a qualidade das ações (uso simbólico ou político): "Divulgação com outros municípios, teve gente que veio aqui saber como funcionava nossa unidade (...) viram nossos resultados, como eles conseguem alcançar tal ponto" (Responsável pela unidade de saúde, município A) e "[a avaliação] só foi usada pra reforçar posições (...) como argumento técnico político (...) tá lá em cima da minha mesa a plaquinha [da premiação do município] isso ajuda a atenção primária fazer o bate boca dentro da secretaria" (Diretor da atenção básica, município D). Em contraponto, houve relato de uso para propaganda da gestão pelo informante do município C: "Então o gestor toma para si essa premiação e vai correndo buscar [o prêmio], o secretário de saúde toma para ele e depois a gestão toma para ela" (Responsável pela unidade de saúde, município C).

A imagem da avaliação como fiscalização foi quebrada ao longo do período de aplicação, dando espaço ao conceito de avaliação pedagógica para a qualificação do serviço (uso processual), "Existia o medo da avaliação, a gente conseguiu conversar e mostrar qual o sentido da avaliação, já se percebe essa necessidade dos próprios profissionais para serem avaliados" (Coordenador de saúde bucal, município B).

Há momentos de diálogo sobre o processo e os resultados da avaliação entre os técnicos da SES responsáveis pelas macrorregiões de saúde e os municípios componentes; no estado o uso da avaliação tem sido para orientar as diretrizes da atenção básica aos municípios e discutir os indicadores mal-avaliados (uso instrumental): "Estão se apropriando, tem municípios que conhecem e sabem [da avaliação] tem outros que começaram a entender a partir do apoio institucional da SES; nos nossos encontros com os coordenadores e das equipes dos municípios eu mostrava a matriz com o desempenho deles (...) tu ensina a acessar (...) hoje os meus setenta e três municípios sabem direitinho quem eles são e onde eles estão [na colocação da avaliação em comparação com os outros municípios]" (Técnico e ex-gerente da atenção básica, SES). O uso processual ocorreu na SES, segundo um informante as oficinas para alteração da matriz qualificaram os técnicos, pois entraram em contato com o assunto: "As pessoas começavam a entender e olhar avaliação de outro jeito" (Coordenador de acompanhamento e avaliação, SES).

Discussão

Intervenção é um sistema organizado de ação que visa, em determinado ambiente e período, a modificar o curso previsível de um fenômeno para corrigir uma situação problemática, e tem os componentes: estrutura, atores e suas práticas, processos de ação e uma ou várias finalidades¹⁶. A avaliação é um processo em que os avaliadores e interessados criam, conjunta e colaborativamente, uma construção valorativa e consensual de um objeto avaliativo visando à sua qualificação; portanto, qualquer dispositivo de avaliação é em si uma intervenção, e suscetível de se tornar objeto avaliativo ¹⁶, tal como a avaliação da gestão da atenção básica, meta-avaliada com foco na sua utilização.

As principais características dos componentes dessa intervenção, o envolvimento dos interessados em todos os processos da avaliação para atuar como meio de instrução e aprendizagem, o contexto organizacional e a integração entre instituições - universidade e secretaria de saúde ¹⁴ - influenciaram as decisões para o uso da avaliação. Verificou-se uma sólida relação de integração entre ensino e serviço no nível de análise estadual que favoreceu a apropriação de novos conceitos e visões sobre a intervenção; nos municípios este processo ocorreu mais tardiamente, com destaque para as unidades B e D.

A escolha da metodologia teve como base o objetivo do estudo, a abordagem qualitativa por meio do estudo de caso permite o aprofundamento no tema, identificando o contexto em que o caso está inserido, ao mesmo tempo em que tem caráter exploratório¹⁷. A coleta de dados foi viável nas múltiplas unidades e nos dois níveis de análise, adaptada ao projeto de replicação criado baseando-se em estratos populacionais, e a definição de mais de um entrevistado em cada unidade aumenta a validade do constructo¹⁷. Os fatos científicos são baseados em um conjunto de casos que replicam o mesmo fenômeno sob condições diferentes, nos estudo de caso as proposições teóricas são generalizáveis, e não há preocupação de generalizações nas populações¹⁷. A exclusão da unidade de porte II não prejudicou os achados porque no estudo de caso as unidades de análise não representam uma amostragem, seu objetivo é generalizar e expandir as teorias¹⁷; a limitação ocorre pelo desconhecimento quanto à aplicação da teoria em uma unidade de análise com contexto referente a um município de estrato populacional de 10 a 50 mil habitantes.

Apesar da preocupação em utilizar informações do processo avaliativo, percebida nas entrevistas, o desenvolvimento da capacidade em monitoramento e avaliação nos municípios é restrito, com ênfase no monitoramento de informações epidemiológicas, demográficas e financeiras, e menor preocupação com aspectos da avaliação participativa, como o de despertar a reflexão crítica sobre as práticas¹⁸. Esse fato está refletido no contexto político-organizacional não favorável ao uso. Na esfera estadual percebeu-se um contexto mais favorável, com a existência de equipe para avaliação e autonomia técnica, mas com fragilidades, sendo a falta de autonomia financeira a principal delas. A situação é paradoxal uma vez que o processo avaliativo está no organograma e há comprometimento dos atores entrevistados, mas quando vista a partir da quantidade de recursos disponíveis a avaliação não é prioridade.

A identificação das diferenças nos contextos dos níveis de análise estadual e municipal permite considerações a respeito do grau de participação dos atores e da conciliação entre a informação gerada e a necessidade do gestor com o uso da avaliação, e também a respeito dos papéis de avaliador e avaliado. Não houve participação direta das Secretarias Municipais de Saúde na construção do modelo e definição de indicadores e parâmetros, coube à SES o papel de operacionalizar estas fases. As secretarias municipais participaram como avaliadas, tendo como funções o preenchimento do formulário de dados e o repasse das informações entre os setores e equipes de saúde, retroalimentando o processo para o estado. Igualmente caberia ao gestor municipal, diante do resultado da avaliação, atuar em linhas apontadas como deficitárias em parceria com a SES, que atuaria como uma apoiadora institucional na definição de estratégias mais amplas.

Essa cooperação entre as esferas municipal e estadual delimita um complexo quadro de necessidade e uso, bem refletido na separação dos objetos avaliativos em níveis: macro, que lida com formulação de políticas; o meso com a sua operacionalização na gestão; e o micro, que atua na prática dos prestadores de serviços de saúde, e permite identificar distintas lógicas de interação e ação social, que demandam indicadores específicos e estratégias de mudança diferenciadas ¹⁹. Enquanto a SES propõe uma avaliação da gestão da atenção básica, no nível macro, os municípios agem nos planos meso e micro com a definição de estratégias para cumprir o planejamento da política estadual implantada. Dessa forma, mesmo com papéis diferentes em uma mesma intervenção, ambos alcançam a utilidade das informações mais adequadas ao foco de ação.

Os usos diretos e indiretos reportados na literatura são: reorganização de ações, mudanças individuais cognitivas e comportamentais, desenvolvimento organizacional, compartilhamento de conhecimentos, aumento do comprometimento, mudança de perspectiva sobre a avaliação, ajuda na definição dos gastos, demonstração de legitimidade aos potenciais financiadores e atração de recursos financeiros^{3 , 4 , 8}. Outro estudo brasileiro sobre utilização de avaliação identificou o uso instrumental como o mais relatado ¹⁰; neste estudo de caso o uso mais claro é o político, e o uso instrumental para planejamento de ações ocorreu no município de menor porte populacional (porte I), provavelmente por conta do acesso às lideranças⁸, já que o gestor está mais próximo da equipe de saúde - até geograficamente. No município de grande porte, unidade de análise C, não houve divulgação dos resultados e relato de uso, o que corrobora a afirmação de que quanto menor o conhecimento e apropriação do processo, menor a chance de uso^{6 , 8}.

Algumas hipóteses são formuladas para se compreender melhor os resultados observados. A primeira é que os usos político e instrumental são mais reportados pelos municípios porque os entrevistados não participaram da fase de construção do modelo e matriz avaliativa, enquanto que o estado, além do uso instrumental, relatou uso processual para aprendizagem em monitoramento e avaliação porque participou de todas as fases de desenvolvimento da avaliação. A avaliação com participação ativa dos interessados e de acordo com as suas necessidades faz com que eles se apropriem do processo; também com este envolvimento o avaliador capacita-os e reforça os usos em cada etapa da avaliação^{6 , 8}. A segunda é que o contexto político-organizacional é o principal motivo para a subutilização, a organização das secretarias municipais não prevê a função de monitoramento e avaliação, e não disponibiliza estratégias que despertem a cultura avaliativa, por exemplo, discussões entre os profissionais e gestores.

Para integrar a avaliação em um sistema organizacional são necessários três requisitos: estrutura, que são os propósitos e recursos atribuídos; práticas avaliativas; e utilidade, que é a relação estabelecida entre a gestão e a tomada de decisão²⁰. Portanto, há um longo percurso até a institucionalização da avaliação, fruto de um trabalho colaborativo das instâncias, de conquista de espaço político para alcançar a autonomia dos recursos necessários, e do fortalecimento da capacidade avaliativa dos envolvidos, "através de processos formais e continuados de aprendizagem, em que erros e falhas, resultantes de inovações ou experimentos com vistas a melhores resultados, não são punidos e sim computados como lições aprendidas"²⁰ (p. 833).

Por fim, retomam-se as três potencialidades da avaliação que devem ser levadas em consideração na meta-avaliação: auxiliar a qualificação do objeto avaliado, empoderar os grupos envolvidos e gerar subsídios para o contínuo aprimoramento teórico e prático do campo avaliativo¹³. A apresentação da opinião do ente avaliado convida ao seu empoderamento por meio do diálogo com o avaliador para a melhoria contínua do processo, e também possibilita responder ao questionamento básico da meta-avaliação: Qual a capacidade da intervenção produzir informações e julgamentos necessários para a melhoria do desempenho dos sistemas de saúde?²⁰. Conclui-se que a intervenção cumpriu em certa medida as potencialidades citadas porque a qualificação do objeto está ligada à instrumentalização dos grupos de interesse e aos subsídios para o aprimoramento teórico e prático, ou seja, é por intermédio da capacitação dos atores que a gestão da atenção básica ganha qualidade. Finalmente, com a documentação e divulgação dos estudos nessa temática cria-se uma fonte de subsídios para o aprimoramento do campo da avaliação.

Agradecimentos

Agradecemos à Gerência de Atenção Básica da Secretaria de Estado da Saúde de Santa Catarina, e às secretarias municipais de saúde dos municípios que participaram da pesquisa. Ao CNPq e Capes pelo financiamento.

Referências

• ¹
  Contandriopoulos AP. Avaliando a institucionalização da avaliação. Ciênc Saúde Coletiva 2006; 11:705-11.
• ²
  Henry GT, Mark M. Beyond use: understanding evaluation's influence on attitudes and actions. Am J Eval 2003; 24:293-314.
• ³
  Sandison P. The utilisation of evaluations. In: Sandison P, editor. The utilisation of evaluations: ALNAP review of humanitarian action in 2005. Evaluation utilisation. London: Active Learning Network for Accountability and Performance in Humanitarian Action; 2006. p. 89-142.
• ⁴
  Gertler PJ, Martinez S, Premand P, Rawlings LB, Vermeersch CMJ. Impact evaluation in practice. Washington DC: World Bank; 2011.
• ⁵
  Hartz ZM, Santos EM, Matida A. Promovendo e analisando o uso e a influência das pesquisas avaliativas. In: Hartz ZM, Felisberto E, Vieira-da-Silva LM, organizadores. Meta-avaliação da atenção básica à saúde, teoria e prática. Rio de Janeiro: Editora Fiocruz; 2008. p. 325-40.
• ⁶
  Patton M. Utilization focused evaluation. In: Stufflebeam DL, Madaus GF, Kellaghan T, editors. Evaluation models. Boston: Kluwer Academic; 2000. p. 425-38.
• ⁷
  Cousins JB, Leithwood KA. Current empirical research on evaluation utilization. Rev Educ Res 1986; 56:331-64.
• ⁸
  Johnson K, Greenseid LO, Toal SA, King JA, Lawrenz F, Volkov B. Research on evaluation use: a review of the empirical literature from 1986 to 2005. Am J Eval 2009; 30:377-410.
• ⁹
  Contandriopoulos D, Brousselle A. Evaluation models and evaluation use. Evaluation 2012; 18:61-77.
• ¹⁰
  Figueiró AC, Hartz Z, Samico I, Cesse EAP. Usos e influência da avaliação em saúde em dois estudos sobre o Programa Nacional de Controle da Dengue. Cad Saúde Pública 2012; 28:2095-105.
• ¹¹
  Cooksy LJ, Caracelli VJ. Quality, context, and use: issues in achieving the goals of meta-evaluation. Am J Eval 2005; 26:31-42.
• ¹²
  Yarbrough DB, Shulha LM, Hopson RK, Caruthers FA. The program evaluation standards: a guide for evaluators and evaluation users. 3(rd) Ed. Thousand Oaks: Sage; 2011.
• ¹³
  Furtado JP, Laperrière H. Parâmetros e paradigmas em meta-avaliação: uma revisão exploratória e reflexiva. Ciênc Saúde Coletiva 2012; 17:695-705.
• ¹⁴
  Nickel DA, Calvo MCM, Natal S, Freitas SF, Hartz ZMA. Desenvolvimento da capacidade avaliativa na gestão da atenção básica: um estudo de caso exemplar em Santa Catarina, Brasil, de 2008 a 2011. Cad Saúde Pública 2014; 30:839-50.
• ¹⁵
  Alves CKA, Carvalho EF, Cesse EAP, Natal S, Bezerra LCA, Felisberto E. Análise da implantação de um programa com vistas à institucionalização da avaliação em uma Secretaria Estadual de Saúde. Rev Bras Saúde Matern Infant 2010; 10 Suppl 1:s145-56.
• ¹⁶
  Champagne F, Contandriopoulos AP, Brousselle A, Hartz ZMA, Denis JL. A avaliação no campo da saúde: conceitos e métodos. In: Brousselle A, Champagne F, Contandriopoulos AP, Hartz Z, organizadores. Avaliação: conceitos e métodos. Rio de Janeiro: Editora Fiocruz, 2011. p. 41-60.
• ¹⁷
  Yin RK. Estudo de caso: planejamento e métodos. 4(a) Ed. Porto Alegre: Bookman; 2010.
• ¹⁸
  Miranda AS, Carvalho ALB, Cavalcante CGC. Subsídios sobre práticas de monitoramento e avaliação sobre gestão governamental em Secretarias Municipais de Saúde. Ciênc Saúde Coletiva 2012; 17:913-20.
• ¹⁹
  Conill EM. Sobre os impasses dos usos da avaliação para a gestão: não é preciso inventar, nem basta simplificar. Ciênc Saúde Coletiva 2012; 17:834-6.
• ²⁰
  Hartz ZMA. Meta-avaliação da gestão em saúde: desafios para uma "nova saúde pública". Ciênc Saúde Coletiva 2012; 17:832-4.

Datas de Publicação

• Publicação nesta coleção
  Dez 2014

Histórico

• Recebido
  13 Fev 2014
• Revisado
  02 Maio 2014
• Aceito
  04 Jun 2014