Meta-avaliação de um processo participativo no fortalecimento da gestão municipal

RESUMO

OBJETIVO

Meta-avaliar, com foco na participação, um processo avaliativo desenvolvido por secretários e assessores municipais de uma região de saúde do estado de São Paulo, tendo em vista a necessidade de reflexão teórica sobre práticas de avaliação participativa na área da Saúde no contexto brasileiro.

MÉTODOS

Pesquisa qualitativa que utilizou, para análise do material empírico, o referencial desenvolvido por Daigneault e Jacob (2009), englobando três dimensões da participação: direção do processo avaliativo, diversidade dos participantes e extensão do envolvimento dos mesmos. Foram destacadas decisões ou aspectos contextuais que fizeram com que a opção participativa fosse aprofundada ou limitada no processo em foco.

RESULTADOS

Identificou-se a presença e importante atuação de atores interessados “não especialistas em avaliação”, por meio da participação tanto na direção do processo avaliativo como em suas diferentes etapas. O grupo formado partiu de seus próprios incômodos somados à necessidade de informação e reflexão para a definição do tema e escopo da avaliação; a utilização do processo por eles planejada guiou a definição dos dados a serem coletados e o formato da disseminação dos resultados; a análise do material empírico foi empreendida de forma conjunta pelos participantes. No tocante à terceira dimensão, foi identificada uma limitação quanto à diversidade de atores envolvidos em função da priorização da possibilidade de trabalho aprofundado com um grupo fixo de gestores.

CONCLUSÕES

Afirma-se que não existe um “modelo ideal de participação” para avaliações. Em determinados contextos e estruturas, oportunidades reais de participação – mesmo que pareçam frágeis à primeira vista – devem ser aproveitadas, exigindo, para tanto, flexibilidade e reflexão crítica por parte dos responsáveis pelos processos avaliativos, visando a empreender as adequações que se fizerem necessárias.

Avaliação em Saúde, métodos; Avaliação de Processos (Cuidados de Saúde; Planejamento Participativo; Gestor de Saúde; Tomada de Decisões; Administração de Serviços de Saúde; Pesquisa Qualitativa

ABSTRACT

OBJECTIVE

To evaluate, with a focus on participation, an evaluation process developed by municipal managers and administrators of a health region in the state of São Paulo, considering the need for theoretical reflection on participatory health practices in the Brazilian context.

METHODS

Qualitative research that used the framework developed by Daigneault and Jacob (2009) to analyze the empirical material, encompassing three dimensions of participation: control of the evaluation process, diversity of participants, and extent of their involvement. We highlighted decisions or contextual aspects that deepened or limited the participatory option in the process under study.

RESULTS

We identified the presence and important performance of stakeholders who are “not specialists in evaluation”, through participation both in the direction of the evaluation process and in its distinct stages. The formed group started from their own annoyances added to the need for information and reflection to define the subject and scope of the evaluation; the use of the process planned by them guided the definition of the data to be collected and the format of result dissemination; the empirical material analysis was undertaken jointly by the participants. Regarding the third dimension, a limitation was identified regarding the diversity of actors involved due to the prioritization of the possibility of in-depth work with a fixed group of managers.

CONCLUSIONS

It is stated that there is no “ideal participation model” for evaluations. In certain contexts and structures, real opportunities for participation – even if they seem fragile at first sight – should be leveraged, and that requires flexibility and critical reflection on the part of those responsible for the evaluation processes to undertake the necessary adjustments.

Health Evaluation, methods; Process Assessment (Health Care; Participative Planning; Health Manager; Decision Making; Health Services Administration; Qualitative Research

INTRODUÇÃO

A questão da qualidade das avaliações de programas e políticas realizadas vem instigando avaliadores no Brasil a refletirem sobre suas práticas^13,14,18. Sociedades e associações em diversos países definiram e publicaram guias e padrões^2,24,26 visando a direcionar as meta-avaliações – processos em que se avalia a qualidade das avaliações^20,23 – e contribuir para seu aprimoramento.

Tais documentos são bastante gerais e abrangentes⁵, dada a necessidade de apontar princípios éticos e de rigor técnico para uma enorme diversidade de práticas que compõem o cenário contemporâneo da área. Surge a questão de como trazer parâmetros mais específicos para avaliar iniciativas concretas.

Alguns autores, como Furtado et al.¹⁵, sugerem que se some aos referenciais internacionais critérios conexos às características das avaliações desenvolvidas em seus contextos particulares, de forma a permitir a reflexão e o julgamento sobre sua qualidade.

Neste trabalho, adotando tal proposta, destacamos o critério “participação” para a meta-avaliação, uma vez que se toma como base da discussão a utilização da metodologia participativa na avaliação de programas públicos.

No Brasil, abordagens participativas em avaliação na área da Saúde começam a ganhar espaço na literatura, referenciadas por experiências de inclusão de grupos de interessados nos processos avaliativos^1,6, de inserção da avaliação participativa no tecido de processos de intervenção social mais amplos³ e de consideração ao critério “participação” em meta-avaliações¹⁴. Julgamos fundamental a continuidade desse caminhar na busca pela aproximação entre teoria e prática, e pelo aprofundamento do significado da opção pela participação.

Cornwall⁹ sugere que a participação não é meramente uma técnica de pesquisa, mas um processo político que visa a endereçar questões ligadas à inequidade e justiça social. Entende-se que a essência dessa abordagem está realmente associada a um paradigma construtivista, em que o especialista está voltado a estimular a voz de pessoas que não participam ou participam pouco do processo democrático, ocupando um papel de facilitador da negociação entre os diversos pontos de vista para a construção de um conhecimento avaliativo¹⁶.

Cousins e Whitmore¹⁰ descrevem três dimensões, depois reorganizadas por Daigneault e Jacob¹¹, para a análise do aspecto participação em avaliações, que são: 1) a direção do processo avaliativo; 2) a diversidade dos participantes; e 3) a extensão do envolvimento dos mesmos. Acredita-se que a reflexão sobre esses aspectos contribua para a identificação de decisões e condições que favoreçam ou limitem os processos participativos.

Salientamos três razões que justificam o estudo e a utilização da metodologia participativa em avaliações na área da Saúde no Brasil:

1. A necessidade da reflexão contextualizada e da descentralização da tomada de decisão para o processo de regionalização do Sistema Único de Saúde (SUS)¹⁹, que deve ocorrer em base a negociações consistentes e apropriadas pelos atores locais. A avaliação participativa é uma oportunidade de leitura e reflexão quanto ao real poder desses atores para a construção de uma governança regional.

2. As avaliações em saúde pública são ainda muito identificadas a uma noção restrita de accountability⁷ – processo de “responsabilização” dos atores pela política avaliada –, a partir da qual se julga a qualidade da avaliação de forma condicionada ao emprego de métodos operados a partir de um paradigma positivista. É necessário o aprofundamento da compreensão sobre o ganho em qualidade nos processos avaliados, sabendo que a avaliação nunca será imparcial e objetiva.

3. A compreensão de que a melhoria da atenção se dá a partir do envolvimento ativo do cidadão no processo de produção da saúde²¹. A avaliação fica enfatizada como uma oportunidade de construção e apropriação de um conhecimento que tenha significado para os participantes²², e que contribua para sua influência no curso de programas ou serviços avaliados²⁵.

Objetiva-se analisar criticamente o critério “participação” em uma experiência concreta de avaliação participativa, evidenciando aspectos que reforçaram ou limitaram essa opção metodológica.

MÉTODOS

A meta-avaliação foi desenvolvida com base em oficinas realizadas com secretários e assessores técnicos de oito municípios^a (de um total de 18) de uma das Comissões Intergestores da região de saúde escolhida (CIR), que aceitaram voluntariamente o convite da equipe de pesquisa que fora aberto a todos os participantes.

Tinham como tarefa o desenvolvimento da avaliação de um aspecto específico da linha de cuidados em seu território, em que o tema escolhido foi o fluxo de cirurgias eletivas (colecistectomia). A coleta de dados primários para a meta-avaliação se deu nas oficinas, com a gravação do áudio das interações ocorridas entre os participantes, e em entrevistas semiestruturadas realizadas por um profissional externo ao processo após a finalização das atividades.

A avaliação primária, realizada pelos representantes municipais, foi desenvolvida segundo uma metodologia participativa, aqui definida pela promoção de uma relação de parceria entre participantes e pesquisadores com vistas à construção de um conhecimento avaliativo⁸.

Foram utilizados métodos quali e quantitativos, buscando atender às necessidades de informação dos participantes sobre o objeto avaliado.

Os dados para a abordagem quantitativa foram obtidos nos sistemas de informação do Datasus, da Central de Regulação de Oferta de Serviços da Saúde (CROSS) e dos serviços municipais de regulação; e sua análise se deu nas oficinas.

A abordagem qualitativa foi realizada por meio de cinco grupos focais e seis entrevistas semiestruturadas com usuários de cinco dos municípios participantes (totalizando 29 pessoas ouvidas), e por entrevista com a diretora do Ambulatório Médico de Especialidades (AME). Tomou-se como critério de inclusão para os usuários a espera de vaga para colecistectomia ou sua realização até dois anos antes, em serviços públicos.

Os dados qualitativos recolhidos foram organizados pelos facilitadores segundo as informações que revelavam acerca da trajetória dos usuários na busca pelo atendimento necessitado, e analisados a partir de uma metodologia hermenêutico-dialética pelo conjunto de participantes das oficinas. Ao final do processo, foram realizadas uma reunião na câmara técnica (CT) da CIR e outra na própria CIR para devolutiva acerca dos achados avaliativos.

Todos os participantes concordaram em tomar parte no estudo e assinaram os termos de consentimento livre e esclarecido. A pesquisa foi aprovada pelo Comitê de Ética da Faculdade de Saúde Pública da Universidade de São Paulo (Parecer 1.006.380).

RESULTADOS E DISCUSSÃO

Os resultados são aqui apresentados segundo as dimensões propostas por Cousins e Whitmore¹⁰, depois reorganizadas por Daigneault e Jacob¹¹, para a análise do aspecto “participação” em avaliações, visando a qualificá-las na iniciativa desenvolvida.

Complementarmente, são resgatadas no material empírico decisões e recortes de discussões que sinalizam aspectos considerados importantes para caracterizar um processo participativo.

Direção do Processo Avaliativo

Essa primeira dimensão refere-se basicamente à análise de quais grupos ou indivíduos detêm o controle sobre as decisões técnicas relativas à avaliação.

O projeto em foco foi apresentado à CIR e seus participantes optaram pelo aprofundamento da proposta na CT, com posterior reapresentação em reunião geral. Uma providência, sugerida e efetivada pelo grupo da CT, que se constituiu em um dos primeiros exemplos de decisão compartilhada, foi a de adequar o conteúdo da proposta apresentada pelos pesquisadores à audiência que se dirigia. “...precisa dizer aos gestores qual é a tarefa, quantas vezes vão ter que vir, qual é o assunto, o que vão precisar trazer.... Já estou vendo a gente chegar na reunião da CIR com a proposta e ninguém querer participar.... Importante dizer já o que tem que fazer…” (assessor técnico 1).

O grupo reduzido deliberou que um de seus membros, e não um dos pesquisadores, se responsabilizaria por iniciar a reapresentação da proposta na CIR no formato discutido. “O que eu gostaria, como gestora, de contribuir, é que o objetivo desse estudo, que para a universidade vai ser um estudo, avaliação, para nós vai ser um momento de construir uma ferramenta para avaliar os nossos dados... aprender a avaliar as nossas necessidades” (secretário municipal 1 em discussão na CIR). Observa-se aí o começo de um processo de apropriação da pesquisa que os gestores percorreram durante todo o trabalho.

A partir dessa nova apresentação, representantes de sete municípios (incluindo o município polo da região) dispuseram-se a participar diretamente do processo. Com esse grupo, foram realizadas sete oficinas, distribuídas ao longo de 10 meses de trabalho, nas quais se construiu o processo avaliativo, foco da meta-avaliação.

A decisão pela temática da avaliação teve como base a discussão de uma listagem de “incômodos” vivenciados pelos gestores no desempenho de suas funções – especialmente em momentos de tomada de decisão – encaminhada pela totalidade dos integrantes da CIR à CT. Demandas e interesses relativos a possíveis aspectos a serem avaliados foram contemplados, acompanhados da reflexão quanto à governabilidade dos atores para possíveis mudanças.

A necessidade de informação sentida pelos gestores municipais acerca do fluxo entre serviços de diferentes níveis federativos foi uma das demandas que sustentou a escolha do tema para a avaliação: “O indivíduo é compartilhado por diferentes serviços, gestores que estão em diferentes entes autônomos...” (secretário municipal 5), “...a gente não sabe se ele está parado aqui, se ele está parado no AME... O usuário, além de estar na mão de dois gestores, um não sabe o que o outro está fazendo...” (secretário municipal 1), “A gente cai naquela informação que não temos acesso e que precisamos nos apropriar...” (secretário municipal 3).

Observa-se que, respeitando o processo participativo, a ordem de etapas costumeiramente seguida para o desenvolvimento de uma avaliação não foi adotada nesse processo, embora se julgue que, ao final, todas tenham sido cumpridas.

Em uma primeira reunião do grupo, por exemplo, analisou-se dados quantitativos municipais – solicitados aos gestores ainda na CIR –, retomou-se a discussão sobre foco e perguntas avaliativas iniciada na CT e discutiu-se a inserção de usuários no processo.

Navegar pelos interesses diversos, buscando promover envolvimento e, ao mesmo tempo, a qualidade da avaliação, foi um desafio contínuo, que se constitui no cerne de uma abordagem participativa⁴.

Mantendo essa dinâmica de organização do processo, todas as decisões técnicas e operacionais foram tomadas em conjunto pelos facilitadores e membros do grupo de gestão.

Diversidade dos Participantes

Esta análise deve considerar a variação entre a participação apenas dos usuários primários (via de regra, financiadores e gestores do processo avaliado) até a inclusão de todas as audiências legítimas.

A avaliação em foco foi desenvolvida por secretários e assessores técnicos municipais. Um dos fatores que levou o processo à manutenção de um grupo homogêneo de interessados foi seu direcionamento inicial a uma demanda desses atores, que fez com que a avaliação se voltasse a uma questão de cunho prioritariamente gerencial.

O tema por eles escolhido – fluxo de cirurgias eletivas (colecistectomia) – terminou por mostrar-se fechado a reflexões e soluções que somente poderiam ser buscadas pela gestão. Ficou claro que o fluxo da atenção ao problema de cálculo biliar tinha como principal ponto de estrangulamento a capacidade de realização da referida cirurgia dos hospitais de referência (municipais e estaduais), questão cujo encaminhamento foi entendido como a negociação entre os níveis de gestão do SUS.

O respeito às escolhas do processo participativo (escopo, tema, entre outros) limitou, por um lado, a diversidade de participantes na avaliação. Por outro, favoreceu o envolvimento dos gestores “… a gente conseguiu colher informações, eu mesma fui na minha Santa Casa, conversei porque que a gente alimentou mais com este código e não aquele… o nosso prestador nos forneceu listagens de pacientes, quantos estavam esperando a cirurgia… nós nunca tínhamos tido acesso àquela informação…” (secretário municipal 1).

Questionou-se se houve nessa avaliação uma “tendência ao gerencialismo”, conforme descrita por Guba e Lincoln¹⁶. Esses autores destacam que pode ser mais “confortável” para os responsáveis pela avaliação a adoção de métodos normativos e a preferência pela inclusão de interessados com maior poder de decisão, geralmente financiadores ou gerentes.

Entretanto, ponderou-se que, embora gestores, esses atores municipais situavam-se historicamente em um lugar de menor proatividade e representação na CIR que seu parceiro estadual, e que seu fortalecimento enquanto grupo, homogêneo, facilitaria a compreensão do lugar ocupado na dinâmica entre os níveis de gestão – principal objetivo da escolha do tema da avaliação.

Além disso, os participantes não representaram um grupo externo ao objeto avaliado. O desempenho das secretarias sob sua responsabilidade, enquanto organizadoras da atenção nos municípios, foi bastante discutido no processo.

Na medida em que se manteve a decisão por incluir a perspectiva do usuário na avaliação, mesmo trazendo esse ator como um informante na coleta de dados, dificuldades operacionais tiveram de ser enfrentadas. Relatos de problemas para a localização e contato com esses atores foram frequentes. Houve também referências à falta de colaboração de outras instâncias da secretaria, que não deram encaminhamento à nossa demanda de organização dos grupos focais. “Se eu pedir para outras coordenadorias ou para o pessoal de Programa de Saúde da Família (PSF) , eles vão dizer: <<eu já tenho muito serviço, não vem com bucha...>>... O coordenador do PSF atua como se fosse uma diretoria paralela, ele não quer saber do secretário de saúde. Ele é irmão do vice-prefeito e....” (assessor técnico 1).

Apesar disso, a insistência dos participantes em ouvir os usuários fez com que fossem organizados os grupos focais e entrevistas em cinco dos sete municípios participantes. Foi possível afirmar que o ponto de vista desse ator foi incluído no estudo. Como exemplo, a urgência da diminuição do tempo de espera entre a queixa inicial e a cirurgia – dada a vivência física e emocional dolorosa por eles experimentada, além do risco significativo de agravamento do quadro – foi bastante reforçada durante toda a discussão entre gestores, bem como a necessidade de transmitir informações e situar o usuário quanto a prazos e ordem de chamada para a realização da cirurgia.

Nos grupos realizados, como esperado, os participantes tenderam a se fixar em problemáticas individuais e mostraram, mesmo quando estimulados, dificuldades em vislumbrar questões que poderiam ser comuns aos colegas. Observa-se que o processo vigente de construção do SUS continua trazendo os usuários para um lugar de consumidores de tecnologia em saúde¹², mantendo-os continuamente apartados do processo de decisão. Não se identifica na organização dos serviços, de qualquer nível de complexidade na região estudada, iniciativas para trazê-los como parte das negociações.

Note-se apenas que essa tendência pode ter sido ainda acentuada pelo foco em um problema agudo de saúde. Uma problemática crônica exige a presença sistemática na unidade de tratamento, o que aumenta a chance de maior vinculação e apropriação do serviço.

Se a temática da avaliação fosse uma questão aberta à construção de diferentes encaminhamentos (não era, como já dito, pela importância real da realização da cirurgia), teria sido necessário todo um investimento em um enquadre e processo de grupalização, para que esses atores pudessem se dispor a participar nas diversas etapas de uma avaliação do serviço. Esse investimento de tempo e recursos deve ser previsto em processos desse tipo.

Sugeriu-se, nas oficinas, que membros do Conselho Gestor das unidades fossem também convidados para os grupos focais de usuários, visando a ampliar sua compreensão da problemática em questão, e abrir a possibilidade de sua inserção na avaliação enquanto outro grupo de interessados. Alguns gestores se posicionaram contrariamente a essa ação, afirmando que os Conselhos formados em seus municípios tinham um forte viés político partidário, e não agregariam valor ao processo em andamento. “Associação de bairro lá é muito politizada, não dá para contar. Conselho gestor eu também não tenho, mas é que município pequeno geralmente é mais difícil montar...” (secretário municipal 1).

Outros, tinham uma experiência mais amena e se dispuseram a fazer o convite “Os conselhos são heterogêneos... tem que ser um que tenha uma visão ampliada... Eles representam teoricamente a comunidade... alguns estão lá para benefício próprio” (assessor técnico 2).

Dessa forma, em três dos grupos formados, houve a participação de conselheiros. Previamente informados de que a atividade buscaria compreender melhor os percursos do tratamento em foco na região, dois deles se posicionaram como ouvintes e um terceiro trouxe como contribuição uma experiência pessoal sobre o problema de saúde abordado. Não foi percebida uma escuta ou intervenção que denunciasse seu papel.

Trabalhadores da atenção básica colaboraram para a identificação e localização dos usuários. Novamente, a ênfase na necessidade de realização das cirurgias no menor tempo possível dominou os diálogos informais estabelecidos entre eles – trabalhadores – e a equipe de pesquisa, e não foi identificado um engate possível, naquele momento, para o convite à sua integração no processo avaliativo.

Em avaliações participativas, é essencial essa reflexão sobre quais interessados participam dos processos e em que medida se dá essa participação. Do fornecimento de informações, participação na análise de dados coletados, até a elaboração de recomendações e tomada de decisão, diversas possibilidades se apresentam, e são ou não validadas apenas no processo¹⁷.

A comparação entre a realidade de uma iniciativa e modelos ideais de participação, via de regra, não contribui para seu desenvolvimento. É o olhar voltado à compreensão do contexto em que ela se desenvolve que identifica alternativas reais de participação.

Extensão do Envolvimento

Esta dimensão diz respeito ao número de etapas da avaliação no qual existe a participação de interessados (não avaliadores). Já foi detalhada a participação do grupo na delimitação do foco e parâmetros da avaliação. Também a seleção dos dados a serem coletados baseou-se estritamente no interesse dos participantes e no julgamento conjunto sobre quais deles agregariam valor à compreensão do foco do trabalho, por exemplo: “Vamos acessar usuários de municípios que tenham o serviço municipal, mas aguardam o AME porque fizeram a opção por laparoscopia (que só é oferecida no Hospital Estadual, diferentemente da cirurgia aberta). A importância disso é saber se eles têm noção do risco...” (secretário municipal 3).

A exploração dos sistemas de informação e regulação contou com a participação de todos os envolvidos. Acessos foram feitos individual e coletivamente com o apoio presencial de um consultor nas oficinas. “Para fazer esse raciocínio tinha que somar a urgência que você faz no município, a urgência que o Estadual faz, a urgência que todo mundo faz... Se a oferta do eletivo fosse maior, a urgência seria menor...” (secretário municipal 1).

Na abordagem qualitativa, usuários e a diretora do AME foram ouvidos em grupos focais e entrevistas individuais organizados e agendados pelas equipes municipais, e realizados por um dos facilitadores no intuito de viabilizá-las em tempo oportuno. A escuta dos entrevistados foi a única etapa em que não houve a participação dos secretários ou assessores.

O processo de análise e reflexão sobre o material empírico coletado ocorreu na oficina imediatamente posterior à coleta, com vistas ao planejamento do passo seguinte. “Das falas (grupos focais)... você vê que elas falam que a atenção primária não é tanto o problema...” (assessor técnico 2).

Houve discussões e devolutivas do processo realizado ao grupo da CIR e ao grupo de trabalho composto pelos membros da CT da CIR, representantes dos equipamentos estaduais do território e da organização social que os gerencia, e prestadores privados. Considera-se que a principal diferença entre a construção de dados apropriada pelos participantes é a possibilidade de que eles se utilizem do processo e achados avaliativos nos diversos fóruns de discussão e gestão, quando julgarem possível e necessário.

CONCLUSÕES

A análise das dimensões de participação deixa clara a presença e importante atuação de interessados não especialistas em avaliação no planejamento e desenvolvimento desta avaliação. Esse tipo de abordagem facilita a identificação de espaços e estratégias focados em problemas reais da vivência dos interessados, possibilitando que se apropriem e se responsabilizem pelo processo, com vistas à utilização do aprendizado em seu dia a dia.

Observa-se que esforços foram feitos no sentido de acompanhar o movimento do grupo inicialmente formado a partir da CIR, e não em moldar o processo em acordo ao desenho previamente elaborado. Dessa forma, manteve-se coerência em relação à escolha anunciada por uma metodologia construtivista e gerou-se um sentimento de pertencimento nos participantes.

Ouvir primeiramente determinado grupo de interessados, trabalhando no sentido de fortalecer sua identidade, trouxe vantagens enquanto envolvimento dos atores e sustentação do projeto, e significou desenvolver necessariamente um processo de negociação contínua. Esse processo, por sua vez, permitiu contemplar perspectivas de análise e ação por pessoas que ocupam diferentes posições no contexto do sistema de saúde.

A complexidade de uma abordagem participativa reside em boa medida em sua abertura para contemplar interesses divergentes, não facilmente contornáveis em um processo de duração limitada. Para tanto, será importante que a dinâmica do processo possa trazer não apenas os consensos, mas também as distintas visões para que o grupo possa se sentir contemplado no caminho escolhido.

Quando o processo avaliativo for impulsionado por recursos externos, ou mesmo por internos, será importante que a dinâmica do trabalho seja baseada na flexibilidade e na constante reflexão crítica com a participação efetiva dos responsáveis pelo processo avaliativo e todos os membros do grupo. Assim, o processo propiciará oportunidades reais de participação e evitará a imobilização pela espera por condições ideais para a efetiva mobilização de recursos que viabilizem decisões decorrentes da avaliação realizada.

Decisões tomadas a partir da leitura da interface nesse tipo de processo acarretam limites e alcances que, associados a variáveis de contexto e interesses legítimos dos participantes, têm que ser acolhidos e problematizados, e não apenas justificados.

O trabalho realizado permite inferir que a abordagem participativa em um processo político como o planejamento e avaliação de serviços, programas e sistemas de saúde tem uma ampla aplicação no contexto sociocultural de implementação do SUS no país.

REFERENCES

• ¹
  Almeida CAL, Tanaka OY. Evaluation in health: participatory methodology and involvement of municipal managers. Rev Saude Publica 2016;50:45. https://doi.org/10.1590/S1518-8787.2016050006251
  » https://doi.org/10.1590/S1518-8787.2016050006251
• ²
  Anderson SB, Braskamp LA, Cohen WM, Evans JW, Gilmore A, Marvin KE, et al. Evaluation Research Society standards for program evaluation. New Dir Program Eval 1982 Autumn;(15):7-19. https://doi.org/10.1002/ev.1306
  » https://doi.org/10.1002/ev.1306
• ³
  Becker D, Edmundo K, Nunes NR, Bonatto D, Souza R. Empowerment e avaliação participativa em um programa de desenvolvimento local e promoção da saúde. Cienc Saude Coletiva. 2004;9(3):655-67. https://doi.org/10.1590/S1413-81232004000300017
  » https://doi.org/10.1590/S1413-81232004000300017
• ⁴
  Bosi MLM, Martinez FM. Avaliação não tradicional de programas de saúde: anotações introdutórias. In: Bosi MLM, Mercado FJ, organizadores. Avaliação qualitativa de programas de saúde: enfoques emergentes. Petrópolis: Vozes; 2010. p.11-21.
• ⁵
  Cabra-Torres F. El diálogo como fundamento de comunicación ética en la evaluación. Educ Educ 2010;13(2):239-52. https://doi.org/10.5294/edu.2010.13.2.4
  » https://doi.org/10.5294/edu.2010.13.2.4
• ⁶
  Campos RO, Gama CA, Ferrer AL, Santos DVD, Stefanello S, Trapé TL, Porto K. Saúde mental na atenção primária à saúde: estudo avaliativo em uma grande cidade brasileira. Cienc Saude Coletiva 2011;16(12) 4643-52. https://doi.org/10.1590/S1413-81232011001300013
  » https://doi.org/10.1590/S1413-81232011001300013
• ⁷
  Chouinard JA. The case for participatory evaluation in an era of accountability. Am J Eval 2013;34(2):237-53. https://doi.org/10.1177/1098214013478142
  » https://doi.org/10.1177/1098214013478142
• ⁸
  Chouinard JA, Cousins JB. The journey from rhetoric to reality: participatory evaluation in a development context. Educ Assess Eval Account 2015;27(1):5-39. https://doi.org/10.1007/s11092-013-9184-8
  » https://doi.org/10.1007/s11092-013-9184-8
• ⁹
  Cornwall A. Unpacking ‘participation’: models, meanings and practices. Community Dev J. 2008;43(3):269-83. https://doi.org/10.1093/cdj/bsn010
  » https://doi.org/10.1093/cdj/bsn010
• ¹⁰
  Cousins JB, Whitmore E, Shulha L. Arguments for a common set of principles for collaborative inquiry in evaluation. Am J Eval 2013;34(1):7-22. https://doi.org/10.1177/1098214012464037
  » https://doi.org/10.1177/1098214012464037
• ¹¹
  Daigneault PM, Jacob S. Toward accurate measurement of participation: rethinking the conceptualization and operationalization of participatory evaluation. Am J Eval 2009;30:330-48. https://doi.org/10.1177/1098214009340580
  » https://doi.org/10.1177/1098214009340580
• ¹²
  Feuerwerker L. Modelos tecnoassistenciais, gestão e organização do trabalho em saúde: nada é indiferente no processo de luta para a consolidação do SUS. Interface (Botucatu) 2005;9(18):489-506. https://doi.org/10.1590/S1414-32832005000300003
  » https://doi.org/10.1590/S1414-32832005000300003
• ¹³
  Figueiró AC, Hartz ZMA, Thuler LCS, Dias ALF. Meta-evaluation of baseline studies of the Brazilian Family Health Strategy Expansion Project: a participatory and formative approach. Cad Saude Publica 2010;26(12):2270-8. https://doi.org/10.1590/S0102-311X2010001200006
  » https://doi.org/10.1590/S0102-311X2010001200006
• ¹⁴
  Furtado JP, Laperrière H. Parâmetros e paradigmas em meta-avaliação: uma revisão exploratória e reflexiva. Cienc Saude Coletiva 2012;17(3):695-705. https://doi.org/10.1590/S1413-81232012000300016
  » https://doi.org/10.1590/S1413-81232012000300016
• ¹⁵
  Furtado JP<italic>, </italic> Laperrière H, Silva RR. Participação e interdisciplinaridade: uma abordagem inovadora de meta-avaliação. Saude Debate 2014;38(102):468-81. https://doi.org/10.5935/0103-1104.20140044
  » https://doi.org/10.5935/0103-1104.20140044
• ¹⁶
  Guba EG, Lincoln YS. Avaliação de quarta geração. Campinas: Editora da Unicamp; 2011.
• ¹⁷
  Jackson C. Sustainable development at the sharp end. Dev Pract 1997;7(3):237-47. https://doi.org/10.1080/09614529754477
  » https://doi.org/10.1080/09614529754477
• ¹⁸
  Nickel DA, Natal S, Hartz ZMA, Calvo MCM. O uso de uma avaliação por gestores da atenção primária em saúde: um estudo de caso no Sul do Brasil. Cad Saude Publica 2014;30(12):2619-30. https://doi.org/10.1590/0102-311X00022314
  » https://doi.org/10.1590/0102-311X00022314
• ¹⁹
  Santos AM, Giovanella L. Regional governance: strategies and disputes in health region management. Rev Saude Publica 2014;48(4):622-31. https://doi.org/10.1590/S0034-8910.2014048005045
  » https://doi.org/10.1590/S0034-8910.2014048005045
• ²⁰
  Scriven M. An introduction to meta-evaluation. Educ Product Rep 1969;2:36-8.
• ²¹
  Serapioni M, Romaní O. Potencialidades e desafios da participação em instâncias colegiadas dos sistemas de saúde: os casos de Itália, Inglaterra e Brasil. Cad Saude Publica 2006;22(11):2411-21. https://doi.org/10.1590/S0102-311X2006001100015
  » https://doi.org/10.1590/S0102-311X2006001100015
• ²²
  Silva RR, Brandão DB. Nas rodas da avaliação participativa. In: Campos OR, Furtado JP. Desafios da avaliação de programas e serviços em saúde. Campinas: UNICAMP; 2011. p. 59-84.
• ²³
  Stufflebeam DL. The metaevaluation imperative. Am J Eval. 2001;22(2):183-209. https://doi.org/10.1177/109821400102200204
  » https://doi.org/10.1177/109821400102200204
• ²⁴
  United Kingdom Evaluation Society. Guidelines for good practice in evaluation. London: UKES; 2013 [cited 2016 Mar 22]. Available from: https://www.evaluation.org.uk/images/ukesdocs/UKES_Guidelines_for_Good_Practice_January_2013.pdf
  » https://www.evaluation.org.uk/images/ukesdocs/UKES_Guidelines_for_Good_Practice_January_2013.pdf
• ²⁵
  Weaver L, Cousins JB. Unpacking the participatory process. J Multidiscip Eval 2007 [cited 2017 Jul 14];1(1):19-40. Available from: http://journals.sfu.ca/jmde/index.php/jmde_1/article/view/144/159
  » http://journals.sfu.ca/jmde/index.php/jmde_1/article/view/144/159
• ²⁶
  Yarbrough DB, Shulha LM, Hopson RK, Caruthers FA. The program evaluation standards: a guide for evaluators and evaluation users. 3.ed. Los Angeles: Sage Publications; 2011

• a
  Um dos gestores que havia se disposto a participar foi exonerado pouco antes do início do processo, e dessa forma o trabalho foi realizado com sete municípios.

• Financiamento: Fundação de Amparo à Pesquisa do Estado de São Paulo (Fapesp – Processo 2011/23434-0 – Auxílio à pesquisa. Processo 2012/06204-4 – Bolsa de doutorado no país. Processo 2014/22240-6 – Bolsa de doutorado internacional).

Datas de Publicação

• Publicação nesta coleção
  17 Nov 2017
• Data do Fascículo
  2017

Histórico

• Recebido
  23 Mar 2016
• Aceito
  15 Nov 2016