Reflexões sobre avaliação de políticas de saúde no Brasil

Reflections on health policy evaluation in Brazil

REVISÃO REVIEW

Reflexões sobre avaliação de políticas de saúde no Brasil

Reflections on health policy evaluation in Brazil

Fernando Manuel Bessa Fernandes; José Mendes Ribeiro; Marcelo Rasga Moreira

Escola Nacional de Saúde Pública Sergio Arouca, Fundação Oswaldo Cruz, Rio de Janeiro, Brasil

^{Correspondência}

RESUMO

O presente texto tem como objetivo trazer contribuições para o debate sobre a avaliação de políticas públicas, especificamente no que concerne ao setor saúde no Brasil. Busca-se apresentar e tematizar algumas das questões fundamentais que perpassam esse campo de estudo, mediante o levantamento ou revisão bibliográfica sobre avaliação de políticas no setor saúde numa conceituada e reconhecida base de dados, o SciELO. Foram selecionados 66 artigos com os descritores "Avaliação em Saúde" e "Avaliação de Programas e Projetos de Saúde", de publicações brasileiras indexadas na área da saúde coletiva, desde o ano de 1994 até o ano de 2009. O artigo explora aspectos da produção acadêmica numa tipologia estabelecida e em correlação com as possibilidades de desenvolvimento do tema da avaliação de políticas, articulado a intervenções voltadas para o enfrentamento eficaz, eficiente e efetivo de agravos da população.

Avaliação de Programas e Projetos de Saúde; Avaliação em Saúde; Políticas Públicas de Saúde

ABSTRACT

This article aims to contribute to the debate on public policy evaluation, specifically in the Brazilian health sector. The objective is to analyze some of the key issues in this field through a literature search in the SciELO database. Sixty-six articles were selected using the descriptors "health evaluation" and "evaluation of health programs and projects" in indexed Brazilian public health periodicals from 1994 to 2009. The article explores aspects of academic output according to an established typology and in relation to possibilities for developing the theme of policy evaluation, linked to interventions focused on efficacious, efficient, and effective treatment of the population's health problems.

Program Evaluation; Health Evaluation; Health Public Policy

Introdução

Uma crescente consolidação da avaliação como prática no âmbito da gestão/administração pública tem sido apontada como fenômeno ocorrido no mundo pelo menos nas últimas cinco décadas. Tal fato tem estimulado a reunião de considerável arcabouço teórico, múltiplas reflexões metodológicas e destaque acadêmico ^{1,2,3,4,5,6,7,8,9,10}.

No Brasil, notadamente desde o contexto de Reforma Gerencial do Estado (Bodstein R, Moreira MR, 2008, comunicação pessoal) ¹¹, a consolidação da avaliação começa lentamente a ter contornos mais nítidos e a se tornar prática institucional e institucionalizada, o que tem refletido na produção científico-literária.

Mesmo com esses consideráveis avanços, a rigor não existe um consenso estabelecido na literatura sobre o conceito de avaliação. A variedade de enfoques, abordagens e teorias é tal, a ponto de ser menos difícil e embaraçoso identificar o que não é avaliação ^{1,2,3,6,7,9,10,12,13,14,15,16}.

De fato, considerações que levam em conta aspectos teóricos e metodológicos sobre o que é avaliação aplicada a políticas e o que é análise de políticas, por exemplo, podem ser feitas.

Um aprofundamento dessa distinção exigiria um desvio do foco deste artigo; porém, é fundamental afirmar a importância do impacto exercido tanto pelo avaliador quanto pelo analista enquanto atores das políticas com as quais eles estão relacionados, dado que as interações entre eles e os demandantes das avaliações e análises se caracterizam por negociações e escolhas conceituais, procedimentais e expositivas dos achados ¹⁷.

Diante da inexistência de neutralidade de todos os envolvidos com políticas públicas, percebe-se que elas podem ser compreendidas como demandas das sociedades manifestadas e mediadas por grupos de interesses e movimentos sociais e, por outro lado, também podem ser entendidas como as tentativas de resposta dos governos a esses anseios e demandas ^18,19,20.

Nosso entendimento é o de que as políticas públicas podem ser tratadas de modo esquemático e para fins de análise, como estruturadas segundo ciclos e estágios, podendo ou não recomeçar com novas orientações, num movimento processual e dinâmico chamado "policy cycle" ^21,22.

Políticas públicas são passíveis de ser compreendidas, portanto, como ações governamentais idealizadas, formuladas e desenhadas em atenção aos propósitos de agenda dos governos, permeados e intercambiados com os anseios e demandas de grupos da sociedade, resultando em programas, ações, estratégias, planos, que terão efeitos e buscarão transformações e resultados positivos e benéficos para pessoas numa dada realidade.

Isso permite dizer que as políticas públicas, de modo geral (dentre elas, iniciativas nas áreas da Saúde e da Educação, por exemplo) são campos multidisciplinares de estudos e interesses, já que, diante da vontade e inclinação para estudá-las, torna-se necessária a compreensão de que teorias e instrumentais construídos nos campos da Sociologia, da Ciência Política e da Economia, para citar os mais evidentes, são fundamentais para a realização de análises e estudos ^{5,16,18,19,20,23}.

Nunca perdendo de vista o caráter intersetorial e multidisciplinar dos processos das políticas, a sua formulação, implementação e execução são caracterizadas por situações e desafios que demandam práticas de acompanhamento, monitoramento e avaliação, não apenas para eventuais correções de rumo na condução das ações por parte dos especialistas, políticos e técnicos responsáveis, mas também para atender às modificações constantes e estruturais que o dinamismo do processo inerentemente apresenta e para servir de base e lições aprendidas para aplicação em outras ações do mesmo gênero (Bodstein R, Moreira MR, 2008, comunicação pessoal) ^{1,2,6,7,12,20,23,24}.

Tendo sido feitas reflexões iniciais para se pensar o que é, como se faz e quais as questões envolvendo avaliação de políticas, especialmente no âmbito da gestão pública no setor saúde, um bom ponto de partida é estabelecer uma definição objetiva: avaliar significaria emitir um juízo de valor, atribuir valor a algo, conferir a algo um aval.

Só que, por ser a avaliação de políticas um processo complexo, avaliar também é comparar parâmetros estabelecidos e resultados alcançados de uma dada intervenção ou sobre qualquer dos seus componentes, com vistas à facilitação da consecução de determinados objetivos.

Utilizando-se de critérios ou padrões traçados para uma investigação sistemática, a atividade avaliativa insere-se tanto no campo da ciência - por meio da produção de evidências - quanto no da prática cotidiana da política - por meio dos processos analisados, e vincula-se a uma dimensão instrumental, com o intuito de auxiliar na tomada de decisões ^{15,17,24,25,26,27,28,29,30,31}.

Se a ação avaliativa compreende a emissão de um juízo de valor, torna-se, portanto, necessário refletir sobre como; quando; onde; para quem; com quem; quanto - ou seja, despendendo quais fontes e quais quantidades de recursos; em que medida; atendendo a quais interesses; significando e ressignificando quais conceitos; representando quais influências e interesses; resultando em quais consequências; uma prática caracterizada como avaliação pode - e deve - gerar transformações positivas na realidade e bem-estar coletivo.

Essas são perenes questões e desafios epistemológicos, técnicos e, sobretudo, ideológicos, dos quais os interessados na prática avaliativa em saúde não podem se desviar, dada a própria natureza dos conceitos em tela.

Nesse contexto e com essas preocupações, procura-se contribuir para o debate sobre a avaliação de políticas públicas, especificamente no que concerne ao setor saúde.

Busca-se apresentar e tematizar algumas das questões fundamentais que perpassam tal campo de estudo, mediante um levantamento ou revisão bibliográfica sobre avaliação de políticas no setor saúde numa conceituada e reconhecida base de dados. Exploram-se aspectos da produção acadêmica numa tipologia estabelecida e em correlação com as possibilidades de desenvolvimento do tema da avaliação de políticas que articulem intervenções voltadas para o enfrentamento efetivo de agravos da população.

Aspectos metodológicos

Ao se refletir sobre revisão bibliográfica, percebe-se que é possível caracterizá-la como uma atividade de resumo crítico sobre determinado tópico de interesse, resultando num "estado da arte" do conhecimento produzido e acumulado sobre um dado tema.

Contudo, ela deve estar intimamente vinculada ao problema de pesquisa que a provocou, daí advindo, justamente, uma imprescindível flexibilidade, sem prejuízo da adoção de uma sistemática delineada.

Isto permite dizer que, apesar da variedade das formas de operacionalização oferecida pelos modelos encontrados na literatura referente à revisão bibliográfica, para atender à elaboração do presente texto foi percorrido o seguinte trajeto: Seleção do tema; Definição de critérios para a seleção da amostra; Busca em base de dados; Enquadramento e análise dos dados; Interpretação e Discussão dos resultados.

As buscas efetuadas para a confecção deste artigo foram realizadas na base de dados eletrônica SciELO (http://www.scielo.org), escolhida por sua relevância advinda do pioneirismo e da manutenção da garantia do acesso ao conhecimento acadêmico produzido no país. Os procedimentos relacionados respeitaram os seguintes passos:

1. Identificação de termos junto aos Descritores em Ciências da Saúde (DeCS), da Biblioteca Virtual em Saúde (http://decs.bvs.br), considerando termos mais citados em literatura de referência, na língua portuguesa, que articulavam os conceitos colocados como focais para o artigo: Avaliação em Saúde; Avaliação de Programas e Projetos de Saúde;

2. Refinamento da busca, visando à maior especificidade e foco direcionado ao objetivo. Foram sumariamente excluídas as produções científicas repetidas e aquelas que não se relacionavam diretamente com o escopo e o objetivo do presente artigo;

3. Enquadramento dos artigos encontrados numa tipologia identificada na literatura sobre avaliação de políticas;

4. Análise crítica dos artigos encontrados à luz do instrumental teórico estabelecido.

Conscientes acerca de limitações inerentes às escolhas feitas, os autores verificaram que a utilização do descritor "avaliação" gerou um excessivo número de ocorrências, o que provocou a opção de não incluí-lo por ampliar demasiadamente o horizonte de análise. De fato, a partir do momento em que se estabeleceu que o foco do artigo se firmaria na conjugação dos conceitos de avaliação, de políticas e de saúde, configurou-se o refinamento da busca, e assumiu-se que não ela não seria efetuada em bases de dados abertas - como o site Google, por exemplo.

Assim sendo, pela aplicação dos dois descritores designados na base de dados SciELO, foram selecionados 66 artigos, de publicações brasileiras indexadas na área da saúde coletiva, desde o ano de 1994 até o ano de 2009.

Com o primeiro descritor, intitulado "Avaliação em Saúde", foram encontrados 49 artigos. Já com o segundo descritor, denominado "Avaliação de Programas e Projetos de Saúde", foram selecionados 17 artigos (Tabela 1).

A dificuldade em se conceituar uma prática como uma avaliação advinda da heterogeneidade dos corpos teóricos e dos conceitos utilizados, impede que haja algum tipo de consenso estabelecido quanto ao que envolve a elaboração de tipologias de práticas avaliativas.

No entanto, se o campo ainda está sendo construído teórica e metodologicamente, as possibilidades de serem exploradas trajetórias e caminhos estão completamente abertas ^{3,5,8,10,12,13,27}.

As formas de se iniciar a exploração de caminhos passam pela definição de pontos de partida que servirão de guia no trajeto a ser percorrido, como é possível perceber na citação: "Patton, ao desenvolver uma abordagem da avaliação denominada 'avaliação focada para a utilização' inclui na sua definição: a) a maneira de fazer a avaliação que corresponderia à coleta sistemática de informações sobre as atividades, características e resultados dos programas; b) o propósito da avaliação, ou seja, fazer julgamentos sobre os programas e/ou para subsidiar o processo de tomada de decisões sobre futuras programações" ³⁰ (p. 15).

Percebe-se que a forma como o autor citado classifica avaliação passa por dois focos, ou melhor, duas categorias: o método empregado na atividade, ou seja, como se pretende desenvolver a atividade, e o objetivo da atividade, significando o que se quer ou a finalidade da atividade.

Estendendo-se este raciocínio, e conjugando-o com a produção de outros autores, H. Novaes desenvolveu uma síntese das principais modalidades propostas e categorizou-as, seguindo critérios considerados mais significativos para as questões priorizadas e selecionados com base na literatura, e depois as inseriu na nomenclatura mais frequentemente adotada ¹⁰.

A escolha da tipologia adotada por Novaes ²¹ na classificação dos artigos justificou-se, portanto, pela necessidade operacional de estabelecimento de pontos iniciais de reflexão, conforme o estudo da literatura sobre o tema da avaliação indica. Notadamente, considerou-se que os critérios adotados por M. Patton e utilizados por Novaes referentes ao método e aos objetivos empregados na atividade avaliativa exposta nos artigos seriam pertinentes, dada a sua coerência metodológica.

Novaes ²¹ estipulou oito critérios que buscam considerar as principais variáveis orientadoras das decisões conceituais e metodológicas na construção dos processos de avaliação. São eles: (1) objetivo da avaliação, (2) posição do avaliador, (3) enfoque priorizado, (4) metodologia predominante, (5) forma de utilização da informação produzida, (6) contexto da avaliação, (7) temporalidade da avaliação e (8) tipo de juízo formulado.

Com a combinação das alternativas colocadas para cada um desses critérios, Novaes ²¹ identificou três grandes tipos de avaliação: (a) Pesquisa de Avaliação ou Investigação avaliativa/avaliatória, (b) Avaliação para Decisão e (c) Avaliação para Gestão.

A Tabela 2 permite a visualização da tipologia com a qual se propõe trabalhar, utilizando-a como apoio teórico para o desenvolvimento de reflexões teórico-metodológicas sobre os artigos que constituem o universo contemplado.

Resultados e discussão

Cumpre explicitar que foram selecionados artigos que tivessem a preocupação em expandir e buscar novos paradigmas para o campo da avaliação de políticas no Brasil, notadamente no que se refere àquelas do setor saúde. Por não serem produtos ou estarem vinculados a atividades de pesquisa e/ou de gestão propriamente ditas conforme a tipologia adotada, e por trazerem contribuições de cunho eminentemente teórico. A esses artigos foi dada a denominação de "Teóricos" ^{5,8,9,32,33,34,35,36,37}.

Seu número não foi elevado, tendo havido a ocorrência de nove artigos enquadrados nessa categoria; ressalte-se que isso de modo algum diminui a pertinência ou o mérito de tais artigos.

Outro grupo, constituído por 13 artigos, não foi passível de caracterização como "Teóricos", uma vez que os artigos não tinham o propósito de realizar reflexões neste sentido. Descreviam procedimentos sistemáticos de pesquisa, mas não apresentavam um caráter avaliativo propriamente dito.

A forma pela qual esses artigos foram concebidos, construídos e apresentados não continha elementos teórico-metodológicos suficientes que permitissem incluí-los como pertencentes a nenhum dos três tipos de avaliação, conforme a tipologia adotada, visto que não apresentam de modo realçado o componente explicativo de evidências referentes a intervenções explícitas.

Ou seja, as discussões por esses artigos não contemplavam uma explicação de achados marcadamente relacionados à avaliação de ações, estratégias, programas ou políticas, o que não se lhes retira sua validade e seu valor. A tais artigos foi dada a denominação de "Não Avaliações" ^{38,39,40,41,42,43,44,45,46,47,48,49,50}.

Completando o universo analisado, foram identificados 44 artigos que davam conta de atividades investigativas, pesquisas e estudos envolvendo naturezas, propostas, direcionamentos e procedimentos que podem ser classificados de "Avaliações".

Nesse subconjunto de artigos, foram identificados segundo a tipologia sugerida os seguintes grupos, em ordem decrescente de ocorrência (1) "Investigação Avaliatória", com 23 artigos; (2) 17 ocorrências de "Avaliação para Decisão"; e (3) 4 artigos classificados como "Avaliação para Gestão".

A Figura 1 ilustra o universo de artigos analisados para esse texto, distribuídos por categorias.

Cabe ressaltar que um único artigo ⁵¹ dentre os que foram classificados como "Avaliações" expressava nítida preocupação em situar-se no quadro teórico-conceitual da Avaliação, levando em consideração abordagens possíveis do campo. Afirmava tratar-se de uma avaliação de serviços de saúde, no tocante a efetividade de uma estratégia: "Entre as abordagens possíveis no campo de avaliação em saúde, a divisão clássica proposta por Donabedian em estrutura, processo e resultado, este trabalho pretende avaliar o resultado, ou seja, se existe modificação no estado de saúde dos idosos cadastrados na ESF da CASSI, de acordo com o tempo de adesão... Por fim, entre a diversidade de estratégias e desenhos de pesquisa, este se encaixa em um estudo epidemiológico do tipo longitudinal (coorte), considerado adequado para avaliar resultados" ⁵¹ (p. 1545).

Artigos da categoria "Investigação Avaliatória"

Os 23 artigos incluídos na categoria de "Investigação Avaliatória" ^{4,11,35,52,53,54,55,56,57,58,59,60,61,62,63,64,65,66,67,68,69,70,71} têm como característica comum predominante a busca pela produção de conhecimento vinculado à comunidade científica e reconhecido por ela.

Tal tipo de artigo é originário de estudos e pesquisas geralmente desenvolvidas sob a coordenação de instituições acadêmicas, por iniciativa delas próprias ou de grupos de pesquisadores, ou o que aconteceu mais raramente no universo de artigos estudado, em função de solicitações de instâncias públicas.

É concebido com o intuito de demonstrar um conhecimento que apresente ênfase na objetividade, de modo a servir de possível fator orientador de decisões referentes a questões várias sobre uma dada realidade configurada numa ação, projeto ou programa ¹⁰.

A tônica dos artigos enquadrados nessa categoria tende a ser a preocupação pelo estabelecimento de nexos causais entre objetivos traçados no planejamento de uma ação e os impactos alcançados por elas, por intermédio das observáveis alterações da realidade ¹⁹.

Em termos metodológicos, essas observações demandam a adoção de estratégias que impliquem algum nível de "controle" sobre o contexto observado, de modo a serem mais frequentes desenhos gerais metodológicos quase-experimentais. Isso não exclui a possibilidade de inclusão de pesquisas com desenhos experimentais ¹⁰.

Trabalha-se neste tipo de pesquisa avaliativa com a formulação de hipóteses a serem demonstradas e correlacionadas com os objetivos da pesquisa e com os resultados das observações, e daquelas, o juízo da pesquisa será articulado. São pesquisas que em geral apresentam custo considerável, fato que as torna de natureza predominantemente focada e específica. Porém, por conta dessa pontualidade e da própria necessidade comparativa, podem ser reproduzidas ou replicadas ¹⁰.

Artigos da categoria "Avaliação para Decisão"

Os 17 artigos enquadrados na categoria "Avaliação para Decisão" ^{51,52,59,72,73,74,75,76,77,78,79,80,81,82,83,84,85} falam de atividades cujo objetivo principal é subsidiar processos de tomada de decisão de modo a responder perguntas de caráter operacional e imediato, formuladas e propostas por aqueles que vivenciam o objeto avaliado, o que torna importante que avaliadores internos componham a equipe coordenadora da avaliação ¹⁰.

Em atenção à complexidade dos objetos, neste tipo de ação avaliativa costuma-se lançar mão de métodos quantitativos e qualitativos, de natureza situacional, (como, por exemplo, os estudos de caso). Seus resultados são articulados no momento da análise, ao se tomar por referência uma teoria geral que permita a sua integração ¹⁰.

Buscam-se resultados que, após serem submetidos a uma sistematização, sejam passíveis de se transformar em recomendações positivas para a tomada de decisão, à medida que contribuam para a solução dos problemas identificados inicialmente ou ao longo do processo de implementação das intervenções ⁸⁶.

Artigos da categoria "Avaliação para Gestão"

Apenas 4 artigos enquadraram-se na categoria "Avaliação para Gestão" ^87,88,89,90. Eles apresentaram ações avaliativas que tinham como objetivo principal a produção da informação que contribua para o aprimoramento do objeto avaliado, vale dizer, tinham a proposta de aperfeiçoar, incrementar e melhorar uma condição já dada. Para tanto, necessitam de caracterizar semelhante condição e traduzi-la em medidas quantificáveis e replicáveis ¹⁰.

Isso significa que há uma ênfase na busca por medidas representativas de uma totalidade, com a informação produzida sendo prioritariamente voltada ao desenvolvimento e aprimoramento de indicadores. Como resultado dessa avaliação, espera-se a proposição de critérios ou normas, de modo a contribuírem e assegurarem o funcionamento otimizado da intervenção.

A análise do universo dos artigos selecionados possibilitou a constatação de que, em vários deles, mesmo independentemente de sua classificação como "Avaliação", autores considerados consagrados ou clássicos que trabalham no campo da avaliação e das políticas públicas são citados como marcos referenciais.

No entanto, tais citações tendem a prender-se a definições conceituais de ordem cronológica, não havendo reflexões aprofundadas em grandes quantidades.

Em outra direção, alguns dos artigos citam os conceitos a fim de pontuar suas características e funções, sem o objetivo explicitamente desenhado de entrar em discussões que correlacionassem de modo crítico-reflexivo os citados conceitos às práticas governamentais que ensejaram as intervenções, programas, ações e ou estratégias analisadas.

Considerações finais

Guardadas as limitações aqui assumidas, corroborou-se a percepção de que a preocupação com a avaliação de políticas, que tem sido uma prática institucional/institucionalizada disseminada em âmbito internacional e gerado uma grande produção científica fora do Brasil, ainda não se encontra consolidada. Apesar de ser perceptível um considerável crescimento de estudos acadêmicos nos últimos anos e de louváveis esforços para a ação gestora cada vez mais incorporá-la no setor saúde, muito terreno ainda há de ser percorrido.

Pesquisas avaliativas têm sido muito valorizadas pela gestão na esfera pública, o que acaba por provocar algum reflexo na produção acadêmico-literária. Dentre o total de 66 artigos analisados para este texto, 81% foram publicados de 2007 a 2009.

A análise possibilitou o reconhecimento de propostas criativas de avaliação em saúde, com pontos de convergência e em consonância com as proposições governamentais, de agências financiadoras intergovernamentais, de organizações não governamentais, de profissionais e de acadêmicos, que vêm sendo colocadas, sugeridas e praticadas há muitos anos no mundo inteiro.

Este panorama que se apresenta para o campo da avaliação de políticas de saúde no Brasil sem dúvida pode ser considerado bom. Todavia, com as devidas cautelas que toda análise deve ter, e diante do quadro formado pelo conjunto de artigos do universo estudado, cabem algumas questões inspiradas por esta leitura, como fechamento do texto e, por que não, de abertura de outras e novas frentes para reflexão sobre o tema:

• A adoção de práticas e a elaboração de pesquisas avaliativas no Brasil têm crescido, mas, por conta da complexidade teórico-conceitual e da multiplicidade metodológico-operacional, ainda é um campo em formação. Como imaginar, viabilizar e executar pesquisas no âmbito acadêmico que, sem se prenderem a roteiros fechados e modelos rígidos, apresentem graus aceitáveis de sistematização e consistência teórico-metodológica?

• Ainda por ser um campo em formação, a utilização de conceitos por parte dos que trabalham com avaliação não segue um padrão único, o que gera por vezes uma situação de inadequação que transcende a simples semântica. "Avaliação" é um termo amplamente utilizado, mas cuja adequação tende a ser escassa em muitos casos.

• A utilização de uma tipologia como a que foi proposta neste texto demanda um esforço de enquadramento que, por vezes, encontra dificuldades, dada a variedade de características das pesquisas apresentadas nos artigos selecionados. Se for lícito dizer que essa variedade, por um lado, ancora-se na criatividade dos pesquisadores, possibilitada pela natureza não consensual do campo avaliação, por outro lado, percebe-se que aponta para riscos de inadequação na concepção, operacionalização e divulgação dos resultados e achados das pesquisas.

• Ainda, a utilização da tipologia proposta e a análise dos artigos selecionados apontaram para a necessidade de maiores esforços acerca da compreensão do que são políticas públicas. A não distinção entre políticas e iniciativas tais como programas, ações e projetos, melhor dizendo, a não percepção de que programas, ações e projetos podem ser entendidos como componentes de políticas, abre margem à ocorrência de uma confusão de grau, limite, alcance e escopo.

Enfim, este artigo não tem a pretensão de apontar este ou aquele caminho como correto a ser seguido no campo da avaliação de políticas de saúde. No entanto se reserva a modesta iniciativa compartilhada por muitos em buscar a reflexão e disseminar ideias e percepções, de modo a contribuir para o fortalecimento, a solidificação e o aperfeiçoamento do vasto campo da avaliação de políticas, programas, ações e projetos de saúde.

Colaboradores

F. M. B. Fernandes contribuiu na concepção e desenho do estudo, na análise e na interpretação dos dados, na revisão do conteúdo intelectual, na revisão final após contribuição dos coautores, e no encaminhamento da versão final para publicação. J. M. Ribeiro contribuiu na revisão crítica do conteúdo intelectual, na revisão e na aprovação final da versão para publicação. M. R. Moreira contribuiu na revisão crítica do conteúdo intelectual, na revisão e na aprovação final da versão para publicação.

Recebido em 10/Ago/2010

Versão final reapresentada em 10/Mai/2011

Aprovado em 27/Mai/2011

• 1. Arretche M. Uma contribuição para fazermos avaliações menos ingênuas. In: Barreira C, Carvalho M, organizadores. Tendências e perspectivas na avaliação de políticas e programas sociais. São Paulo: Instituto de Estudos Especiais, Pontifícia Universidade Católica de São Paulo; 2001. p. 43-56.
• 2. Barreira MCRN, Carvalho MCB, organizadores. Tendências e perspectivas na avaliação de políticas e programas sociais. São Paulo: Instituto de Estudos Especiais, Pontifícia Universidade Católica de São Paulo; 2001.
• 3. Browne A, Wildavsky A. What should evaluation mean? In: Pressman JL, Wildavsky A, editors. Implementation. 3^rd Ed. Berkeley: University of California Press; 1984. p. 181-205.
• 4. Cesconetto A, Lapa JS, Calvo MCM. Avaliação da eficiência produtiva de hospitais do SUS de Santa Catarina, Brasil. Cad Saúde Pública 2008; 24:2407-17.
• 5. Deslandes SF. Concepções em pesquisa social: articulações com o campo da avaliação em serviços de saúde. Cad Saúde Pública 1997; 13:103-7.
• 6. Draibe SM. Avaliação de implementação: esboço de uma metodologia de trabalho em políticas públicas. In: Barreira MCRN, Carvalho MCB, organizadores. Tendências e perspectivas na avaliação de políticas e programas sociais. São Paulo: Instituto de Estudos Especiais, Pontifícia Universidade Católica de São Paulo; 2001. p. 13-42.
• 7. Faleiros VP. Desafios para a pesquisa em política social. Ser Social 2001; (9):53-75.
• 8. Felisberto E. Da teoria à formulação de uma política nacional de avaliação em saúde: reabrindo o debate. Ciênc Saúde Coletiva 2006; 11:553-63.
• 9. Furtado JP. Um método construtivista para a avaliação em saúde. Ciênc Saúde Coletiva 2001; 6:165-81.
• ¹⁰
  Núcleo de Estudos de Políticas Públicas, Universidade Estadual de Campinas. Modelo de avaliação de programas sociais prioritários - relatório final. Campinas: Núcleo de Estudos de Políticas Públicas, Universidade Estadual de Campinas; 1999.
• 11. Bresser Pereira LC, Spink P. Reforma do estado e administração pública gerencial. Rio de Janeiro: Editora FGV; 1998.
• 12. Arretche M. Tendências no estudo sobre avaliação. In: Melo Rico E, organizador. Avaliação de políticas sociais: uma questão em debate. 3Ş Ed. São Paulo: Cortez Editora/Instituto de Estudos Especiais, Pontifícia Universidade Católica de São Paulo; 2001. p. 29-39.
• 13. Chen T. Theory-driven evaluations. Newbury Park: Sage Publications; 1990.
• 14. Figueiredo AC, Figueiredo M. Avaliação política e avaliação de políticas: um quadro de referência teórica. Análise & Conjuntura 1986; 1:107-27.
• 15. Frey K. Políticas públicas: um debate conceitual e reflexões referentes à prática da análise de políticas públicas no Brasil. Planej Polít Públicas 2000; (21):211-59.
• 16. Minayo MCS, Assis SG, Souza ER. Avaliação por triangulação de métodos: abordagem de programas sociais. Rio de Janeiro: Editora Fiocruz; 2005.
• 17. Geva-May I, Pal LA. Good fences make good neighbours. Policy evaluation and policy analysis - exploring the differences. Evaluation 1999; 5:259-77.
• 18. Bernier NF, Clavier C. Public health policy research: making the case for a political science approach. Health Promot Int 2011; 26:109-16.
• 19. Moreira M, Sucena LFM, Fernandes FMB. A avaliação de políticas sociais no contexto da reforma gerencial do estado: contribuições para o debate metodológico. Ser Social 2004; (14):4-76.
• 20. Souza R. Poder local e implementação da política de saúde: dilemas da gestão descentralizada [Tese de Doutorado]. Rio de Janeiro: Escola Nacional de Saúde Pública Sergio Arouca, Fundação Oswaldo Cruz; 2005.
• 21. Novaes HMD. Avaliação de programas, serviços e tecnologias em saúde. Rev Saúde Pública 2000; 34:547-59.
• 22. Viana M. Abordagens metodológicas em políticas públicas. Campinas: Núcleo de Estudos de Políticas Públicas, Universidade Estadual de Campinas; 1988. (Caderno de Pesquisa, 5).
• 23. Cano I. Introdução à avaliação de programas sociais. Rio de Janeiro: Fundação Getúlio Vargas; 2002.
• 24. MacRae Jr. D. Cross-national perspectives for aid-ing policy choice. Journal of Comparative Policy Analysis: Research and Practice 1999; 1:23-37.
• 25. Bosi M, Mercado F, organizadores. Avaliação qualitativa de programas de saúde: enfoques emergentes. Petrópolis: Editora Vozes; 2006.
• 26. Contandriopoulos AP, Champagne F, Denis JL, Pineault R. A avaliação na área de saúde: conceitos e métodos. In: Hartz Z, organizador. Avaliação em saúde. Rio de Janeiro: Editora Fiocruz; 2000. p. 29-47.
• 27. Cohen E, Franco R. Avaliação de projetos sociais. Rio de Janeiro: Editora Vozes; 2002.
• 28. Scriven M. O conceito de avaliação. In: Instituto Fonte para o Desenvolvimento Social, organizador. Introdução à avaliação de programas sociais - coletânea de textos. São Paulo: Instituto Fonte para o Desenvolvimento Social; 2004. p. 8-33.
• 29. Verani JF. Uma proposta metodológica para a avaliação de programa de imunização: contribuições para a construção de um novo modelo [Tese de Doutorado]. Rio de Janeiro: Escola Nacional de Saúde Pública Sergio Arouca, Fundação Oswaldo Cruz; 2005.
• 30. Vieira-da-Silva LM, Formigli VLA. Conceitos, abordagens e estratégias para a avaliação em saúde. In: Hartz ZMA, Vieira-da-Silva LM, organizadoras. Avaliação em saúde: dos modelos teóricos à prática na avaliação de programas e sistemas de saúde. Salvador: EDUFBA/Rio de Janeiro: Editora Fiocruz; 2005. p. 15-39.
• 31. Worthen B, Sanders J, Fitzpatrick J. Avaliação de programas: concepções e práticas. São Paulo: Editora Gente; 2004.
• 32. Costa GD, Cotta R, Franceschini S, Batista R, Gomes, A, Martins, P, et al. Avaliação em saúde: reflexões inscritas no paradigma sanitário contemporâneo. Physis (Rio J.) 2008; 18:705-26.
• 33. Dubeux LS, Cazarin G, Figueiró AC, Bezerra LCA, Barros M, Salvi A, et al. Formação de avaliadores na modalidade educação a distância: necessidade transformada em realidade. Rev Bras Saúde Matern Infant 2007; 7 Suppl 1:47-52.
• 34. Hartz Z. Avaliação dos programas de saúde: perspectivas teórico-metodológicas e políticas institucionais. Ciênc Saúde Coletiva 1999; 4:341-54.
• 35. Lins AM, Cecílio LCO. Campos de intervenções organizacionais: a contribuição das ciências humanas para uma leitura crítica das propostas de gestão das organizações de saúde. Interface Comum Saúde Educ 2007; 11:503-14.
• 36. Minayo MCS. Construção de indicadores qualitativos para avaliação de mudanças. Rev Bras Educ Méd 2009; 33 Suppl 1:83-91.
• 37. Santos IS. Avaliação do impacto de programas nutricionais. Rev Nutr 2009; 22:141-50.
• 38. Carraro TE, Knobel V, Radunz V, Meincke SMK, Fiewski MFC, Frello AT, et al. Cuidado e conforto durante o trabalho de parto e parto: na busca pela opinião das mulheres. Texto & Contexto Enferm 2006; 15(No Spe):97-104.
• 39. Cielo CA, Conterno G, Carvalho CDM, Finger LS. Disfonias: relação S/Z e tipos de voz. Rev CEFAC 2008; 10:536-47.
• 40. Cipriano Jr. G, Yuri D, Bernardelli GF, Mair V, Buffolo E, Branco JNR. Avaliação da segurança do teste de caminhada dos 6 minutos em pacientes no pré-transplante cardíaco. Arq Bras Cardiol 2009; 92:312-9.
• 41. Clemente A, Matos DR, Grejanin DKM, Santos HE, Quevedo MP, Massa PA. Residência multiprofissional em saúde da família e a formação de psicólogos para a atuação na atenção básica. Saúde Soc 2008; 17:176-84.
• 42. Costa NR, Pinto LF. Avaliação de programa de atenção à saúde: incentivo à oferta de atenção ambulatorial e a experiência da descentralização no Brasil. Ciênc Saúde Coletiva 2002; 7:907-23.
• 43. Finger LS, Cielo CA, Schwarz K. Acoustic vocal measures in women without voice complaints and with normal larynxes. Braz J Otorhinolaryngol 2009; 75:432-40.
• 44. Glina DMR, Satut BTG, Andrade EMOAC. A exposição ocupacional ao mercúrio metálico no módulo odontológico de uma unidade básica de saúde localizada na cidade de São Paulo. Cad Saúde Pública 1997; 13:257-67.
• 45. Gonçalves GP, Barbosa FT, Barbosa LT, Duarte JL. Avaliação da qualidade dos ensaios clínicos aleatórios em terapia intensiva. Rev Bras Ter Intensiva 2009; 21:45-50.
• 46. Morales RR, Morales NMO, Rocha FCG, Fenelon SB, Pinto RMC, Silva CHM. Qualidade de vida em portadores de esclerose múltipla. Arq Neuropsiquiatr 2007; 65:454-60.
• 47. Silva GF, Pelloso SM. Perfil das parturientes e seus recém-nascidos atendidos em um hospital-escola do noroeste do Estado do Paraná. Rev Esc Enferm USP 2009; 43:95-102.
• 48. Vasconcelos EM. Os diferentes tipos de pesquisa. In: Vasconcelos EM, organizador. Complexidade e pesquisa interdisciplinar: epistemologia e metodologia operativa. 2Ş Ed. Petrópolis: Editora Vozes; 2002. p. 157-67.
• 49. Veras CMT, Martins MS. A confiabilidade dos dados nos formulários de Autorização de Internação Hospitalar (AIH), Rio de Janeiro, Brasil. Cad Saúde Pública 1994; 10:339-55.
• 50. Vidal SA, Arruda BKG, Vanderlei LC, Frias PG. Avaliação da série histórica dos nascidos vivos em unidade terciária de Pernambuco: 1991 a 2000. Rev Assoc Méd Bras 2005; 51:17-22.
• 51. Xavier AJ, Reis SS, Paulo EM, d'Orsi E. Tempo de adesão à Estratégia Saúde da Família protege idosos de eventos cardiovasculares e cerebrovasculares em Florianópolis, 2003 a 2007. Ciênc Saúde Coletiva 2008; 13:1543-51.
• 52. Barroso LMM, Galvão MTG. Avaliação de atendimento prestado por profissionais de saúde a puérperas com HIV/AIDS. Texto & Contexto Enferm 2007; 16:463-9.
• 53. Brandalize SRC, Czeresnia D. Avaliação do programa de prevenção e promoção da saúde de fenilcetonúricos. Rev Saúde Pública 2004; 38:300-6.
• 54. Carvalho BG, Souza RKT, Soares DA, Yagi MCN. Doenças cardiovasculares antes e após o Programa Saúde da Família, Londrina, Paraná. Arq Bras Cardiol 2009; 93:645-50.
• 55. Chaves SCL, Vieira-da-Silva LM. Atenção à saúde bucal e a descentralização da saúde no Brasil: estudo de dois casos exemplares no Estado da Bahia. Cad Saúde Pública 2007; 23:1119-31.
• 56. Elias E, Magajewski F. A Atenção Primária à Saúde no sul de Santa Catarina: uma análise das internações por condições sensíveis à atenção ambulatorial, no período de 1999 a 2004. Rev Bras Epidemiol 2008; 11:633-47.
• 57. Gonçalves MJF, Penna MLF. Morbidade por tuberculose e desempenho do programa de controle em municípios brasileiros, 2001-2003. Rev Saúde Pública 2007; 41 Suppl 1:95-102.
• 58. Grangeiro GR, Diógenes MAR, Moura ERF. Atenção pré-natal no município de Quixadá-CE segundo indicadores de processo do SISPRENATAL. Rev Esc Enferm USP 2008; 42:105-11.
• 59. Kalckmann SFN, Carvalheiro JR. Avaliação da continuidade de uso do preservativo feminino em usuárias do Sistema Único de Saúde em unidades da Região Metropolitana de São Paulo, Brasil. Rev Bras Epidemiol 2009; 12:132-43.
• 60. Martins MA, França E, Matos JC, Goulart EMA. Vigilância pós-alta das infecções de sítio cirúrgico em crianças e adolescentes em um hospital universitário de Belo Horizonte, Minas Gerais, Brasil. Cad Saúde Pública 2008; 24:1033-41.
• 61. Mendes ACG, Araújo J JLCA, Furtado BMAS, Duarte PO, Santiago RF, Costa TR. Avaliação da satisfação dos usuários com a qualidade do atendimento nas grandes emergências do Recife, Pernambuco, Brasil. Rev Bras Saúde Matern Infant 2009; 9:157-65.
• 62. Nascimento AC, Moysés ST, Bisinelli JC, Moysés SJ. Oral health in the Family Health Strategy: a change of practices or semantics diversionism. Rev Saúde Pública 2009; 43:455-62.
• 63. Parada CMGL, Tonete VLP. O cuidado em saúde no ciclo gravídico-puerperal sob a perspectiva de usuárias de serviços públicos. Interface Comum Educ Saúde 2008; 12:35-46.
• 64. Rebouças D, Legay LF, Abelha L. Satisfação com o trabalho e impacto causado nos profissionais de serviço de saúde mental. Rev Saúde Pública 2007; 41:244-50.
• 65. Rocha PM, Uchoa AC, Rocha NSPD, Souza ECF, Rocha ML, Pinheiro TXA. Avaliação do Programa Saúde da Família em municípios do Nordeste brasileiro: velhos e novos desafios. Cad Saúde Pública 2008; 24 Suppl 1:S69-78.
• 66. Santa Helena ET, Nemes MIB, Eluf-Neto J. Desenvolvimento e validação de questionário multidimensional para medir não-adesão ao tratamento com medicamentos. Rev Saúde Pública 2008; 42:764-7.
• 67. Secoli SR, Padilha KG, Litvoc J. Cost-effectiveness analysis of the analgesic therapy of postoperative pain. Rev Latinoam Enferm 2008; 16:42-6.
• 68. Stranieri I, Takano OA. Avaliação do serviço de referência em triagem neonatal para hipotireoidismo congênito e fenilcetonúria no Estado de Mato Grosso, Brasil. Arq Bras Endocrinol Metab 2009; 53:446-52.
• 69. Theme Filha MM, Szwarcwald CL, Souza Junior PRB. Medidas de morbidade referida e inter-relações com dimensões de saúde. Rev Saúde Pública 2008; 42:73-81.
• 70. Torres HC, Franco LJ, Stradioto MA, Hortale VA, Schall VT. Avaliação estratégica de educação em grupo e individual no programa educativo em diabetes. Rev Saúde Pública 2009; 43:291-8.
• 71. Veloso IS, Santana VS, Oliveira NF. Programas de alimentação para o trabalhador e seu impacto sobre ganho de peso e sobrepeso. Rev Saúde Pública 2007; 41:769-76.
• 72. Almeida CAL, Tanaka OY. Perspectiva das mulheres na avaliação do Programa de Humanização do Pré-Natal e Nascimento. Rev Saúde Pública 2009; 43:98-104.
• 73. Bottari CMS, Vasconcellos MM, Mendonça MHM. Câncer cérvico-uterino como condição marcadora: uma proposta de avaliação da atenção básica. Cad Saúde Pública 2008; 24 Suppl 1:S111-22.
• 74. Facchini LA, Piccini RX, Tomasi E, Thumé E, Teixeira VA, Silveira DS, et al. Avaliação de efetividade da Atenção Básica à Saúde em municípios das regiões Sul e Nordeste do Brasil: contribuições metodológicas. Cad Saúde Pública 2008; 24 Suppl 1:S159-72.
• 75. Felisberto E, Freese E, Alves CKA, Bezerra LCA, Samico I. Política de monitoramento e avaliação da atenção básica no Brasil de 2003 a 2006: contextualizando sua implantação e efeitos. Rev Bras Saúde Matern Infant 2009; 9:339-57.
• 76. Formigli VLA, Silva LMV, Cerdeira AJP, Pinto CMF, Oliveira RSA, Caldas AC, et al. Avaliação da atenção à saúde através da investigação de óbitos infantis. Cad Saúde Pública 1996; 12 Suppl 2:33-41.
• 77. Gomes KO, Cotta RMM, Euclydes MP, Targueta CL, Priore SE, Franceschini SCC. Avaliação do impacto do Programa Saúde da Família no perfil epidemiológico da população rural de Airões, Município de Paula Cândido (MG), 1992-2003. Ciênc Saúde Coletiva 2009; 14 Suppl 1:1473-82.
• 78. Henrique F, Calvo MCM. Avaliação do Programa Saúde da Família nos municípios do Estado de Santa Catarina, Brasil. Cad Saúde Pública 2008; 24:809-19.
• 79. Macêdo VC, Bezerra AFB, Frias PG, Andrade CLT. Avaliação das ações de prevenção da transmissão vertical do HIV e sífilis em maternidades públicas de quatro municípios do Nordeste brasileiro. Cad Saúde Pública 2009; 25:1679-92.
• 80. Minayo MCS, Deslandes SF. Análise da implantação da Rede de Atenção às Vítimas de Acidentes e Violências segundo diretrizes da Política Nacional de Redução da Morbimortalidade sobre Violência e Saúde. Ciênc Saúde Coletiva 2009; 14:1641-9.
• 81. Nagahama EI. Avaliação da implantação de serviços de saúde reprodutiva no Município de Maringá, Paraná, Brasil. Cad Saúde Pública 2009; 25 Suppl 2:S279-90.
• 82. Rodrigues MAP, Facchini LA, Piccini RX, Tomasi E, Thumé E, Silveira DS, et al. Uso de serviços ambulatoriais por idosos nas regiões Sul e Nordeste do Brasil. Cad Saúde Pública 2008; 24:2267-78.
• 83. Santos SMC, Santos LMP. Avaliação de políticas públicas de segurança alimentar e combate à fome no período de 1995-2002: 1 - abordagem metodológica. Cad Saúde Pública 2007; 23:1029-40.
• 84. Santos LMP, Santos SMC, Santana LAA, Henrique FCS, Mazza RPD, Santos LAS, et al. Avaliação de políticas públicas de segurança alimentar e combate à fome no período de 1995-2002: 4 - Programa Nacional de Alimentação Escolar. Cad Saúde Pública 2007; 23:2681-93.
• 85. Scochi MJ, Marcon SS, Oliveira MLF, Waldman MAP, Gonçalves MB, Nishiyama P, et al. Capacitação das equipes locais como estratégia para a institucionalização da avaliação em saúde. Cad Saúde Pública 2008; 24 Suppl 1:S183-92.
• 86. Patton MQ. Utilization-focused evaluation: the new century text. Beverly Hills: Sage Publications; 1997.
• 87. Costa GD, Cotta RMM, Reis JR, Siqueira-Batista R, Gomes AP, Franceschini SCC. Avaliação do cuidado à saúde da gestante no contexto do Programa Saúde da Família. Ciênc Saúde Coletiva 2009; 14 Suppl 1:1347-57.
• 88. Feliciano KVO, Kovacs MH, Costa IER, Oliveira MG, Araújo MAS. Avaliação continuada da educação permanente na atenção à criança na Estratégia Saúde da Família. Rev Bras Saúde Matern Infant 2008; 8:45-53.
• 89. Felisberto E, Freese E, Natal S, Alves CKA. Contribuindo com a institucionalização da avaliação em saúde: uma proposta de auto-avaliação. Cad Saúde Pública 2008; 24:2091-102.
• 90. Manzini FC, Borges VTM, Parada CMGL. Avaliação da assistência ao parto em maternidade terciária do interior do Estado de São Paulo, Brasil. Rev Bras Saúde Matern Infant 2009; 9:59-67.
• 91. Lancman S. Instituições psiquiátricas e comunidades: um estudo de demanda em saúde mental no Estado de São Paulo, Brasil. Cad Saúde Pública 1997; 13:93-102.
• 92. Caldeira AP, Gonçalves E. Avaliação de impacto da implantação da Iniciativa Hospital Amigo da Criança. J Pediatr (Rio J.) 2007; 83:127-32.
• 93. Höfelmann DA, Blank N. Identification of confounders in the association between self-reported diseases and symptoms and self-rated health in a group of factory workers. Cad Saúde Pública 2008; 24:983-92.
• 94. Bezerra LCA, Freese E, Frias PG, Samico I, Almeida CKA. A vigilância epidemiológica no âmbito municipal: avaliação do grau de implantação das ações. Cad Saúde Pública 2009; 25:827-39.

Datas de Publicação

• Publicação nesta coleção
  03 Out 2011
• Data do Fascículo
  Set 2011

Histórico

• Aceito
  21 Maio 2011
• Revisado
  10 Maio 2011
• Recebido
  10 Ago 2010