Modelo de avaliação do programa de controle da tuberculose

Evaluation model for tuberculosis control program

ARTIGO ARTICLE

Modelo de avaliação do programa de controle da tuberculose

Evaluation model for tuberculosis control program

Luisa Gonçalves Dutra de Oliveira^I; Sonia Natal^II; Eronildo Felisberto^II; Cinthia Kalyne de Almeida Alves^III; Elizabeth Moreira dos Santos ^III

^IDepartamento de Planejamento em Saúde, Instituto de Saúde da Comunidade, Universidade Federal Fluminense. Rua Lopes Trovão 134/1702, Icaraí. 24220-071 Niterói RJ. [e-mail]

^IIGrupo de Estudos de Gestão e Avaliação em Saúde, Instituto de Medicina Integral Prof. Fernando Figueira

^IIIEscola Nacional de Saúde Pública, Fiocruz

RESUMO

A implantação é uma das fases do "ciclo de política", correspondendo à execução de atividades para atingir metas predefinidas. Em outra perspectiva, a formulação e implantação de políticas representam um processo, sujeito à influência do contexto e de mecanismos intervenientes. A construção de modelos teóricos permite que a avaliação de políticas e programas ultrapasse a visão dicotômica insumos/resultados e possibilita o esclarecimento das razões do êxito da intervenção em contextos diversos e para diferentes grupos populacionais. A avaliação torna-se um instrumento para constante reformulação de uma política pública, podendo chegar à sua reversão ou substituição. Um estudo de avaliação com base na teoria do programa relaciona os mecanismos que levam à mudança. Um modelo de autoavaliação é proposto como forma de auxiliar o gestor na identificação de problemas, na caracterização de fatores favoráveis a intervenções exitosas e na mensuração dos efeitos. A presente proposta baseou-se em três estudos de avaliação de intervenções para o controle da tuberculose que utilizaram diferentes métodos e múltiplas fontes de evidência. Os principais resultados encontrados foram a falta de autonomia técnico-gerencial, a carência de recursos humanos, financeiros e materiais e a deficiência na integração entre programas para um melhor desenvolvimento das ações de controle.

Palavras-chave: Avaliação, Modelo teórico, Programa de controle da tuberculose

ABSTRACT

The implementation process is one of the steps of policy cycle, corresponding to the execution of activities which the purpose is to achieve previously defined targets. It could also be considered that policy's formulation and implementation means a process, subject to context and intervening actions. The building of theoretical models allows the evaluation of policies and programs to go beyond the dichotomist view of input x results and enables to understand the reasons of successful actions in different contexts and population groups. The evaluation process becomes an instrument to continuous reformulation of public policies and possibly leads to their reversal or substitution. An evaluation study based on program's theory shows the mechanisms which lead to changes. A self-evaluation model is proposed as a way to assist the manager in the identification of problems, the characterization of favorable factors to successful interventions and the measurement of effects. The present proposal was based upon three evaluation studies on actions for tuberculosis control which used of different methods and multiple sources of evidence. Main results observed were: lack of technical and managerial autonomy, shortage of both human and financial resources and also a deficient link among the programs ability to achieve the development of actions control.

Key words: Evaluation, Theory-driven evaluation, Tuberculosis control program

Construindo o modelo teórico de avaliação

A implantação, no Brasil, pode ser entendida como o conjunto de atividades pelas quais se pretende que os objetivos de um programa ou intervenção, tidos como desejáveis, sejam alcançados. A implantação é compreendida como etapa inicial do desenvolvimento de uma intervenção, passando a implementação a ser concebida como a intervenção em curso, imediatamente após a fase inicial de implantação.

Embora possa ocorrer coincidência entre a figura do(s) formulador(es) e a figura do(s) implementador(es), na implantação, a autoridade central procura induzir agentes (implementadores) a colocarem em prática objetivos e estratégias que lhe são muitas vezes alheias.

A implantação, então, seria a habilidade de forjar os subsequentes elos da cadeia causal com vistas a obter os resultados desejados. A partir desse momento, desencadeado esse movimento, se distingue cada vez menos as condições iniciais e a cadeia causal subsequente, já que as circunstâncias se modificam e as metas se alteram no próprio movimento que conduz o programa¹.

Na visão clássica da ação governamental, a implantação constitui umas das fases do policy cycle (Figura 1). Corresponde à execução de atividades que permitem que ações sejam implementadas com vistas à obtenção de metas definidas no processo de formulação das políticas².

Presume-se que, com base em um diagnóstico prévio e em um sistema adequado de informações, na fase de formulação são definidas não só as metas mas também os recursos e o horizonte temporal da atividade de planejamento. Definidos esses dois parâmetros, pode-se aferir o efeito de um programa: eficiência, efetividade e eficácia.

Essa visão clássica do ciclo de política (policy cycle) não considera os aspectos relativos à extensão da implantação e seus efeitos retroalimentadores sobre a formulação da política. Em outras palavras, não considera o policy cycle como um processo, tratando a intervenção como uma variável dicotômica². A implantação é entendida, fundamentalmente, como uma ação vertical de origem governamental, expressa em programas ou projetos de intervenção.

Numa perspectiva menos simplista, em que a formulação e a implantação de políticas são vistas como parte de um processo, essa última também aparece como dimensão importante. As particularidades da implantação de políticas são incorporadas à análise. Em sua versão mais normativa, essa perspectiva propõe que o monitoramento e a avaliação das políticas e/ou dos programas sejam considerados instrumentos que permitam redirecionar e/ou redefinir estratégias³.

Uma discussão fundamental na análise de implantação é a necessidade de modelos teóricos ou lógicos. Tradicionalmente, a pesquisa avaliativa se referia à avaliação dos resultados ou efeitos líquidos dos programas (impactos), sendo criticada pela sua limitação em não considerar as modalidades de implantação nos diferentes contextos, nem os mecanismos intervenientes associados a esses efeitos (black-box experiment). Denis et al.⁴ fazem uma ampla revisão das críticas feitas a este tipo de avaliação, em que uma intervenção é tratada simplesmente como variável dicotômica, impermeável aos meios em que ela é introduzida. Eles apresentam as vantagens de uma avaliação orientada por um modelo teórico (theory-driven evaluation - TDE), explicitando como o programa supostamente funciona (indispensável na análise de implantação), contrastando assim com uma orientação pelo método em que a incerteza é reduzida apenas pela alocação aleatória ou controle estatístico no momento da análise dos dados⁵. Sem dúvida, estes mecanismos têm importância inquestionável para reduzir viéses que comprometam a validade interna, mas não podem esclarecer o como e o porquê dos programas atuarem nos grupos populacionais. A possibilidade de dar estas respostas, principal vantagem da TDE, é portanto uma contribuição fundamental para a reprodutibilidade ou validade externa das intervenções .

Alguns autores⁴ concordam que a perspectiva de análise do policy cycle como um processo representa um avanço em relação à visão clássica da questão; entretanto, consideram que ela está embasada em premissas equivocadas. Em primeiro lugar, ela confere um primado excessivo à atividade de formulação, em detrimento das outras dimensões. E, embora a questão da implantação e do monitoramento seja incorporada à análise, a formulação é vista como uma atividade relativamente não problemática. Assume-se que:

. o diagnóstico que informa a formulação de políticas esteja essencialmente correto;

. o formulador disponha de todas as informações necessárias ao desenho das propostas programáticas, e

. o formulador disponha de um modelo causal verdadeiro.

Esse último aspecto é essencial, na medida em que toda política pública está assentada em um modelo causal, frequentemente não explicitado. Esse modelo causal consiste em hipóteses e pressupostos sobre determinados fenômenos. No caso do Programa de Controle da Tuberculose (PCT), são apresentados, no Quadro 1, os pressupostos ou hipóteses gerais da implantação do programa. Esses pressupostos são essenciais para a elaboração dos modelos lógico e teórico da avaliação.

Partindo do pressuposto acima, podemos verificar que a implantação de políticas constantemente orienta novas políticas. Como a implantação implica tomada de decisões, ela própria se constitui em fonte de informações para a formulação de políticas. As decisões na maioria das políticas setoriais constituem apenas inovações em relação a políticas existentes ou manutenção de políticas, realizando-se ajustes incrementais de metas, recursos e prazos de execução.

Nesse sentido, a idéia da avaliação como instrumento de redirecionamento deve ser substituída pela noção de avaliação como policy learning, ou seja, aprendizado na implantação de uma política pública. Essa idéia da implantação como trajetória preconcebida deve dar lugar à constante reformulação, considerando diferentes influências contextuais no limite da reversão ou da substituição da política. Portanto, a implantação e a avaliação de políticas devem ser entendidas como testes de modelos causais sujeitos à corroboração ou ao abandono das mesmas⁶.

Na Figura 2, estão representados graficamente os pressupostos apresentados acima, considerando as externalidades, fatores que podem influenciar positiva ou negativamente a implantação, ou mesmo os efeitos, e, também os efeitos esperados da implantação do Programa de Controle da Tuberculose.

Razões para avaliar programas e políticas públicas

Avaliar a implantação de um programa, ou um projeto, é particularmente importante quando a intervenção analisada é complexa e composta de elementos sequenciais sobre os quais o contexto pode interagir de diferentes modos³.

Os estudos de avaliação de políticas e programas governamentais permitem que formuladores e implementadores sejam capazes de, objetivamente, tomar decisões com maior qualidade, otimizando o gasto público nas diversas atividades, objetos da intervenção estatal, identificando e superando pontos de estrangulamentos e destacando pontos que levam ao êxito dos programas. Consequentemente, surgem perspectivas racionais para implementar políticas públicas dotadas de maior capacidade de alcançar os resultados desejados pelos formuladores, em qualquer área de competência do governo.

A teoria do programa

Em avaliações de programas, é fundamental saber não apenas o que o programa se propõe a atingir, ou atinge, mas, fundamentalmente, como se pretende atingir os objetivos. Um dos modos de entender como um programa pretende atingir objetivos tem a ver com o que se entende por teoria do programa. Os especialistas, mais recentemente, têm estado em acordo de que todo programa ou política é dotado de uma teoria e a avaliação representa o teste desta teoria. Os avaliadores necessitam entender as premissas teóricas em que o programa se baseia, ou seja, como se acredita que determinadas ações conduzem a determinados resultados para os beneficiários do programa. Neste sentido, todo programa se baseia em premissas ou hipóteses testáveis sobre os meios necessários para atingir determinados fins^1,6,7.

Para conhecer ou formular a teoria implícita de um programa ou política, o avaliador parte para compreender, de modo geral, as idéias e premissas que ligam os inputs do programa aos objetivos pretendidos. A teoria de um programa ou política pública consiste em fornecer uma explicação das sequências causais que articulam meios e fins gerados pelo programa, ou ainda um modelo plausível de como é esperado que o programa funcione. Em 2005, Chen⁶ afirma que a teoria do programa busca identificar recursos, atividades e possíveis resultados desejados com o programa, e a especificação de uma cadeia causal de premissas ligando tais elementos. A análise com base na teoria do programa procura avaliar em que medida as atividades desencadeadas pelo mesmo provocam um conjunto específico de respostas para seus atores e beneficiários, permitindo comparar os estágios de formulação e implantação. Neste sentido, as análises centradas na teoria tendem a dar ênfase na análise dos mecanismos que levam à mudança e não nas atividades de funcionamento do programa, e como estas tendem a gerar benefícios ou não para os seus clientes.

O ponto de partida para um estudo de avaliação com base na teoria do programa, portanto, seria formular um conjunto de teorias alternativas sobre atividades e mecanismos a serem testadas empiricamente. A construção de uma teoria do programa inclui as seguintes atividades: (a) os inputs; (b) as atividades operacionais , as quais representam o modo específico pelo qual o programa é implementado; (c) os resultados obtidos, que representam a cadeia de respostas para cada atividade; e (d) os resultados esperados com a implantação.

O modelo lógico e o modelo teórico

Os modelos teóricos, conhecidos no Canadá como modelos lógicos, constituem uma exigência governamental para avaliação das intervenções federais, desde o início dos anos oitenta, e são considerados extremamente práticos pelos avaliadores, ajudando-os a (re) estabelecer metas e objetivos e a conceber um instrumento de avaliação adequado. A construção do modelo teórico, para cada problema ou comportamento visado pelos programas, incluiria as seguintes especificações: a população-alvo e as condições do contexto; o conteúdo do programa ou atributos necessários e suficientes para produzirem isolada e/ou integradamente os efeitos esperados (ingredientes ativos). Esta construção lógica pode derivar de várias fontes, como os resultados de pesquisas prévias, normas técnicas, experiência dos gestores e avaliadores. A relevância de um modelo teórico é de tal ordem que os avaliadores só deveriam avaliar políticas e programas que tenham explicitado sua teoria e as medidas ou indicadores correspondentes⁸. O modelo lógico fortalece as inferências de causalidade se os efeitos observados, ainda que indiretamente medidos, "are linked in a causal chain supported by prior research". O programa pode ser tratado em sua pluralidade, e também na singularidade de subprogramas ou projetos (families of logic models), criados para diferentes perspectivas ou detalhamentos, nunca se tendo apenas um efeito desejado para os seus participantes, mas um conjunto de efeitos, lógica e hierarquicamente articulados em uma série de relações, associando componentes de serviço e de infraestrutura, atividades produzidas e resultados de curto e longo prazo⁹.

Proposta de um modelo para autoavaliação do Programa de Controle da Tuberculose

A proposta para construção do modelo lógico do PCT teve como base três estudos de avaliação de intervenções para o controle da tuberculose. São eles: Avaliação do Programa de Controle da Tuberculose: estudo de casos na Amazônia Legal¹⁰, Avaliação do Programa de Controle da Tuberculose no município de Niterói-RJ: a integração entre unidade de saúde e de saúde da família¹¹ e Indicators and Research Methods for Rapid Assessment of a Tuberculosis Control Programme: Case study of a rural area in South Africa¹². Nos dois primeiros estudos, os modelos foram desenvolvidos com uma construção teórica baseada em documentos oficias do Ministério da Saúde, como em outros tipos de publicações oficiais relativas ao tema. Já no estudo da África do Sul¹², foi utilizado o método rápido de avaliação (REM). O estudo nacional, na Amazônia Legal¹⁰, foi desenvolvido em parceria com o grupo técnico, para garantir a atualização e incorporação de evidências científicas disponíveis na literatura como sugere Reynolds¹³.

O modelo proposto abrangeu os componentes político e institucional com seus respectivos produtos e resultados esperados, que servirão como padrão de julgamento da integralidade e qualidade das ações avaliadas

Na Figura 3, está apresentada a proposta para o modelo lógico do PCT, demonstrando a lógica e a racionalidade da intervenção. Cabe destacar que nesse modelo estão apenas as grandes atividades com seus respectivos produtos e os resultados esperados.

A proposta de autoavaliação aqui apresentada propõe a participação de todos os níveis de decisão, incluindo os profissionais participantes da intervenção. Além da participação dos avaliadores internos, outros pontos considerados foram: objetividade, rapidez, baixo custo, simplicidade e a pronta resposta. A premissa desse modelo, independente do nível de decisão, é a de que o gestor possa adaptá-lo para sua autoavaliação, incluindo novos indicadores ou tipos de coleta e fontes de evidência, de acordo com as perguntas avaliativas pertinentes.

A matriz de autoavaliação foi desenvolvida a partir das matrizes de análise e julgamento, constituídas de indicadores e padrões, utilizadas nos estudos nacionais de avaliação do PCT e da matriz REM utilizada na avaliação do programa na África do Sul. Essas matrizes também foram adaptadas utilizando-se o checklist, Institucionalização da Avaliação¹⁴, mediante resposta à seguinte pergunta: "o que uma gerência de PCT necessitaria para avaliar, visando aumentar o rendimento das ações do PCT?" Ao final, a matriz contemplou indicadores compreendendo as seguintes dimensões: (1) gestão técnico-financeira das ações de monitoramento e avaliação (M&A), (2) integração a outros componentes da política estadual e nacional de institucionalização do M&A da atenção básica (intra e intersetorial) e (3) desenvolvimento da capacidade avaliativa e dos processos de capacitação em M&A.

A matriz também contempla os tipos de coleta de dados, as fontes de evidências e a pontuação para o estabelecimento do gradiente de implantação. Para isto, foram atribuídos pontos às dimensões com base nos estudos nacionais. A pontuação máxima que cada dimensão poderá alcançar é a resultante dos somatórios do grupo de indicadores de cada dimensão (S dos pontos dos indicadores). Para a pontuação observada, foram consideradas, quando pertinentes, as metas estabelecidas e as considerações da equipe de avaliadores internos do Ministério da Saúde⁸.

É importante frisar que essa classificação, ou mesmo a pontuação estipulada para os indicadores, pode mudar na dependência da mudança associada à intervenção, ou seja, um indicador operacional classificado como básico poderá ser classificado como imprescindível em outro momento, ou vice-versa, permitindo a valoração diferenciada de mudanças operacionais ou de resultado. Essa flexibilidade permite a adequação das matrizes ao monitoramento e à avaliação de programas em estágios diferenciados de avaliação. Da mesma maneira, a Secretaria de Estado de Saúde (SES), a Secretaria Municipal de Saúde (SMS) ou mesmo os serviços de saúde poderão incluir novos tipos de coleta ou de fontes de evidência, de acordo com o problema a ser avaliado.

Para a construção do modelo teórico de avaliação nos estudos nacionais, foram consideradas as dimensões: contexto externo, contexto organizacional, implantação das ações de controle e o efeito destas ações, como apresentado na matriz de análise e julgamento (Quadro 2).

Na matriz, estão propostos os métodos de coleta de dados, de maneira que sejam rápidos e de fácil análise. Para atender a esse propósito, sugerimos entrevistas semiestruturadas e pontuais, e a utilização de dados de registro de prontuários, livro de registro de casos de tuberculose utilizados no nível local de assistência e os sistemas de informação: Sistema Nacional de Agravos de Notificação (SINAN) e Sistema de Informação de Mortalidade (SIM).

Os passos para a realização da avaliação, utilizando a matriz de avaliação rápida como base, seriam, em primeiro lugar, a identificação do problema e, em segundo lugar, as perguntas relacionadas ao problema que poderiam contribuir para a sua explicação e, dessa maneira, reorientar e/ou definir novas estratégias de intervenção.

Após a identificação do problema e a definição das perguntas, o gestor e a equipe que irá avaliar adaptarão a matriz e a pontuação de maneira a melhor atender os seus objetivos.

Na presente proposta, foi estabelecida pontuação igual em todas as dimensões. Entretanto, estabeleceu-se uma maior pontuação internamente, com maior valor para dados quantitativos, devido à maior consistência e validade externa, além de apresentar um menor viés de informação.

Discussão

Este modelo rápido de autoavaliação está sendo proposto para auxiliar os gestores e os profissionais responsáveis a avaliar a implantação de intervenções com o intuito de: (1) identificar problemas; (2) viabilizar recursos disponíveis para intervir; (3) caracterizar fatores que impedem ou facilitam a execução de intervenções bem sucedidas; (4) medir o efeito de uma intervenção e; (5) desenvolver mecanismos de se avaliar e responder a problemas críticos e pontuais em nível local¹⁵.

Essa proposta não perde o foco na contribuição que a avaliação pode fornecer para o processo de implantação de um programa, não só no sentido de simplesmente apontar acertos e/ou falhas, mas também de participar do processo de construção, delineando possíveis soluções, reorganizando atividades e serviços, possibilitando caminhos alternativos para maximizar a utilização de recursos disponíveis e uma melhor conscientização, tanto dos profissionais como da própria comunidade, sobre seus problemas e necessidades¹⁶. Mas esta avaliação apresenta a necessidade da construção teórica e principalmente a necessidade de avaliadores externos, o que se torna impraticável no acompanhamento da implantação de programas a nível local onde se precisa de respostas rápidas para decisão gerencial.

Os estudos de avaliação de intervenções para o controle da tuberculose, mencionados anteriormente, adotaram a estrutura de avaliação insumos-processo-resultados, com a utilização de diversos métodos e fontes de evidência. O estudo da África do Sul¹² teve como principais resultados: o desconhecimento, por parte dos profissionais, de alguns aspectos da política de controle da tuberculose; a carência de recursos humanos e materiais para implementar algumas atividades; a falta de planejamento, de treinamento em serviço e de supervisão. Consequentemente, as ações educativas eram pouco realizadas e os pacientes tinham concepção equivocada do modo de transmissão da doença. Além disso, foi detectada dificuldade de acessibilidade aos serviços. No estudo realizado na Amazônia Legal¹⁰, os principais achados foram: a falta de integração entre o contexto organizacional e a atenção básica, a não-observância da relação entre a bacteriologia e o tipo de administração do tratamento, a não-obediência aos critérios recomendados para solicitação do incentivo financeiro que, por sua vez, não era revertido para o PCT. O estudo verificou que a falta de recursos financeiros e de autonomia técnico-gerencial impediam o melhor desenvolvimento do programa e, consequentemente, um melhor resultado das ações. Já no estudo desenvolvido no município de Niterói (RJ)¹¹, observou-se a falta da sistemática integração entre o PCT e a Estratégia de Saúde da Família (ESF) como fator prejudicial ao melhor desenvolvimento das ações de controle. Além disso, também foram observados: uma autonomia técnico-gerencial parcial, não participando da gestão de recursos para a saúde; a distribuição desigual dos pacientes com tuberculose entre as unidades de saúde do município; a baixa cobertura da ESF, uma proporção pequena de pacientes em tratamento supervisionado e taxas de cura e abandono ainda inferiores às metas do programa.

No Brasil, o método REM tem sido utilizado como uma ferramenta para aumentar o rendimento das análises de implantação. Uma das características dos métodos rápidos é desenvolver um estudo operacional, com foco na identificação do problema, nas perguntas avaliativas, nos tipos de coleta de dados e nas fontes de evidência e na análise. Esse método não se preocupa com uma construção teórica como ocorre nas avaliações. Entretanto, como no Brasil as análises de implantação realizadas tiveram, geralmente, o objetivo de desenvolver modelos de avaliação, existe uma construção teórica para esses modelos e também para matriz REM utilizada.

A vantagem do modelo de autoavaliação proposto é a sua construção a partir de um modelo teórico de avaliação, que teve como base a teoria do programa, dando assim maior validade interna e consistência. Outra vantagem é que todos os indicadores propostos foram testados.

Outras características do REM são: a ênfase na observação de campo com aquisição de informações de diferentes níveis; o seguimento de um padrão hierárquico refletindo a estrutura administrativa das Secretarias de Saúde e a ênfase maior na quantidade e qualidade do processo que nos resultados esperados. Pretende-se, desta forma, conseguir resultados rápidos e úteis para decisões gerenciais na implantação de programas¹².

Uma outra vantagem dessa metodologia é que a informação é adquirida por intermédio de diversas fontes, o que controla a validade interna. Os métodos quantitativo e qualitativo, apesar de suas diferenças, podem ser complementares no planejamento da pesquisa, na coleta de dados e na análise da informação. Enquanto um auxilia na delimitação do problema, na objetividade da coleta de dados e na utilização de técnicas estatísticas, o outro fornece aporte com relação à profundidade e ao detalhamento das informações obtidas¹⁷. Esse processo, o uso simultâneo de diversas técnicas de coleta e diversas fontes de evidência com o objetivo de uma única resposta, denominado triangulação, auxilia a verificar continuamente a confiabilidade, validade e interpretação da informação coletada. Este é um dos fundamentos do estudo de caso¹⁸. "São necessárias múltiplas medidas, usando-se fontes diferentes e métodos diferentes, para garantir que a questão da avaliação seja respondida na íntegra"¹⁹. Um dos grandes desafios da utilização de abordagem mista quantitativa e qualitativa é a análise. Como sintetizar estas duas abordagens diferentes?

Os métodos de coleta de dados quantitativos e/ou qualitativos vão originar uma abordagem analítica para cada um deles. Dessa forma, a confirmação, a triangulação e a ponderação das evidências podem ser usadas para chegarmos à síntese dos resultados¹⁸. A análise conjunta das diversas fontes de evidências permite o estabelecimento de "convergências de informações oriundas de fontes diferentes"¹⁹.

O processo de avaliação rápida consiste em inúmeras partes interdependentes, pois as descobertas obtidas com um módulo de avaliação serão relevantes para responder perguntas em outra etapa da avaliação. Um dos princípios centrais do REM é que os módulos de avaliação não são simplesmente utilizados sequencialmente, mas são utilizados interativamente e cada um combinado ao outro²⁰.

É importante chamar a atenção para o aspecto atribuição, considerado como uma grande dificuldade na avaliação de programas, ou seja, se atribuir impactos de diferentes procedimentos de implantação e distinguir entre os vários fatores potencialmente contribuintes. Esta assertiva encontra consonância com a afirmação: "A avaliação formativa promove uma comparação entre os objetivos previstos de um programa e o que realmente está sendo alcançado"¹⁵ .

Colaboradores

LGD Oliveira trabalhou na pesquisa, análise e interpretação dos dados, na redação e formatação final do artigo. S Natal participou da concepção, elaboração da metodologia, análise, interpretação dos dados e redação do artigo. E Felisberto e CKA Alves trabalharam na revisão crítica do artigo e redação da versão a ser publicada. EM Santos trabalhou na revisão final do artigo.

Artigo apresentado em 13/11/2007

Aprovado em 01/10/2008

Versão final apresentada em 29/10/2008

• 1. Champagne F, Contandriopoulos AP. Elementos de arquitetura dos sistemas de avaliação do desempenho dos sistemas de serviço de saúde. 1ş Simpósio Internacional da Conferência Luso-Francófona da saúde (COLUFRAS); 2005 mai; Montréal, Canadá. [Mimeo]
• 2. Haney SR, Gonzales-Block M, Buxton MJ, Kogan M. The Utilization of Health Research in Policy-making: concepts, examples and methods of assessment. Health Research Policy and Systems [periódico na Internet]. 2003. [acessado 2007 mai]. Disponível em: http://www.health-policy-systems.com/content/l/1/2
• 3. Hartz ZMA, organizadora. Avaliação em saúde: dos modelos conceituais à prática na análise da implantação de programas Rio de Janeiro: Fiocruz; 1997. p. 19-28.
• 4. Denis JL, Champagne F. Análise de implantação. In: Hartz ZMA, organizador. Avaliação em saúde: dos modelos conceituais à prática na análise da implantação de programas Rio de Janeiro: Fiocruz; 1997. p. 49-88.
• 5. Christie CA, Alkin MC. The User-oriented Evaluator's Role in Formulating a Program Theory: Using a Theory-Driven Approach. Am J Eval 2003; 24(3):373-385.
• 6. Chen Huey-Tsyh. Assessing Implementation in The Mature Implementation Stage. In: Chen Huey-Tsyh, editor. Practical Program Evaluation. Assessing and Improving Planning, Implementation, and Effectiveness London: Sage Publications; 2005. p. 15-43.
• 7. Hartz ZMA, Vieira-da-Silva LM, organizadores. Avaliação em saúde: dos modelos teóricos à prática na avaliação de programas e sistemas de saúde Salvador: EDUFBA; Rio de Janeiro: Fiocruz: 2005.
• 8. Natal S, Santos EM, Alves CKA, Felisberto E. Implementação do projeto estratégico de fortalecimento da capacidade técnica em monitoramento e avaliação das secretarias de saúde: avaliação formativa e auto-avaliação. In: Hartz ZMA, Vieira-da-Silva L, Felisberto E, organizadores. Meta-avaliação da Atenção Básica em Saúde: teoria e prática Rio de Janeiro: Fiocruz; 2008.
• 9. Centers for Disease Control and Prevention. Framework for Program Evaluation in Public Health. MMWR Weekly 1999; 48(RR11):1-40.
• 10. Natal S, Santos EM, Hartz ZMA, Patroclo MA, Cruz M. Avaliação do Programa de Controle da Tuberculose: Estudo de casos na Amazônia Legal. Bol. Pneumol. Sanit. 2004; 12(2):91-109.
• 11. Oliveira LGD. Avaliação do Programa de Controle da Tuberculose no município de Niterói-RJ: A integração entre a unidade de saúde e a unidade de saúde da família [dissertação]. Rio de Janeiro (RJ): Escola Nacional de Saúde Pública, Fiocruz; 2007.
• 12. Lee T, Price M. Indicators and research methods for rapid assessment of a tuberculosis control programme: Case study of a rural area in South Africa. Tubercle and Lung Disease 1995; 76(5):441-449.
• 13. Reynolds AJ. Confirmatory Program Evaluation: a Method for Strengthening Causal Inference. American Journal of Evaluation 1998; 19(2):203-221.
• 14. Stufflebeam DL. Modelo CIPP para avaliação. In: Sanders J, organizador. Introdução à avaliação de programas sociais São Paulo: Instituto Fonte; 2004.
• 15. Felisberto E, Freese E, Natal S, Alves CKA. Contribuindo com a institucionalização da avaliação em saúde: uma proposta de auto-avaliação. Cad Saude Publica 2008; 24:1-12.
• 16. Samico I, Felisberto E, Mendes M. Uso da Avaliação Formativa para análise de serviços integrados para crianças. Revista do IMIP 2000; 14(2):192-195.
• 17. Richardson RJ. Pesquisa social: métodos e técnicas São Paulo: Atlas; 1999.
• 18. Yin RK. Estudo de caso: planejamento e métodos 3Ş ed. Porto Alegre: Bookman; 2005.
• 19. Whorten BR Sanders JR, Fitzpatrick JL. Avaliação de programas: concepções e práticas São Paulo: Gente; 2004.
• 20. Miles McNall M, Foster-Fishman PG. Methods of Rapid Evaluation, Assessment, and Appraisal. Am J Eval 2007; 28(2):151-168.

Datas de Publicação

• Publicação nesta coleção
  08 Jul 2010
• Data do Fascículo
  Jun 2010

Histórico

• Recebido
  13 Nov 2007
• Aceito
  01 Out 2008