Avaliação das campanhas para a eliminação da sífilis congênita, no município do Rio de Janeiro, a partir de um modelo teóricológico

Congenital syphilis campaigns evaluation in the city of Rio de Janeiro based on a theoretical logical model

ARTIGOS ORIGINAIS ORIGINAL ARTICLES

Avaliação das campanhas para a eliminação da sífilis congênita, no município do Rio de Janeiro, a partir de um modelo teóricológico

Congenital syphilis campaigns evaluation in the city of Rio de Janeiro based on a theoretical logical model

Valéria Saraceni^I; Vitória Régia Osório Vellozo^I; Maria do Carmo Leal^II; Zulmira Maria de Araújo Hartz^II

^ISecretaria Municipal de Saúde do Rio de Janeiro. Rua Afonso Cavalcanti, 455, sala 856. Rio de Janeiro, RJ, Brasil. CEP: 20.211-901

^IIEscola Nacional de Saúde Pública Sérgio Arouca. Fundação Oswaldo Cruz. Rua Leopoldo Bulhões, 1480, 8.º andar. Rio de Janeiro, RJ, Brasil. CEP: 21.041-210

RESUMO

OBJETIVOS: avaliar as campanhas de eliminação da sífilis congênita(SC), realizadas no município do Rio de Janeiro em 1999 e 2000, buscando identificar os acertos e falhas ocorridas durante e após a intervenção proposta.

MÉTODOS: foi utilizado o modelo teórico-lógico como base para a avaliação de efetividade.

RESULTADOS: após a montagem de um modelo lógico das campanhas, foram introduzidas pontuações onde foi possível obtê-las, e uma coluna final mostrando se a avaliação pôde ser realizada. Duas questões se destacaram nessa avaliação: a qualidade da assistência prestada pela rede municipal de saúde na atenção pré-natal e à saúde da criança exposta à transmissão vertical da sífilis, e a questão da vigilância epidemiológica da SC.

CONCLUSÕES: o modelo pode contribuir para a construção de uma cultura de avaliação das secretarias, mostrando que somente quando os serviços de saúde adquirem a prática de olhar por dentro de seus programas é que podem tirar proveito de intervenções realizadas, dando o melhor uso possível para os recursos que dispõem para a saúde da população. No caso específico da sífilis, dar visibilidade para o agravo e reorganizar os serviços de assistência, de vigilância e de apoio diagnóstico são aspectos fundamentais, de baixo custo e com impacto positivo no desfecho perinatal.

Palavras-chave: Sífilis congênita, Avaliação, Promoção da saúde, Efetividade, Modelos teóricos

ABSTRACT

OBJECTIVES: evaluate congenital syphilis elimination campaigns launched in the city of Rio de Janeiro between 1999 and 2000 pursuing the identification of successes and failures during and following the proposed intervention.

METHODS: A theoretical logical model was used as the basis for effectiveness evaluation.

RESULTS: following the design of a logical model for campaigns, ratings were introduced where possible plus a final column showing whether evaluation was possible. There were two outstanding issues in this evaluation: the quality of assistance rendered by the municipal prenatal and child care network to children exposed to vertical transmission of congenital syphilis, and epidemiological congenital syphilis surveillance.

CONCLUSIONS: the model could contribute to build an evaluation culture within health departments, showing that only when healthcare services adopt practices of in-depth analyses of their programs can they benefit from the interventions accomplished, using the resources available the best way possible favoring public health. In the specific case of syphilis, to render visibility to health issues and to reorganize healthcare, surveillance and diagnostic services are fundamental, low cost and have a positive impact on perinatal results.

Key words: Syphilis, congenital, Evaluation, Health promotion, Models theoretical, Effectiveness

Introdução

A partir de uma situação desfavorável de incidência de sífilis congênita (SC), inicialmente verificada em uma maternidade do Município do Rio de Janeiro,¹ procurou-se conhecer a situação do agravo no nível municipal como um todo, encontrando-se 7,6 casos de SC por mil nascidos vivos em 1998.² Com isso, os gestores e técnicos da Secretaria Municipal de Saúde (SMS) do Rio de Janeiro mobilizaram-se para realizar uma campanha de eliminação da SC em 1999, pensando ser essa a melhor estratégia para reverter tal situação. O Ministério da Saúde havia estabelecido como meta de eliminação a incidência um caso de SC por mil nascidos vivos no ano 2000, em acordo firmado com a Organização Pan-Americana de Saúde.

As Campanhas para a Eliminação da Sífilis Congênita (CESC) realizadas no município do Rio de Janeiro nos anos de 1999 e 2000, envolveram as unidades de saúde que provêem atenção pré-natal e as maternidades municipais, pretendendo dar visibilidade ao problema e obter a adesão dos profissionais de saúde e da população em geral para a intensificação das medidas de controle. As unidades próprias do município eram responsáveis, à época por cerca de 50% das consultas pré-natais, envolvendo o segmento mais empobrecido da população e, também, o mais vulnerável às doenças sexualmente transmissíveis. As maternidades municipais concentravam mais de 90% das notificações de SC da cidade.²

A pesquisa avaliativa, como descrita por Contandriopoulos,³ trata de um procedimento que faz julgamentos de uma intervenção usando métodos científicos. A pesquisa deve levar em consideração os fundamentos teóricos da intervenção, sua pertinência, sua produtividade e seus efeitos. Deve verificar o contexto que a gerou e buscar conhecer as relações entre contexto, processo e resultados, de forma a ser capaz de produzir informações que permitam orientar efetivamente a tomada de decisões.

Novaes,⁴ contudo, coloca que a partir do momento em que o avaliador é interno em relação aos interesses da avaliação, não se poderia falar de pesquisa de avaliação, e sim de avaliação para decisão ou avaliação para gestão, realizadas com a finalidade de tomadas de decisão ou aprimoramento do objeto. Além disso, a autora citada diz que

"... a idéia de valor vai além do julgamento sobre o mérito do conhecimento como tal, mas pressupõe um posicionamento do avaliador e do avaliado sobre o conteúdo das conclusões, que incorpora e interage com o contexto no qual a avaliação se desenvolve" (Novaes; 2000: 548).

Este trabalho se insere nessa dupla perspectiva de uma pesquisa avaliativa e uma avaliação para decisão, ao realizar um julgamento de valor que contribua para reorientar a intervenção sobre a saúde da população de gestantes e de seus filhos, considerando a vinculação institucional da autora. Pretende, também, fazer uma avaliação das CESC, buscando identificar os acertos e falhas ocorridas durante e após a intervenção proposta.

Métodos

Primeiramente, é necessário mostrar que o conceito de efetividade varia de acordo com os autores e com o aspecto enfocado. Em muitos momentos, ele se confunde com o conceito de eficácia, eficiência e, até, qualidade, como colocam Silva e Formigli,⁵ discutindo os vários significados dessas palavras na literatura. No presente trabalho o conceito de efetividade assumido refere-se ao "... efeito das ações e práticas de saúde implementadas". A efetividade e o impacto estariam relacionados às modificações introduzidas por uma intervenção num contexto da vida real, que Contandriopoulos³ chama de "eficácia de utilização".

Com a utilização do modelo teórico-lógico é possível mostrar "o porquê" e "o como" se pretende fazer um determinado programa de saúde e, também, descrever a performance desse programa, com várias finalidades, entre essas, estimar o valor do programa e/ou melhorá-lo. Parte-se da necessidade estabelecida por uma análise da situação do problema e do programa, seguida de um planejamento estratégico que contemple o monitoramento dos seus aspectos essenciais e que possam ser visualizados dentro de uma lógica de cadeia causal que permita a avaliação dessa ação. Os componentes do programa são colocados em uma matriz de maneira perpendicular aos recursos, atividades, produtos, resultados e impacto pretendidos. Setas devem ligar as diversas caixas no interior da matriz, apontando as relações existentes entre os componentes.⁶ O monitoramento deve ser feito passo a passo, seguindo-se o caminho das setas e verificando o que foi alcançado.

Para a avaliação da efetividade das CESC foi utilizado um modelo lógico,^7,8 que permite visualizar graficamente as relações da intervenção com os resultados alcançados no mundo real, a partir de uma programação considerada ideal. O mesmo modelo permite distinguir situações não planejadas, que deveriam estar incluídas na intervenção, mas não foram antecipadas. Esse modelo foi escolhido por se adaptar bem às avaliações de programas, uma vez que a proposta de eliminação da SC no Brasil encontra-se inserida nos programas de saúde da mulher, de saúde da criança, das doenças sexualmente transmissíveis (DST) e AIDS e de vigilância em saúde.

No presente estudo, o modelo teórico-lógico foi construído a partir da identificação do problema. Na elaboração do modelo teórico da CESC foram incorporados, com base na revisão de literatura e documental, os seguintes componentes: a) a introdução de uma nova tecnologia, o teste rápido para a sífilis (Determine TP), com capacitação de técnicos de todas as unidades de saúde participantes para usá-lo; b) a validação desse teste; c) a capacitação de profissionais de pré-natal e da vigilância epidemiológica (VE), que seriam responsáveis pelas ações de busca de casos suspeitos; d) a investigação e a notificação dos casos; e) a necessidade de realização concomitante do Venereal Disease Research Laboratory (VDRL) nas gestantes positivas ao teste rápido, pois o último não se presta ao controle de cura; f) a disponibilização do tratamento imediato com penicilina benzatina; e, g) a construção e implantação de planilhas com os dados da campanha.

Para completar a avaliação, foram utilizados os resultados alcançados pelas campanhas, apresentados em um artigo publicado em periódico científico e outro em anais de congresso^9,10 e se discutiram os efeitos imediatos das CESC na saúde peri-natal e os efeitos remotos na mortalidade perinatal específica por SC.

As planilhas específicas das CESC permitiram verificar algumas questões relativas às gestantes identificadas como positivas para sífilis e à qualidade dos serviços, a partir das capacitações realizadas previamente às campanhas. As variáveis constantes nas planilhas foram nome da gestante, idade, trimestre de gestação no momento das CESC, inserção ou não no pré-natal no momento das CESC, testagem do parceiro, tratamento médico prescrito e realização de VDRL após teste rápido positivo. As planilhas foram consolidadas em um banco de dados próprio para as campanhas, no âmbito da SMS-RJ.

Para estabelecer a significância entre as proporções das diversas variáveis para os dois anos com um erro do tipo I de 5%, utilizou-se a estatística c2 no teste de homogeneidade entre proporções.

Resultados

A Figura 1 contém elementos auto-explicativos, pois as setas ligam as caixas relacionadas entre si. Entretanto, as caixas não foram montadas a priori para uma avaliação planejada, e sim, a posteriori, o que levou à demonstração de lacunas mostradas na Figura 2.

Na Figura 2 encontra-se a repetição dos insumos e atividades. Nela foram introduzidos valores nas caixas, quando foi possível obtê-los, e uma coluna final, mostrando se a avaliação pôde ser realizada ou não. As caixas em tom mais escuro mostram as "falhas" ou as lacunas deixadas pelo plano proposto para as CESC.

O que se destaca inicialmente como limitação das campanhas, foi a forma de divulgação do conhecimento sobre a doença. As CESC foram focadas nas unidades municipais, deixando 50% das mulheres grávidas da cidade fora da intervenção, seja por utilizarem serviços privados para a atenção pré-natal, seja porque foram acompanhadas no restante do segmento do Sistema Único de Saúde (SUS). Não houve campanha na mídia, à exceção de alguns convites pontuais em rádio e televisão. Os materiais de Informação, Educação e Comunicação (IEC) foram distribuídos somente nas unidades participantes às gestantes, aos seus parceiros e a outros freqüentadores das unidades de saúde.

O número de parceiros testados foi de 69 em 1999 e 41 em 2000, percentuais de 14,5% e 11,2%, respectivamente, do total de gestantes positivas no teste rápido.

Ao final da primeira CESC foi incorporada à rotina das unidades municipais de saúde uma planilha padrão que recebeu o nome de "Relatório de Investigação de Casos de Sífilis Congênita", baseado tanto no instrumento que o Ministério da Saúde desenvolveu para a Investigação de Sífilis Congênita em maternidades sentinelas em todo o país, quanto nas planilhas da campanha. Quase 82% das unidades de saúde aderiram à iniciativa, estando esse instrumento em uso até os dias atuais.

A redução da morbidade relacionada à SC e a redução da sífilis na população em geral não puderam ser avaliadas, pois não se conhecia a situação inicial. A incidência de SC em 1998 foi de 6,8 casos por mil nascidos vivos, de 8,3 casos em 1999 e de 10,1 casos no ano 2000, retratando um aumento da incidência pelas ações das campanhas.

A análise dos dados das planilhas das CESC mostrou os resultados que se encontram na Tabela 1. Quando comparadas as duas CESC, encontrou-se uma homogeneidade entre proporções na distribuição da faixa etária para os dois anos (p=0,305), para o trimestre de gestação no momento da campanha (p=0,108), para inserção prévia no pré-natal (p=0,174) e para o percentual de parceiros testados (p=0,161). Entre as variáveis relativas à qualidade dos serviços como a prescrição do tratamento com três doses de penicilina benzatina, foi encontrada uma distribuição proporcional heterogênea significativa (p<0,001). Os percentuais de tratamento com três doses daquele antibiótico foram baixos e menores no primeiro ano da intervenção (52,8% e 63, 7%). A solicitação do VDRL após o teste rápido positivo caiu de 80,5% no primeiro ano para 75,1% no segundo (p=0,063), apontando para possíveis falhas nos treinamentos oferecidos. A capacitação foi voltada para os pré-natalistas, atingindo cerca de 450 deles e, embora tenha contado com a participação dos profissionais da VE, não houve nenhuma preparação especial de capacitação para esse grupo.

Discussão

A partir das CESC foi possível conhecer a prevalência de sífilis entre as gestantes que freqüentam os serviços pré-natais oferecidos pela Secretaria Municipal de Saúde do Rio de Janeiro, e daí monitorar sua situação através das planilhas padronizadas. A eliminação da SC não poderia ser alcançada após a realização de campanhas que contemplaram apenas o universo das gestantes atendidas pela Secretaria Municipal de Saúde do Rio de Janeiro. Do mesmo modo, não havia dados anteriores referentes à captação de parceiros de mulheres com sífilis na gravidez, e pela primeira vez, esse dado pôde ser apreciado. A captação dos parceiros pelas CESC foi baixa, de 14,5% e 11,2% em cada ano, evidenciando a dificuldade dos serviços de saúde de abordarem pessoas do sexo masculino e que não se sentem enfermos.

O número de pessoas atingidas pela atividade educativa dentro das unidades participantes foi de 37.606 em 1999 e 26.225 no ano 2000. Não foi traçada nenhuma estratégia para medir o ganho de conhecimento da população, nem dos profissionais de saúde. Esses percentuais são baixos, diante do esforço de várias unidades que mantiveram as atividades de campanha nos sábados, buscando facilitar o acesso dos parceiros.

Verificou-se também que o segundo ano da campanha repetiu o padrão do primeiro, sem que ajustes fossem feitos diante dos resultados e lacunas identificados no primeiro ano. Como se estava dando visibilidade a um agravo por demais invisível, esperava-se um aumento inicial do número de notificações de casos, com aumento da prevalência e incidência. O segundo ano de campanha poderia ter sido melhor planejado, com o estabelecimento de metas baseadas na realidade da magnitude do dano. Assim, não foram fixadas metas factíveis para a redução da sífilis congênita e na gestação e da sífilis na população em geral. Tampouco se traçaram estratégias para aumentar a captação dos parceiros.

No município do Rio de Janeiro, assim como no país, o percentual de mães de casos de SC que não realizou pré-natal é menor do que 20% entre os casos de SC notificados.¹¹ Portanto, ao contrário do que se encontra na literatura,¹² a realização de pré-natal, no Município do Rio de Janeiro por mais de 80% das mães dos casos de SC, não assegura o diagnóstico precoce da gestante e o tratamento adequado, que evitaria o caso de SC. Uma única capacitação no bojo das CESC não foi suficiente para alterar as práticas dos profissionais que prestam a assistência pré-natal, sendo necessário um fortalecimento das ações de educação continuada.

Apesar de se ter elaborado um plano de ação para a eliminação da SC, não houve um olhar formal de avaliação na sua concepção. A escolha de alguns indicadores, como o percentual de mulheres grávidas em seguimento pré-natal na rede municipal que tem seu resultado de VDRL registrado e o percentual de grávidas com VDRL positivo que foram tratadas, tem se mostrado insuficiente para refletir o problema. O monitoramento da prevalência de sífilis na gestação e da incidência de SC também tem ficado aquém das expectativas, por problemas como a subnotificação de casos de SC⁹ e a não adesão das unidades à planilha padrão.

De uma certa maneira, a nova tecnologia introduzida, o teste rápido, por ser um teste treponêmico com resultado qualitativo, funcionou como se estivéssemos trabalhando com um teste confirmatório antes do de triagem (o VDRL), diminuindo o valor preditivo positivo do rastreio, além de ser absolutamente necessária a realização do VDRL para permitir o controle de cura da gestante pela titulação quantitativa. O teste rápido permitiu uma abordagem mais imediata da gestante portadora de sífilis, mas não livrou a rede de serviços de saúde da realização do VDRL, e não foi garantia de eficácia do tratamento, uma vez que a terapia não estava disponível em dose única, na maioria dos casos. Seu alto custo também foi um limitador de sua manutenção na rede, pois em certas situações, como em locais de captação precoce para o pré-natal, mas sem adesão ao serviço, poderia ter se tornado um diferencial por permitir tratamento imediato de casos que poderiam ser perdidos. Atualmente, a Organização Mundial de Saúde passou a recomendar a utilização de testes rápidos para a sífilis em locais com difícil acesso aos serviços de saúde, por permitir tratamento imediato.¹²

Duas questões se impõem nesta avaliação. A primeira se refere à qualidade da assistência prestada pela rede municipal de saúde e têm dois aspectos principais, a atenção pré-natal e a atenção à saúde da criança exposta à transmissão vertical da sífilis. A atenção pré-natal tem sido alvo de inúmeras considerações na redução da morbi-mortalidade materna e perinatal, que não necessitam ser repetidas. A atenção à saúde da criança exposta à sífilis é de grande preocupação, pois não se tem certeza da eficácia da terapia das que são efetivamente diagnosticadas e tratadas, por não haver nenhum tipo de seguimento programado. O que dizer das que não são diagnosticadas e muito menos tratadas? Urge estabelecer um local de atendimento sistematizado e referenciado para essas crianças, para que se possa avaliar o impacto na morbidade a médio e longo prazo.

A segunda questão diz respeito à vigilância epidemiológica da SC. Houve uma subnotificação de casos no âmbito das CESC, decorrente em parte da não capacitação específica dos profissionais envolvidos com as atividades de vigilância epidemiológica. Em decorrência disso equívocos quanto à definição de casos de SC se perpetuam até hoje. O número irrisório de casos descartados de acordo com a definição em vigor à época das CESC no Sistema Nacional de Agravos de Notificação (SINAN) corrobora essa afirmação.⁹ Para o Brasil, já foi constatada uma flutuação discrepante entre o número de Autorizações de Internação Hospitalar (AIH) pagas de SC, informadas ao Sistema de Informações Hospitalares do Sistema Único de Saúde (SIH/SUS) e o número de casos notificados ao Centro Nacional de Epidemiologia (CENEPI), atual Secretaria de Vigilância em Saúde do Ministério da Saúde.¹³

Some-se a isso, o fato de um estudo sobre a confiabilidade do SINAN, comparando os dados de notificação com os das CESC, ter encontrado uma baixa concordância para variáveis como data de tratamento e tipo de tratamento, extremamente importantes para quem investiga o caso suspeito de SC.¹⁴

Essas duas grandes questões mostram que ainda existem ações necessárias para a eliminação da SC que não foram abordadas no momento da concepção das CESC, mas que se tornaram visíveis através da avaliação das mesmas. Com as CESC, conseguiu-se elevar as taxas de incidência de SC no Município do Rio de Janeiro a valores muito mais altos do que os do país. Enquanto no Brasil as taxas têm variado de 0,9 a 1,2 por 1000 nascidos vivos entre 1998 e 2003,¹¹ no mesmo período, o Município do Rio de Janeiro apresentou taxas variando entre 6,8 a 10,1 casos por mil nascidos vivos.¹⁰ Esses dados apontam para uma maior capacidade de diagnóstico e vigilância, mas que ainda não abrangem a totalidade dos casos.

Considerações finais

Dar visibilidade à sífilis através da realização de campanhas de saúde pública foi a primeira grande contribuição dessa iniciativa. A resposta positiva da rede dos serviços de saúde municipais era previsível e esperada, pois se tratava de uma intervenção necessária e oportuna na visão dos gestores, e amplamente respaldada pela literatura. A planilha padrão desenvolvida para o acompanhamento da sífilis na gestação e no parto permaneceu sendo utilizada pelos serviços de saúde e tem permitido dimensionar a prevalência do agravo, com a participação das unidades locais. Em 2003, a planilha padrão recebeu um acréscimo no seu verso para a notificação nominal das gestantes com sífilis, dando maior visibilidade das mesmas aos gestores e facilitando o seguimento delas pelos sistemas de informação.

A avaliação de impacto em longo prazo não foi planejada, em função do não estabelecimento de metas progressivas, com métodos de mensuração previamente definidos, revisadas periodicamente pelo grupo gestor. Verificou-se um efeito imediato das CESC sobre a morbi-mortalidade perinatal por SC em 2001, mas o efeito se perdeu em seguida, no ano de 2002, voltando as taxas ao patamar anterior.¹⁰ Caso a pretensão da Secretaria Municipal de Saúde do Rio de Janeiro tenha sido eliminar a SC, um planejamento estratégico, com ampliação da clientela a ser atingida, da implementação de ações de rotina e intervenções pautadas pelo monitoramento e avaliação constante, teriam que ser implementados.

O modelo lógico de avaliação se presta muito bem a essa proposição, por permitir a visualização a priori dos insumos, atividades, produtos, resultados e impactos esperados, assim como o acompanhamento dos produtos durante a realização das atividades, obtendo-se resultados e avaliando-se os impactos, desde que a VE esteja preparada. Sobretudo, permite uma visão global das necessidades para determinada ação, e se torna uma ferramenta gerencial poderosa para um avaliador interno ao processo, que pode tirar proveito de cada movimento de avaliação na demonstração dos ganhos e até das eventuais perdas de seu programa, mudando os rumos e as estratégias em tempo mais real.

Das lições aprendidas, pode-se ainda destacar: a) as de cunho assistencial, como a necessidade de qualificação do pré-natal, com capacitação continuada de profissionais de saúde; criação de locais de acompanhamento especializado para os recémnascidos vivos expostos à transmissão vertical do T. pallidum, de forma a poder dimensionar o impacto na morbidade e a eficácia do tratamento materno e/ou do bebê, como ocorre com o recém-nascido exposto ao HIV; b) o sistema de diagnóstico laboratorial deve de ser eficiente, pois se o custo do VDRL é tão baixo e a tecnologia de realização tão simples, deveria ser possível organizar o sistema laboratorial do município do Rio de Janeiro para dar respostas rápidas, que colaborassem no diagnóstico materno; c) a vigilância epidemiológica deve começar a atuar na sífilis durante a gestação, com a introdução da notificação das gestantes com sífilis, de preferência compulsória. Além disso, realizar a notificação e investigação dos óbitos fetais e perinatais, para deles extrair os casos de SC. O estabelecimento do Curso Básico de Vigilância Epidemiológica (CBVE) em SC deverá preencher essa lacuna.

Todas essas propostas são factíveis de serem implementadas a baixo custo, pois referem-se à intensificação e qualificação das ações em vigor para a redução da transmissão vertical do HIV no país. Concordando com Hartz et al.,¹⁵ para reduzir a mortalidade fetal e infantil por SC, precisa-se de uma política de saúde que considere a SC uma prioridade, e um sistema de saúde preparado para lidar com as questões envolvidas.

Com este trabalho espera-se também contribuir para a construção de uma cultura de avaliação dentro da Secretaria Municipal de Saúde do Rio de Janeiro, mostrando que somente quando os serviços de saúde adquirem a prática de observarem internamente seus programas é que podem tirar proveito de intervenções realizadas, dando o melhor uso possível para os recursos que dispõem, frente às necessidades de saúde da população.

Agradecimentos

A Marly Marques da Cruz, pela colaboração constante na construção do modelo teórico-lógico das campanhas de eliminação da sífilis congênita.

Recebido em 15 de junho de 2005

Versão final apresentada em 20 de outubro de 2005

Aprovado em 28 de outubro de 2005

• 1. Domingues RMSM. Sífilis congênita: uma doença secular desafiando o terceiro milênio. Saúde em Foco 1998; 17: 30-3.
• 2. Rio de Janeiro (Capital). Secretaria Municipal de Saúde. Sífilis na gravidez. Saúde em Foco 2000; (24).
• 3. Contandriopoulos AP, Champagne F, Denis JL, Pineault R. A avaliação na área da saúde: conceitos e métodos. In: Hartz Z, organizadora. Rio de Janeiro: Fiocruz; 1997. p. 29-48.
• 4. Novaes HM. Evaluation of health programs, services and technologies. Rev Saúde Pública 2000; 34: 547-9.
• 5. Silva LM, Formigli VL. Health evaluation: problems and perspctives. Cad Saúde Pública 1994; 10: 80-91.
• 6. Renger R, Titcomb A. A three-step approach to teaching logic models. Am J Evaluation 2002; 23: 493-503.
• 7. Rush B, Ogborne A. Program logic models; expanding their role and structure for program planning and evaluation. Can J Prog Eval 1991; 6: 95-106.
• 8. McLaughlin JA, Jordan GB. Logic models: a tool for telling your program's performance story. Eval Prog Plan 1999; 22: 65-72.
• 9. Saraceni V, Leal MC. Avaliação da efetividade das campanhas para eliminação da sífilis congênita na redução da morbi-mortalidade perinatal: Município do Rio de Janeiro, 1999-2000. Cad Saúde Pública 2003; 19: 1341-9.
• 10. Saraceni V, Guimarães MHSF, Theme Filha MM, Leal MC. Mortalidade perinatal por sífilis congênita: indicador da qualidade da atenção à saúde da mulher e da criança. Cad Saúde Pública 2005; 21: 1244-50.
• 11. Programa Nacional de DST e Aids. Bol Epidemiol: Aids e DST 2004; 18 (1).
• 12. Schmid G. Economic and programmatic aspects of congenital syphilis prevention. Bull Pan Am Health Org 2004;82(6):402-9.
• 13. Mendes ACG, Silva Jr JB, Medeiros KR, Lyra TM, Melo Filho DA, Sa DA. Avaliação do Sistema de Informações Hospitalares - SIH/SUS como fonte complementar da vigilância e monitoramento de doenças de notificação compulsória. Inf Epidemiol SUS 2000; 9: 67-86.
• 14. Saraceni V. Avaliação da efetividade das campanhas para eliminação da sífilis congênita do município do Rio de Janeiro: 1999-2000 [tese doutorado]. Rio de Janeiro: Escola Nacional de Saúde Pública Sérgio Arouca da Fundação Oswaldo Cruz; 2005.
• 15. Hartz ZMA, Champagne F, Contandriopoulos AP, Leal MC. Avaliação do programa materno-infantil: análise da implantação em sistemas locais de saúde no Nordeste do Brasil. In: Hartz ZMA, organizadora. Avaliação em saúde: dos modelos conceituais à prática na análise de implantação de programas. Rio de Janeiro: Fundação Oswaldo Cruz; 1997. p. 89-131.

Datas de Publicação

• Publicação nesta coleção
  23 Fev 2006
• Data do Fascículo
  Dez 2005

Histórico

• Aceito
  28 Out 2005
• Revisado
  20 Out 2005
• Recebido
  15 Jun 2005