Pesquisa Mundial de Saúde: aspectos metodológicos e articulação com a Organização Mundial da Saúde

World Health Survey: methodological aspects and interface with the World Health Organization

ARTIGOS

Pesquisa Mundial de Saúde: aspectos metodológicos e articulação com a Organização Mundial da Saúde

World Health Survey: methodological aspects and interface with the World Health Organization

Célia Landmann Szwarcwald; Francisco Viacava

Laboratório de Informação em Saúde, Instituto de Comunicação e Informação Científica e Tecnológica em Saúde, Fundação Oswaldo Cruz

^{Correspondência}

RESUMO

No ano 2000, o Relatório da Organização Mundial de Saúde (OMS) foi dedicado à proposição de uma metodologia para a avaliação de desempenho dos sistemas de saúde dos países membros. O Relatório 2000 trouxe à agenda da OMS o comprometimento com os objetivos louváveis de avaliação dos sistemas de saúde, monitoramento das desigualdades em saúde e alcance da equidade no financiamento da saúde. Entretanto, o instrumental utilizado foi exposto a inúmeras críticas, tanto de cunho metodológico como conceitual. Como parte deste processo, para suprir informações sobre o estado de saúde das populações, a OMS propôs a elaboração da Pesquisa Mundial de Saúde (PMS) em vários países membros. No Brasil, a PMS foi conduzida no ano de 2003, e objetivou estabelecer parâmetros consistentes para avaliar o estado de saúde da população e a assistência prestada de acordo com as expectativas da população usuária, além de mensurar as desigualdades socioeconômicas em saúde. O inquérito foi realizado em 5000 indivíduos com 18 anos e mais de idade, em âmbito nacional. A amostragem foi realizada em três estágios. No primeiro, foram selecionados 250 setores censitários, com probabilidade proporcional ao tamanho. Em cada setor, foram selecionados 20 domicílios, por amostragem inversa. Em cada domicílio, um morador adulto foi selecionado com eqüiprobabilidade. O questionário modular, originalmente desenvolvido pela OMS, foi adaptado para se adequar às características do nosso meio. Nesse artigo, são descritos os aspectos metodológicos da pesquisa e o processo de articulação com a Organização Mundial da Saúde para a condução da PMS no Brasil.

Palavras-chave: Avaliação. Sistema de saúde. Inquérito. OMS. Brasil.

ABSTRACT

The World Health Organization (WHO) Report, year 2000, was dedicated to the proposition of a methodology for health system performance assessment of member countries. Despite its laudable goals of evaluating health system responsiveness and of monitoring inequalities in health financing and in health status, the proposal received countless criticisms from both conceptual and methodological viewpoints. During the redesign phase, in order to provide information about the health status of the population, the WHO proposed the application of the World Health Survey (WHS). In Brazil, the WHS was carried in 2003 for establishing consistent parameters to evaluate heath status and health care responsiveness, in addition to measuring socioeconomic health inequalities. The survey interviewed 5,000 individuals, aged 18 and above, nationwide. The sample design had three selection stages. In the first stage, 250 census tracts were systematically selected with probability proportional to size. In the second stage, households were selected with equal probability using an inverse sample design to assure 20 interviews by sector. In each household, just one adult (18 years or more) was selected with equal probability to respond to the individual questionnaire. A modular questionnaire was translated and adapted from the one originally proposed by the WHO. Sample weights were based on the inverse of probabilities of inclusion in the sample calculated for each selection stage. In this paper, we describe the methodological aspects of the survey and the interface process with the WHO to conduct the WHS in Brazil.

Keywords: Evaluation. Health system. Survey. WHO. Brazil.

Contextualização

A avaliação de desempenho do sistema de saúde tem ocupado lugar de destaque na agenda de organismos internacionais. Nos últimos anos, a Organização Mundial da Saúde (OMS) centrou esforços no desenvolvimento de metodologias para avaliação dos sistemas nacionais de saúde, que culminaram com a publicação do Relatório Mundial de Saúde 2000¹, propondo uma metodologia para a avaliação dos sistemas de saúde dos países membros e classificando-os de acordo com o seu desempenho.

O Relatório 2000 trouxe à agenda da OMS o comprometimento com os objetivos louváveis de avaliação dos sistemas de saúde, monitoramento das desigualdades em saúde e alcance da equidade no financiamento da saúde. Entretanto, o instrumental utilizado foi exposto a inúmeras críticas, tanto de cunho metodológico como conceitual, tendo sido objeto de amplo debate internacional^2-5.

De forma sucinta, a metodologia empregada para avaliar o desempenho do sistema de saúde foi baseada em 5 dimensões: estado de saúde - medido pela esperança de vida ajustada pelas incapacidades - (DALE); desigualdade do estado de saúde – medida pela desigualdade na probabilidade de morte nos dois primeiros anos de vida; capacidade de resposta do sistema de saúde ("responsiveness") – mensurada pelo nível médio de satisfação; desigualdades na capacidade de resposta do sistema de saúde; e justiça na contribuição do financiamento da saúde. Um índice-resumo, denominado "índice geral de desempenho do sistema de saúde", foi estimado pela média ponderada dos cinco indicadores acima mencionados, com pesos respectivos de 25%, 25%, 12,5%, 12,5% e 25%. Os 191 países membros da OMS foram classificados em ordem ascendente de magnitude do índice-resumo de desempenho, e os resultados foram publicados no Relatório 2000 sob a forma de um ranking.

Várias questões foram levantadas, inclusive pelo governo brasileiro, acerca da validade da metodologia utilizada pela OMS. As críticas referiram-se, principalmente, à falta de utilidade do instrumento para subsidiar a definição das políticas de saúde, fazendo com que a avaliação fosse desprovida de significado. Compreendeu-se que a classificação dos países tinha sido feita a partir de um indicador único, conceitualmente vago e empiricamente incorreto^4,6,7.

A forma inconsistente de elaboração do Relatório 2000, a utilização de metodologias de avaliação cientificamente questionáveis e a ausência de dados para a construção dos indicadores provocaram reação negativa na comunidade científica internacional. Vários artigos científicos, elaborados por pesquisadores de diferentes países, foram dedicados a apontar falhas metodológicas e conceituais na avaliação empregada pela OMS^3,6,8-13.

Como um dos grandes problemas encontrados na construção dos indicadores propostos, enfatizou-se a ausência de dados empíricos consistentes, necessários à construção dos indicadores propostos. Para a construção do índice de desigualdade no estado de saúde, os dados não eram disponíveis em 70% dos 191 países membros. Para construir as duas medidas de capacidade de resposta do sistema de saúde, os dados eram indisponíveis em 84% dos países e, para aferir a justiça na contribuição do financiamento, em 89% dos países. Ademais, não foi possível saber quantos países dispunham de dados para calcular a expectativa de vida ajustada às incapacidades⁶.

Em resposta às críticas dos países membros, em janeiro de 2001, o Conselho Executivo da OMS reconheceu a necessidade de estabelecer um processo de consulta técnica e a recomendação de formação de um Grupo Científico de Revisores Internacionais para avaliar a metodologia empregada no Relatório de 2000. Foram feitas várias consultas regionais (África, Ásia, América e Europa), todas, invariavelmente, criticando a metodologia utilizada para a avaliação de desempenho dos sistemas de saúde dos países membros^14-16.

No final do ano de 2001, a OMS incorporou parte das críticas recebidas pela comunidade científica internacional e das consultas regionais e propôs mudanças metodológicas (www.who.int/health-system-performance), que foram avaliadas, posteriormente, pelo Grupo Científico de Revisores Internacionais em relatório extenso contendo várias críticas e recomendações¹⁷.

A Pesquisa Mundial de Saúde

No ano de 2001, em fase de reformulação, a OMS propôs a elaboração da Pesquisa Mundial de Saúde em vários países membros, para suprir informações sobre o estado de saúde das populações. Neste ano, foi realizado inquérito domiciliar em 61 países membros com o intuito de obter dados mais fidedignos sobre os indicadores de desempenho dos sistemas de saúde.

O estudo usou um instrumento de coleta de dados com estrutura modular para investigar os seguintes aspectos: a situação de saúde dos indivíduos em diversos domínios; a capacidade de resposta do sistema de saúde; os gastos familiares com saúde; além de módulos opcionais como a mortalidade em adultos. O módulo introdutório da pesquisa continha informações sobre as condições socioeconômicas. O processo de construção do inquérito procurou assegurar a comparabilidade entre diferentes culturas ou grupos demográficos.

No módulo dirigido à investigação do estado de saúde foram analisados diversos domínios da saúde, sendo as questões baseadas no Manual de Classificação das Incapacidades (Classification of Functioning, Disability and Health). Foram mensuradas as incapacidades relativas à mobilidade, ao próprio cuidado, à visão, audição e respiração, bem como aquelas que afetam as atividades usuais, a energia, a vitalidade, e o sono.

No sentido de possibilitar a comparação de informações coletadas entre culturas de um mesmo país ou entre distintos países, a OMS utilizou a estratégia de incluir um módulo no questionário contendo vinhetas de casos-padrão, histórias hipotéticas na terceira pessoa que descrevem problemas em vários domínios de saúde. Se aplicadas em diferentes sociedades ou indivíduos da mesma população, as vinhetas permitiriam obter uma escala de calibração das medidas de morbidade referida mediante a comparação das respostas fornecidas para os casos-padrão com aquelas obtidas para a auto-avaliação.

Em relação à capacidade de resposta do sistema de saúde, foram abordadas questões relativas ao uso do sistema de saúde ambulatorial, domiciliar ou hospitalar e à avaliação da atenção por parte do usuário no último ano e no último mês. As questões abrangeram oito domínios: atenção imediata, dignidade, respeito ao aspecto confidencial, escolha da instituição e qualidade do atendimento. Cada questão avaliada recebeu uma pontuação que variava de 1 a 5 (muito ruim a muito boa) e, para cada uma, foram utilizadas vinhetas (com a descrição de cenários hipotéticos com avaliações previamente estabelecidas), para uso dos procedimentos de calibração inter-culturais.

Em alguns países, outros módulos foram incluídos, dirigidos à investigação de doenças mentais, doenças crônicas, mortalidade em adultos, fatores de risco relacionados à saúde e gastos em saúde. Para análise de doenças mentais foram selecionados os diagnósticos de depressão e uso abusivo de álcool, por serem as condições mórbidas mais freqüentes e determinarem grandes restrições na vida das pessoas acometidas. No que diz respeito às doenças crônicas, a mensuração foi realizada por meio da morbidade auto-referida no inquérito. Para aumentar a validade da informação, os entrevistados foram questionados se o diagnóstico tinha sido realizado por um médico, se havia sido submetido a algum tipo de investigação diagnóstica, se havia recebido algum tratamento específico e qual o impacto da doença na sua qualidade de vida¹⁸.

Foram utilizadas diferentes estratégias de amostragem, a entrevista individual, por telefone e via postal. Nas entrevistas domiciliares individuais, apenas um morador por domicílio com idade igual ou maior que 18 anos foi entrevistado, sendo selecionado aleatoriamente no domicílio. Cada entrevista durava em média 90 minutos.

Face aos custos da realização deste tipo de entrevista em todos os países, e a necessidade de realização do inquérito no maior número possível de países, utilizou-se, em alguns países, uma versão reduzida, com duração média de 30 minutos. A entrevista completa foi realizada em 14 países e a reduzida em 27 países. Os questionários foram respondidos pelo correio em 28 países, e as entrevistas por telefone em 2 países. Considerando-se todos os países onde foi realizada a pesquisa, a cobertura em relação ao total de países membros foi de 31,9%¹⁸.

Iniciativa brasileira e a articulação com a OMS

Dando prosseguimento às discussões sobre a proposta da Organização Mundial da Saúde (OMS) para a Avaliação do Desempenho dos Sistemas de Saúde, em janeiro de 2002, na 109a Reunião do Conselho Executivo, a delegação brasileira firmou acordo com a OMS para a realização da Pesquisa Mundial de Saúde no Brasil. A responsabilidade da execução da pesquisa no Brasil foi delegada à Fundação Oswaldo Cruz, sob a nossa coordenação.

A experiência de realização da Pesquisa Mundial de Saúde em algumas nações, em 2001, utilizando diferentes metodologias de aplicação, somada às críticas sobre os tamanhos de amostra utilizados (não suficientes para a estimação dos indicadores), bem como sobre a falta de aleatoriedade e qualidade das informações coletadas, fez com que a OMS reformulasse todo o processo de aplicação do inquérito nos países.

O questionário usado na PMS brasileira incorporou parte das críticas e sugestões que foram feitas pelas consultas regionais e Grupo Científico Consultor, adicionando questões relativas ao acesso, à cobertura e à utilização de serviços de saúde, considerados objetivos intermediários dentro do marco referencial de avaliação do desempenho dos sistemas de saúde. Além disso, foi feito um grande esforço no sentido de ultrapassar as dificuldades hoje presentes de comparação de informações coletadas entre culturas de um mesmo país ou entre distintos países, a partir do desenvolvimento de métodos de calibração interculturais.

No sentido de assegurar a maior qualidade na execução das pesquisas, a OMS delegou a responsabilidade de aplicação do inquérito nos países membros a cada Coordenadoria Regional. No caso do Brasil, a responsabilidade coube à Organização Pan-Americana de Saúde (OPS), que promoveu a primeira reunião em Cuernavaca, México, de 7 a 11 de outubro de 2002. Neste seminário, foi ressaltada a importância de realização desta pesquisa no País, não somente pelas informações a serem obtidas, mas principalmente pelo fato de a OMS estar transferindo aos países participantes um conjunto estruturado de métodos que compunham uma plataforma inicial para o desenvolvimento de inquéritos sistemáticos no campo da avaliação do desempenho dos sistemas nacionais de saúde.

Foi nesse contexto que o governo brasileiro, por meio do Ministério da Saúde, decidiu abandonar a postura meramente crítica e aproveitar a oportunidade de aderir à aplicação da Pesquisa Mundial de Saúde no País. A participação na pesquisa significou aprofundar o conhecimento sobre os métodos desenvolvidos pela OMS, assim como sobre o quadro referencial que norteou a elaboração do inquérito. Por outro lado, nos trouxe a oportunidade de desenvolver e/ou aperfeiçoar instrumental para a avaliação do sistema nacional de saúde, desenvolvendo a adaptação necessária às particularidades do nosso meio.

Aplicação da PMS no Brasil: aspectos metodológicos

A PMS brasileira teve por principais objetivos coletar dados mediante inquérito nacional que possibilitassem o cálculo de indicadores para avaliação do estado de saúde da população e o estabelecimento de parâmetros consistentes para avaliar a assistência prestada de acordo com as expectativas da população usuária. Permitindo associar estas questões às características demográficas e socioeconômicas, a PMS teve ainda como objetivo mensurar as desigualdades socioeconômicas em saúde.

Visando à representatividade nacional e a compatibilidade com os recursos fornecidos pela OMS para realização da pesquisa no Brasil (no valor de US$ 150.000,00), o tamanho de amostra foi estabelecido em 5.000 indivíduos com 18 anos e mais de idade.

A amostragem foi realizada em três estágios. No primeiro, foram selecionados 250 setores censitários, com probabilidade proporcional ao tamanho. Situação (urbano ou rural) e porte do município (até 50.000; 50.000 a 400000; 400.000 e + habitantes) estratificaram explicitamente as unidades primárias de seleção. A renda média dos chefes dos domicílios do setor foi utilizada para estratificação implícita por nível socioeconômico. No segundo estágio, em cada setor selecionado foram entrevistados 20 domicílios, selecionados com eqüiprobabilidade e por amostragem inversa. Em cada domicílio foi identificado um morador para responder às perguntas relativas às características e à composição do domicílio, que serviu de base, no terceiro estágio, para a seleção equiprovável de um morador adulto (18 anos ou mais de idade) para responder ao questionário individual¹⁹.

A Pesquisa Mundial de Saúde no Brasil foi realizada em âmbito nacional no período de janeiro a setembro de 2003. Com o intuito de minimizar o tempo de sua aplicação e os custos de deslocamento, a PMS foi subdividida em 10 micro-pesquisas coordenadas por pesquisadores da área de saúde pública. Cada micro-pesquisa realizou de 300 a 500 entrevistas domiciliares distribuídas em 15 a 25 setores censitários, em distintas áreas geográficas. A equipe para cada micro-pesquisa foi composta por um supervisor de campo e quatro entrevistadores. No total, a equipe de campo da PMS contou com 10 Coordenadores Locais, 20 supervisores de campo e 50 entrevistadores ligados a cursos de graduação e pós-graduação da área de saúde²⁰.

No trabalho de campo, para que os moradores abordados identificassem os entrevistadores como funcionários da FIOCRUZ, cada entrevistador possuía um crachá e uma mochila com os logotipos da OMS, da FIOCRUZ e o nome da pesquisa. Auxílio para o trabalho de campo foi fornecido pelo Ministério da Saúde em termos de carros emprestados para o transporte das equipes de campo. Este auxílio foi fundamental, não só para o cumprimento do trabalho de campo dentro dos recursos disponíveis, mas também para facilitar a abordagem domiciliar, principalmente no que se refere à identificação por parte dos entrevistados como uma pesquisa conduzida pelo Ministério da Saúde.

O treinamento dos 10 Coordenadores Locais foi centralizado na FIOCRUZ, no Rio de Janeiro. Além das instruções específicas para o preenchimento dos questionários, houve treinamento em todo o protocolo de coleta de dados, incluindo a seleção dos domicílios, a abordagem inicial e o processo de seleção do morador adulto para responder ao questionário individual. Já a organização do trabalho de campo, o recrutamento e treinamento dos entrevistadores e supervisores couberam aos coordenadores locais, nas suas respectivas áreas geográficas de coordenação.

Para a avaliação da qualidade das entrevistas realizadas e das respostas obtidas foi realizado um procedimento recomendado pela OMS e adaptado para o Brasil (denominado de "re-teste"). A cada 10 entrevistas realizadas por um entrevistador em um setor, um domicílio era selecionado, aleatoriamente, e um dos módulos do questionário era reaplicado por outro entrevistador da equipe.

O questionário modular, originalmente desenvolvido pela OMS, foi traduzido do inglês para o português, e adaptado para se adequar às características do nosso meio. Tais modificações incluíram a exclusão de certos módulos preconizados pela OMS, que só puderam ser excluídos depois de várias justificativas junto à equipe da OMS responsável pelo nosso projeto.

O questionário usado na PMS brasileira divide-se em duas partes. A primeira contém o "Questionário Domiciliar", que contempla as questões sobre condições socioeconômicas, composição do domicílio, gastos relativos das famílias em saúde (incluindo plano de saúde privado) dentre outras. A segunda parte refere-se ao "Questionário Individual", que abrange questões tais como a auto-avaliação do estado de saúde, fatores de risco (fumo, álcool, atividade física, nutrição e fatores ambientais), situações crônicas de saúde (diagnóstico, tratamento e uso de medicamentos), situações agudas de saúde (assistência), cobertura de programas de saúde (assistência pré-natal, saúde materno-infantil e saúde bucal), e qualidade de resposta do sistema de saúde sob a ótica do usuário.

Por se tratar de um conjunto de dados obtido por meio de uma amostra complexa que combina estratificação dos setores censitários, conglomeração e probabilidades de seleção desiguais, as informações sobre o estrato de seleção e o peso amostral foram incorporadas na análise dos dados, que foi realizada com o aplicativo SUDAAN²¹.

Resultados da PMS brasileira

Os resultados da pesquisa nacional foram apresentados sob a forma de apresentações em conferências, congressos e eventos científicos como também sob forma de publicação com ampla divulgação nacional²² e de artigos reunidos em um suplemento de revista nacional especializada²³.

O suplemento reuniu os principais resultados obtidos na análise dos dados da PMS brasileira. Além dos artigos que abordaram aspectos relacionados ao desempenho do sistema nacional de saúde, compõem a publicação o relato da experiência de campo²⁰e três trabalhos que apresentam procedimentos metodológicos de caráter inovador: a descrição do processo de seleção dos domicílios por esquema de amostragem inversa¹⁹; a construção da esperança de vida saudável, medida que combina indicadores de mortalidade e morbidade em índice único²⁴; e a metodologia de vinhetas, estórias hipotéticas que descrevem problemas de terceiros, que foi testada quanto à sua possível utilização para calibração da escala ordinal da auto-avaliação por nível socioeconômico²⁵.

No que se refere à avaliação do estado de saúde, os dois trabalhos que abordaram a percepção da própria saúde nos seus vários domínios indicaram acentuadas desigualdades socioeconômicas, bem como a influência da conjuntura social adversa sobre a saúde do cidadão brasileiro^26,27. Em relação aos comportamentos saudáveis, foi estudado o consumo de frutas e hortaliças na totalidade da população brasileira²⁸, e entre as mulheres, caracterizou-se o perfil sócio-demográfico daquelas que têm cuidados adequados com a sua saúde²⁹.

Foram apresentados, igualmente, temas relacionados à assistência de saúde, tais como: a cobertura de diagnóstico e tratamento de seis doenças crônicas³⁰; as características da utilização de medicamentos na população brasileira³¹; a cobertura de plano de saúde privado em associação com a utilização de serviços³²; e o grau de satisfação com a assistência prestada sob a ótica do usuário³³.

Outros produtos da PMS brasileira foram três teses de mestrado e duas de doutorado, uma delas em andamento.

Uma publicação adicional destacou as desigualdades socioeconômicas de saúde encontradas na análise dos dados da PMS³⁴. As evidências trouxeram para o plano nacional algumas questões concernentes às desigualdades em saúde, que podem subsidiar a reorientação da organização dos serviços no Brasil.

Em suma, o inquérito proporcionou informações relevantes para a avaliação do desempenho do sistema nacional de saúde e o monitoramento das desigualdades socioeconômicas em saúde, permitindo delinear um panorama mais próximo da complexidade do objeto e subsidiar decisões voltadas à superação da exclusão social.

Adaptações posteriores

No ano de 2005, o instrumento utilizado na PMS brasileira foi adaptado para avaliação da atenção básica em saúde. A nova pesquisa foi chamada de Pesquisa Mundial de Saúde – Atenção Básica (PMS-AB). No desenvolvimento da PMS-AB, alguns módulos do instrumento original da PMS foram mais detalhados, visando o aprofundamento de certas questões, como o desempenho do Programa de Saúde da Família.

Como parte do projeto PROESF (Programa de Expansão e Consolidação da Saúde da Família), o inquérito foi realizado em quatro municípios do Estado do Rio de Janeiro³⁵ e em 10 municípios com mais de 100.000 habitantes das regiões Norte e Nordeste. Foi também aplicado na totalidade dos Estados do Rio de Janeiro e Pernambuco.

Posteriormente, a PMS-AB foi conduzida nos municípios do Rio de Janeiro e Recife para avaliar o desempenho da atenção básica em saúde em metrópoles brasileiras, onde há um grande desequilíbrio na distribuição da renda e grande parte da sua população se concentra em favelas. Os resultados servirão para analisar as desigualdades de acesso e utilização dos serviços de saúde e outros serviços coletivos necessários ao bem-estar social e ao desempenho do Programa de Saúde da Família em contextos distintos de cobertura e abrangência. Este estudo nos fornecerá a oportunidade de comparar, por área geográfica, o estado de saúde em vários domínios, levando em consideração os efeitos contextuais da concentração de residencial da pobreza, permitindo dar continuidade à investigação de hipóteses concernentes à influência dos efeitos da desigualdade na distribuição de renda sobre a situação de saúde.

• 1. WHO - World Health Organization. The World Health Report 2000. Geneva: WHO, 2000.
• 2. Häkkinen U, Ollila E (eds.). The World Health Report 2000: What does it tell us about health systems? Analyses by Finnish experts. Helsinki: National Research and Development Center for Welfare and Health (STAKES). [http://www.stakes.fi/english/publicati/Publications.htm], 2000.
• 3. Navarro V. Assessment of the World Health Report 2000. Lancet 2000; 356: 1598-601.
• 4. Rosén M. Can the WHO Health Report improve the performance of health systems? Scandinavian Journal of Public Health 2001; 29(1):76-80.
• 5. Ugá AD, Almeida CM, Szwarcwald CL, Travassos C, Viacava F, Ribeiro JM, Costa NR, Buss PM, Porto S. Considerations on methodology used in the World Health Organization 2000 Report. Cad Saúde Pública 2001; 17(3):705-712.
• 6. Almeida CM, Braveman P, Gold MR, Szwarcwald CL, Ribeiro JM, Maglionico A, Millar JS, Porto S, Costa NR, Rubio VO, Segall M., Starfield B, Travassos C, Ugá A, Valente J, Viacava F. Methodological concerns and recommendations on policy consequences of the World Health Report 2000. Lancet 2001; 357:1692-1697.
• 7. Navarro V. The World Health Report 2000: Can health care systems be compared using a single measure of performance? American Journal of Public Health 2002; 92(1): 31-34.
• 8. Jamison DT, Sandbu ME. WHO ranking of health system performance. Science Reprint 2001; 293: 1595-96.
• 9. Mulligan J, Appleby J, Harrison A. Measuring the performance of health systems indicators still fail to take socioeconomic factors into account. BMJ 2000; 321:191-92.
• 10. Szwarcwald CL. On the World Health Organization's measurement of health inequalities. Journal of Epidemiology and Community Health 2002; 56:177-182.
• 11. Walt G, Mills A. World Health Report 2000: Comments. Lancet 2001; 357(9269):1702-1703.
• 12. Williams A. Science or marketing at WHO? A Commentary on 'World Health 2000'. Health Economics 2000; 10(2):93-100.
• 13. Williams A. Science or marketing at WHO? Rejoinder from Alan Williams. Health Economics 2001; 10(4):283-285.
• ¹⁴
  WHO Regional Office for Africa. General Report on the Regional Consultative Meeting on Health Systems Performance Assessment. Zimbabwe. May 2001.
• ¹⁵
  WHO Regional Office for South-East Asia. Regional Consultation and Technical Workshop on Health Systems Performance Assessment. New Deli. June 2001.
• ¹⁶
  WHO Regional Office for Europe. European Regional Consultation on Health Systems Performance Assessment. Copenhagen. September 2001.
• ¹⁷
  WHO - World Health Organization. Report of the Scientific Peer Review Group on Health Systems Performance Assessment. Geneva: WHO, 2002.
• 18. Üstün TB, Chatterji S, Villanueva M, , Bendib L, Çelik LBC, Sadana R, Valentine NB, et al. WHO Multi-country Survey Study on Health and Responsiveness 2000-2001. In: Murray CJL, Evans DB, eds. Health systems performance assessment: debates, methods and empiricism. Geneva: World Health Organization, 2003.
• 19. Vasconcellos MT, Silva PL, Szwarcwald CL. Sampling design for the World Health Survey in Brazil. Cad Saúde Pública 2005; 21(1 Suppl):S89-99.
• 20. Azevedo LO, Queiroz RSB, Rezende CEM. The World Health Survey: a report on the field experience in Brazil. Cad Saúde Pública 2005; 21(1 Suppl):S25-S32.
• 21. Shah BV, Barnwell BG & Bieler GS. SUDAAN User's Manual. Release 7.5. Research Triangle Park, NC, USA: Research Triangle Institute 1997.
• 22. Szwarcwald CL, Viacava F, Vasconcellos MTL, Leal MC, Azevedo LO, Queiroz RSB, et al. Pesquisa Mundial de Saúde 2003: O Brasil em Números. RADIS/FIOCRUZ 2004; 23:14-33.
• 23. Szwarcwald CL, Viacava F. World health survey in Brazil, 2003. Cad Saúde Pública 2005; 21(1 Suppl):S4-5.
• 24. Romero DE, Leite Ida C, Szwarcwald CL. Healthy life expectancy in Brazil: applying the Sullivan method. Cad Saúde Pública 2005; 21(1 Suppl):S7-18.
• 25. Damacena GN, Vasconcellos MT, Szwarcwald CL. Perception of health state and the use of vignettes to calibrate for socioeconomic status: results of the World Health Survey in Brazil, 2003. Cad Saúde Pública 2005; 21(1 Suppl):S65-77.
• 26. Szwarcwald CL, Bastos FI, Esteves MA. State of animus among Brazilians: influence of socioeconomic context? Cad Saúde Pública 2005; 21(1 Suppl):S33-42.
• 27. Szwarcwald CL, Souza-Junior PR, Esteves MA, Damacena GN, Viacava F. Socio-demographic determinants of self-rated health in Brazil. Cad Saúde Pública 2005b; 21(1 Suppl):S54-64.
• 28. Jaime PC, Monteiro CA. Fruit and vegetable intake by Brazilian adults, 2003. Cad Saúde Pública 2005; 21(1 Suppl):S19-S24.
• 29. Leal Mdo C, Gama SG, Frias P, Szwarcwald CL. Healthy lifestyles and access to periodic health exams among Brazilian women. Cad Saúde Pública 2005; 21(1 Suppl): S78-S88.
• 30. Theme-Filha MM, Szwarcwald CL, Souza-Junior PR. Socio-demographic characteristics, treatment coverage, and self-rated health of individuals who reported six chronic diseases in Brazil, 2003. Cad Saúde Pública 2005; 21(1 Suppl):S43-53.
• 31. Carvalho MF, Pascom AR, Souza-Junior PR, Damacena GN, Szwarcwald CL. Utilization of medicines by the Brazilian population, 2003. Cad Saúde Pública 2005; 21(1 Suppl):S100-8.
• 32. Viacava F, Souza-Junior PR, Szwarcwald CL. Coverage of the Brazilian population 18 years and older by private health plans: an analysis of data from the World Health Survey. Cad Saúde Pública 2005; 21(1 Suppl):S119-28.
• 33. Gouveia GC, Souza WV, Luna CF, Souza-Junior PR, Szwarcwald CL. Health care users' satisfaction in Brazil, 2003. Cad Saúde Pública 2005; 21(1 Suppl):S09-18.
• 34. Szwarcwald CL, Leal MC, Gouveia GC. Desigualdades socioeconômicas em saúde no Brasil: resultados da Pesquisa Mundial de Saúde, 2003. Rev Bras Saude Mater Infant 2005a; 5(1 Suppl):S11-22.
• 35. Szwarcwald CL, Mendonça MHM, Andrade CLT. Indicadores de atenção básica em quatro municípios do Estado do Rio de Janeiro, 2005: resultados de inquérito domiciliar de base populacional. Ciênc Saúde Coletiva 2006; 11(3):643-655.

Datas de Publicação

• Publicação nesta coleção
  20 Maio 2008
• Data do Fascículo
  Maio 2008