Acessibilidade / Reportar erro

Levantamentos epidemiológicos em saúde bucal: análise da metodologia proposta pela Organização Mundial da Saúde

Epidemiological study in oral health: analysis of the methodology proposed by World Health Organization

Resumos

Os levantamentos epidemiológicos são importantes para o conhecimento da prevalência e tipologia das doenças bucais, podendo-se a partir dos dados coletados, planejar, executar e avaliar ações de saúde. É necessário, no entanto, que haja rigor metodológico que garanta reprodutibilidade, validade e confiabilidade, e que haja uniformidade de procedimentos para permitir comparações nacionais e internacionais. A iniciativa da Organização Mundial da Saúde (OMS) na assessoria à realização de levantamentos tem se mostrado extremamente útil, estimulando o estabelecimento de padrões de procedimentos que podem ser utilizados em todos os países. Em 1991 foi publicada a edição em português da terceira edição do "Oral Health Surveys - basic methods", de 1987, um manual que objetiva fornecer instruções para a realização de levantamentos epidemiológicos e tal publicação passou a servir de base a estudos realizados em diversos locais do Brasil e do mundo. O objetivo deste trabalho, é analisar criticamente a metodologia para Levantamento Epidemiológico em Saúde Bucal da OMS, na tentativa de contribuir para o aperfeiçoamento da mesma. De acordo com a presente análise, foram encontrados pontos relevantes para consideração, referentes à amostragem, à calibração dos examinadores e aos critérios para a avaliação de saúde bucal e necessidades de tratamento. Concluiu-se, em nível de recomendação, que, devido ao caráter dinâmico do conhecimento científico e, levando-se em consideração as diferenças regionais com relação ao padrão de desenvolvimento das doenças bucais, as propostas de padronização de levantamentos devem ser periodicamente revisadas. É provável, ainda, que outros pontos importantes não tenham sido detectados nesta análise, tornando-se premente ampliar esta discussão para toda a comunidade odontológica.

Epidemiologia; Odontologia em saúde pública; Métodos epidemiológicos; Calibragem; Amostragem; Coleta de dados


Epidemiological surveys are important for obtaining information on the prevalence and etiology of mouth diseases, since the data collected permit health actions to be planned, performed, and assessed. Methodological uniformity is necessary, however, to maintain reproductibility, validity, and reliability, and to allow national and international comparisons. The initiative of the World Health Organization (WHO) as an advisor in ongoing surveys has been extremely useful, stimulating standardization in all countries. In 1991, a Portuguese version of the 1987 third edition of "Oral Health Surveys - basic methods", an instruction manual for performing epidemiological surveys, was published and became a reference for many parts of Brazil and the World. The present analysis found conflicting points in relation to the sample size, calibration of the examiners, and criteria for evaluating oral health and treatment needs. In conclusion, due to the dynamic characteristics of scientific knowledge and, considering the regional differences in relation to the development of oral diseases, we recommend that proposals for standardizing surveys be checked periodically. Other important issues may have not been detected in this analysis, urging a thorough discussion within the dentistry community as a whole.

Epidemiology; Public health dentistry; Epidemiologic methods; Calibration; Sample studies; Data collection


Levantamentos epidemiológicos em saúde bucal: análise da metodologia proposta pela Organização Mundial da Saúde

Epidemiological study in oral health: analysis of the methodology proposed by World Health Organization

Angelo Giuseppe Roncalli da Costa OliveiraI; Beatriz UnferII; Iris do Céu Clara CostaIII; Rogério Moreira ArcieriIV; Luís Octávio Coelho GuimarãesV; Nemre Adas SalibaVI

IDepartamento de Odontologia Universidade Federal do Rio Grande do Norte Doutorando do Curso de Pós-graduação em Odontologia Preventiva e Social da Faculdade de Odontologia de Araçatuba - UNESP Endereço para correspondência: Rua Afonso Pena, 2000 - Blc 04, apto 03 - Jardim Paulista (Edif. Aguilera) 16060-040 Araçatuba, SP - Brasil E-mail: roncalli@zaz.com.br

IIUniversidade Federal de Santa Maria Doutoranda do Curso de Pós-graduação em Odontologia Preventiva e Social da Faculdade de Odontologia de Araçatuba/UNESP

IIIDepartamento de Odontologia Universidade Federal do Rio Grande do Norte Doutoranda do Curso de Pós-graduação em Odontologia Preventiva e Social da Faculdade de Odontologia de Araçatuba/UNESP

IVUniversidade Federal de Uberlândia Doutorando do Curso de Pós-graduação em Odontologia Preventiva e Social da Faculdade de Odontologia de Araçatuba/UNESP

VUniversidade Paulista - São Paulo Professor colaborador do Curso de Pós-graduação em Odontologia Preventiva e Social da Faculdade de Odontologia de Araçatuba - UNESP

VIFaculdade de Odontologia de Araçatuba/UNESP Curso de Pós-graduação em Odontologia Preventiva e Social da Faculdade de Odontologia de Araçatuba/UNESP

RESUMO

Os levantamentos epidemiológicos são importantes para o conhecimento da prevalência e tipologia das doenças bucais, podendo-se a partir dos dados coletados, planejar, executar e avaliar ações de saúde. É necessário, no entanto, que haja rigor metodológico que garanta reprodutibilidade, validade e confiabilidade, e que haja uniformidade de procedimentos para permitir comparações nacionais e internacionais. A iniciativa da Organização Mundial da Saúde (OMS) na assessoria à realização de levantamentos tem se mostrado extremamente útil, estimulando o estabelecimento de padrões de procedimentos que podem ser utilizados em todos os países. Em 1991 foi publicada a edição em português da terceira edição do "Oral Health Surveys - basic methods", de 1987, um manual que objetiva fornecer instruções para a realização de levantamentos epidemiológicos e tal publicação passou a servir de base a estudos realizados em diversos locais do Brasil e do mundo. O objetivo deste trabalho, é analisar criticamente a metodologia para Levantamento Epidemiológico em Saúde Bucal da OMS, na tentativa de contribuir para o aperfeiçoamento da mesma. De acordo com a presente análise, foram encontrados pontos relevantes para consideração, referentes à amostragem, à calibração dos examinadores e aos critérios para a avaliação de saúde bucal e necessidades de tratamento. Concluiu-se, em nível de recomendação, que, devido ao caráter dinâmico do conhecimento científico e, levando-se em consideração as diferenças regionais com relação ao padrão de desenvolvimento das doenças bucais, as propostas de padronização de levantamentos devem ser periodicamente revisadas. É provável, ainda, que outros pontos importantes não tenham sido detectados nesta análise, tornando-se premente ampliar esta discussão para toda a comunidade odontológica.

Palavras-Chave: Epidemiologia. Odontologia em saúde pública. Métodos epidemiológicos. Calibragem. Amostragem. Coleta de dados.

ABSTRACT

Epidemiological surveys are important for obtaining information on the prevalence and etiology of mouth diseases, since the data collected permit health actions to be planned, performed, and assessed. Methodological uniformity is necessary, however, to maintain reproductibility, validity, and reliability, and to allow national and international comparisons. The initiative of the World Health Organization (WHO) as an advisor in ongoing surveys has been extremely useful, stimulating standardization in all countries. In 1991, a Portuguese version of the 1987 third edition of "Oral Health Surveys - basic methods", an instruction manual for performing epidemiological surveys, was published and became a reference for many parts of Brazil and the World. The present analysis found conflicting points in relation to the sample size, calibration of the examiners, and criteria for evaluating oral health and treatment needs. In conclusion, due to the dynamic characteristics of scientific knowledge and, considering the regional differences in relation to the development of oral diseases, we recommend that proposals for standardizing surveys be checked periodically. Other important issues may have not been detected in this analysis, urging a thorough discussion within the dentistry community as a whole.

Keywords: Epidemiology. Public health dentistry. Epidemiologic methods. Calibration. Sample studies. Data collection.

Introdução

Levantamentos epidemiológicos são necessários tanto para o conhecimento da prevalência das doenças bucais como para estimar necessidades de tratamento. A partir dos dados coletados podem-se planejar, executar e avaliar ações de saúde, inferir sobre a eficácia geral dos serviços, além de permitir comparações de prevalências em diferentes períodos de tempo e áreas geográficas1-8.

Para a realização destes levantamentos o estabelecimento de uniformidade metodológica de critérios e de procedimentos facilita a viabilização de sua reprodutibilidade, validade e confiabilidade nas mesmas condições, em qualquer situação ou lugar, por profissionais da área de Saúde Bucal ou Saúde Coletiva.

Os examinadores devem estar bem familiarizados com os critérios de diagnóstico utilizados, além de devidamente calibrados e treinados. A calibração tem por objetivo minimizar os erros e diferenças porventura existentes quanto à habilidade na obtenção dos dados e julgamento dos mesmos, reduzindo as variações intra e inter-examinadores9.

Iniciativas da Organização Mundial da Saúde na assessoria ao planejamento, análise e sumarização dos dados têm se mostrado extremamente úteis nos estudos epidemiológicos de saúde bucal, estimulando o estabelecimento de padrões a serem adotados pelos países. Entretanto, de acordo com o Manual de Levantamento Epidemiológico de Saúde Bucal, da OMS, em sua edição de 19874,8, alguns aspectos referentes à obtenção da amostra, calibração dos examinadores e critérios de avaliação das doenças, não parecem estar suficientemente esclarecidos, de modo que qualquer profissional da área possa utilizá-lo plenamente.

O objetivo deste trabalho, portanto, é analisar criticamente a metodologia para Levantamento Epidemiológico de Saúde Bucal da OMS, explicitada na 3ª edição do "Oral Health Surveys: basic methods"8 de 1987* * A quarta edição do manual já está disponível desde outubro de 1997, mas ainda sem uma distribuição sistematizada e ainda não traduzida para o português 10. , contribuindo para o aperfeiçoamento da mesma, de acordo com as realidades locais.

As tentativas de padronização de levantamentos epidemiológicos em saúde bucal e a proposta da Organização Mundial da Saúde

O processo de obtenção dos dados em um levantamento inclui uma série de procedimentos, desde a seleção da amostra, critérios de diagnóstico, calibração de examinadores, instrumentos utilizados, apresentação dos dados etc.

Diversos trabalhos já foram publicados com o intuito de fornecer instruções sobre levantamentos epidemiológicos em saúde bucal. Com a introdução do índice CPO-D - obtido através da contagem de dentes cariados perdidos e obturados -, por Klein e Palmer11 em 1937, tornou-se disponível um indicador de avaliação das condições de cárie dentária em populações, usado até hoje, apesar das inúmeras modificações.

O trabalho de Klein e Palmer11 parece ter sido um divisor de águas, uma vez que inexistiam, nesta época, índices com razoável poder discriminatório para tentar retratar a realidade de cárie dentária das comunidades. Ainda no século passado, pelo menos três trabalhos foram representativos de tentativas de elaboração de estudos epidemiológicos de cárie, conforme coletânea realizada por Nordblad12, em 1986. Um deles, considerado como o primeiro estudo biométrico relativo à cárie dentária, foi realizado por Tomes, na Inglaterra, em 1847 e fazia a contagem de dentes extraídos, levando em consideração idade e sexo. Mais tarde, em 1888, Ottofy (EUA) realizou levantamento na faixa etária de 5 a 15 anos, utilizando as categorias "dente sadio" e "dente doente" como unidades de estudo. E em 1899, Koerner introduziu, pela primeira vez, as unidades "cariado", "perdido" e "obturado", propondo a análise dente-a-dente12.

Apesar de todas estas iniciativas, desde o fim do século passado até as três primeiras décadas deste século, o método mais comum de relatar a experiência de cárie era através do percentual de indivíduos atingidos12. Tal medida mostrava-se extremamente limitada, visto que a prevalência era bastante alta na ocasião e os dados giravam em torno de 90 a 95% de atingidos, variando de acordo com a idade. A idéia de Henry Klein e Carrol Palmer11 de trabalhar com unidade dente e registrar as várias formas de ataque da cárie foi ilustrada, pela primeira vez, em um trabalho que já se tornou clássico e referência obrigatória em praticamente todos os estudos de epidemiologia da cárie. Tratava-se de um levantamento realizado em crianças indígenas nos Estados Unidos e usava, pela primeira vez, a denominação DMF (Decayed, Missing and Filled), traduzida, no Brasil, como CPO (Cariados, Perdidos e Obturados). Neste trabalho, na verdade, uma publicação oficial do governo dos EUA, não são detalhados com maior propriedade os métodos utilizados para a realização do levantamento, sendo apenas descritos o índice utilizado e, em seguida, os resultados. Entre 1938 e 1940, os mesmos autores, com a colaboração de Knutson, publicaram uma série de trabalhos onde o índice e a metodologia para levantamentos eram mais detalhados. Esta série, que tinha o título de "studies on dental caries", em seu décimo volume relata os procedimentos para a realização de levantamentos, onde são detalhados a forma de registro dos dados, métodos para tabulação e análise, entre outras recomendações13.

Em nível institucional, as primeiras iniciativas de elaboração de metodologias padronizadas, pelo que indica a literatura pesquisada, partiram do Serviço de Saúde Pública dos Estados Unidos e da Associação Dentária Americana, em publicações da década de 50. Em 1957, o Departamento de Saúde Pública do Estado da Califórnia publica um documento intitulado "Dental Caries Survey - Who, Why, How", referido, no Brasil, por Chaves14 em 1962, como base para estruturação de levantamentos.

Já a OMS15 apresentou sua primeira proposta de estruturação de levantamentos em saúde bucal, em1961, através de um documento elaborado pelo WHO Expert Committee on Dental Health, o qual formulou métodos padronizados para descrição de doenças bucais. Neste documento já era explicitada a preocupação da OMS em estabelecer padrões visando uma uniformidade internacional para, assim, facilitar a comparabilidade dos dados.

Por sua vez, a Federação Dentária Internacional (FDI)16 publica, em 1962, o documento "General principles concerning the international standardization of dental caries statistics", também com a preocupação de se padronizar os levantamentos em saúde bucal.

Em 1971, a OMS publica a primeira edição do "Oral health surveys - basic methods"15 que teve uma boa aceitação, servindo de base para cerca de trinta instituições de saúde realizarem seus levantamentos naquela época e mereceu uma análise por parte de Davies e Barmes17 em 1976. Em 1977, a OMS publica a segunda edição do manual, com aperfeiçoamentos, principalmente com relação à aferição da doença periodontal15.

No Brasil, as normas para elaboração de levantamentos foram apresentadas, principalmente, nos compêndios de Odontologia Social, em particular, no livro do Prof. Mário M. Chaves, antes referido. Na edição de 1962 do seu livro Odontologia Sanitária14, publicado pela Organização Panamericana de Saúde (OPAS) e OMS, são referidas, principalmente, as metodologias preconizadas pelo Serviço de Saúde Pública dos EUA, datadas de 1957. Em suas últimas edições, já com o título de Odontologia Social (1977 e 1986)18,19, foram apresentadas normas oriundas de uma compilação de informes técnicos da OMS, FDI e do Dental Health Center, dos Estados Unidos. Esta última, publicada em 1965, foi a base das orientações referidas no livro de Chaves, de 1986.

No primeiro Levantamento Epidemiológico em Saúde Bucal, realizado no Brasil em 1986 20,21, foram utilizadas algumas recomendações da OMS, como as faixas etárias, a aferição de doença periodontal pelo ICNTP (Índice Comunitário de Necessidades de Tratamento Periodontal) e alguns critérios de diagnóstico de cárie. Entretanto, tal metodologia não seguiu uma normatização básica oficial e única.

Em 1987, a OMS publica a terceira edição do "Oral Health..."8, com grandes modificações em relação à edição anterior. Entre as principais modificações, é proposta uma nova metodologia para mensuração da doença periodontal, a partir do ICNTP, um índice idealizado em 1982 por Ainamo22, além de uma nova metodologia para obtenção da amostra, mudanças em faixas etárias, códigos e critérios de diagnóstico.

De acordo com os objetivos expostos no manual4,8, esperava-se que a publicação permitisse uma padronização na obtenção de dados epidemiológicos em saúde bucal, assegurando, assim, a comparabilidade dos dados obtidos em diferentes lugares, além de estimular os administradores em saúde bucal a criarem bases de dados confiáveis para uso em planejamento e avaliação4.

Dentre os vários aspectos abordados pelo manual para a realização de um levantamento epidemiológico, alguns deles podem ser destacados para uma análise mais cuidadosa, pois apresentam informações cruciais para o sucesso do levantamento. Estes aspectos são a metodologia do levantamento exploratório (destacando a obtenção da amostra), a calibração dos examinadores e os critérios para a avaliação básica de saúde bucal e necessidades de tratamento. A seguir serão discutidos estes aspectos.

Metodologia do levantamento exploratório

Neste item, são discutidas questões relativas aos subgrupos populacionais, às idades-índices e grupos etários utilizados e também ao tamanho da amostra.

Com relação aos grupos etários e idades-índices utilizados, é mantida a lógica de se verificar a ocorrência de doenças bucais ao longo da vida, uma vez que estas apresentam forte correlação com a idade do indivíduo. A idade de 12 anos é uma das mais importantes, por ter o seu CPO-D utilizado como padrão internacional para avaliação da condição de cárie dentária. A idade de 15 anos é também importante pois os supostos aumentos em relação aos 12 anos indicam o grau de severidade da doença.

É colocado, como uma modificação em relação à edição de 197715, o emprego da faixa etária de 65 a 74 anos, em substituição à anteriormente utilizada de 65 anos ou mais; entretanto, não ficou clara a necessidade desta delimitação. É possível porém que, em virtude da atual tendência de envelhecimento da população em todo o mundo, houvesse uma preocupação em limitar esta faixa, evitando a dispersão das unidades amostrais em idades muito diferentes. De todo modo, esta parece ser uma faixa etária por demais avançada para a grande maioria dos países subdesenvolvidos e em desenvolvimento, que detêm uma expectativa de vida menor. No Brasil, segundo dados de 1990, a esperança de vida ao nascer era de 65,49 anos23, com amplas diferenças regionais. É provável que esta faixa, de 65 a 74 anos seja pouco representativa na grande maioria dos países que deverão fazer uso da metodologia. No Levantamento Epidemiológico Nacional de 198620 foi feita uma adaptação desta faixa, tendo como justificativa exatamente o fato de ser baixa a expectativa de vida do brasileiro. Foi utilizada, na ocasião, a faixa etária de 50 a 59 anos.

Uma outra questão, ainda com relação à distribuição etária, é a não inclusão da faixa de 0 a 5 anos. A avaliação das condições de saúde bucal em crianças ainda com dentição decídua é importante, até mesmo porque, entre as metas da OMS/FDI para o ano 2.000 está a manutenção de 50% das crianças entre 5 e 6 anos livres de cárie24. De todo modo, o manual preconiza que a contagem de livres de cárie nesta faixa pode ser feita em algumas ocasiões, mas não a coloca como rotina. Tendo em vista a crescente preocupação dos sistemas de atenção odontológica com relação ao atendimento de bebês, a aferição do estado de saúde bucal nesta faixa etária tem se tornado imprescindível.

A questão da amostra

No que diz respeito ao tamanho da amostra, este parece ser um dos aspectos mais controvertidos da proposta. Na edição anterior do manual, de 197715, era sugerido que o tamanho da amostra deveria ser estabelecido mediante o apoio de um estatístico (local ou da própria OMS), a partir das características dos problemas e da população a ser estudada. Para uma população com níveis altos de cárie (CPO-D aos 12 anos maior que 4,0, por exemplo) foi sugerido o seguinte tamanho amostral:

Isto significa que, ao se assumir uma faixa de erro de um dente CPO na média encontrada, o número de pessoas a ser examinado, em cada grupo etário, deveria ser igual ou superior a 100. Estes exemplos foram elaborados a partir da estimativa da variabilidade do CPO, retirada de inúmeros estudos anteriores e pressupondo um grau de significância de 95% (a = 0,05).

Mesmo trabalhando com um tamanho mínimo de amostra já predeterminado e sem levar em consideração o tamanho da população, o manual é bastante cauteloso com relação ao plano amostral do levantamento, recomendando que este componha uma etapa crítica no sucesso do mesmo e que deva ser assessorada por um especialista.

Na edição de 19878, é preconizada uma metodologia de levantamento exploratório, onde a obtenção do tamanho da amostra é bastante simplificada. De acordo com o manual, "o número padronizado de indivíduos em cada grupo etário ou idade-índice a ser examinado varia de 25 a 50 para cada grupo ou ponto de amostra, dependendo da prevalência e severidade da doença bucal"4. Para os casos em que se tem uma prevalência estimada baixa ou muito baixa (em torno de 20% ou mais das crianças de 12 anos livres de cárie) , recomenda-se examinar 25 indivíduos de cada faixa e grupo populacional e, para moderada e alta prevalência (de 5 a 20% de crianças de 12 anos livres de cárie), devem-se examinar de 40 a 50 pessoas. A escolha dos grupamentos populacionais deve seguir as diferentes características que as doenças bucais porventura possam assumir nestes locais. Pode ser que se considere importante verificar diferenças entre os meios urbano e rural ou entre estratos de renda ou, ainda, grupos étnicos e, então, nestes casos, são escolhidas amostras representativas para estes subgrupos populacionais.

De qualquer modo, o grande diferencial é que, ao contrário dos estudos de prevalência nos quais se estuda um percentual da população (10% ou 1%, por exemplo, criando, assim, uma dependência do tamanho da amostra com o tamanho da população), esta forma de obtenção da amostra preconiza que devam ser examinadas entre 25 e 50 pessoas de cada grupo etário, independente do tamanho da população. No manual não está claro qual o princípio utilizado para esta metodologia; apenas coloca que, em virtude das características peculiares da distribuição das doenças bucais na população e a "experiência acumulada nos últimos 20 anos", pode-se utilizar esta metodologia amostral com sucesso garantido.

De fato, entre os critérios para a obtenção de uma amostra em um estudo de prevalência, não está o tamanho da população, mas a própria prevalência da doença ou a variabilidade média desta6,25-27. Deste modo, existem duas formas básicas (entre tantas outras mais complexas) de se calcular a amostra a partir destes critérios (prevalência e variabilidade). Em ambos os casos, devem ser levados em consideração o nível de confiança, as freqüências de ausência e presença da doença, a variabilidade e a margem de erro aceitável, como ilustrado nas equações a seguir.

Assim, tomando como base o exemplo "a", quanto maior o produto de p e q, maior será o tamanho da amostra requerido, considerando os mesmos níveis de confiança e de margem de erro. Do mesmo modo, ao se levar em conta a variabilidade (exemplo "b"), quanto mais dispersos forem os dados em relação à média, maior deve ser a amostra. A proposta da OMS trabalha a partir de um raciocínio obtido pelo exemplo "a", mas o que não fica claro é como se chegou ao número mínimo de 25 (para baixa prevalência) e máximo de 50 (para alta prevalência).

Esta é uma questão incômoda para os especialistas que costumavam trabalhar com planos amostrais mais complexos; afinal, uma das regras fundamentais de amostragem, a chamada lei dos grandes números, reza que "a aproximação relativa aumenta à medida que cresce o número de determinações"27, reforçando, deste modo, a lógica da representatividade ter uma relação direta com o tamanho da amostra, ou seja, quanto maior for a amostra, mais precisos são os resultados5. Assim, 25 a 50 pessoas examinadas por grupo etário, independente da cidade ter 20 mil ou 1 milhão de habitantes, parece ser uma simplificação excessiva5. Sobre este aspecto, Moysés26 afirma que os planos amostrais para levantamentos de saúde bucal são, via de regra, complexos, dada a complexidade da distribuição das doenças bucais. Segundo este autor "deve-se tomar cuidado, portanto, com o estabelecimento de uma amostra por critérios de decisão tais como (...) recorrer à amostragem de conveniência, quando as condições operacionais da pesquisa são desfavoráveis ou, ainda, lançar mão das conhecidas 'amostras por números cabalísticos', tais como as famosas 30 ou 385 unidades amostrais"26(p.386).

Ironias à parte, o autor faz menção ao cálculo básico para determinação de tamanho da amostra, referido anteriormente, em que, ao se estimar uma prevalência de 50%, uma margem de erro de 5% e uma significância de 95%, o resultado é sempre 385.

De certo modo, este tipo de raciocínio (obtenção da amostra a partir da estimativa da prevalência) é impraticável para ser aplicado no caso da cárie, por exemplo. O cálculo de tamanho da amostra, a partir da proporção, pressupõe que a unidade de medida da doença seja o indivíduo, ou seja, a prevalência é obtida pela contagem de indivíduos doentes e estabelecendo-se uma relação com a população total. Isto quer dizer que, se forem encontrados 30 casos de uma determinada doença, num determinado momento, e a população for de 2.000 pessoas, a prevalência desta doença é de 1,5%. Ocorre que, no caso das doenças bucais, a cárie por exemplo, a unidade em estudo é o dente, ou seja, não são contadas as pessoas atingidas, mas os dentes atingidos por pessoa. Assim, calcular uma amostra a partir desta fórmula serve apenas para determinar um número necessário para se estimar a prevalência de cárie por indivíduo. Sabe-se que este é um dado irrelevante e sem o menor sentido, em função da cárie ser uma doença presente em mais de 90% da população. Somente em idades menores, ou mesmo em localidades de baixíssima prevalência, este tipo de indicador adquire maior importância.

Sendo o CPO uma variável quantitativa, com provável distribuição normal e com variabilidade possível de ser estimada pelo desvio-padrão, o cálculo da amostra a partir da variabilidade parece ser mais sensato. Entretanto, isto adiciona um problema a mais na estruturação de levantamentos, uma vez que, na grande maioria dos casos, não se dispõe dos valores de média e desvio-padrão de estudos anteriores para, assim, se calcular a amostra. Pode-se, como alternativas para contornar o problema, recorrer a estudos semelhantes ou então proceder a um estudo-piloto que forneça estes dados, o que gera uma dificuldade ainda maior.

Em síntese, a determinação do tamanho da amostra em estudos de cárie dentária se constitui em um processo bastante complexo, em que têm que ser levados em conta vários aspectos, entre eles os objetivos da investigação, as características da população, os instrumentos de medida, o nível de precisão pretendido (que está relacionado com o nível de planejamento das ações) e, também, a exeqüibilidade e o custo da investigação2,26.

Uma outra questão a ser ressaltada é o fato de que a representatividade de uma amostra é dada, além da sua relação com a prevalência estimada da doença em estudo, pela aleatoriedade da escolha. Neste caso, tão importante quanto se definir o tamanho da amostra é a determinação do processo de sorteio desta amostra. Neste sentido, é de fundamental importância que, na medida do possível e resguardadas as peculiaridades do levantamento, todos os componentes da população tenham iguais chances de participar da amostra. Talvez fosse interessante que estes aspectos estivessem mais claros no manual, explicitando, inclusive, como se deve dar o sorteio, se a partir de números aleatórios ou outro método qualquer. Isto se torna mais fundamental ainda quando se trabalha em populações com bases de dados pouco confiáveis, onde não se pode dispor de listas para proceder a aleatorização.

Calibração dos examinadores

Os estudos de prevalência das doenças bucais, em particular a cárie dentária, exigem uma aferição direta junto à população, ou seja, deve-se examinar um número razoável de pessoas, diagnosticá-las e extrapolar estes resultados para a população inteira. A grande dificuldade existente na realização de levantamentos é que é exigido, principalmente nos casos de localidades muito populosas ou com grandes grupamentos populacionais diferentes, um número considerável de examinadores para que o levantamento se torne viável. Dado o alto grau de subjetividade de que se reveste o diagnóstico das doenças bucais, a uniformidade nos diagnósticos entre os examinadores é de importância crucial para a fidedignidade dos dados obtidos no levantamento. Deste modo, uma das etapas mais importantes na realização de um levantamento em saúde bucal é a calibração dos examinadores28.

Neste aspecto, contudo, o manual é extremamente vago. São dedicadas pouco mais de duas páginas para o item "Fidedignidade dos dados", limitadas a uma exposição da importância da calibração e instruções de como proceder a exames em duplicata. Na verdade, o capítulo 3 do manual, "Fidedignidade dos Dados", é uma tradução literal da primeira parte de um texto técnico da OMS "Calibration of Examiners for Oral Health Epidemiological Surveys", com autoria de Eklund e col.9. Transcreve-se, no manual, apenas a introdução do documento, concluindo-se o capítulo sem deixar claro como deve ser feita a calibração dos examinadores. O documento de Eklund e col.9 é bastante elucidativo na descrição do procedimento de calibração. O manual do levantamento deveria, na pior das hipóteses, referi-lo como fonte de consulta para a realização da calibração. Da forma como está, o manual da OMS não fornece nenhuma instrução consistente para que a calibração seja realizada.

Há farta documentação na literatura ilustrando a divergência nos diagnósticos realizados por dentistas, tanto no aspecto clínico como epidemiológico29-35. Levando-se em consideração que o método de exame nos levantamentos epidemiológicos é o visual-táctil, o qual sabidamente possui fraca reprodutibilidade e sensibilidade36, a manutenção de uma uniformidade nos diagnósticos, mediante uma criteriosa calibração, é fundamental para a obtenção de dados fidedignos.

Em resumo, o manual não oferece subsídios para a obtenção de maiores detalhes quanto aos procedimentos da etapa de calibração, para que qualquer trabalhador na área de saúde bucal tome a iniciativa de realizar um levantamento de saúde bucal de acordo com as normas corretas.

Avaliação básica da saúde bucal e necessidade de tratamento

Neste item, que faz parte do capítulo 5, "Fichas padronizadas de levantamento", são feitas as descrições de como devem ser realizados os exames de cada um dos índices preconizados (má-oclusão, ICNTP, condição dental/necessidades de tratamento, fluorose etc.).

Má-oclusão

Com relação à má-oclusão, apesar da descrição razoável para a obtenção do índice, percebe-se que ainda é muito pouco usado em levantamentos de rotina. A base de dados de saúde bucal da OMS dispõe de muito poucas informações sobre o perfil de má-oclusão em países obtidos a partir de sua metodologia. No caso do Brasil, não foi feito levantamento de má-oclusão nem no levantamento anterior (1986)20 nem no atual37,38, o que pode ser justificado pelo fato de ser um dado ainda irrelevante, por um lado em virtude da inexistência de políticas claras de intervenção neste tipo de doença e, por outro, pela constatação de que o maior problema ainda é a cárie dentária, de modo que eventuais problemas de má-oclusão percebidos em levantamentos nada mais são que seqüelas de perdas dentárias pela cárie39. Deste modo, como salienta Pinto5, a inclusão deste item em levantamentos de rotina "representaria exigências adicionais significativas em termos de tempo para exame, recursos humanos, gastos. Além disso, não haveria como proporcionar atenção a estes problemas ou grupos excedentes, e sua inclusão poderia desacreditar o próprio estudo em seu todo" (p. 115). A análise de má-oclusão, portanto, fica em segundo plano em termos de prioridade. Todavia, a ocorrência pode ser minimizada com a atenção curativa e preventiva da cárie dentária, considerada, ainda, prioridade em saúde pública na maioria dos países.

Condição periodontal

Com relação ao ICNTP, o manual proporciona informações seguras e consistentes para a obtenção do índice. A apresentação dos critérios, até bem ilustrada por fotos coloridas e didáticas, fornece os subsídios necessários para uma correta obtenção dos dados de doença periodontal. Aliás, a inclusão do ICNTP em levantamentos básicos de saúde bucal tem sido apontada como um dos grandes avanços na epidemiologia da doença periodontal, devido à facilidade na obtenção e interpretação do índice, bem como pelo fato deste gerar, de pronto, informações de necessidades de tratamento para serem utilizadas em planejamento das ações22,40.

Condição dentária (CPO-D)

No que diz respeito à cárie dentária, a forma de avaliação se dá a partir da "condição dentária", que funciona como uma modificação do CPO-D tradicional. Foram acrescentadas subdivisões para o item obturado (com cárie e sem cárie) e para o perdido (por cárie e por outras razões), além de outras classificações como selante/verniz, e apoio de ponte ou coroa.

Observa-se que a utilização de sonda exploradora para detecção de cárie ainda é preconizada no manual, apesar de inúmeros estudos contraindicarem este método para diagnóstico de lesões de cárie. Tem sido observado que o exame com sonda não é superior ao exame visual isolado em termos de sensibilidade e especificidade, como relatado nos trabalhos de Lussi41 e de Penning e col.42. Além disso, como verificado por Loesche43, em 1979, o exame com sonda pode funcionar como veículo de transmissão da microbiota cariogênica de um sítio dentário para outro e, de acordo com os estudos de Ekstrand e col.44, em 1987 e van Dorp e col.45, em 1988, o exame com explorador provoca danos ao esmalte parcialmente desmineralizado. Uma vez que a grande maioria destas lesões ainda não é visível a olho nu, a possibilidade do exame com sonda provocar cavitação é muito grande.

Para Bader e Shugars46 a informação táctil acrescenta informação insignificante no diagnóstico de cárie e, de acordo com Rytömaa47, apesar do exame com explorador ainda ser uma rotina, recentemente vem sendo posto em desuso em epidemiologia, pelo menos para diagnóstico da cárie em si. Atualmente, propõe-se que a ponta da sonda seja romba (diâmetro em torno de 0,5 mm) a qual não provocaria danos ao esmalte e serviria apenas para a remoção de placa, facilitando, assim, o exame visual.

No manual, o uso do explorador ainda é preconizado para determinação do diagnóstico, principalmente nas faces proximais. Nas fissuras oclusais, é diagnosticado como hígido o dente no qual se apresentem "sulcos e fissuras do esmalte, manchados, que prendem o explorador mas não apresentam uma base amolecida, esmalte socavado, ou amolecimento das paredes"4 (grifo nosso).

Percebe-se que algumas mudanças nos critérios para dentes hígidos e cariados ocorreram desde a publicação do índice CPO-D por Klein e Palmer11, em 1938. Inicialmente (e o próprio trabalho de Klein e Palmer ilustra isso), não eram explicitados critérios para diagnóstico de cárie nas normatizações de levantamentos, sendo aplicados critérios clínicos vigentes à época. Sabe-se que o critério "sonda prendendo" para diagnóstico de cárie de fissura se manteve como norma desde os trabalhos de Black48,49. Este autor preconizava que o fato do explorador prender significava presença de cárie, independente de qualquer outra manifestação e este critério parece ter sido absorvido pelas normas de levantamento institucionais durante algum tempo. Nas normas descritas anteriormente, como a do Serviço de Saúde Pública da Califórnia (1957) e do Dental Health Center (1965), de acordo com os critérios de diagnóstico de cárie descritos, era considerado como cariado o dente no qual "a sonda prende, suporta seu próprio peso e oferece resistência à retirada"14,18,19, o mesmo princípio preconizado por Black48.

Desde a sua edição de 197715, o manual coloca fatores condicionantes ao fato do explorador prender para se considerar um dente cariado (presença de base amolecida, esmalte socavado ou amolecimento das paredes).

Neste aspecto, portanto, há um avanço no sentido de que o critério "sonda prendeu" não é mais considerado como determinante da presença de lesão de cárie. Sabe-se que este é um critério superado, uma vez que outros fatores podem levar a sonda a ficar presa, desde a morfologia da fissura e da sonda até mesmo a força empregada na sondagem. A propósito, a discussão sobre o uso da sonda como critério de diagnóstico nem é tão recente. Já em 1948, Pincus, citado por Pereira50 discutia o uso da sonda, colocando que a mesma não produz um diagnóstico correto das fissuras. Em 1956, Miller e Hobson51 já contestavam o critério "sonda prendeu" para diagnóstico de lesão em cicatrículas e fissuras, em virtude da grande diferença de opinião entre os examinadores na interpretação do termo "prendendo".

Mesmo assim, o fato de ainda se manter o uso da sonda - embora não como critério puro de diagnóstico de lesão de cárie - pode ser considerado como um ponto negativo, em virtude dos problemas provocados pela sondagem, colocados anteriormente.

Uma outra questão, ainda dentro do diagnóstico de condição dental, diz respeito ao selante. O fato de se ter um critério específico para selante não deixa de ser um avanço, pois é um reconhecimento de que mudanças ocorreram nas ações preventivas e na forma de tratamento das lesões. Na edição do manual, de 197715, e mesmo em metodologias anteriores, não existia a classificação de "dente com selante" e, provavelmente, dentes selados seriam diagnosticados como hígidos, uma vez que o conceito vigente era de que somente seriam selados dentes sem lesões cariosas. Atualmente o selante vem sendo preconizado como tratamento de lesões incipientes de esmalte e até mesmo de dentina, considerando-se o risco de cárie do paciente. Assim, ao se diagnosticar um dente selado como hígido poderia-se estar ignorando uma lesão tratada.

De todo modo, o problema persiste, uma vez que os dentes com selante não são incluídos no cálculo do CPO-D. Mas, provavelmente, uma grande parcela dos dentes selados atualmente apresentaram cáries incipientes enquanto que, em outra parte, foi aplicado o selante sobre superfícies hígidas. Os dentes selados, portanto, ficam sem uma classificação clara. Se foram selados sobre cárie, devem ser considerados como obturados; por outro lado, se os selantes estão sobre superfícies hígidas, os dentes devem ser considerados como hígidos. O problema é que isto é impossível de se saber nas condições de um levantamento epidemiológico. Os dentes selados, portanto, são analisados como um item à parte, quando da utilização da metodologia da OMS.

Um outro aspecto com relação ao selante é que sua utilização em massa, principalmente pelo serviço público, tem trazido dificuldades para o diagnóstico em levantamentos epidemiológicos. Em experimento desenvolvido pelos autores do presente trabalho49, na fase de calibração, o maior responsável pela queda na concordância intra-examinador foram os dentes selados que eram confundidos com dentes hígidos e vice-versa. Nas condições de um levantamento com luz natural, o selante, na maioria das vezes incolor, freqüentemente passava desapercebido.

Necessidades de Tratamento

É reconhecido, no próprio manual4, que existe uma diversidade muito grande, entre os países, com relação à capacidade de atender às demandas por tratamento odontológico, bem como nas atitudes profissionais e técnicas empregadas. Mesmo assim, são sugeridas diversas opções de tratamento para as várias situações encontradas para a condição dental, as quais, ainda segundo o manual, são de grande valor em nível local e nacional, "porque fornecem uma base confiável para se estimar as necessidades de mão-de-obra e os custos de um programa odontológico sob as condições locais prevalentes ou antecipadas"4.

Na prática, parece que a inclusão das necessidades de tratamento acrescentam mais tempo e dificuldade ao exame. Afinal, a partir dos dados do CPO-D, podem facilmente ser estimadas as necessidades de tratamento, o que já é uma prática comum. O fato de se determinar, já no ato do exame, a opção de tratamento, apenas acrescenta um dado a mais e uma maior dificuldade de calibração para os examinadores.

Conclusões

A padronização de procedimentos para obtenção de dados de saúde bucal nas populações, mediante levantamentos epidemiológicos, é de fundamental importância para a garantia da confiabilidade e comparabilidade dos dados. Neste sentido, iniciativas tomadas a partir de instituições como a Organização Mundial da Saúde, são imprescindíveis e necessárias. Entretanto, devido ao caráter dinâmico do conhecimento científico e, levando-se em consideração as diferenças regionais com relação ao padrão de desenvolvimento das doenças bucais, estas propostas devem ser periodicamente, revisadas e possivelmente adaptadas às condições regionais.

A presente proposta da OMS possui pontos que ainda podem ser melhorados, sendo que alguns deles foram percebidos e discutidos neste trabalho. Provavelmente, outros pontos não foram detectados nesta análise, tornando-se premente ampliar esta discussão para toda a comunidade odontológica.

Summary

Epidemiological surveys are important for obtaining information on the prevalence and etiology of mouth diseases, since the data collected permit health actions to be planned, performed, and assessed. Methodological uniformity is necessary, however, to maintain reproductibility, validity, and reliability, and to allow national and international comparisons. The initiative of the World Health Organization (WHO) as an advisor in ongoing surveys has been extremely useful, stimulating standardization in all countries. In 1991, a Portuguese version of the 1987 third edition of "Oral Health Surveys - basic methods", an instruction manual for performing epidemiological surveys, was published and became a reference for many parts of Brazil and the World. The present analysis found conflicting points in relation to the sample size, calibration of the examiners, and criteria for evaluating oral health and treatment needs. In terms of sample size, the criteria - and on what basis they were established - used for determining sample size regardless of population size, are not clear. In regard to calibration, the manual does not offer any consistent help to calculate intra-examiner and inter-examiner agreement or to assess oral health conditions and treatment needs; the use of the explorer is recommended, in despite of the known damage that its use promotes. These questions, among others discussed in the present article, indicate that a revision of the WHO methodology is necessary. In conclusion, due to the dynamic characteristics of scientific knowledge and, considering the regional differences in relation to the development of oral diseases, we recommend that proposals for standardizing surveys be checked periodically. Other important issues may have not been detected in this analysis, urging a thorough discussion within the dentistry community as a whole.

  • 1. Castellanos PL. A epidemiologia e a organização dos sistemas de saúde. In: Rouquayrol MZ. Epidemiologia e saúde 4Ş ed. Rio de Janeiro: MEDSI; 1993. p. 477-84.
  • 2. Manji F, Fejerskov O. Um enfoque epidemiológico para a cárie dentária. In: Thylstrup A, Fejerskov O. Cariologia clínica São Paulo: Editora Santos; 1995. Cap. 7, p. 159-92.
  • 3. Narvai PC. Diagnóstico de saúde bucal São Paulo; 1996.
  • 4. Organização Mundial da Saúde. Levantamento epidemiológico básico de saúde bucal: manual de instruções. 3Ş ed. São Paulo: Editora Santos; 1991.
  • 5. Pinto VG. Saúde bucal: odontologia social e preventiva. São Paulo: Editora Santos; 1990.
  • 6. Pinto VG. A odontologia no município: guia para organização de serviços e treinamento de profissionais a nível local. Porto Alegre: RGO; 1996.
  • 7. Goldbaum M. Epidemiologia em serviços de saúde no Brasil: anotações para o debate. Saúde Debate 1992; (35): 68-71.
  • 8. World Health Organization. Oral health surveys: basic methods 3rd ed. Geneva: ORH/EPID; 1987.
  • 9. World Health Organization. Calibration of examiners for oral health epidemiological surveys Geneva: ORH/EPID; 1993.
  • 10. World Health Organization. Oral health surveys: basic methods 4th ed. Geneva: ORH/EPID; 1997.
  • 11. Klein H, Palmer CE. Dental caries in American indian children. Public Health Bull 1937; (239): 1-54.
  • 12. Nordblad A. Patterns and indicators of dental decay in the permanent dentition of children and adolescents. Proc Finn Dent Soc 1986 (suppl): 11-3.
  • 13. Klein H, Palmer CE. Studies on dental caries X: a procedures for the recording and statistical processing of dental examination findings. J Dent Res 1940; 19:243-56.
  • 14. Chaves MM. Odontologia sanitaria Washington (DC): Organizacion Panamericana de la Salud; 1962. (OPAS - Publicaciones Científicas, 63).
  • 15. World Health Organization. Oral health surveys: basic methods 2nd ed. Geneva: ORH/EPID; 1977.
  • 16. International Dental Federation. General principles concerning the international standadization of dental caries statistics. Int Dent J 1962; 12: 65-75.
  • 17. Davies GN, Barmes DE. An evaluation of proposed revisions to the WHO manual "Oral health surveys - basic methods". Community Dent Oral Epidemiol 1976; 4(2): 55-65.
  • 18. Chaves MM. Odontologia social 2Ş ed. São Paulo: Artes Médicas; 1977.
  • 19. Chaves MM. Odontologia social 3Ş ed. São Paulo: Artes Médicas; 1986.
  • 20
    Ministério da Saúde. Divisão Nacional de Saúde Bucal. Levantamento epidemiológico em saúde bucal: Brasil, zona urbana Brasília; 1986.
  • 21. Ministério da Saúde. Secretaria Nacional de Programas Especiais de Saúde - Divisão Nacional de Saúde Bucal. Saúde bucal: panorama internacional Brasília; 1990.
  • 22. Ainamo J. Development of the World Health Organization (WHO) Community Periodontal Index of Treatment Needs (CPITN). Int Dent J 1982; 32:281-91.
  • 23. Cohn A, Elias PE. A saúde no Brasil: políticas e organização de serviços São Paulo: Cortez; 1996.
  • 24. Federation Dentaire Internacionale. Global goals for oral health in the year 2000. Int Dent J 1982; 32: 74-7.
  • 25. Berquó ES, Souza JMP, Gotlieb SLD. Bioestatística 2Ş ed. São Paulo: EPU; 1981.
  • 26. Moysés SJ. O conceito de promoção da saúde na construção de sistemas de atenção em saúde bucal coletiva. In: Kriger, L, coordenador. Promoção de saúde bucal São Paulo: Artes Médicas; 1997. p. 373-407.
  • 27. Sounis E. Bioestatística: princípios fundamentais, metodologia estatística, aplicação às ciências biológicas São Paulo: McGraw-Hill; 1975.
  • 28. Cleaton-Jones P, Hargreaves JA, Fatti LP, Chandler HD, Grossman ES. Dental caries diagnosis calibration for clinical field surveys. Caries Res 1989; 23: 195-9.
  • 29. Elderton RJ, Nuttal NM. Variation among dentists in planning treatment. Br Dent J 1983; 154: 201-6.
  • 30. Kidd EAM, Ricketts DNJ, Pitts NB. Occlusal caries diagnosis: a changing challenge for clinicians and epidemiologists. J Dent 1993; 21:323-31.
  • 31. Meneghim MC. Estudo comparativo entre quatro diferentes métodos de exame para diagnóstico da cárie dentária, em escolares de 12 anos de idade [dissertação de mestrado]. Araçatuba: Universidade Estadual Paulista; 1996.
  • 32. Newbrun E. Problems in caries diagnosis. Int Dent J 1993; 43: 133-42.
  • 33. Pitts NB. Diagnostic methods for caries: what is appropriate when? J Dent 1991; 19: 377-82.
  • 34. Rytömaa I, Järvinen V, Järvinen J. Variation in caries recording and restorative treatment plan among university teachers. Community Dent Oral Epidemiol 1979; 7: 335-9.
  • 35. Silva BB, Maltz M, Franco F. Diagnóstico e tratamento da cárie de superfície oclusal: variação entre examinadores. Rev APCD 1994; 48: 1231-4.
  • 36. Pereira CRS. Validade dos exames clínico e radiográfico aplicados em cicatrículas e fissuras de molares permanentes jovens: um estudo in vivo. [dissertação de mestrado]. Belo Horizonte: Universidade Federal de Minas Gerais; 1997.
  • 37
    Ministério da Saúde. Secretaria de Assistência à Saúde. Departamento de Assistência e Promoção à Saúde. Coordenação de Saúde Bucal. Levantamento epidemiológico em saúde bucal: 1a etapa - cárie dental - projeto Brasília; 1996.
  • 38. Souza SMD. Levantamento epidemiológico em saúde bucal - cárie dental - 1Ş etapa. ABO Nacional 1996 nov/dez: 8B.
  • 39. Costa PAP. Perda precoce de molares decíduos e primeiros molares permanentes como fator etiológico de más-oclusões dentárias [dissertação de mestrado]. Natal: Universidade Federal do Rio Grande do Norte; 1988.
  • 40. Lindhe J. Tratado de periodontologia clínica 2Ş ed. Rio de Janeiro: Guanabara Koogan; 1992.
  • 41. Lussi A. Validity of diagnostic and treatment decisions of fissure caries. Caries Res 1991; 25: 296-303.
  • 42. Penning C, van Amerogen JP, Seef RE, ten Cate JM. Validity of probing for fissure caries diagnosis. Caries Res 1992; 26: 445-9.
  • 43. Loesche WJ, Svenberg ML, Pape HR. Intra oral transmission of Streptococcus mutans by a dental explorer. J Dent Res 1979; 58: 1765-70.
  • 44. Ekstrand KR, Qvist U, Thylstrup A. Light microscope study of the effect of probing in occlusal surfaces. Caries Res 1987; 21: 368-74.
  • 45. van Dorp CSE, Exterkate RAM, ten Cate, JM. The effect of dental probing on subsequent enamel demineralization. J Dent Child 1988; 55: 343-7.
  • 46. Bader JD, Shugars DA. Need for change in standards of caries diagnosis: epidemiology and health services research perspective. J Dent Educ 1993; 57: 415-21.
  • 47. Rytömaa I. Diagnostic criteria in epidemiological caries studies. Proc Finn Dent Soc 1986; 82: 245-53.
  • 48. Blacwell RE. G.V. Black's operative dentistry 9th ed. London: Henry Kimpton; 1955.
  • 49. Oliveira AGRC, Arcieri RM, Costa ICC, Unfer B, Saliba NA. Influência de modificações nos critérios de diagnóstico de cárie nos levantamentos epidemiológicos. Rev CROMG 1998; 4(1): 54-60
  • 50. Pereira CRS. Novos conceitos sobre diagnóstico de cárie e indicação de intervenção considerando as fases de surto e estabilidade da incidência de cárie. Programa Inversão da Atenção. Belo Horizonte; 1994. (Notas Técnicas, 2).
  • 51. Miller J, Hobson P. Determination of the presence of caries in fissures. Br Dent J 1956; 100: 15-8.
  • *
    A quarta edição do manual já está disponível desde outubro de 1997, mas ainda sem uma distribuição sistematizada e ainda não traduzida para o português
    10.
  • Datas de Publicação

    • Publicação nesta coleção
      04 Ago 2005
    • Data do Fascículo
      Ago 1998
    Associação Brasileira de Saúde Coletiva Av. Dr. Arnaldo, 715 - 2º andar - sl. 3 - Cerqueira César, 01246-904 São Paulo SP Brasil , Tel./FAX: +55 11 3085-5411 - São Paulo - SP - Brazil
    E-mail: revbrepi@usp.br