Estudos clínicos de intervenção em motricidade orofacial: análise metodológica de investigações brasileiras

RESUMO

Objetivo:

objetivou-se avaliar a qualidade metodológica dos ensaios clínicos publicados em periódicos brasileiros.

Métodos:

trata-se de uma pesquisa bibliográfica sistemática. Participaram quatro pesquisadores independentes treinados que realizaram um levantamento dos últimos 10 anos em todos os periódicos nacionais da área da Fonoaudiologia, ativos ou inativos. Para tanto, foram selecionados todos os volumes desse período de tempo e cada pesquisador realizou análise individual a fim de identificar estudos que tinham o principal objeto de estudo enquadrado na Motricidade Orofacial. Foram utilizados os seguintes instrumentos Downs and Black Quality Checklist e escala de Jadad.

Resultados:

após a seleção e categorização dos estudos, a amostra final desta pesquisa foi composta por 6 artigos classificados como ensaios clínicos. Dentre as limitações metodológicas observadas destacam-se a ausência de plano amostral, randomização e cegamento. Identificou-se uma média de 16,3 pontos para o Downs and Black Quality Checklist e 2,3 para escala de Jadad.

Conclusão:

conclui-se que a literatura brasileira é escassa de ensaios clínicos controlados randomizados na área de motricidade orofacial, sugerindo ampliação e qualificação das investigações que adotam esse delineamento de pesquisa, promovendo, dessa forma, uma prática clínica baseada em evidência científica.

Descritores:
Prática Clínica Baseada em Evidências; Literatura de Revisão como Assunto; Terapia Miofuncional; Metodologia

ABSTRACT

Purpose:

to evaluate the methodological quality of clinical trials published in Brazilian journals.

Methods:

four trained independent researchers conducted a systematic literature search of all Brazilian speech therapy-related journals over the last ten years, whether the journals were active or inactive. All journal volumes published during that period were selected, and each researcher conducted an individual analysis to identify articles that focused primarily on orofacial motricity. The tools used were the Downs and Black Quality Checklist and the Jadad scale.

Results:

after the studies were selected and categorized, the final sample comprised six articles, all of which were classified as clinical trials. The observed methodological limitations included a lack of sample planning, randomization and blinding. Mean scores of 16.3 points on the Downs and Black Quality Checklist and 2.3 on the Jadad scale were obtained.

Conclusion:

the randomized controlled trials in the area of orofacial motricity are scarce in Brazilian literature, suggesting that studies in this area adopting this research design should be expanded and their quality should be improved to promote clinical practice based on scientific evidence.

Keywords:
Evidence-Based Clinical Practice; Review Literature as Topic; Myofunctional Therapy; Methodology

Introdução

A fonoaudiologia é uma ciência que lida diretamente com o tratamento de doenças em diversas áreas. A motricidade orofacial (MO) é a área da fonoterapia dedicada ao estudo, pesquisa, prevenção, avaliação, diagnóstico, desenvolvimento, qualificação, aprimoramento e reabilitação dos aspectos estruturais e funcionais das regiões orofacial e cervical¹.

Dada essa definição, segue-se que a prática clínica da fonoaudiologia requer um alicerce sobre o qual ela possa atuar. O conhecimento científico precisa estar conectado com a prática de forma a permitir que o sujeito de estudo se beneficie da pesquisa². A prática baseada em evidências é, portanto, essencial para o tratamento. Os médicos recebem informações de várias fontes para definir sua prática, e é necessário separar o que é apropriado para uso em sua prática do que não é³.

A pesquisa em terapia da fala cresceu nos últimos anos e o número de publicações relacionadas aumentou consideravelmente. Como resultado, campos que não haviam sido delineados anteriormente foram incorporados aos objetos de estudo desta ciência, levando ao conhecimento ampliado e à prática da fonoaudiologia. Entretanto, estudos com alto nível de evidência científica, como ensaios clínicos controlados, estão sub-representados, o que limita a disponibilidade de conhecimento científico que pode contribuir para novos tratamentos efetivos e minimiza a capacidade de refutar ou confirmar a eficácia dos tratamentos já em uso⁴.

Ensaios clínicos controlados são considerados o melhor método para determinar a eficácia de uma intervenção; eles são a base metodológica para a saúde baseada em evidências. Eles podem produzir evidências científicas que são menos propensas a erros ao esclarecer as relações de causa e efeito entre dois eventos⁵.

Uma pesquisa bibliográfica realizada nos anos entre 1970 e 2000 identificou a necessidade de mais publicações e pesquisas com foco nos tratamentos de MO⁶. Uma análise descritiva da produção científica brasileira de 2005 a 2015 revelou um aumento no número de artigos científicos publicados, especialmente aqueles com delineamento transversal, os quais são importantes para identificar a ocorrência e a distribuição e os fatores associados ao surgimento da saúde problemas relacionados à área em estudo².

Nesse sentido, torna-se necessário conhecer o perfil atual da produção científica brasileira relacionada à efetividade do tratamento no campo de MO para estimular a reflexão e incentivar a realização de estudos científicos que considerem os aspectos metodológicos atualmente propostos para este tipo de pesquisa. Com base nisso, o objetivo deste estudo foi identificar e avaliar, do ponto de vista metodológico, ensaios clínicos controlados no campo da MO publicados em periódicos brasileiros.

Métodos

Esta foi uma pesquisa bibliográfica baseada em um extenso método sistemático. Quatro pesquisadores independentes treinados na metodologia científica apropriada conduziram uma pesquisa em todas as revistas nacionais relacionadas à terapia da fala nos últimos dez anos, independentemente de estarem atualmente ativos ou inativos. Todos os volumes publicados durante esse período foram selecionados, e cada pesquisador realizou uma análise individual para identificar os artigos em que o objeto principal de estudo estava dentro do campo da MO.

A pesquisa envolveu duas fases: (1) A categorização e seleção de estudos de intervenção, e (2) A avaliação dos aspectos metodológicos de ensaios clínicos em MO.

Fase 1 (Categorização e seleção de estudos de intervenção)

Todas as publicações no campo da fonoaudiologia, datadas entre janeiro de 2005 e março de 2015, foram avaliadas por quatro pesquisadores independentes. Todos os volumes de revistas científicas no campo que foram registrados com um Número Internacional de Série Padrão (ISSN) foram incluídos, se os periódicos estavam ativos ou descontinuados e sem restrição de idioma. Nesta análise, todas as publicações com um tema principal dentro do campo MO foram incluídas. As revistas brasileiras de fonoaudiologia estão resumidas na Figura 1.

Figura 1:
Revistas científicas brasileiras de fonoaudiologia

No início da década passada, uma resolução do Conselho Federal de Fonoaudiologia estabeleceu cinco especialidades dentro dessa ciência: audiologia, linguagem, MO, voz e saúde pública¹.

No âmbito da MO brasileira estão a pesquisa, avaliação, diagnóstico e reabilitação de aspectos estruturais e funcionais das regiões orofacial e cervical relacionados às funções estomatognáticas de sucção, respiração, mastigação, deglutição e fala. Em 2010, a mesma entidade regulou o campo da disfagia e mudou as anormalidades da deglutição mais complexas e as práticas hospitalares para longe da MO. Por esse motivo, publicações dedicadas à disfagia não foram consideradas nesta revisão sistemática.

Os estudos de intervenção foram identificados e categorizados com base em (I) tipo de artigo, (ii) desenho do estudo, (iii) objetivo e método envolvendo diretamente humanos, (iv) análise quantitativa de dados e (v) objetivo envolvendo intervenção clínica de MO. Devido às discrepâncias observadas entre as descrições metodológicas e sua real classificação em alguns estudos, os estudos foram categorizados por pesquisadores que realizaram o treinamento de calibração na metodologia do estudo, utilizando as definições mais comuns da literatura⁷.

O último passo nesta fase foi a seleção de ensaios clínicos. Os estudos tinham que atender aos requisitos mínimos para um estudo, como a presença de mais de um grupo de intervenção (ou placebo) e de grupos que incluíam indivíduos recrutados da mesma população de estudo. Os dados deveriam ter sido coletados diretamente dos pacientes pela equipe de pesquisa; estudos que utilizaram dados secundários como parâmetros de intervenção foram, portanto, excluídos. Assim, apenas estudos com a essência e classificação de um ensaio clínico permaneceram, independentemente de os autores terem descrito o uso desse método.

Fase 2 (A avaliação dos aspectos metodológicos dos ensaios clínicos de MO)

A avaliação metodológica dos ensaios clínicos de MO ocorreu em três etapas: (1) Análise metodológica dos ensaios clínicos e (2) Avaliação da qualidade metodológica por meio do Downs and Black Quality Checklist (DBQC)⁸ e da escala de Jadad⁹.

A análise metodológica envolveu a identificação e descrição dos objetivos e métodos do estudo de intervenção, a presença de grupo controle, planejamento amostral, número de grupos de intervenção, randomização, cegamento, número de testes estatísticos e instrumentos de avaliação e diagnóstico utilizados. A qualidade metodológica foi então medida usando as duas ferramentas.

O DBQC foi desenvolvido para atender a crescente demanda por avaliação de evidências em revisões sistemáticas e metanálises. Ele foi escolhido para esta revisão devido às suas propriedades psicométricas e sua capacidade de avaliar a qualidade metodológica de estudos randomizados e não randomizados¹⁰. A lista de verificação tem uma pontuação numérica de 25 a 30 pontos com base na avaliação de cinco subescalas. Essas subescalas incluem a qualidade do estudo (qualidade geral, incluindo redação), validade externa (generalização dos achados), viés (na intervenção e mensuração), confundimento e viés de seleção (na amostra) e poder (identificando a possibilidade de que as conclusões fossem aleatórias). O DBQC é um instrumento válido, confiável e metodologicamente forte que mede o que se propõe medir⁸.

Os artigos foram pontuados de três maneiras possíveis: Uma pontuação de "1" foi concedida quando o elemento foi identificado no artigo ou quando (como precaução) foi considerado que o autor esqueceu de mencioná-lo; uma pontuação de "0" foi atribuída quando o elemento não estava presente no artigo ou não foi considerado; e uma pontuação de "0" foi concedida quando o item não pôde ser determinado. Estudos com pontuação maior ou igual a 20 são considerados bons; aqueles com pontuação entre 15 e 19 são considerados justos; e aqueles com escores de 14 ou abaixo são considerados pobres⁷.

A escala de Jadad avalia três aspectos: randomização (aleatoriedade na seleção da amostra do estudo e confiabilidade deste aspecto), cegamento (se é apropriado) e as perdas de seguimento no estudo. Essa escala é bem aceita na literatura internacional e visa mensurar a qualidade dos ensaios clínicos^11-13. Contém cinco questões e avalia a qualidade da metodologia utilizada. As pontuações podem ser tão altas quanto cinco (5) pontos, e valores negativos são possíveis. Estudos com pontuação maior ou igual a três (3) são considerados bons.

Resultados

Cada publicação foi analisada considerando o campo de MO seu título, currículo e texto completo. Posteriormente, artigos que estudam desenhos que não envolveram a análise de intervenção clínica em miologia orofacial foram excluídos sem exceção. A Figura 2 descreve os estágios da pesquisa e descreve as exclusões em cada etapa. A amostra final foi composta por seis artigos, todos classificados como ensaios clínicos.

Figura 2:
Sequência das etapas da revisão sistemática

A Figura 3 mostra a distribuição dos artigos científicos com um desenho de estudo clínico publicado em periódicos brasileiros entre 2005 e 2015.

Figura 3:
Distribuição dos ensaios clínicos em Motricidade Orofacial

Observa-se que os desfechos relacionados à área temática da neonatologia foram mais frequentes (Figura 4), principalmente para os grupos etários crianças e recém-nascidos (Figura 5).

Figura 4:
Percentual de ensaios clínicos por área temática da Motriciade Orofacial, n = 14

Figure 5:
Percentual de ensaios clínicos por área temática da Motricidade Orofacial conforme faixa etária em estudo, n = 14

A Figura 6 descreve os aspectos gerais (objetivos e aspectos metodológicos) utilizados nos ensaios clínicos avaliados neste estudo.

Figura 6:
Descrição de ensaios clínicos publicados em periódicos brasileiros de 2005 a 2015 com foco em resultados de interesse no campo da motricidade orofacial

A Figura 7 mostra os aspectos metodológicos do projeto adotados nos ensaios clínicos avaliados.

Figura 7:
Desenhos metodológicos adotados pelos ensaios clínicos publicados em periódicos brasileiros de 2005 a 2015

A Tabela 1 descreve os parâmetros metodológicos e os escores de qualidade da Lista de Verificação de Qualidade para ECRs e Estudos Observacionais e a escala de Jadad.

Tabela 1:
Avaliação da qualidade dos ensaios clínicos de acordo com a Lista de Verificação de Qualidade para Ensaios Clínicos Controlados Aleatórios e Estudos Observacionais (KENNELLY, 2011) e a Escala de Jadad (JADAD et al., 1996)

Autor/Ano	Quality Checklist for RCTs and Observational Studies						Jadad Scale
	Escrita	Validade externa	Validade interna (viés)	Validade interna (confusão/seleção)	Poder	Total
DEGAN & PUPPIN-RONTANI, 2005	8	3	4	3	2	20	2
DEGAN & PUPPIN-RONTANI, 2007	5	0	7	2	1	15	4
IDERIHA & LIMONGI 2007	8	1	4	2	2	17	0
TESSITORE, PASCHOAL & PFEILSTICKER 2009	6	3	0	1	2	12	0
YAMAMOTO et al.2009	6	1	6	4	1	18	4
ROSA et al. 2010	6	1	6	3	1	16	4

Discussão

A análise de estudos com delineamento de estudos clínicos e desfechos relacionados à MO publicados em periódicos brasileiros de interesse para a fonoaudiologia é pioneira; representa uma estratégia de reflexão sobre a produção de conhecimento que, em resposta às atuais concepções científicas, propõe a incorporação de procedimentos e técnicas metodológicas que possam responder adequadamente às questões de pesquisa. A esse respeito, destacam-se aspectos importantes relacionados aos achados deste estudo: (1) em dez anos de produção científica brasileira em MO, apenas onze estudos experimentais envolvendo seres humanos foram publicados; e (2) destes, apenas seis eram ensaios clínicos. Esses dados demonstram imediatamente a necessidade de aumentar o número de estudos que adotam um desenho metodológico adequado que possa avaliar a eficácia dos tratamentos utilizados na terapia fonoaudiológica no campo da MO.

Os ensaios clínicos foram avaliados por representarem o desenho do estudo padrão-ouro para testar hipóteses relacionadas à eficácia dos tratamentos propostos¹⁴. Nesse sentido, é necessário reconhecer a importância da definição do tamanho da amostra, o processo de alocação do sujeito, o uso de grupos de controle, randomização, cegamento e análises estatísticas adequadas, entre outros aspectos^15,16.

Em termos de expansão das áreas de prática, é importante considerar que os ensaios clínicos fornecem a base para o uso ético das intervenções na população. Analisar e refletir sobre a produção científica existente, portanto, contribui para a disseminação de informações para a comunidade acadêmica, profissionais clínicos e o público e contribui para a redução de custos (para fundos públicos e privados), porque as ações podem ser racionalmente planejadas. A ausência de ensaios que demonstrem a eficácia de um tratamento em populações alvo de tratamento de MO continua a atrasar a disponibilidade de tratamentos para nichos de mercado específicos e significa que as alegações de eficácia do tratamento não são completamente justificadas.

Em 2006, foram identificadas 13 revisões sistemáticas na Biblioteca Cochrane que objetivaram avaliar a eficácia das terapias fonoaudiológicas. Fraquezas metodológicas relacionadas ao pequeno número de ensaios clínicos, o uso de metodologia adequada e critérios de definição do tamanho da amostra levaram a um baixo nível de evidência científica sobre a eficácia dos tratamentos em vários contextos clínicos¹⁷.

Os desenhos dos ensaios clínicos avaliados aqui consideraram a inclusão de um grupo controle e são caracterizados como estudos clínicos de estágio II, porque eles avaliam a eficácia do tratamento. Esse processo fornece informações suficientes para a replicação do experimento e permite a análise comparativa dos grupos de tratamento¹⁵. A magnitude do efeito do tratamento experimental em comparação com o grupo controle permite o planejamento de etapas posteriores de ensaios clínicos, por exemplo, estágios III e IV.

As limitações metodológicas identificadas nos estudos brasileiros incluem questões relacionadas ao planejamento amostral (definição do tamanho da amostra e alocação dos sujeitos da pesquisa), o que afeta diretamente a possibilidade de generalizar os resultados para a população em geral. Nesse sentido, a análise estatística dos dados obtidos de uma parcela não representativa da população pode levar a interpretações errôneas. Para evitar esse viés, é necessário considerar parâmetros estatísticos relacionados ao tipo de variável (discreta ou contínua), o desvio padrão da variável na população, o nível de significância da estimativa e o erro máximo de amostragem tolerado. Fórmulas estatísticas para o cálculo do tamanho das amostras ajudam a estabelecer o número apropriado de indivíduos necessários para o estudo¹⁸.

O planejamento de amostras também incorpora procedimentos relacionados a técnicas de amostragem (por exemplo, a alocação de sujeitos de pesquisa). Parâmetros bioestatísticos consideram que o método probabilístico leva à formação de uma amostra com maior poder representativo. Por outro lado, a alocação de conveniência de sujeitos ambulatoriais específicos pode não representar adequadamente a população¹⁸. Além disso, a decisão de incluir ou excluir um assunto com base nos critérios definidos de inclusão e exclusão deve preceder o processo de randomização¹⁹.

A randomização não foi priorizada em todos os estudos revisados. A ausência desse procedimento pode significar que a composição dos grupos de tratamento é tendenciosa, indicando um importante viés de seleção. A randomização oferece ao indivíduo a mesma mudança de participar do grupo controle do que no grupo experimental, tornando os grupos mais homogêneos e proporcionando um equilíbrio de preditores de bom e mau prognóstico^15,20,21.

O cegamento não foi considerado em todos os estudos avaliados e, quando foi adotado, não se aplicou a todos os envolvidos na pesquisa (pesquisadores-examinadores, participantes da pesquisa e estatísticos). Este procedimento visa minimizar a influência consciente ou inconsciente das partes envolvidas nos resultados do estudo, seja durante o processo de avaliação ou durante a classificação dos efeitos identificados; portanto, o mascaramento dos procedimentos adotados deve ser considerado^15,21,22.

A avaliação da qualidade dos ensaios clínicos com base na Lista de Verificação de Qualidade para ECRs e Estudos Observacionais⁷ indica que os ensaios enquadram-se na categoria de estudos regulares, com ênfase nas categorias de validade e poder externos, que geralmente receberam pontuações baixas. Isso reflete a baixa generalização dos resultados causada pela falha na adoção de procedimentos metodológicos detalhados relacionados às questões descritas acima.

A falta de instrumentos com sensibilidade e especificidade aceitáveis e critérios diagnósticos bem estabelecidos significa que as conclusões dos estudos não podem ser comparadas com medidas concretas. Diferenças nos métodos de avaliação e classificação de disfunções ou distúrbios limitam a validade externa dos resultados, ou seja, são apenas representativos da população investigada.

Embora não tenha sido objeto de análise neste estudo, deve-se enfatizar a importância de considerar indicadores que tenham sido validados para a avaliação clínica de lesões relacionadas a desfechos de interesse no campo da MO. Tais indicadores devem, idealmente, atender aos requisitos da pesquisa epidemiológica observacional ou experimental. Ou seja, devem ser validados para reprodutibilidade e ampla representatividade. Isso está relacionado à capacidade dos indicadores de serem aplicados a um grande número de sujeitos e a atender aos requisitos éticos em termos de não causar danos ou danos aos indivíduos investigados²³.

O estabelecimento de medidas padronizadas com reprodutibilidade e sensibilidade aceitáveis é o primeiro passo em direção ao avanço significativo da pesquisa e da prática clínica na área da MO. Com tais definições, estudos semelhantes podem ser analisados de forma comparativa, facilitando a aplicação de evidências de pesquisas científicas no campo.

Conclusão

Apesar dos avanços nos últimos anos, a pesquisa experimental (ensaios clínicos) no campo da MO ainda apresenta características de desenvolvimento incipiente. O uso de técnicas de pesquisa com boa qualidade de evidência e a padronização e validação de ferramentas metodológicas são etapas essenciais para a prática clínica baseada em evidências. Estudos multicêntricos podem representar uma estratégia importante para a compreensão dos problemas de saúde relacionados ao campo em nível populacional, e a implementação de abordagens de tratamento apoiadas em evidências científicas exemplares proporcionará cuidados de saúde mais efetivos que possam promover a qualidade de vida da população.

References

• ¹
  Resolução CFFa nº 310 de 17 de fevereiro de 2006. Dispõe sobre as especialidades reconhecidas pelo Conselho Federal de Fonoaudiologia e dá outras providências. Sect. 1 (2006).
• ²
  Tomaz-Morais J, Lima JAS, Luckwü-Lucena BT, Batista AUD, Limeira RRT, Silva SM et al. Integral analysis of brazilian scientific production in orofacial myology: state of art and future perspectives. Rev. CEFAC. 2016;18(2):520-32.
• ³
  Lof GL. Science-based practice and the speech-language pathologist. Int J Speech Lang Pathol. 2011;13(3):189-96.
• ⁴
  Peccin A. Research in physicaltherapy: the evidence ground ed practice and study. Fisioter. pesqui. 2005;12(1):43-8.
• ⁵
  Carvalho APV, Silva V, Grande AJ. Avaliação do risco de viés de ensaios clínicos randomizados pela ferramenta da colaboração Cochrane. Diagn Tratamento. 2013;18(1):38-44.
• ⁶
  Alves MRM. A produção fonoaudiológica nacional em Motricidade Orofacial - 1970 a 2000. [Dissertação] Curitiba (PR): Faculdade de Ciências Biológicas e da Saúde, da Universidade Tuiuti do Paraná; 2002.
• ⁷
  Kennelly J, Handler A, Peacock N. Methodological approach to assessing the evidence. Reducing racial/ethinic disparities in reproductive and perinatal outcomes: the evidence from population-based interventions. Springer Science + Business Media; 2011.
• ⁸
  National Collaborating Centre for Methods and Tools: quality checklist for health care intervention studies. Hamilton, ON: McMaster University; 2008.
• ⁹
  Jadad AR, Moore RA, Carroll D, Jenkinson C, Reynolds DJ, Gavaghan DJ et al. Assessing the quality of reports of randomized clinical trials: is blinding necessary? Controlled clinical trials. 1996;17(1):1-12.
• ¹⁰
  Downs SH, Black N. The feasibility of creating a checklist for the assessment of the methodological quality both of randomized and non-randomised studies of health care interventions. J Epidemiol Community Health. 1998;52(6):377-84.
• ¹¹
  Kristensen NB, Bryrup T, Allin KH, Nielsen T, Hansen TH, Pedersen O. Alterations in fecal microbiota composition by probiotic supplementation in healthy adults: a systematic review of randomized controlled trials. Genome Med. 2016;10(1):8-52.
• ¹²
  Mittal N, Mittal R, Kumar H, Medhi B. Sodium glucose co-transporter 2 inhibitors for glycemic control in type 2 diabetes mellitus: quality of reporting of randomized controlled trials. Perspect Clin Res. 2016;7(1):21-7.
• ¹³
  Khan S, Dennison A, Garcea G. Medical therapy for polycystic liver disease. Ann R CollSurg Engl. 2016;98(1):18-23.
• ¹⁴
  Medronho R, Bloch KV, Luiz RR, Werneck GL. Epidemiologia. 2 ed. São Paulo: Atheneu; 2009.
• ¹⁵
  Friedman LM, Furberg CD, DeMets DL. Fundamentals of clinical trials. 4 Edition, New York: Springer, 2006.
• ¹⁶
  Friedman LM, Furberg CD, DeMets DL, Reboussin DM, Granger CB. Fundamentals of clinical trials (Vol. 4). New York: Springer. 2010.
• ¹⁷
  El-Dib RP, Atallah AN. Evidence-based speech, language and hearing therapy and the Cochrane Library's systematic reviews. Sao Paulo Med J. 2006;124(2):51-4.
• ¹⁸
  Miot HA. Tamanho da amostra em estudos clínicos e experimentais. J Vasc Bras. 2011;10(4):275-8.
• ¹⁹
  Coutinho ESF, Cunha GM. Conceitos básicos de epidemiologia e estatística para a leitura de ensaios clínicos controlados. Rev Bras Psiquiatr. 2005;27(2):146-51.
• ²⁰
  Escosteguy CC. Tópicos metodológicos e estatísticos em ensaios clínicos controlados randomizados. Arq Bras Cardiol. 1999;72(2):139-43.
• ²¹
  Nobre MRC, Bernardo WM, Jatene FB. A prática clínica baseada em evidências: Parte III avaliação crítica das informações de pesquisas clínicas. Rev Assoc Med Bras. 2004;50(2):221-8.
• ²²
  Chalmers TCH, Smith JR, Blackburn B. A method for assessing the quality of a randomized control trial. Controlled Clinical Trials. 1981;2(1):31-49.
• ²³
  Pereira MG. Epidemiologia: teoria e prática. Rio de Janeiro: Guanabara Koogan, 1995.

Datas de Publicação

• Publicação nesta coleção
  May-Jun 2018

Histórico

• Recebido
  26 Fev 2018
• Aceito
  27 Abr 2018