Nas intervenções cirúrgicas, a randomização e o mascaramento podem ser de difícil aplicabilidade. Nessa situação, os estudos prospectivos e não randomizados (EPNR) podem gerar a melhor evidência disponível. O objetivo deste estudo é avaliar, por meio da escala proposta por Downs & Black, a qualidade dos EPNR publicados em nosso meio e avaliar a reprodutibilidade interobservadores dessa escala. EPNR publicados na Acta Ortopédica Brasileira e Revista Brasileira de Ortopedia até 2011 e anteriores a 2006 foram incluídos e aplicou-se a escala de Downs & Black - de forma independente por dois pesquisadores. Os estudos foram estratificados pelo período de publicação, periódico e tipo de intervenção. Os escores obtidos de Downs & Black foram considerados para a avaliação da reprodutibilidade da escala. Foram considerados 59 estudos, sendo sete excluídos durante as avaliações. Não houve diferenças entre os escores, exceto para o tipo de intervenção, que demonstrou melhor qualidade metodológica para os estudos que envolvem intervenções clínicas (p < 0,001). O índice de correlação intraclasse para o escores de Downs & Black foi de 0,79 (IC95% 0,65-0,88), demonstrando boa reprodutibilidade. EPNR apresentam qualidade metodológica semelhante quando estratificados pelo periódico de publicação e período de publicação. Estudos com intervenções clínicas apresentam melhor qualidade metodológica. A escala de Downs & Black apresenta boa reprodutibilidade interobservadores.

In surgical interventions, randomization and blinding may be difficult to implement. In this situation, non-randomized prospective studies (EPNR) can generate the best evidence. The objective of this study is to evaluate, by means of the scale proposed by Downs & Black, the quality of EPNR published in our country and to assess the interobserver reproducibility of this scale. EPNR published in Acta Ortopedica Brasileira and Revista Brasileira de Ortopedia until 2011 and prior to 2006 were included. Two of us independently applied the Downs & Black scale. The studies were stratified by period of publication, journal and type of intervention. The scores obtained were considered to assess the reliability of the scale and groups comparison. 59 studies were considered, seven excluded during the assessments. There were no differences between the scores, except for the type of intervention, which showed better methodological quality for studies involving clinical interventions (p < 0.001). The correlation coefficient for the Downs & Black score was 0.79 (95% CI 0.65 to 0.88), demonstrating good reliability. EPNR present methodological quality similar when stratified by the periodic publication and publication period. Studies with clinical interventions have better methodological quality. The Downs & Black scale shows good interobserver reproducibility.