Revisão por pares na Revista Brasileira de Educação Especial

Peer review in Brazilian Journal of Special Education

COMPOSIÇÃO E AVALIAÇÃO DE ARTIGOS DA REVISTA BRASILEIRA DE EDUCAÇÃO ESPECIAL

Revisão por pares na Revista Brasileira de Educação Especial

Peer review in Brazilian Journal of Special Education

Sadao Omote¹

RESUMO

O artigo discute algumas questões relativas ao procedimento de revisão por pares na avaliação de originais submetidos a um periódico. Essa avaliação é aceita como necessária para assegurar a qualidade científica de artigos publicados, já que a integridade da literatura especializada é considerada essencial para o desenvolvimento da ciência. Entretanto, há críticas à revisão por pares, incluindo o longo tempo decorrido entre a entrega dos originais e a publicação, o tempo e a energia despendidos pelos autores e revisores, a subjetividade na avaliação e outros problemas que podem introduzir vieses na área. A Revista Brasileira de Educação Especial, que adota a avaliação cega por pares, tem-se mostrado relativamente versátil. O tempo médio entre o recebimento dos originais e o aceite final, depois de passar pela revisão por pares e conseqüente ajuste por parte dos autores, é de cerca de cinco meses e meio. Na literatura especializada, encontram-se sugestões como a eliminação de avaliação e publicação de todos os textos submetidos, em meios eletrônicos, menos onerosos e mais versáteis, deixando que os próprios leitores façam a sua avaliação. A análise procedida conclui que a revisão por pares é necessária. Aponta a necessidade de se realizarem discussões sobre a própria avaliação, para que se desenvolvam procedimentos mais eficientes de controle de qualidade das publicações. Sugere que a avaliação efetiva é feita pela própria comunidade acadêmica, após a publicação, mediante reconhecimento coletivo do valor científico da publicação, na forma de impacto que pode causar sobre novas investigações e construção do conhecimento na área.

Palavras-chave: Educação Especial; disseminação da informação; revisão por pares.

ABSTRACT

The article discusses some issues relating to peer review in the evaluation of papers submitted to a scientific journal. Such evaluation is accepted as necessary to assure the scientific quality of published articles, since the integrity of specialized literature is considered essential for science development. However, there are criticisms toward peer review, including long elapsed time between papers' submission and their publication, the time and energy spent by authors and reviewers, the subjectivity in evaluation and other problems that can introduce bias in the area. The Brazilian Journal of Special Education adopts blind review and has been quick to perform evaluation procedure. The mean time elapsed between receipt of manuscripts, passing by peer revision, consequent adjustment by authors and final acceptance, is about five and half months. In the specialized literature, there are suggestions like the elimination of evaluation and the publication of all submitted texts in electronic means, which is less expensive and more versatile than print, allowing readers to make their own evaluation. The analysis performed concludes that peer review is necessary. It points out the need to promote discussions about its own evaluation process, in order to develop more efficient procedures of quality control of articles published. It suggests that the effective evaluation is made by the scientific community, after the publication, by means of collective recognition of scientific value of the publication, through the impact it may cause on new investigations and knowledge construction in the area.

Keywords: Special Education; information dissemination; peer review.

A produção do conhecimento científico é uma ação coletiva e histórica. Nenhuma pesquisa, por mais completa que possa ser, esclarece cabalmente a questão que deu origem a ela. Várias investigações, feitas por diferentes pesquisadores em diferentes laboratórios, muitas vezes com variações metodológicas, são necessárias para sistematizar razoavelmente o conhecimento acerca de algum fenômeno. Os conhecimentos produzidos e sistematizados são cumulativos, organizados na forma de princípios e leis gerais que compõem uma teoria acerca de algum fenômeno ou conjunto de fenômenos. Essas duas características da atividade científica de produção do conhecimento - coletiva e histórica - implicam automaticamente a necessidade de os resultados das investigações serem disseminados para que possam ser incorporados ao corpus teórico em construção.

A disseminação dos resultados de pesquisas é feita principalmente na forma de apresentação de comunicações científicas em congressos e publicação de artigos em periódicos. Essa divulgação não é mera expressão de ponto de vista de alguém. Tem propósitos bem claros e destina-se ao público bem definido, que faz uso das informações disseminadas para fins específicos. O autor do trabalho tem motivos especiais para empenhar-se na divulgação dos estudos realizados. Há evidentemente expectativa de que o seu trabalho possa integrar-se ao conjunto de conhecimentos produzidos e contribuir para o progresso da ciência, mas há também, e cada vez mais no meio universitário, pressão para a produção aferida muitas vezes em termos quantitativos.

Por essas e outras razões, a disseminação dos resultados de pesquisa envolve uma série de responsabilidades éticas e sociais por parte dos autores, os quais devem obedecer a alguns critérios formalmente estabelecidos e a outros, não necessariamente explicitados, mas consensualmente sustentados pela comunidade acadêmica. Uma dessas exigências diz respeito à qualidade científica do trabalho realizado e a ser apresentado, seja oralmente seja por escrito. Para isso, a comunidade acadêmica vem adotando uma sistemática de avaliação e o presente artigo trata dessa questão.

A avaliação faz parte integrante da conduta humana. Na extensão em que o homem busca aperfeiçoar os seus modos de enfrentamento dos desafios, inevitavelmente as ações empreendidas acabam sendo avaliadas. Isto pode ser feito de várias maneiras: a avaliação pode ser formalizada e sistematizada, realizada por pessoas ou grupos designados especificamente para esse fim; a auto-avaliação pode ser incentivada como parte de todo o processo de avaliação; a avaliação pode ocorrer de modo informal e permanente; o resultado da avaliação pode ser amplamente divulgado, tornando-o acessível a qualquer pessoa interessada, ou, no outro extremo, pode ser mantido sigilo, embora algumas ações possam ser determinadas em função do resultado; etc.

A comunidade acadêmica, já de longa data, vem adotando uma sistemática de avaliação conhecida por revisão por pares (peer review). Esse procedimento é adotado pela comunidade acadêmica não só no momento da divulgação de pesquisas realizadas, mas também em várias outras situações, tais como na avaliação de: projetos de pesquisa ou outras atividades acadêmicas para fins de concessão de auxílio solicitado; currículo e propostas de trabalho para fins de admissão de um trabalhador, seja ele estagiário, docente ou pesquisador; propostas de atividades a serem desenvolvidas em uma instituição universitária ou acadêmica; desempenho de bolsistas, estagiários, docentes ou pesquisadores para fins de manutenção ou não no posto de trabalho; alguma produção ou conjunto de produções para fins de concessão de títulos acadêmicos; etc. Recentemente, tornou-se uma prática generalizada a avaliação de projetos de pesquisa por Comitês de Ética em Pesquisa, por força da Resolução nº 196/96 do Conselho Nacional de Saúde.

Este texto irá ocupar-se especificamente da revisão por pares para fins de publicação de artigos em periódicos científicos, com algum destaque para a Revista Brasileira de Educação Especial. A avaliação de artigos a serem publicados teve origem em 1665, quando a Académie des Sciences de Paris e a Royal Society de Londres instituíram um grupo de editores para a revisão de manuscritos submetidos a seus periódicos, o Journal des Sçavans e o Philosophical Transactions, respectivamente (DAVYT; VELHO, 2000). Pessanha (1998) acrescenta que o início oficial do sistema de revisão por pares ocorreu em 1753 e a disseminação dessa prática, somente após a Segunda Guerra Mundial.

A avaliação de originais submetidos a um periódico é necessária para assegurar a confiabilidade dos resultados e de conclusões de investigações realizadas. Embora o desenvolvimento da Ciência dependa da realização de inúmeros estudos a respeito de um mesmo fenômeno, sempre que a sua ocorrência pode ser repetida, a confiança nos resultados divulgados é essencial. Evidentemente, uma conclusão falseada, intencionalmente ou não, acaba por ser derrubada, mas pode constituir-se em um obstáculo para a construção de conhecimentos científicos.² Essa avaliação traz vantagens para os leitores, na medida em que, com a prática de revisão, podem ser poupados de perder tempo com artigos irrelevantes (WILLIAMSON, 2003).³

Desde o momento em que o pesquisador conclui uma etapa de seus estudos e decide publicar os resultados em algum periódico, há um caminho relativamente longo a ser percorrido. Inicialmente, ele deve decidir a qual periódico irá submeter os originais. Essa decisão não é aleatória, depende do público que pretende atingir, da abrangência de circulação do periódico e a sua credibilidade, atestada na forma de indexadores em que está inscrito e, mais recentemente, da avaliação Qualis da CAPES. Preparam-se os originais obedecendo às normas de publicação do periódico escolhido. Da submissão à publicação, os originais passam por revisão por pares, gerenciada pelo editor ou comissão editorial do periódico, eventual reformulação face à avaliação e recomendação dos avaliadores e o aceite final. Nem todos os originais submetidos chegam a essa etapa final, seja porque são denegados logo de início pelo editor por não se enquadrarem nas categorias de trabalhos que o periódico se propõe publicar ou pelos avaliadores por não atenderem a exigência mínima de qualidade científica, seja porque o próprio autor, após a avaliação e recomendação para reformulação, decidiu não publicar ou decidiu procurar outro periódico.

A Revista Brasileira de Educação Especial adota o procedimento de revisão por pares e revisão cega (blind review), em que os avaliadores realizam sua análise e julgamento sem conhecimento da autoria dos originais. O anonimato é bidirecional, pois os autores também não têm conhecimento do nome dos avaliadores de seus originais.

Apenas a título de curiosidade, foi feito um rápido levantamento dos resultados do procedimento de avaliação da Revista Brasileira de Educação Especial, em termos da freqüência com que alguma reformulação é recomendada e o tempo demandado desde o recebimento dos originais pelo editor até o aceite final. Foi a partir do volume 8, número 1, ano 2002, que o editor da Revista Brasileira de Educação Especial passou a anotar, ao final do artigo, as datas de recebimento dos originais, de recebimento da versão reformulada conforme recomendação dos pareceristas e de aceite final do texto. Assim, até o último número publicado, v. 11, n. 2, 2005, são nove fascículos analisados, nos quais foram publicados 74 artigos. Desse total, somente nove artigos foram aceitos sem nenhuma reformulação, sendo que oito deles são de autores convidados. Portanto, da demanda espontânea apenas um artigo obteve o aceite sem necessidade de reformulação, com 114 dias transcorridos entre o recebimento dos originais e o aceite.

Quanto ao tempo decorrido desde o recebimento dos originais pelo editor até o aceite final, os cálculos foram feitos apenas para os 65 artigos que foram reformulados. A tabela 1 traz os valores relativos a diferentes etapas de tramitação para a avaliação dos originais de artigos publicados na Revista Brasileira de Educação Especial.

Esses números isoladamente não informam muita coisa, mas vale a pena fazer algumas conjecturas na tentativa de vislumbrar alguma forma de tornar mais ágil a publicação mediante a redução dos prazos de tramitação, evidentemente sem prejuízo da qualidade. O tempo decorrido entre o recebimento dos originais pelo editor e o recebimento da versão reformulada varia de 5 a 436 dias, com média de 137,4 e desvio padrão de 83,4. Considerando que o editor habitualmente solicita aos pareceristas que procedam à análise dos originais dentro do prazo de 30 dias e admitindo-se que eles obedeçam a esse prazo, pode-se supor que é na reformulação pelo autor que se despende um tempo maior, cerca de três meses e meio em média. Levando-se em conta o valor do desvio padrão, pode-se sugerir que os autores de cerca de 1/6 dos originais reformulados levam mais de seis meses para a adequação do texto à apreciação dos pareceristas. Eis uma pista para o editor, no seu empenho para agilizar a publicação dos originais submetidos.

Também apenas a título de curiosidade e para efeito de comparação, procedemos ao mesmo levantamento junto ao consagrado periódico da Universidade Federal do Rio Grande do Norte, os Estudos de Psicologia, no mesmo período, compreendendo v.7, n. 1, 2002 a v. 9, n. 3, 2004 (último fascículo disponível no Scielo). Foram apurados os resultados descritos na tabela 2.

Nesse período, foram publicados 168 artigos nos Estudos de Psicologia. Desse total, foram excluídos da análise 15 artigos, pelas seguintes razões: (1) um artigo apresentou erro na digitação de datas, constando data de aceite final anterior à data de revisão; (b) treze artigos, possivelmente encomendados (apresentação, ponto de vista ou dossiê), não trazem informações relativas às datas de recebimento, revisão e aceite final; e (c) um artigo não necessitou de revisão, com um intervalo de 200 dias entre a data de recebimento e a de aceite final. Assim, os dados constantes da tabela 2 correspondem a 153 artigos, que trazem informações relativas às datas de recebimento dos originais, revisão e aceite final.

Comparando os valores apurados para os dois periódicos, constata-se que a Revista Brasileira de Educação Especial apresenta maior agilidade na tramitação do que os Estudos de Psicologia. Neste periódico, o tempo decorrido entre o recebimento dos originais e o da versão reformulada varia de 28 a 1087 dias, com média de 256,2 dias e desvio padrão de 166,1 dias. Supondo que os pareceristas levem em torno de 30 dias para retornar os originais ao editor, pode-se sugerir que os autores levam cerca de sete meses e meio para a devida adequação do seu texto em função da avaliação. Lavando-se em conta o valor do desvio padrão, pode-se sugerir que cerca de 1/6 dos autores levam mais de um ano para a reformulação de seus textos.

O processo de avaliação pode ser relativamente longo e nem sempre depende da rapidez com que o revisor realiza a sua análise. Os números acima sugerem que é o autor quem pode levar muito tempo para proceder à reformulação sugerida pelos revisores. O resultado dessa avaliação, que, na verdade, tem o único intuito de disseminar trabalhos de qualidade, pode desagradar o autor quando seus originais são recusados ou certas alterações são recomendadas. Esse processo de julgamento pode parecer um tanto misterioso e eventualmente podem surgir interpretações equivocadas sobre a possibilidade de haver interferência de fatores alheios ao mérito acadêmico na seleção dos originais. Daí, é especialmente importante explicitar claramente a política de avaliação adotada pela revista, o que os bons periódicos científicos já vêm fazendo. A análise realizada pelo editor da Revista Brasileira de Educação Especial e publicada no volume 10, número 3, pode contribuir para tornar transparente o processo de avaliação dos originais submetidos e ajudar a dirimir eventuais dúvidas (MANZINI, 2004).

Ao editor cabe uma grande responsabilidade pela manutenção da qualidade científica e editorial do periódico (GREENE, 1998). Todo o processo de avaliação dos originais submetidos começa com a análise do editor quanto à adequação ou não aos propósitos do periódico e obediência às normas, e a escolha dos revisores de manuscritos que serão avaliados. Não é tarefa fácil escolher revisores que possam avaliar de modo apropriado cada um dos manuscritos submetidos, minimizando qualquer risco de se introduzirem vieses no campo, decorrentes de preferências pessoais, que podem privilegiar abordagens teóricas, delineamentos específicos de pesquisa, temáticas ou até instituições de origem dos autores. A propósito, aponta-se viés a favor do gênero masculino e preferência pelo artigo do país de origem do revisor (DAVYT; VELHO, 2000). Mizzaro (2003) acrescenta que, na área biomédica, os artigos que relatam resultados negativos parecem encontrar dificuldade maior para publicação do que aqueles que descrevem resultados positivos.

A escolha do revisor certamente necessita levar em conta o conhecimento e a experiência de pesquisa na área da temática tratada no texto a ser avaliado. Mas, o fato de ser um bom pesquisador não assegura que é necessariamente um bom revisor. Além disso, dependendo do grau de complexidade do delineamento de pesquisa e/ou do modelo teórico, mesmo um revisor experiente pode encontrar dificuldades adicionais. Portanto, várias condições precisam ser levadas em conta para designar um bom revisor para cada artigo submetido. Em princípio, além do conhecimento e experiência de pesquisa na área, parece necessário levar em consideração o nível de maturidade científica do revisor em função do grau de complexidade das questões tratadas nos originais.

Outra questão que deve estar clara para o editor diz respeito a exatamente o que os revisores devem avaliar nos originais. A análise da pertinência ou não dos originais aos padrões e objetivos do periódico certamente é realizada pelo editor. Caberia aos revisores a análise dos aspectos científicos dos textos. Nas instruções aos revisores e pareceristas, os periódicos freqüentemente apontam a necessidade de avaliar aspectos relacionados a: relevância social e/ou científica do assunto, atualidade e adequação da revisão bibliográfica, colocação clara dos objetivos, adequação metodológica, análise pertinente dos resultados e legitimidade das conclusões decorrentes dos resultados analisados. Outras vezes, incluem-se também alguns itens relacionados aos aspectos estruturais e formais do texto, tais como a adequação da normalização bibliográfica e obediência às demais normas, correção gramatical e correção do resumo em língua estrangeira. Em alguns casos, pode haver necessidade de se incluir aí revisor para alguma outra questão específica, como, por exemplo, a avaliação da análise estatística ou o uso de alguma ferramenta muito específica para fins de delineamento, coleta ou análise de dados.

É nosso ponto de vista que esses aspectos estruturais e formais não devem ser avaliados por revisores que avaliam o mérito científico, mas por revisores específicos designados para avaliar cada um desses aspectos: revisor da língua portuguesa, revisor da língua estrangeira, revisor da normalização bibliográfica, etc. É conveniente o periódico dispor de uma equipe fixa de revisores para aspectos formais e estruturais, a fim de se assegurar rigorosa padronização. Deve ficar claro que, ao lado desses cuidados todos tomados pela equipe editorial do periódico, é o autor que, antes de mais nada, deve assumir total responsabilidade pela adequação do seu texto às normas e rigorosa revisão de todos os detalhes dos originais a serem submetidos.

O resultado da análise de mérito dos originais é encaminhado ao editor e cabe a este a decisão final pela publicação ou não deles. Essa decisão deve levar em conta a necessidade de recomendar ou não a reformulação eventualmente sugerida pelos revisores. Se houver dúvidas, o texto pode ser encaminhado a outros revisores. A Revista Brasileira de Educação Especial adota três categorias de possíveis resultados dessa análise: (1) não deve ser aprovado, (2) deve ser aprovado, sem reformulações ou com reformulações, e (3) faculta-se a possibilidade de o texto ser reencaminhado para nova análise mediante reformulação radical, quando, embora inadequado em alguns aspectos, traz dados interessantes e relevantes que merecem ser divulgados.

CRÍTICAS À REVISÃO POR PARES

Apesar de ser um procedimento amplamente empregado na avaliação de originais submetidos a um periódico, a revisão por pares tem recebido críticas de várias ordens⁴. Essas críticas não têm sentido, em geral, de propor o abandono da sistemática de avaliação, a qual é admitida como algo necessário que deve ocorrer de alguma forma. A avaliação dos resultados das investigações faz parte integrante do processo de construção do conhecimento científico em qualquer área. Na verdade, essas críticas precisam ser compreendidas como intrínsecas ao próprio procedimento de revisão por pares, já que estes são membros da própria comunidade científica, que também, na qualidade de autores, submetem à avaliação seus originais. Portanto, a condição de autor ou revisor é apenas um papel que cada membro da comunidade acadêmica pode estar desempenhando em diferentes momentos. Assim, o revisor que avalia e eventualmente faz recomendação de alguma alteração também pode ter alterações recomendadas para seus originais. Nessas condições, evidentemente nenhuma avaliação pode ser considerada isoladamente e retransmitida ao autor sem a competente e criteriosa apreciação por parte do editor ou de um coletivo responsável pela qualidade editorial e científica do periódico. Ainda assim, poderá haver situações em que uma apreciação e eventual alteração recomendada podem ser consideradas impróprias pelo autor. Portanto, a possibilidade do diálogo entre o autor e os revisores, com a mediação do editor, é uma prática necessária, buscando, em última instância, assegurar a melhor qualidade científica dos artigos publicados.

As críticas mais comumente apontadas dizem respeito ao longo tempo decorrido entre o envio dos originais e a publicação final, ao tempo e energia despendidos pelos autores e revisores, e ao caráter subjetivo que eventualmente pode introduzir vieses. Davyt e Velho (2000) acrescentam ainda o problema da endogenia, a resistência a mudanças e inovações, e a possibilidade de algum revisor proteger-se no anonimato e fazer avaliações indevidas. Esses autores apontam até mesmo a possibilidade de ocorrerem avaliações negativas de originais, na medida em que os revisores podem estar competindo com os proponentes o mesmo espaço para a publicação.

Na tentativa de minimizar a ocorrência de alguns desses problemas de avaliação, utilizam-se comumente dois ou mais revisores. Ocorrem muitas vezes divergências entre as avaliações que os revisores fazem de um mesmo artigo, fato esse que evidencia, por si só, a possibilidade de se manifestarem tendenciosidades motivadas por diferentes razões. Essas divergências podem acentuar-se nas áreas nas quais a avaliação da adequação dos procedimentos metodológicos e da análise e interpretação de resultados depende mais acentuadamente da orientação teórico-filosófica de quem faz o julgamento. Davyt e Velho (2000) observam que o grau de consenso diminui das áreas básicas às aplicadas e das áreas duras às brandas. Na Educação Especial, que pode ser considerada como sendo uma área aplicada e branda, pode ser mais difícil alcançar consenso na avaliação entre os revisores. Ainda assim, o procedimento de revisão por pares pode constituir-se em um importante recurso para colocar à disposição de leitores artigos com qualidade científica suficiente para justificar a sua leitura e análise em busca da construção do conhecimento.

É também prática corrente o procedimento de blind review, no qual os revisores não têm conhecimento da autoria dos originais sob avaliação. Mas, nem sempre a avaliação é inteiramente cega, especialmente em áreas relativamente pequenas e específicas, como a Educação Especial, já que os revisores podem identificar a autoria ou ao menos levantar suspeitas a respeito dela, por conhecerem trabalhos anteriores do autor, relatados em dissertação ou tese, apresentados em eventos científicos ou publicados em algum veículo⁵. Já para o autor, pode ser bem mais difícil levantar hipóteses sobre a autoria da avaliação. O anonimato do revisor pode constituir-se em uma nova fonte de dificuldades, quando, por exemplo, sob a proteção do anonimato, o revisor pode fazer avaliações injustas e cruéis DAVYT; VELHO, 2000). Levanta-se aí questionamento sobre quem deveria revisar os comentários dos revisores (FISCHER, 2000). Pode ser mais uma importante tarefa do editor, o qual, se não pode apreciar criteriosamente a adequação da avaliação dos revisores, ao menos pode evitar repassar ao autor manifestações visivelmente improcedentes ou ofensivas. Na dúvida, sempre há a possibilidade de solicitar a um outro revisor a análise dos originais.

Mesmo com todos os cuidados, a revisão por pares não é capaz de detectar fraudes e condutas impróprias, segundo Williamson (2003). Talvez não caiba mais aos revisores, com as práticas atuais de se exigir aprovação prévia do projeto de pesquisa pelo Comitê de Ética em Pesquisa, essa responsabilidade de avaliar a integridade da conduta do pesquisador. Talvez haja necessidade de uma outra instância a avaliar a questão ética do relato, uma vez que muitos problemas, como fraudes e plágios, ocorrem na execução do projeto já aprovado pelo CEP e na disseminação de seus resultados, mas esta é uma discussão a ser desenvolvida em uma outra oportunidade.

Embora haja reconhecimento da necessidade de avaliação dos originais pelos pares antes da sua publicação, há sugestões de práticas alternativas. Algumas dessas sugestões possivelmente seriam impraticáveis ou inoperantes no nosso meio; por exemplo, a adoção de revisão aberta com a identificação das partes envolvidas em vez de blind review, a eliminação total da revisão e deixar que a própria comunidade científica faça a sua avaliação das publicações, o pagamento dos revisores, a substituição das publicações impressas em papel por meios mais velozes e econômicos, etc. (CAMPANÁRIO, 2002; MIZZARO, 2003). Há também sugestões que merecem ser analisadas com cuidado: a publicação de metajornal, que pode coexistir com o procedimento atual (CAMPANÁRIO, 2002), complementar revisão por pares com comentários dos leitores (MIZZARO, 2003), etc.

O que se procura são, na verdade, mecanismos eficientes de controle de qualidade das publicações⁶. Os revisores e autores são integrantes da mesma comunidade, o que torna necessário e viável esse controle. Na verdade, cada leitor é o avaliador final e a comunidade acadêmica acaba por legitimar e tornar visível a qualidade científica de um artigo, na extensão em que, de alguma forma, pode exercer impacto sobre os rumos da pesquisa na área ou simplesmente ser ignorado. Para que a comunidade acadêmica possa avaliar efetivamente a relevância de uma investigação, é imprescindível que o relato seja elaborado de maneira a permitir a replicação. A descrição detalhada dos procedimentos metodológicos, incluindo o delineamento e a coleta e análise de dados, permite avaliar a adequação das estratégias adotadas e principalmente realizar os estudos de replicação, o que se constitui em uma das condições essenciais para a construção e validação do conhecimento científico.

CONCLUSÕES

A avaliação é parte integrante da atividade humana em qualquer área, sempre que há interesse ou necessidade de preservar um certo padrão de qualidade ou de melhorar esse padrão. Implica julgamentos por parte de alguém, especialmente designado para isso ou não, para verificar se uma dada ação ou algum produto de atividades está em conformidade com um conjunto de critérios estabelecidos. Comporta, portanto, mais ou menos inevitavelmente, a possibilidade de ocorrerem distorções na interpretação. Além disso, a pessoa cuja ação ou produção está sob avaliação pode não concordar com o resultado da aplicação desses critérios. Pode haver contestação e essa possibilidade é comumente facultada, já que podem ocorrer equívocos de diferentes naturezas no julgamento. O "diálogo" entre o avaliador e o avaliado, comumente com a mediação de um terceiro elemento (editor de um periódico, presidente de uma comissão de avaliação, etc.), é possivelmente uma forma bastante adequada para buscar o entendimento ou, no mínimo, para reduzir as possibilidades de se cometerem injustiças. Portanto, qualquer processo de avaliação pode comportar estado de tensão em potencial. A simples existência de uma prática de avaliação pode causar polêmica, como se necessariamente fosse um procedimento autoritário e arbitrário.

A própria avaliação deve ser discutida e avaliada, na busca de seu aperfeiçoamento. Ainda que de modo muito incipiente, a análise e os comentários contidos no presente texto fazem parte de uma tentativa de aperfeiçoar o procedimento de avaliação dos originais submetidos à Revista Brasileira de Educação Especial.

As críticas que têm sido formuladas em relação à revisão por pares precisam ser interpretadas e tratadas como tentativas de aperfeiçoar o procedimento que possa assegurar a necessária qualidade e confiabilidade das publicações científicas. Acreditamos não haver dúvida nenhuma quanto à necessidade de existirem mecanismos de controle de qualidade das publicações científicas. A integridade da literatura especializada é uma das bases essenciais para a construção de conhecimento científico. Portanto, a avaliação dos originais submetidos a um periódico é uma necessidade, pelo menos até que se encontre algum outro mecanismo mais eficiente para exercer um bom controle de qualidade sobre as publicações científicas.

Na verdade, cabe aos próprios autores uma grande parcela de responsabilidade pela produção de textos de qualidade científica e adequados às normas do periódico a que os submetem. Os autores precisam envidar todos os esforços para assegurar a qualidade e atualidade da revisão bibliográfica, o uso de delineamento adequado para esclarecer questões que deram origem à investigação, a coleta e a análise adequadas de dados, e a legitimidade das implicações ou conclusões derivadas dos achados. Em especial, cabe aos autores a rigorosa observância das normas para a elaboração e submissão dos manuscritos do periódico escolhido. Inclui-se aí também a rigorosa revisão gramatical.

Mesmo com todos os procedimentos criteriosos de avaliação adotados pelo editor do periódico, o valor científico efetivo de um relato só será conhecido após a sua publicação, mediante o seu reconhecimento pela comunidade acadêmica, na forma de impacto que poderá causar nos rumos das pesquisas ou da formulação teórica da área. A cientometria é uma tentativa de se avaliar esse impacto.

O fato de um relato de pesquisa ter sido avaliado e finalmente publicado não significa que esteja isento de qualquer defeito ou equívoco. Portanto, é importante que cada leitor mantenha postura crítica. Ele é, em última instância, o revisor (FISCHER, 2000). Todos somos revisores, ou deveríamos sê-lo. Não podemos cair na tentação do mero consumismo em busca de uma revisão bibliográfica pretensamente extensa.

Para que a comunidade científica possa realizar a sua avaliação de um relato de pesquisa, após a sua publicação, é essencial que seja elaborado de maneira a garantir a replicação do estudo realizado. A replicabilidade é uma condição essencial na pesquisa científica, quando o fenômeno sob estudo pode ocorrer repetidas vezes, já que nenhuma investigação, por mais completa que possa ser, pode esclarecê-lo cabalmente. Portanto, um aspecto para o qual os revisores precisam direcionar especial atenção, na avaliação de relatos de pesquisa, é a replicabilidade do estudo reportado.

Foi apontada a limitação do procedimento de revisão por pares para identificar fraudes, desonestidades e outros problemas éticas. Evidentemente, os revisores não podem deixar de apontar problemas dessa natureza, se detectados na análise dos originais, porém talvez seja necessário criar uma outra instância para cuidar de questões dessa natureza. Talvez os Comitês de Ética em Pesquisa devessem ser acionados sempre que se identificarem problemas éticos nas publicações, mesmo que os respectivos projetos fossem previamente aprovados por algum CEP. Um bom código de ética para o desempenho dos papéis de editor, revisor e autor pode alertar e orientar os pesquisadores acerca de importantes questões éticas implicadas na disseminação de resultados de pesquisa.

Há várias outras questões relativas à revisão por pares, que podem ser levantadas. O propósito deste texto foi o de introduzir, na busca de aperfeiçoamento da qualidade científica da Revista Brasileira de Educação Especial, mais um ingrediente para a discussão. A reflexão e o debate sobre a ampliação de oportunidades de divulgação de resultados das pesquisas, por parte dos estudiosos da área, sem prejuízo da qualidade científica, poderão sugerir novos procedimentos capazes de atender melhor as demandas crescentes de disseminação do conhecimento na nossa área.

O que se almeja, da parte de todos aqueles envolvidos na tarefa de transformar a Revista Brasileira de Educação Especial em um periódico de alta credibilidade e com ampla penetração nos meios acadêmico e profissional - o editor, os revisores e os autores -, é a disseminação de estudos solidamente conduzidos, que contribuam para a construção de conhecimentos a serviço das práticas educativas, terapêuticas e sociais capazes de auxiliar na diminuição do sofrimento das pessoas que, por diferentes condições, apresentam diferenças acentuadas e incapacitantes, habilitando-as a enfrentarem as desvantagens. Este é um ingrediente possível e necessário para a construção de uma sociedade inclusiva, na qual, por diferentes vias, as desigualdades sociais sejam combatidas e reduzidas, inclusive mediante o reconhecimento da realidade das diferenças incapacitantes que devem ser enfrentadas convenientemente em vez de sucumbir-lhes.

Recebido em 31/12/2005

Aceito em 31/12/2005

• CAMPANARIO, J.M. El sistema de revisión por expertos (peer review): muchos problemas y pocas soluciones. Revista Española de Documentación Científica, v. 25, n. 3, p. 166-184, 2002.
• DAVYT, A.; VELHO, L. A avaliação da ciência e a revisão por pares: passado e presente. Como será o futuro? História, Ciências, Saúde-Manguinhos, v. 7, n. 1, p. 93-116, 2000.
• FISCHER, R.L. Readings and reviewing research: Tips for the informed consumer. Families in Society, v. 81, n. 2, p. 211-213, 2000.
• GREENE, L.J. O dilema do editor de uma revista biomédica: aceitar ou não aceitar? Ciência da Informação, v. 27, n. 2, p. 230-232, 1998.
• MANZINI, E.J. Avaliação de artigos da Revista Brasileira de Educação Especial. Revista Brasileira de Educação Especial, v. 10, n. 3, p. 273-286, 2004.
• MIZZARO, S. Quality control in scholarly publishing: A new proposal. Journal of the American Society for Information Science and Technology, v. 54, n. 11, p. 989-1005, 2003.
• PESSANHA, C. Critérios editoriais de avaliação científica: notas para discussão. Ciência da Informação, v. 27, n. 2, 226-229, 1998.
• WILLIAMSON, A. What will happen to peer review? Learned Publishing, v. 16, n. 1, p. 15-20, 2003.

2

Um exemplo recente e amplamente divulgado, não só na imprensa científica mas também na mídia em geral, é o do cientista sul-coreano Hwang que fraudou estudos de clonagem terapêutica. Dependendo da área de conhecimento e natureza do fenômeno, o falseamento de resultados da pesquisa pode não ser detectado tão prontamente, podendo desnortear os rumos dos estudos ou eventualmente até levar os profissionais a idealizarem e praticarem intervenções desastrosas.

3

Pode-se apontar aqui o especial cuidado que se deve adotar no uso de textos disponíveis na Internet, a não ser aqueles que já passaram por uma avaliação em decorrência da política de revisão adotada pelos responsáveis pela publicação.

4

Muitas dessas críticas podem ser extensivas a outras situações de revisão por pares.

5

Os editores de alguns periódicos têm tomado especial cuidado no sentido de excluir nomes dos próprios autores nas referências bibliográficas ou outras pistas que possam sugerir a autoria dos originais. Trata-se, sem dúvida, de mais um cuidado que pode aperfeiçoar o procedimento de

blind review.

6

Uma afirmação como esta pode deixar muita gente apreensiva, na medida em que pode dar a idéia (falsa) de que, nas mãos de poucas pessoas, pode ficar a decisão do que a comunidade acadêmica deve ler ou não. É, por outro lado, facilmente compreensível a dificuldade que os leitores - estudantes, professores e pesquisadores - encontrariam, se fosse publicado todo e qualquer texto que qualquer autor desejasse tornar público a título de artigo científico.

Datas de Publicação

• Publicação nesta coleção
  28 Jun 2006
• Data do Fascículo
  Dez 2005

Histórico

• Aceito
  31 Dez 2005
• Recebido
  31 Dez 2005