O viés de publicação: por que publicar resultados negativos?

Publication bias: why publish negative results?

RESUMO

Este trabalho tem por objetivo trazer a discussão sobre a publicação de resultados negativos para o campo da biblioteconomia e ciência da informação, especificamente para a área da comunicação científica. O trabalho apresenta o problema do viés de publicação na ciência, bem como suas origens, destacando a importância da publicação dos resultados negativos, identificando os responsáveis pela não publicação de tais resultados, as principais estratégias para a redução do viés de publicação e exemplos de aplicação de algumas dessas estratégias. O artigo conclui que não existe um caminho único, mas uma série de soluções que permitem que os resultados negativos estejam disponíveis para a comunidade científica, reduzindo o viés de publicação e dando visibilidade a todos os resultados de pesquisa, independente de serem considerados positivos ou negativos.

Palavras-chave:
Resultados negativos; viés de publicação; publicação de resultados negativos; visibilidade da ciência

ABSTRACT

This paper aims to bring the discussion about the publication of negative results to the field of librarianship and information science, specifically for the area of scientific communication. The paper presents the problem of publication bias in science, as well as its origins, highlighting the importance of the publication of negative results, pointing out those responsible for not publishing such results, as well as the main strategies for reducing publication bias and examples of application of some of these strategies. The article concludes that there is no single path but a series of solutions that can allow negative results to be available to the scientific community, thus reducing publication bias and giving visibility to all research results, whether positive or negative.

Keywords:
Negative results; publication bias; publication of negative results; visibility of science

1 Introdução

O progresso científico depende não somente das realizações dos indivíduos, mas, sobretudo da comunicação aberta de todos os resultados das pesquisas, sejam positivos ou negativos (ANDERSON; SPROTT; OLSEN, 2013), contudo os estudos com resultados positivos são mais prováveis de serem publicados que os trabalhos com resultados inconclusivos ou negativos (MAHID et al., 2008).

Os resultados negativos são aqueles que, apesar de obtidos a partir de um projeto bem desenhado e bem realizado, não confirmam as hipóteses do estudo (ROCHA; MONTEIRO, 2015).

A perda de dados negativos é uma das distorções mais preocupantes do conhecimento científico. A frequência de resultados positivos publicados em periódicos aumentou significativamente nos últimos anos, crescendo mais de 20% entre os anos 1990 e 2007, assim como os resultados negativos diminuíram em frequência em todas as disciplinas (FANELLI, 2010a, 2010b, 2012).

Assim surge o chamado viés de publicação ou viés de resultado positivo que acontece quando os resultados negativos não são publicados (MARTÍN-MORO, 2017).

Uma das principais explicações para o viés de publicação é que os resultados negativos tendem a ser considerados menos interessantes e por isso atraem menos leitores e citações para os periódicos (FANELLI, 2013).

Apesar da importância da publicação de todos os resultados, quando uma pesquisa produz um resultado considerado negativo, ele acaba sendo engavetado pelo pesquisador. Pesquisadores, editores e patrocinadores são os principais responsáveis pela não publicação de tais resultados.

Alguns caminhos são apontados para a redução do viés de publicação. Dentre eles, destacam-se a criação de periódicos específicos para a publicação de resultados negativos ou ainda, a publicação de resultados negativos em periódicos convencionais, que deixariam um espaço específico para a publicação desses resultados.

Este artigo se insere no âmbito da comunicação científica e coloca em debate o problema do viés de publicação, apresentando, além das discussões, uma série de iniciativas concretas visando à publicação dos resultados negativos.

2 Publicação de resultados negativos

A publicação de uma pesquisa deveria depender apenas da sua qualidade, independente do resultado da mesma (MARTÍN-MORO, 2017), contudo isso não acontece. Os estudos com resultados positivos são mais prováveis de serem publicados que os trabalhos com resultados inconclusivos ou negativos (MAHID et al., 2008).

Assim nos deparamos com o viés de publicação, também chamado de viés de resultado positivo (FANELLI, 2013). O viés de publicação “[...] é um tipo de viés na publicação acadêmica que ocorre quando o resultado de um estudo influencia se ele é publicado” pelo periódico (WOLF, 2017, p. 289, tradução nossa) ou se um autor decide publicá-lo, ou simplificando, quando os resultados negativos não são publicados (MARTÍN-MORO, 2017), distorcendo um conjunto da literatura e impedindo a capacidade do estudo de integrar a evidência científica (BAXTER; BURWELL, 2017).

O problema do viés de publicação tem uma origem complexa, já que não é possível publicar tudo que é investigado (MARTÍN-MORO, 2017). Contudo, o viés de publicação não é restrito somente à área biomédica, acontecendo em outras disciplinas, como relatado nos trabalhos de Fanelli (2010a, 2010b, 2012) que estudaram a frequência de trabalhos que relatam resultados negativos e a frequência de citações desses artigos (FANELLI, 2013) nas áreas de:

• Ciências Físicas: Ciências do Espaço, Química, Ciência da Computação, Engenharia, Geociências, Ciência dos Materiais e Física;

• Ciências Biológicas: Ciências Agrícolas, Biologia e Bioquímica, Medicina Clínica, Meio Ambiente/Ecologia, Imunologia, Biologia Molecular e Genética, Microbiologia, Neurociências e Comportamento, Ciências Vegetais e Animais, Farmacologia e Toxicologia;

• Ciências Sociais: Economia e Negócios, Psiquiatria/Psicologia, Ciências Sociais Geral.

Para Fanelli (2013), os resultados negativos tendem a ser considerados menos interessantes e consequentemente atraem menos leitores e citações para os periódicos, sendo uma das principais explicações para o viés de publicação. Assim, ocorre um processo de seleção natural. De acordo com Martín-Moro (2017) esse processo de seleção natural atua em diversos níveis e favorece a publicação de pesquisas que produz resultados positivos, preenchendo uma porcentagem alta das páginas das revistas científicas, em detrimento dos resultados negativos que “[...] permaneceriam com maior probabilidade abandonados e desconsiderados na gaveta do investigador (ou na melhor das hipóteses, seriam publicados em um periódico de baixo impacto), porque o pesquisador considera que esses resultados não são valiosos” (MARTÍN-MORO, 2017, e76).

Dessa forma, a seção seguinte discute o que são os resultados negativos e como eles podem surgir no transcorrer de uma pesquisa.

2.1 O que são resultados negativos?

Os resultados negativos são um tipo de dark data, dados científicos quase impossíveis de serem localizados, existindo muitas vezes somente nos cadernos e discos rígidos dos pesquisadores (HEIDORN, 2008; O’SHEA, 2008). Grande parte dos dark data reside na cauda longa da ciência, embora possam existir também na big Science(FERGUSON et al., 2014).

A definição do resultado de uma pesquisa, seja ele positivo ou negativo, acontece em função do planejamento e execução da pesquisa. Mesmo um experimento bem conduzido, projetado para testar várias hipóteses de forma a responder a pergunta de pesquisa, com parâmetros e objetivos bem definidos e estabelecidos antes da condução do experimento pode, ao longo do caminho, apresentar uma variedade de resultados alternativos, positivos ou negativos dependendo da perspectiva dos atores (indivíduos, pesquisadores, patrocinadores) (ASHLEY, 2004).

Assim, os resultados negativos podem surgir de três maneiras (MLINARIĆ; HORVAT; ŠUPAK SMOLČIĆ, 2017; SANDERCOCK, 2012):

• Quando o estudo é muito pequeno, inadequado e mal planejado, assim os seus achados apresentam resultados inconclusivos e sem efeitos. Esses resultados, portanto, não devem ser publicados ou interpretados visto o contexto das limitações do estudo.

• Estudos em que, apesar de uma amostra suficiente e bem planejada, os resultados não sugerem claramente efeito algum. Esses estudos são os verdadeiros casos de resultados negativos, uma vez que são bem desenhados e bem executados e, portanto, devem ser publicados.

• Estudos que produzem um efeito inteiramente oposto ao resultado desejado. São estudos que não confirmam a hipótese testada, mostrando um efeito significativo, embora completamente oposto a hipótese. Esses resultados também devem ser publicados.

Para este trabalho, focaremos nos resultados negativos como “resultados que não confirmam as expectativas - porque produzem um efeito que não é estatisticamente significativo ou apenas contradiz uma hipótese [...]” (FANELLI, 2012, p. 892, tradução nossa). Monteiro e Rocha (2015) ainda complementam que os resultados negativos

são dados coletados de um projeto bem desenhado, ensaios bem realizados e de análises que não confirmam a hipótese do estudo. Isso leva o pesquisador a aceitar a "hipótese nula" (H0), indicando que não há relação entre os dois fenômenos medidos, ou do ponto de vista estatístico, mostrando que a probabilidade do fenômeno ocorre por acaso e não porque a intervenção está acima do nível de significância adotado (p, geralmente 5%) (ROCHA; MONTEIRO, 2015 , p.5, tradução nossa).

Uma vez que os resultados negativos podem surgir de várias maneiras, sua publicação em um periódico depende que o artigo submetido apresente métodos e análises robustas e exiba os resultados de maneira clara e convincente. Assim,

[...] os artigos que relatam resultados nulos devem incluir informações metodológicas suficientes e controles internos para convencer os revisores de que a descoberta é significativa e não o resultado de uma falha técnica ou alguma outra falha” (BAXTER; BURWELL, 2017, p. 276 tradução nossa).

Em discussão sobre a ética da publicação dos dados negativos, Ashley (2004, p.81, tradução nossa) porém argumenta que a expressão “dados negativos” é conceitualmente inválida, uma vez que todos os dados são de valor, “[...] desde que o design do estudo e as técnicas analíticas subjacentes às conclusões sejam bem controladas e válidas”.

Os resultados negativos não devem ser tratados de forma negativa, pois mesmo os negativos podem ser bons resultados, e publicá-los pode evitar trabalhos desnecessários e despesa com a repetição de trabalho por outros grupos e a comunidade científica. Assim, Rocha e Monteiro (2015, p.5, tradução nossa) afirmam que “os esforços dos autores que obtiveram resultados negativos devem ser creditados e não rotulados como falhas ou mau planejamento”. A próxima seção apresenta uma série de vantagens com a publicação de resultados negativos.

2.2 A importância da publicação de resultados negativos

De acordo com Anderson, Sprott e Olsen (2013) o progresso científico depende não somente das realizações dos indivíduos, mas, sobretudo da comunicação aberta de todos os resultados das pesquisas, sejam positivos ou negativos.

Exceto os raros casos onde os resultados negativos contradizem um resultado positivo amplamente aceito ou quando fazem parte de ensaios clínicos que obriga os pesquisadores a comunicar todos os resultados da pesquisa, os resultados negativos são relegados ao segundo plano editorial. Os autores ainda completam: “na melhor das hipóteses, aparecem brevemente em seções de discussão ou métodos; na pior das hipóteses, eles permanecem presos em um caderno empoeirado”(GUMPENBERGER et al., 2013, p. 278, tradução nossa). Contudo, é importante que os resultados negativos sejam publicados. O Quadro 1 apresenta argumentos a favor da publicação dos resultados negativos.

Quadro 1
Argumentos a favor da publicação de resultados negativos

Argumentos	Autores
Contribuir para uma apreciação mais realista da natureza "desordenada" da ciência	( ANDERSON; SPROTT; OLSEN, 2013 )
Desenvolver uma visão completa de um problema e suas soluções	( WOLF, 2017 )
Evitar a duplicação do esforço científico, desperdício de energia, tempo e recursos com estudos similares	( ANDERSON; SPROTT; OLSEN, 2013 ; FANELLI, 2012 ; GUMPENBERGER et al., 2013 ; NYGAARD, 2017 ; PARASURAMAN, 2015 ; PATIL; SIEGEL, 2009 ; ROCHA; MONTEIRO, 2015 )
Facilitar e promover a comunicação científica/ Permitir o intercâmbio de informações/ Aceleração do progresso científico	( ANDERSON; SPROTT; OLSEN, 2013 ; GUMPENBERGER et al., 2013 ; NYGAARD, 2017 ; PARASURAMAN, 2015 ; SANDERCOCK, 2012 )
Fornecer equilíbrio, indicar imaturidade do conhecimento e que a linha de pesquisa não vale a pena seguir	( ASHLEY, 2004 )
Honrar o pacto feito entre pesquisadores e participantes/ Ética	( NYGAARD, 2017 ; SANDERCOCK, 2012 )
Minimizar a distorção da literatura/ Permitir a inclusão de ensaios negativos em revisão sistemática	( ASHLEY, 2004 ; NYGAARD, 2017 )
Permitir a replicação, a melhoria, construção ou refutação do trabalho anterior/ Refutar a hipótese de pesquisa/ Favorecer o processo científico	( ANDERSON; SPROTT; OLSEN, 2013 ; ASHLEY, 2004 ; NYGAARD, 2017 ; WOLF, 2017 )
Permitir maior transparência e abertura da ciência	( ANDERSON; SPROTT; OLSEN, 2013 )
Proteger futuros participantes na pesquisa e futuros pacientes de uma terapia que não tenha resultado positivo/ Evitar que pacientes sejam submetidos a um tratamento que não funciona	(NYGAARD, 2017)
Revelar uma metodologia inadequada	(ANDERSON; SPROTT; OLSEN, 2013; ASHLEY, 2004)

• Fonte: Elaborado pelos autores

Apesar desses fatores, Sandercock (2012) afirma que o motivo central para a publicação dos resultados negativos é a questão ética.

Em um estudo que envolva participantes, uma vez que os indivíduos deram o seu consentimento em participar sob o entendimento de que os resultados da pesquisa seriam benéficos de alguma forma para outras pessoas e para o avanço da ciência. Assim, se um estudo envolver o consentimento informado em humanos ou o uso de animais e foi satisfatoriamente conduzido, deve aparecer no registro científico disponível publicamente, independentemente de suas conclusões gerais (SANDERCOCK, 2012).

Apesar dos vários motivos para a publicação de resultados negativos, segundo Fanelli (2012) tais resultados estão desaparecendo da maioria das disciplinas. Nos últimos anos, a frequência de resultados positivos aumentou significantemente, assim como os resultados negativos diminuíram em frequência em todas as disciplinas. Dessa maneira, a próxima seção abordará as principais questões envolvidas para a não publicação de resultados negativos.

2. 3 Por que os resultados negativos não são publicados?

A primeira razão para a não publicação de resultados negativos pode ser financeira. Segundo Ashley (2004) a publicação de uma pesquisa bem sucedida pode levar a um ganho financeiro substancial, ao passo que um estudo mal sucedido tem menos potencial para resultar em ganhos pessoais.

A decisão de publicar um artigo, contudo, é o resultado de uma interação entre autores, editores e revisores (LAWRENCE, 2003). Os autores sofrem pressão para publicação nas principais revistas, uma vez que a avaliação dos pesquisadores, bem como das instituições, países e organizações internacionais é realizada não pela pesquisa em si, mas por indicadores de desempenho, dependendo assim, do número de artigos que publicam e das citações que recebem posições em listas de autores e fatores de impacto de periódicos de forma a aumentar nos autores a pressão para publicar em periódicos onde serão mais lidos e citados (FANELLI, 2012; LAWRENCE, 2003). Por outro lado, os periódicos têm tendência a publicar aquilo que terá mais chance de ser lido e citado (LAWRENCE, 2003). Assim, a crescente concorrência por financiamentos e citações pode distorcer a ciência (FANELLI, 2012). Isso faz que esses atores também sejam apontados como os principais responsáveispelo viés de publicação, ou seja, para que os resultados negativos não sejam publicados:

• Os próprios pesquisadores que preferem submeter e citar resultados positivos. Assim, os pesquisadores são relutantes em publicar um estudo onde os resultados não são estatisticamente significativos, acreditando que não há interesse em resultados inconclusivos ou que esses refletem negativamente na capacidade de pesquisa (ASHLEY, 2004; CARROLL et al., 2017; FANELLI, 2010b, 2013; GUMPENBERGER et al., 2013; MAHID et al., 2008; MALIČKI; MARUŠIĆ, 2014; MARTÍN-MORO, 2017; MLINARIĆ; HORVAT; ŠUPAK SMOLČIĆ, 2017; ROCHA; MONTEIRO, 2015; SANDERCOCK, 2012; SMULDERS, 2013; WOLF, 2017). Quando não alcançam o tão desejável nível de significância (p<0,05), os pesquisadores consideram que seus resultados estão errados ou não são interessantes, deixando o processo de pesquisa e “engavetando” os resultados, um problema conhecido como “file drawer problem” (MARTÍN-MORO, 2017), ou tentam ainda ajustar as hipóteses para melhor se adequarem aos seus dados, uma prática conhecida como HARKing (Hypothe sizing After the Results are Known) (BAXTER; BURWELL, 2017; KERR, 1998; MLINARIĆ; HORVAT; ŠUPAK SMOLČIĆ, 2017);

• Os editores e o processo de revisão por pares que não aceitam a publicação de um artigo por causa dos resultados inconclusivos ou pela possibilidade de falhas metodológicas ou mesmo de design e que se descobertas por outro editor ou leitor poderiam diminuir o prestígio do periódico frente à comunidade científica, favorecendo assim a publicação de resultados positivos (CARROLL et al., 2017; DIRNAGL; LAURITZEN, 2010; FANELLI, 2010b, 2013; GUMPENBERGER et al., 2013; MAHID et al., 2008; MALIČKI; MARUŠIĆ, 2014; MLINARIĆ; HORVAT; ŠUPAK SMOLČIĆ, 2017; NYGAARD, 2017; PARASURAMAN, 2015; ROCHA; MONTEIRO, 2015; SANDERCOCK, 2012; SMULDERS, 2013);

• Os patrocinadores da pesquisa uma vez que os estudos financiados com interesse comercial e que não apresentam resultados estatisticamente significativos são menos propensos de serem publicados do que os estudos que apresentam resultados positivos, visto que os patrocinadores não querem que os resultados negativos sejam disponibilizados (GUMPENBERGER et al., 2013; MAHID et al., 2008; MALIČKI; MARUŠIĆ, 2014; MLINARIĆ; HORVAT; ŠUPAK SMOLČIĆ, 2017; ROCHA; MONTEIRO, 2015; SANDERCOCK, 2012; SMULDERS, 2013).

Malički e Marušić(2014) em estudo que explorou as opiniões de autores sobre as causas e métodos de prevenção do viés de publicação apontam que

os pesquisadores estão conscientes de serem os principais culpados para o viés de publicação, mas consideram forte que a culpa recai sobre o sistema que permite tais áticas - desde financiadores e instituições de pesquisa a revistas e registros de trials. (MALIČKI; MARUŠIĆ, 2014, p. 1104, tradução nossa)

Gumpenberger et al(2013) ainda apontam a sobrecarga de informação - como ler o que não funcionou se não temos tempo para ler nem aquilo que foi bem sucedido - como um fator importante para a não publicação de resultados negativos.

Dessa maneira, a união de todos esses fatores culmina em ocultação, dados enterrados e ignorados pela comunidade científica (ROCHA; MONTEIRO, 2015). Além disso, Fanelli (2012, p.891, tradução nossa) afirma que a não publicação de resultados negativos “distorce a literatura científica diretamente, mas também pode desencorajar projetos de alto risco e pressionar os cientistas a fabricar e falsificar seus dados”. Alguns caminhos para a redução do viés de publicação podem ser apontados. Esses serão tratados na seção seguinte.

2.4 Caminhos para a redução do viés de publicação

Diante do viés de resultado positivo, são apontadas algumas estratégias ou alternativas para a redução do viés de publicação, sob a premissa de que o “fracasso” é importante na ciência. Assim, o Quadro 2 apresenta uma compilação das principais estratégias abordadas pelos autores constantes desta revisão.

Quadro 2
Estratégias para redução do viés de publicação

Estratégias	Autores
Criação de periódicos específicos para publicação de resultados negativos	(CARROLL et al., 2017; FANELLI, 2013; GUMPENBERGER et al., 2013; MARTÍN-MORO, 2017; SANDERCOCK, 2012)
Criação de repositórios de dados abertos pelas instituições	(FANELLI, 2013; GUMPENBERGER et al., 2013; MALIČKI; MARUŠIĆ, 2014; SANDERCOCK, 2012)
Revisão em duas etapas	(BAXTER; BURWELL, 2017; CARROLL et al., 2017; SMULDERS, 2013)
Pré-publicação da metodologia (avaliação por pares dos detalhes da metodologia)	(CARROLL et al., 2017; MALIČKI; MARUŠIĆ, 2014)
Publicação de resultados negativos em periódicos convencionais	(COOK; THERRIEN, 2017; GUMPENBERGER et al., 2013)
Publicação obrigatória da pesquisa	(CARROLL et al., 2017; MALIČKI; MARUŠIĆ, 2014)
Revisão aberta, por meio da exigência que os periódicos publiquem juntamente com o manuscrito final os nomes e os comentários dos revisores	(CARROLL et al., 2017; MALIČKI; MARUŠIĆ, 2014)
Revisão pós-publicação, onde outros pesquisadores possam fazer comentários de revisão e que os autores possam responder	(CARROLL et al., 2017; MALIČKI; MARUŠIĆ, 2014)
Treinamento e acreditação da revisão pelos pares	(CARROLL et al., 2017; MALIČKI; MARUŠIĆ, 2014)
Acesso a toda documentação enviada aos conselhos de avaliação e financiadores	(MALIČKI; MARUŠIĆ, 2014)
Aumento dos meios de pós-publicação, bem como sua importância	(MALIČKI; MARUŠIĆ, 2014)
Conscientização pública, monitoramento e envolvimento nas práticas de publicação	(MALIČKI; MARUŠIĆ, 2014)
Criação de plataformas de publicação específicas para ensaios clínicos	(MALIČKI; MARUŠIĆ, 2014)
Criação de premiação para recompensar os resultados negativos	(REWARDING..., 2017)
Criação de um espaço nos periódicos para sintetizar e comentar ensaios relatados exclusivamente em registros de trials	(MALIČKI; MARUŠIĆ, 2014)
Exigência de publicação em acesso aberto por parte de órgãos financiadores	(SANDERCOCK, 2012)
Financiamento exclusivo para publicação	(MALIČKI; MARUŠIĆ, 2014)
Implementação de padrões de relatório, inclusive para conflito de interesses	(MALIČKI; MARUŠIĆ, 2014)
Indexação de periódicos locais e regionais em bases internacionais	(MALIČKI; MARUŠIĆ, 2014)
Monitoramento e prestação de conta dos estudos aprovados por parte das agências de financiamento e conselhos de ética	(MALIČKI; MARUŠIĆ, 2014)
Priorização da publicação de pesquisas negativas bem conduzidas sobre pesquisas positivas mal conduzidas	(SANDERCOCK, 2012)
Publicação de comentários de revisão pelos pares juntamente com os resultados	(MALIČKI; MARUŠIĆ, 2014)
Publicação de listas de rejeição dos manuscritos, juntamente com um documento explicando o motivo da rejeição	(CARROLL et al., 2017)
Publicação dos resultados negativos obtidos em pesquisas realizadas pela indústria	(BAKER, 2016)
Publicações em acesso aberto	(SANDERCOCK, 2012)
Recusa de financiamento ou aprovação de pesquisa a investigadores com ensaios não publicados	(MALIČKI; MARUŠIĆ, 2014)
Representação igualitária por idade e sexo em órgãos editoriais	(MALIČKI; MARUŠIĆ, 2014)
Responsabilização dos pesquisadores pela não publicação das pesquisas	(MALIČKI; MARUŠIĆ, 2014)
Transparência da revisão de pares e práticas de tomada de decisão de periódicos	(MALIČKI; MARUŠIĆ, 2014)
Valorização dos resultados negativos pelos pesquisadores	(MARTÍN-MORO, 2017)
Vinculação de registros de testes, repositórios de dados, publicações e comentários pós-publicação com mecanismos de busca e bases de dados	(MALIČKI; MARUŠIĆ, 2014)

• Fonte: Elaborado pelos autores

Carroll et al(2017) identificam na literatura e exploram, em uma pesquisa entre pesquisadores e editores, a viabilidade de nove estratégias para redução do viés de publicação. Assim, os autores verificaram que, dentre as estratégias, os pesquisadores escolheram como principais a revisão em duas etapas, os periódicos de resultados negativos e a publicação obrigatória. Já os editores selecionaram a publicação obrigatória, o registro da pesquisa e os periódicos de resultados negativos (CARROLL et al., 2017).

No estudo, pesquisadores e editores indicaram como estratégias mais efetivas para a redução do viés de publicação a publicação obrigatória da pesquisa e os periódicos de resultados negativos (CARROLL et al., 2017).

Os caminhos ou estratégias apontadas pelos autores resumem-se basicamente em melhorar ou alterar as práticas de publicação; aumentar a responsabilidade das agências de fomento, conselho de ética e pesquisadores; tornar obrigatórias por lei as alterações necessárias nas práticas de publicação (incluindo a aplicação das sanções) e aumentar a conscientização, monitoramento e envolvimento do público nas práticas de publicação (MALIČKI; MARUŠIĆ, 2014).

2.4.1 Concretizando os caminhos: exemplos

Ao longo dos anos várias iniciativas para garantir a publicação de resultados negativos ganharam corpo, especialmente a criação de periódicos dedicados a publicação de resultados negativos (GUMPENBERGER et al., 2013). Algumas dessas iniciativas obtiveram sucesso, outras, porém foram descontinuadas. No quadro seguinte (Quadro 3) apresentamos algumas dessas iniciativas.

Quadro 3
Periódicos especificamente voltados para a publicação de resultados negativos

Título do periódico (data inicial)	Endereço eletrônico
Contemporary Clinical Trials Communications, (2015)	https://www.journals.elsevier.com/contemporary-clinical-trials-communications
International Journal of Negative & Null Results, (2014, descontinuado)	http://www.journalnetwork.org/journals/international-journal-of-negative-and-null-results
Journal of Articles in Support of the Null Hypothesis, (2002)	http://www.jasnh.com/
Journal of Errology, (2011, possivelmente descontinuado, site apresenta erro)	http://www.journaloferrology.com/
Journal of Interesting Negative Results in Natural Language Processing and Machine Learning, (2008, descontinuado)	http://jinr.site.uottawa.ca/
Journal of Negative Observations in Genetic Oncology (1997, possivelmentedescontinuado, site apresentaerro)	http://www.path.jhu.edu/NOGO/
Journal of Negative Results in Biomedicine, (2002, descontinuado)	https://jnrbm.biomedcentral.com/
Journal of Negative Results in Ecology and Evolutionary Biology (2004, descontinuado)	http://www.jnr-eeb.org/index.php/jnr
Journal of Negative Results in Speech and Audio Sciences, (2003, possivelmentedescontinuado, site apresentaerro)	http://journal.speech.cs.cmu.edu
Journal of Pharmaceutical Negative Results, (2010)	http://www.pnrjournal.com/
Journal of Serendipitous and Unexpected Results (desconhecida, possivelmente descontianuado, site apresenta erro)	www.jsur.org
Journal of Spurious Correlations, (2005, possivelmente descontinuado, site apresenta erro)	http://www.jspurc.org/
Journal of Unsolved Questions, (2010)	http://junq.info/
Journal of Negative & No Positive Results (2016)	http://revistas.proeditio.com/jonnpr/index
Negative Results, (2017)	http://www.negative-results.org/
New Negatives in Plant Science (2015, descontinuado)	https://www.journals.elsevier.com/new-negatives-in-plant-science/
The All Results Journal: Biol, (2010)	http://www.arjournals.com/index.php/Biol
The All Results Journal: Chem, (2010)	http://www.arjournals.com/index.php/Chem
The All Results Journal: Nano, (2010)	http://www.arjournals.com/index.php/Nano
The All Results Journal: Phys, (2010)	http://www.arjournals.com/index.php/Phys
The Null Journal, (2009; possivelmente descontinuado, site apresenta erro)	http://null-journal.com/

• Fonte: Elaborado pelos autores

Por outro lado, alguns editores alegam que não há mais necessidade de uma revista específica para publicar resultados negativos, pois existe uma série de alternativas para a publicação desses resultados (“JOURNAL OF NEGATIVE RESULTS IN BIOMEDICINE”, 2002). Essas alternativas geralmente estão na publicação dos resultados negativos pelos periódicos convencionais, sendo que essa informação encontra-se disponibilizada nas políticas editoriais dos periódicos.

Assim, além dos periódicos voltados exclusivamente para a publicação de resultados negativos, periódicos convencionais têm dedicado espaço para a publicação de resultados negativos (Quadro 4):

Quadro 4
Periódicos convencionais que publicam resultados negativos

Título do periódico	Endereço eletrônico
American Journal of Obstetrics and Gynecology	http://www.ajog.org/
Arquivos Brasileiros de Oftalmologia	http://www.scielo.br/scielo.php?script=sci_serial&pid=0004-2749&lng=en&nrm=isso
Behavioral Neuroscience	http://www.apa.org/pubs/journals/bne/
BMC Research Notes	https://bmcresnotes.biomedcentral.com/
Journal of Cerebral Blood Flow & Metabolism	https://us.sagepub.com/en-us/sam/journal-of-cerebral-blood-flow-and-metabolism/journal202485#submission-guidelines
Journal of Insect Science	https://academic.oup.com/jinsectscience
Journal of Universal Computer Science	http://www.jucs.org/
Nature Negative Results section	https://www.nature.com/nature/
Open Science Journal	https://osjournal.org/
PeerJ	https://peerj.com/
Physiological Reports	http://physreports.physiology.org/
Plant Science	https://www.journals.elsevier.com/plant-science
PLOS ONE	http://collections.plos.org/missing-pieces
Rejecta Mathematica	http://rejecta.github.io/mathematica/about.html
Scientific Reports	https://www.nature.com/srep/
Translational Behavioral Medicine	https://academic.oup.com/tbm/

• Fonte: Elaborado pelos autores

Outros exemplos de estratégias que tem sido empregadas podem ser apontados como:

• Premiações promovidas pelo European College of Neuropsycho pharmacology que oferece um prêmio por resultados negativos na neurociência pré-clínica e pela Organization for Human Brain Mapping que premia o melhor estudo de replicação - bem-sucedido ou não - com implicações para a neuroimagem humana, aumentando assim as recompensas por resultados negativos e repetições (REWARDING..., 2017).

• Publicação dos resultados negativos pela indústria detentora da pesquisa. Conforme apontado por Baker (2016), a empresa de biotecnologia Amgen está divulgando dados sobre três esforços fracassados, detalhes de que a indústria geralmente mantém em segredo. Os dados são postados na plataforma online F1000Research.

• Registro das pesquisas é o projeto All Trialls que prevê o registro dos ensaios clínicos e dos seus resultados. Assim, todos os ensaios clínicos devem ser listados em um registro de ensaios clínicos e seus resultados (positivos ou negativos) sempre devem ser compartilhados como dados abertos (ALLTRIALS, 2014).

• Publicação de pesquisas na plataforma F1000Research, um periódico que publica artigos tradicionais, conjuntos de dados, resultados nulos, protocolos, relatórios de casos e descobertas incrementais, etc. A F1000Research é uma plataforma onde todos os artigos são publicados em acesso aberto, com processos de publicação e análise por pares transparentes - a revisão por pares ocorre abertamente após a publicação. (F1000RESEARCH, 2012).

• Publicação da pesquisa no Figshare , um repositório online, aberto e gratuito que permite preservar e compartilhar todos os dados e resultados gerados pela pesquisa, inclusive a publicação de dados negativos (UNIVERSIDADE DE SÃO PAULO, 2017).

Assim, esta seção buscou mostrar alguns exemplos concretos do que vem acontecendo no âmbito da comunicação científica para a redução do viés publicação na ciência.

3 Considerações finais

Vários caminhos são apontados para a redução do viés de publicação. Não existe um caminho único, mas uma série de possíveis soluções que permitem que os resultados negativos estejam disponíveis para a comunidade científica, reduzindo o viés de publicação e dando visibilidade aos resultados que muitas vezes ficam engavetados pelo pesquisador e que são importantes para o desenvolvimento da ciência.

Os caminhos ou estratégias apontadas pelos autores resumem-se basicamente em melhorar ou alterar as práticas de publicação; aumentar a responsabilidade das agências de fomento, conselho de ética e pesquisadores; tornar obrigatórias por lei as alterações necessárias nas práticas de publicação (incluindo a aplicação de sanções) e aumentar a conscientização, monitoramento e envolvimento do público nas práticas de publicação (MALIČKI; MARUŠIĆ, 2014).

Este artigo não pretendeu esgotar o assunto da publicação dos resultados negativos. As discussões acerca da publicação de resultados negativos são bem relatadas na literatura mundial, principalmente nas disciplinas biomédicas, porém pouco exploradas na área de biblioteconomia e ciência da informação. Assim, este trabalho pretendeu trazer problema à tona e colocá-lo em debate na esfera da comunicação científica.

Referências

• ALLTRIALS: all trials registered, all results reported. London, c2014. Disponível em: http://www.alltrials.net/. Acesso em: 5 fev. 2018.
  » http://www.alltrials.net
• ANDERSON, G.; SPROTT, H.; OLSEN, B. R. Opinion: Publish Negative Results. The Scientist, p. online, 2013. Disponível em: http://www.the-scientist.com/?articles.view/articleNo/33968/title/Opinion--Publish-Negative-Results/. Acesso em: 16 jan. 2018.
  » http://www.the-scientist.com/?articles.view/articleNo/33968/title/Opinion--Publish-Negative-Results
• ASHLEY, R. A. The Ethics of Publishing Negative Data. Journal of Evidence Based Dental Practice, v. 4, n. 1, p. 81-85, mar. 2004. Disponível em: http://linkinghub.elsevier.com/retrieve/pii/S1532338204000053Acessoem: 17 jan. 2018.
  » http://linkinghub.elsevier.com/retrieve/pii/S1532338204000053
• BAKER, M. Biotech giant publishes failures to confirm high-profile science. Nature, v. 530, n. 7589, p. 141-141, 4 fev. 2016. Disponível em: http://www.nature.com/doifinder/10.1038/nature.2016.19269Acessoem: 1 fev. 2018.
  » http://www.nature.com/doifinder/10.1038/nature.2016.19269
• BAXTER, M. G.; BURWELL, R. D. Promoting transparency and reproducibility in Behavioral Neuroscience: Publishing replications, registered reports, and null results. BehavioralNeuroscience, v. 131, n. 4, p. 275-276, ago. 2017. Disponível em: http://doi.apa.org/getdoi.cfm?doi=10.1037/bne0000207Acessoem: 17 jan. 2017.
  » http://doi.apa.org/getdoi.cfm?doi=10.1037/bne0000207
• BORGMAN, C. L. Big data, little data, no data: scholarship in the networked world. Cambridge, MA, USA: MIT Press, 2015.
• CARROLL, H. A. et al. The perceived feasibility of methods to reduce publication bias. PLOS ONE, v. 12, n. 10, p. e0186472, 24 out. 2017. Disponível em: http://dx.plos.org/10.1371/journal.pone.0186472Acessoem: 24 jan. 2018.
  » http://dx.plos.org/10.1371/journal.pone.0186472
• DIRNAGL, U.; LAURITZEN, M. Fighting Publication Bias: Introducing the Negative Results Section. Journal of Cerebral Blood Flow & Metabolism, v. 30, n. 7, p. 1263-1264, jul. 2010. Disponível em: http://dx.doi.org/10.1038/jcbfm.2010.51 Acesso em: 24 jan. 2018.
  » http://dx.doi.org/10.1038/jcbfm.2010.51
• F1000RESEARCH. [London]: F1000 Research Ltd, c2012. Disponível em: https://f1000research.com/.Acessoem: 5 fev. 2018.
  » https://f1000research.com
• FANELLI, D. Do Pressures to Publish Increase Scientists’ Bias? An Empirical Support from US States Data. PLOS ONE, v. 5, n. 4, p. e10271, 21 abr. 2010a. Disponível em: http://dx.plos.org/10.1371/journal.pone.0010271Acessoem: 24 jan. 2018.
  » http://dx.plos.org/10.1371/journal.pone.0010271
• FANELLI, D. Negative results are disappearing from most disciplines and countries. Scientometrics, v. 90, n. 3, p. 891-904, 11 mar. 2012. Disponível em: http://link.springer.com/10.1007/s11192-011-0494-7Acesso em: 16 jan. 2018.
  » http://link.springer.com/10.1007/s11192-011-0494-7
• FANELLI, D. “Positive” Results Increase Down the Hierarchy of the Sciences. PLOS ONE, v. 5, n. 4, p. e10068, 7 abr. 2010b. Disponível em: http://dx.plos.org/10.1371/journal.pone.0010068Acesso em: 31 jan. 2018.
  » http://dx.plos.org/10.1371/journal.pone.0010068
• FANELLI, D. Positive results receive more citations, but only in some disciplines. Scientometrics, v. 94, n. 2, p. 701-709, 3 fev. 2013. Disponível em: http://link.springer.com/10.1007/s11192-012-0757-yAcesso em: 24 jan. 2018.
  » http://link.springer.com/10.1007/s11192-012-0757-y
• FERGUSON, A. R. et al. Big data from small data: data-sharing in the “long tail” of neuroscience. Nature Neuroscience, v. 17, n. 11, p. 1442-1447, 1 nov. 2014. Disponível em: http://dx.doi.org/10.1038/nn.3838fv=[5trAcesso em: 6 mar. 2018.
  » http://dx.doi.org/10.1038/nn.3838fv=[5tr
• GOETZ, T. Freeing the dark data of failed scientific experiment. Wired Magazine, v. 15, n. 10, p. 7-12, 2007. Disponível em: http://www.wired.com/science/discoveries/magazine/15-10/st_essayAcesso em: 15 fev. 2018.
  » http://www.wired.com/science/discoveries/magazine/15-10/st_essay
• GUMPENBERGER, C. et al. Exploring the bibliometric and semantic nature of negative results. Scientometrics, v. 95, n. 1, p. 277-297, 18 abr. 2013. Disponível em: http://link.springer.com/10.1007/s11192-012-0829-zAcesso em: 24 jan. 2018.
  » http://link.springer.com/10.1007/s11192-012-0829-z
• HEIDORN, P. B. Shedding Light on the Dark Data in the Long Tail of Science. Library Trends, v. 57, n. 2, p. 280-299, 2008. Disponível em: http://muse.jhu.edu/content/crossref/journals/library_trends/v057/57.2.heidorn.htmlAcesso em: 13 fev. 2018.
  » http://muse.jhu.edu/content/crossref/journals/library_trends/v057/57.2.heidorn.html
• JOURNAL OF NEGATIVE RESULTS IN BIOMEDICINE. [London]: Bio Med Central, 2002-2017. Disponível em: https://jnrbm.biomedcentral.com/.Acesso em: 5 fev. 2018.
  » https://jnrbm.biomedcentral.com
• KERR, N. L. HARKing: Hypothesizing After the Results are Known. Personality and Social Psychology Review, v. 2, n. 3, p. 196-217, 21 ago. 1998. Disponível em: http://journals.sagepub.com/doi/10.1207/s15327957pspr0203_4Acesso em: 9 fev. 2018.
  » http://journals.sagepub.com/doi/10.1207/s15327957pspr0203_4
• LAWRENCE, P. A. The politics of publication. Nature, v. 422, n. 6929, p. 259-261, 20 mar. 2003. Disponível em: http://www.nature.com/doifinder/10.1038/422259a Acesso em: 31 jan. 2018.
  » http://www.nature.com/doifinder/10.1038/422259a
• MAHID, S. S. et al. Assessment of publication bias for the surgeon scientist. British Journal of Surgery, v. 95, n. 8, p. 943-949, ago. 2008. Disponível em: http://doi.wiley.com/10.1002/bjs.6302Acesso em: 17 jan. 2018.
  » http://doi.wiley.com/10.1002/bjs.6302
• MALIČKI, M.; MARUŠIĆ, A. Is there a solution to publication bias? Researchers call for changes in dissemination of clinical research results. Journal of Clinical Epidemiology, v. 67, n. 10, p. 1103-1110, out. 2014. Disponível em: http://linkinghub.elsevier.com/retrieve/pii/S0895435614002170 Acesso em: 9 fev. 2018.
  » http://linkinghub.elsevier.com/retrieve/pii/S0895435614002170
• MARTÍN-MORO, J. G. La crisis de reproducibilidad de laciencia y la necesidad de publicar los resultados negativos. Archivos de la Sociedad Española de Oftalmología, v. 92, n. 12, p. e75-e77, dez. 2017. Disponível em: http://dx.doi.org/10.1016/j.oftal.2017.07.009 Acesso em: 17 jan. 2018.
  » http://dx.doi.org/10.1016/j.oftal.2017.07.009
• MLINARIĆ, A.; HORVAT, M.; ŠUPAK SMOLČIĆ, V. Dealing with the positive publication bias: Why you should really publish your negative results. Biochemia Medica, v. 27, n. 3, p. 447-453, 15 out. 2017. Disponível em: https://www.biochemia-medica.com/en/journal/27/3/10.11613/BM.2017.030201 Acesso em: 16 jan. 2018.
  » https://www.biochemia-medica.com/en/journal/27/3/10.11613/BM.2017.030201
• NYGAARD, I. The importance of publishing trials with negative results. American Journal of Obstetrics and Gynecology, v. 216, n. 6, p. 541-542, jun. 2017.Disponível em: http://dx.doi.org/10.1016/j.ajog.2017.03.014 Acesso em: 16 jan. 2018.
  » http://dx.doi.org/10.1016/j.ajog.2017.03.014
• O’SHEA, D. C. Dark Data. Optical Engineering, v. 47, n. 1, p. 10101, 2008.Disponível em: https://squirro.com/2016/01/13/dark-data-assets-that-organizations-collect-but-hardly-ever-use/.Acesso em: 14 fev. 2018.
  » https://squirro.com/2016/01/13/dark-data-assets-that-organizations-collect-but-hardly-ever-use
• PARASURAMAN, S. Prospective on publishing negative results. Journal of Pharmaceutical Negative Results, v. 6, n. 1, p. 1, 2015.Disponível em: http://www.pnrjournal.com/text.asp?2015/6/1/1/157372 Acesso em: 17 jan. 2017.
  » http://www.pnrjournal.com/text.asp?2015/6/1/1/157372
• PATIL, C.; SIEGEL, V. Shining a light on dark data. Disease Models & Mechanisms, v. 2, n. 11-12, p. 521-525, 1 nov. 2009. Disponível em: http://dmm.biologists.org/cgi/doi/10.1242/dmm.004630 Acesso em: 14 fev. 2018.
  » http://dmm.biologists.org/cgi/doi/10.1242/dmm.004630
• REWARDING negative results keeps science on track. Nature, v. 551, n. 7681, p. 414-414, 23 nov. 2017. Disponível em: http://www.nature.com/doifinder/10.1038/d41586-017-07325-2 Acesso em: 1 fev. 2018.
  » http://www.nature.com/doifinder/10.1038/d41586-017-07325-2
• ROCHA, E. M.; MONTEIRO, M. L. R. Publish (negative results too) orperish. Arquivos Brasileiros de Oftalmologia, v. 78, n. 2, p. 5-6, 2015. Disponível em: http://www.scielo.br/pdf/abo/v78n2/0004-2749-abo-78-02-000V.pdfAcesso em: 16 jan. 2018.
  » http://www.scielo.br/pdf/abo/v78n2/0004-2749-abo-78-02-000V.pdf
• SANDERCOCK, P. Negative Results: Why Do they Need to be Published? International Journal of Stroke, v. 7, n. 1, p. 32-33, 20 jan. 2012. Disponível em: http://journals.sagepub.com/doi/10.1111/j.1747-4949.2011.00723.x Acesso em: 17 jan. 2017.
  » http://journals.sagepub.com/doi/10.1111/j.1747-4949.2011.00723.x
• SAYÃO, L. F.; SALES, L. F. A ciência invisível: os dados da cauda longa da pesquisa científica. 2018. No prelo.
• SMULDERS, Y. M. A two-step manuscript submission process can reduce publication bias. Journal of Clinical Epidemiology, v. 66, n. 9, p. 946-947, set. 2013. Disponível em: http://dx.doi.org/10.1016/j.jclinepi.2013.03.023 Acesso em: 9 fev. 2018.
  » http://dx.doi.org/10.1016/j.jclinepi.2013.03.023
• UNIVERSIDADE DE SÃO PAULO. Figshare:repositório científico facilita armazenamento, preservação e compartilhamento de dados de pesquisa. Disponível em: http://www.biblioteca.fsp.usp.br/blog/index.php/2017/07/12/figshare-repositorio-cientifico-facilita-armazenamento-preservacao-e-compartilhamento-de-dados-de-pesquisa/.Acesso em: 5 fev. 2018.
  » http://www.biblioteca.fsp.usp.br/blog/index.php/2017/07/12/figshare-repositorio-cientifico-facilita-armazenamento-preservacao-e-compartilhamento-de-dados-de-pesquisa
• WOLF, L. A. Giving the Complete Picture: Why Publishing Negative Results Is Important. Journal of Emergency Nursing, v. 43, n. 3, p. 289-290, maio 2017. Disponível em: http://linkinghub.elsevier.com/retrieve/pii/S0099176717301472 Acesso em: 16 jan. 2018.
  » http://linkinghub.elsevier.com/retrieve/pii/S0099176717301472

Datas de Publicação

• Publicação nesta coleção
  23 Set 2020
• Data do Fascículo
  Apr-Jun 2020

Histórico

• Recebido
  12 Maio 2019
• Aceito
  29 Jun 2020