Critérios quantitativos para analisar o valor da publicação de artigos científicos

Quantitative parameters to evaluate the publication of scientific papers

ARTIGO ORIGINAL

Critérios quantitativos para analisar o valor da publicação de artigos científicos

Quantitative parameters to evaluate the publication of scientific papers

Andy Petroianu

^{Endereço para correspondência}

RESUMO

Avaliar a publicação de um trabalho científico é um grande desafio quando é necessário classificar um currículo ou verificar o desempenho de uma instituição, como um programa de pós-graduação ou um setor de pesquisa. Na maioria das vezes, o julgamento tem por base sentimentos e experiências pessoais, sem padrões objetivos estabelecidos.

OBJETIVO: Apresentar uma sugestão para determinar o valor de publicações de trabalhos científicos, sem influências alheias ao trabalho.

MÉTODOS: Este guia para avaliação de publicações fundamenta-se na multiplicação de três fatores. O primeiro fator é o valor numérico atribuído ao autor por sua posição entre os demais na autoria do trabalho. O segundo fator é representado pela importância do tipo de publicação. Finalmente, o produto desses dois fatores é multiplicado por dez vezes o "fator de impacto" do periódico. Para este último item, quando o "fator de impacto" for zero, ele será substituído por 0,1.

RESULTADOS: Esse método tem sido utilizado por nós desde 1994, com bons resultados e sem problemas quanto ao julgamento.

CONCLUSÕES: Esse critério pode prevenir interferências subjetivas. Conflitos de interesse são evitados quando os padrões de avaliação são claramente apresentados no início do processo.

Unitermos: Trabalho científico. Pesquisa. Publicação. Periódico científico. Autoria. Padrão. Critérios e fator de impacto.

SUMMARY

BACKGROUND: The assessment of the publication of scientific works is a hard challenge when it is necessary to classify a curriculum vitae or even to verify the performance of an institution, such as a medical school, a postgraduate program or a research department. Most of time, the evaluation is based on personal feelings and experience, without established standard pattern.

OBJECTIVE: To present a guideline to evaluate the publications of scientific papers, without foreign influence.

METHODS: The guideline to assess the value of each publication is based on the multiplication of three factors. The first factor is the value of the author corresponding to his place among the authors in the authorship of the work. The second factor is the classification of the type of publication. Finally, the product of these two factors is multiplied by ten times the "impact factor" of the journal. When the "impact factor" is zero, 0.1 should substitute it.

RESULTS: This method has been used by us since 1994, with good results and without any problem related to the judgment.

CONCLUSION: This criterion prevents subjective interference. Conflicts of interest are avoided when clearly presented from the beginning of the judgment process.

Keywords: Scientific work. Research. Publication. Scientific journal. Authorship. Guidelines Standard. Bibliometric indicators and Impact factors.

INTRODUÇÃO

A avaliação da publicação de um trabalho científico é muito difícil, principalmente quando é necessário julgar um currículo ou ponderar sobre a produtividade científica de uma instituição. Verificar o desempenho de uma faculdade de Medicina, de um programa de pós-graduação ou de um setor de pesquisa são desafios que raramente escapam da influência subjetiva^1-4. Não existindo padrões objetivos estabelecidos, cabe ao examinador guiar-se por critérios pessoais considerados por ele mais justos, mas que decorrem de sua experiência, sendo eventualmente sujeita a interesses alheios ao trabalho. Essa falta de regras pode, eventualmente, resultar em parcialidade ou falta de uniformidade dentro de uma mesma banca examinadora^3-15.

Ao se observar as publicações, o candidato ou a instituição devem ser julgados pela autoria do trabalho, pelo tipo de publicação e pelo valor do veículo de divulgação. As dificuldades para analisar criteriosamente publicações científicas motivaram o presente artigo, que tem por objetivo apresentar uma proposta para determinar, de maneira quantitativa, o valor dos trabalhos científicos, sem influências alheias aos fatores inerentes à divulgação da pesquisa^10,13.

MÉTODOS

O critério de avaliação tem por base o julgamento, de maneira quantitativa, dos diferentes fatores envolvidos no julgamento da autoria do trabalho, do veículo para sua divulgação e da qualificação da forma em que a pesquisa científica foi publicada.

Posição do autor na lista de autoria

Para facilitar e tornar menos subjetivo o julgamento da autoria, foi considerada a soma de pontos de todos os autores como sendo 15. Esse valor baseou-se na quantificação apresentada em outros artigos sobre esse tema^3,10. A Tabela 1 exibe uma proposta para quantificar o valor de cada posição do pesquisador na autoria do trabalho^{4,9,10,15,16,17}.

Autor único

Tendo em vista que na padronização do presente critério a soma das autorias foi definida como sendo 15, quando um único autor tiver produzido sozinho o trabalho, ele merece receber o valor integral desses pontos^8,13,19.

Dois autores

Entre dois autores, é razoável atribuir ao primeiro um valor 50% superior ao segundo. Dessa maneira, para manter coerente a padronização quantitativa, a diferença proposta deve ser mantida mesmo quando houver mais autores^10,19,20.

Maior número de autores

Existem muitas formas de ordenar os autores e é muito difícil saber o critério utilizado para essa distribuição^{3,7,11,12,14,15,17,19} . Apenas para exemplificar, o primeiro autor pode ser o que teve a idéia, o que mais trabalhou, o orientador da investigação, o coordenador do grupo de pesquisa ou ainda o responsável pelo setor ou pela instituição onde foi desenvolvido o trabalho. Já o último autor pode ser entendido como o que menos trabalhou, o orientador da investigação, o responsável pela instituição onde a pesquisa foi desenvolvida ou aquele que financiou o trabalho.

Na presente padronização, optou-se por manter a ordem decrescente de valor entre o primeiro e o último. Caso o examinador saiba que a equipe ordenou os autores por um critério diferente, é evidente que ele deverá adequar os valores propostos para a autoria à seqüência decrescente por mérito relativo ao trabalho realizado e não pela ordem dos autores na autoria do artigo^10,18.

Os pontos atribuídos ao primeiro autor ou ao autor mais importante para o trabalho são maiores e a diferença entre ele e os demais seguirá uma constante até quando houver cinco autores⁷. A partir desse número, são concedidos valores idênticos para os autores mais afastados do primeiro.

Qualificação do trabalho

Existem grandes diferenças entre os tipos de trabalhos realizados, portanto a sua pontuação também deve ser particularizada de acordo com seu valor para a comunidade científica à qual se destina^{10,11,14,19,20}. Frente às controvérsias encontradas na literatura, decidiu-se pela proposta de pontuação apresentada na Tabela 2. Por esse critério estão inseridos os tipos de divulgação do trabalho e seus respectivos valores¹⁰.

A apresentação em evento científico atinge um público muito restrito e seus conhecimentos são, geralmente, muito fugazes na memória de quem os assiste. É muito rara a consulta aos anais ou mesmo a suplementos de revista que contenham resumos de congressos para buscar subsídios a qualquer trabalho científico. Por outro lado, sabendo que a divulgação em eventos é quase livre de pré-julgamentos, muitos estudos sem critério científico e até mesmo condenáveis sob vários aspectos podem vir a ser expostos. Assim sendo, esse tipo de publicação receberia a menor pontuação.

Uma exceção deve ser feita com respeito à Nota Prévia, que é aprovada pela comissão científica e por um presidente de mesa do evento. Tratando-se, por princípio, de uma informação inédita e que pode ter grande valor, ela é apresentada para preservar a autoria de seu criador antes dos trâmites para uma publicação maior em uma revista. Portanto, essa forma de divulgação merece ser destacada com uma pontuação mais elevada^5,6,10,15.

Quanto às publicações em revista, elas devem receber uma pontuação superior, pois mesmo as Cartas ao Editor passam por um julgamento editorial antes de serem aprovadas.

Qualificação da revista

Conceder valor ao autor e à instituição por seu trabalho é menos difícil do que ponderar a qualificação da revista^2,3,9,19. De início, não seria complicado se apenas fosse levado em conta o "fator de impacto" da revista em que o artigo foi publicado. Contudo, são notórios os seguintes aspectos^8,10,20,21:

• há muitos artigos excelentes publicados em revistas de menor impacto ou que não estão incluídas no Index Medicus;

• grande parte dos artigos publicados em revista com impacto maior são passíveis de críticas severas por sua baixa qualidade e por terem sido aceitos devido a interesses alternativos, sem relação com o valor científico do trabalho;

• há um preconceito estabelecido em muitas revistas estrangeiras em relação a artigos provenientes de locais considerados menos desenvolvidos cientificamente, como é o caso dos países latino-americanos, os da África e de parte da Ásia;

• há quase que um bloqueio à inclusão de novas revistas dentro do Index Medicus e, conseqüentemente, a elas é negado o "fator de impacto".

Um outro aspecto a ser ponderado refere-se ao público específico a que se dirige cada trabalho realizado^8,9. Dessa forma, os autores precisam escolher o periódico mais adequado para atingir a essa população. Há pesquisas que interessam apenas à pequena comunidade na qual foram produzidas; outras podem ter alcance municipal ou regional; já a maioria é voltada para uma divulgação nacional e, se possível, mundial. Não se deve considerar que uma investigação de alcance mundial seja mais bem feita ou que tenha mais valor do que uma outra voltada a interesses comunitários específicos. O trabalho tem que ser analisado por suas qualidades intrínsecas e não pelo seu alcance em quantidade de público ao qual ele é direcionado.

Não é incomum encontrarem-se examinadores mais limitados intelectualmente, mesmo sendo renomados e pertencentes a grandes universidades ou até a órgãos governamentais, que, para avaliarem a produção científica, trazem consigo a lista do "fator de impacto" e fundamentam seu julgamento exclusivamente na soma dos impactos das revistas em que os artigos foram publicados^11,12,14. É evidente que a publicação em uma revista de maior impacto contribui para elevar o nome dos autores, da instituição e até de nosso país, mas há outros valores que precisam ser levados em conta e que somente os examinadores mais sensíveis e sábios são capazes de perceber^20,10.

Pontuação pelo valor da autoria

Uma vez estabelecidos os pontos de cada um dos itens acima, com o auxílio das respectivas tabelas, a pontuação final é dada pelo produto de cada um desses fatores. Assim, multiplicam-se os pontos da posição do autor pelos pontos do tipo de publicação. Acrescenta-se a esse produto o fator de impacto da revista.

Considerando que os fatores de impacto variam entre zero e ao redor de 67, sendo que a grande maioria situa-se abaixo de um ponto, não se pode aplicar a multiplicação simples, pois todas as publicações em revistas com fator de impacto menor de um ponto seriam prejudicadas. Como conseqüência desse fato, sugere-se que o menor fator de impacto a ser atribuído a cada veículo de divulgação, indexada ou não, seja 0,1, mesmo para aquelas que estiverem abaixo desse valor ou que não tenham classificação. Em seguida, o fator de impacto seria multiplicado por 10 e esse resultado seria o levado em conta para ser multiplicado com o produto obtido pela posição do autor e tipo de publicação¹⁰.

Exemplo da aplicação desses critérios

Para se compreender melhor a aplicação prática desses parâmetros para a análise da produção científica, segue um exemplo de pontuação tendo como base um artigo que foi considerado aleatoriamente: Neugut AI, Marvin MR, Rella VA, Chabot JA: An overview of adenocarcinoma of the small intestine. Oncology 1997; 11: 529-36.

O valor da publicação para cada autor equivale ao produto de três parâmetros: (posição do autor entre os demais na autoria do artigo) X (tipo de publicação) X (fator de impacto X 10)

Nesse artigo há quatro autores, portanto, seguindo a Tabela 1, o primeiro autor receberá 6 pontos, o segundo autor, 4 pontos, o terceiro autor, 3 pontos e o quarto autor, 2 pontos, totalizando os 15 pontos propostos para o total da autoria.

Essa publicação é um artigo de revisão sem contribuição pessoal, que, de acordo com a Tabela 2, vale 40 pontos.

O fator de impacto da Revista "Oncology" é 1,274, que multiplicado por 10 resulta em 12,74.

Portanto, a pontuação de cada autor nesse artigo é:

Neugut AI: 6 X 40 X 12,74 = 3057,6 pontos

Marvin MR: 4 X 40 X 12,74 = 2038,4 pontos

Rella VA: 3 X 40 X 12,74 = 1528,8 pontos

Chabot JA: 2 X 40 X 12,74 = 1019,2 pontos

CONCLUSÕES

Observa-se, pelo presente artigo, a complexidade que gira em torno dos critérios para se avaliar a publicação de um trabalho científico. Este é um assunto muito delicado e que tem de ser cuidado com muita seriedade, pois envolve o nome de um pesquisador e, por trás dele, todos os princípios individuais, como honra, credibilidade, respeito, interesses, ideais e assim por diante^{1-5,7,10,13,14,17}.

Os tópicos abordados refletem os pontos de vista do autor, com base na literatura e vivência científica pessoal. Esses critérios vêm sendo utilizados por nós em várias oportunidades e diferentes tipos de julgamento, desde 1994, com bons resultados e sem problemas decorrentes de nossa avaliação, pois evitam interferências subjetivas. Previnem-se também conflitos de interesse, pois esse padrão é exposto no início do processo de análise, para o conhecimento dos interessados e demais membros das bancas examinadoras das quais participamos. Entretanto, cabe ao leitor meditar sobre os valores apresentados e seguir a conduta que lhe parecer mais correta e honesta.

REFERÊNCIAS

Artigo recebido: 07/06/2002

Aceito para publicação: 13/03/2003

Trabalho realizado no Departamento de Cirurgia da Faculdade de Medicina da UFMG, Belo Horizonte, MG

• ¹
  Conselho Federal de Medicina. Código de Ética Médica. Resolução CFM n.1246/88; 1988.
• 2. Petroianu A. A pesquisa em medicina. Medicina 1992; 25:327-9.
• 3. Petroianu A. Ética moral e deontologia médicas. Rio de Janeiro: Guanabara Koogan; 2000.
• 4. Petroianu A. Aspectos éticos da pesquisa em cirurgia. Bol Col Bras Cir 2001; 32:45-8.
• 5. Fye WB. Medical authorship. Ann Intern Med 1990; 113:317-25.
• 6. Huth EJ. Guidelines on authorship of medical papers. Ann Intern Med 1986; 104:269-74.
• 7. King CR, McGuire DB, Longman AJ, Carroll-Johnson RM. Peer review, authorship, ethics, and conflict of interest. Image J Nurs Sch 1997; 29:29: 163-7.
• 8. Petroianu A. Publicação do trabalho científico. Ciência Cultura 1983; 37:410-3.
• 9. Petroianu A. Autoria de um trabalho científico. Arq Med Hosp Fac Santa Casa São Paulo 1991; 11:83-84.
• 10. Petroianu A. Autoria de um trabalho científico. Rev Assoc Med Bras 2002; 48:60-5.
• 11. Rennie D, Flanagin A, Glass RM. Conflicts of interest in the publication of science. JAMA 1991; 266:266-7.
• 12. Roland CG. Trends in authorship. Arch Intern Med 1970; 125:771-2.
• 13. Room R. Envolving standards for authorship. Addiction 1995; 90:1321-2.
• 14. Wenger NS, Korenman SG, Berk R, Berry S. The ethics of scientific research. J Investig Med 1997; 45:371-80.
• 15. Wilcox LJ. Authorship. JAMA 1998; 280:216-7.
• 16. Drenth JPH. Multiple authorship. JAMA 1998; 280:219-21.
• 17. Petroianu A. Elaboração do trabalho científico. Médico Moderno 1985; 4:63-72.
• 18. Rennie D, Yank V, Emanuel L. When authorship fails. JAMA 1997; 278: 579-85.
• 19. Petroianu A. Considerações sobre a pós-graduação stricto sensu em Medicina. Rev Assoc Med Bras 1995; 41:391-6.
• 20. Petroianu A. A pesquisa em Medicina, na graduação e pós-graduação. Bol Col Bras Cir 2001; 32:33-6.
• 21. SCI - J Citation Reports. 1993. p.50-69.

Datas de Publicação

• Publicação nesta coleção
  22 Jul 2003
• Data do Fascículo
  Jun 2003

Histórico

• Aceito
  13 Mar 2003
• Recebido
  07 Jun 2002