A avaliação da produtividade em pesquisa na Educação Física: reflexões sobre algumas limitações dos indicadores bibliométricos

Evaluación de la productividad en la investigación en Educación Física: reflexiones sobre ciertas limitaciones del indicadores bibliométricos

The assessment of productivity in research in Physical Education: reflections on some limitations of bibliometric indicators

BIODINÂMICA

A avaliação da produtividade em pesquisa na Educação Física: reflexões sobre algumas limitações dos indicadores bibliométricos

The assessment of productivity in research in Physical Education: reflections on some limitations of bibliometric indicators

Evaluación de la productividad en la investigación en Educación Física: reflexiones sobre ciertas limitaciones del indicadores bibliométricos

Marcelo Vitor-Costa; Priscila Maia da Silva; Jeane Barcelos Soriano

Universidade Estadual de Londrina

^Endereço

RESUMO

Nosso objetivo foi analisar as limitações da avaliação bibliométrica baseada no uso da citação; e refletir sobre a influência desta forma de avaliação da produção de conhecimento na área da Educação Física, especialmente na pós-graduação. Fizemos uma descrição das principais limitações dos indicadores (fator de impacto e índice h) utilizados no Brasil para avaliação da produção de pesquisa. Revistas e pesquisadores podem estar mudando seu comportamento para aumentar seu impacto no sistema de avaliação, com consequências como o distanciamento entre o que é produzido na área de conhecimento e sua relevância social e acadêmica. As formas de avaliação precisam ser (re)pensadas de forma mais profícua, quanto aos seus efeitos sobre a qualidade das publicações científicas. Consideramos fundamental um maior envolvimento por parte da comunidade acadêmica e científica, em discussões sobre as consequências que o uso desses indicadores baseados em citação pode trazer para a área da Educação Física.

Unitermos: Indicadores bibliométricos-fator de impacto; Indicadores bibliométricos-índice h; Produção de conhecimento; Educação Física.

ABSTRACT

The aim was examine the limitations of bibliometric evaluation based on citation, and discuss the influence of this form of assessment of knowledge production in Physical Education, especially in post-graduate programs. Thus, we made a description of the main limitations of the bibliometric indicators (impact factor and h-index) used in Brazil to assess the production in research. Journals and researchers may be changing their behavior to increase their impact/score in the evaluation system, with consequences like the gap between what is produced in the area of Physical Education and its academic and social relevance. We consider that the forms of assessment need to be (re)designed as well as the quality of scientific publications more productively considered. We believe it is crucial a greater involvement of the academic and scientific community in discussions about the consequences of using these citation-based indicators to the area of Physical Education.

Uniterms: Bibliometric indicators-impact factor; Bibliometric indicators-h-index; Production of knowledge; Physical education.

RESUMEN

Nuestro objetivo fue analizar las limitaciones de la evaluación bibliométrica basadas en el uso de la citación y reflexionar sobre la influencia de este tipo de evaluación de la producción de conocimiento en el área de Educación Física, sobre todo en la posgrado. Describimos las principales limitaciones de los indicadores (factor de impacto y índice h) utilizados en Brasil para evaluar la investigación cientifica. Revistas y investigadores pueden cambiar su comportamiento para incrementar su impacto en el sistema de evaluación, con consecuencias como la brecha entre lo conocimiento producido en la área y su relevancia social y académica. Las formas de evaluación deben ser (re)pensadas, por sus efectos sobre la calidad de las publicaciones. Consideramos que es esencial una mayor participación de la comunidad académica y científica en los debates sobre las consecuencias que el uso de estos indicadores bibliométricos pueden aportar al área de Educación Física.

Palabras clave: Indicadores bibliométricos-factor de impacto; Indicadores bibliométricos- índice h; La producción de conocimiento; Educación Física.

Introdução

Nas últimas décadas, com o aumento do volume da produção de conhecimento científico, a bibliometria

O número de publicações vem sendo considerado referência na avaliação da produção de conhecimento, em especial na pesquisa acadêmica. Assim, a partir da sistematização de grandes bases de dados indexadoras de periódicos científicos, o uso da citação acabou sendo adotado como medida indicativa da qualidade dos trabalhos publicados (LARSEN & VON INS , 2010). Como decorrência, a análise de citação se tornou uma das áreas de maior destaque na bibliometria e, também, tem sido empregada como referência para medir o progresso brasileiro em ciência (ARAÚJO, 2006; CENTRO DE GESTÃO E ESTUDOS ESTRATÉGICOS - CGEE, 2008).

Os indicadores bibliométricos frequentemente são adotados por órgãos que regulamentam e fomentam a pós-graduação e a pesquisa no Brasil², tais como a Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES), o Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq) e as Fundações de Amparo a Pesquisa dos Estados. Mesmo que o sistema de avaliação nesses órgãos possa ser composto por outros itens, as agências financiadoras de pesquisa ou pós-graduação recorrem ao uso do escore obtido, baseado nessas medidas, para definir seu plano de investimento

Desse modo, os indicadores bibliométricos se enquadrariam mais como instrumentos econométricos, pois acabariam norteando as análises de custo-efetividade em investimentos voltados para a pesquisa. Acrescentase ainda que, com a redução de recursos e o aumento na disputa por fomento, a produtividade em pesquisa, "[...] sobretudo em termos de publicação nos veículos acadêmicos de melhor reputação nos respectivos campos [...]", é um requisito para obtenção de financiamento destinado à produção de conhecimento (CASTIEL & SANZ-VALERO, 2007, p.3042).

O acirramento da competição no contexto da produção de conhecimento científico pode gerar alguns empecilhos, principalmente para a Educação Física que ainda é uma área incipiente em pesquisa. Dentre os problemas, tem-se que poucas pesquisas aplicadas são realizadas na área, bem como o seu potencial de publicação é baixo em revistas de alto impacto. Esse aspecto pode ser deletério para Educação Física, uma vez que a área tem características profissionalizantes, que se aproximariam mais de problemas originários das condições de intervenção e desenvolvimento tecnológico, do que da produção de conhecimento de caráter básico (BETTI, 2005; LOVISOLO, 2007; SORIANO & WINTERSTEIN, 2004).

Outro aspecto a ser destacado, diz respeito à mudança de comportamento dos pesquisadores para galgarem as melhores posições na avaliação da produção de conhecimento (ABBOTT, CYRANOSKI, JONES, MAHER, SCHIERMEIER & NOORDEN, 2010; TANDON, MAHAJAN, SHARMA & GUPTA, 2006). Isso pode levar a uma diminuição na qualidade do que é produzido, uma vez que algumas estratégias são empregadas para aumentar o volume de produção científica (GRIEGER, 2005; HUTH, 1986; LOVISOLO, 2007; MONTENEGRO, 1999). A associação que se dá de forma postiça entre autores que não, necessariamente, tiveram contribuição significativa para o trabalho, caracteriza-se como uma prática questionável (COMMITTE ON SCIENCE, ENGINEERING, AND PUBLIC POLICY, 2009; PANEL ON SCIENTIFIC RESPONSIBILITY AND THE CONDUCT OF RESEARCH, 1992; STENECK, 2006). Com a finalidade de atingir um nível competitivo de produtividade, a justificativa é de se realizar uma pesquisa em cooperação quando na verdade, utiliza-se de critérios pouco claros para compor a efetiva associação entre os autores (BENNETT & TAYLOR, 2003; BIAGIOLI, 1998; BUSSATO FILHO, 2002; CASTIEL & SANZ-VALERO, 2007; CNPQ, 2011, 2012; GRIEGER, 2005; MONTENEGRO, 1999).

Tais estratégias têm sido discutidas ou investigadas por diversos pesquisadores, mas parece que o ponto pacífico entre eles diz respeito às implicações desastrosas para a produção de conhecimento. Como decorrência de certa aculturação de condutas, essas práticas vêm inflacionando as demandas por autorias, sem que necessariamente, a participação de outro pesquisador se efetive como tal, como por exemplo, a autoria presenteada, que diz respeito à inserção de autores que não contribuíram efetivamente para o trabalho (BUSSATO FILHO, 2002; CASTIEL & SANZ-VALERO, 2007; GOLLOGLY & MOMEN, 2006; GRIEGER, 2005; HUTH, 1986; LAWRENCE, 2003; MARCOVITCH, 2007).

Os indicadores bibliométricos empregados como forma de avaliação têm se tornado um assunto de grande destaque em vários fóruns, no entanto, ainda é pouco debatido junto à comunidade científica da Educação Física quanto às suas implicações para produção de conhecimento. Sobretudo, quando se identifica que os indicadores numéricos podem e vêm assumindo a centralidade, senão a exclusividade, dos processos de tomada de decisão acerca da suposta qualidade, que eles possam representar na avaliação da produção científica, seja de um pesquisador isoladamente, ou de um grupo de pesquisadores.

Observa-se que em várias áreas, junto aos órgãos de fomento ou à pós-graduação, os indexadores e suas listas de ranqueamento se fazem presentes para categorizar pesquisadores e instituições. Tal movimento tem sido colocado em "xeque", tendo em vista que, esses indicadores são supostamente objetivos, fáceis para mensurar, baseados em índices de publicação e citação (NATURE , 2010a). Assim, eles têm ditado: a) quem deve ser promovido e quem deve ser contratado; b) o sucesso de submissões para obtenção de fomento destinados a projetos de pesquisa; c) quem deve receber algum tipo de incentivo ou bônus em seus rendimentos (ABBOTT et al.,, 2010; BAKKALBASI, BAUER, GLOVER & LEIWANG, 2006; ROSSNER, EPPS & HILL, 2007).

Desenhada como estratégica para institucionalização da pesquisa, desde a década de I960, principalmente nos Estados Unidos (EUA), a universidade e a pós-graduação vão estruturando sua conformação e dependência na estreita relação com o campo científico e, em especial com a pesquisa básica (BUSH, 1945; PRESIDENT'S SCIENCE ADVISORY COMMITTEE , I960). Ao cingir a ideia de contribuição da pesquisa e produção de conhecimento à proposta de desenvolvimento econômico, o desenho da pósgraduação brasileira, ao manter relação com os EuA na mesma década, estabeleceu a universidade como principal responsável pela produção da pesquisa básica (BARROS, 1998; CURY, 2005; MOREIRA & VELHO, 2008; SA BARRETO, 2006; VERHINE, 2008).

Como consequência desse quadro, no Brasil há uma predominância instalada de produção de conhecimento no cenário acadêmico, pautado na lógica de organização da pesquisa básica. Com isso, "[...] as áreas profissionais e aplicadas continuam sendo avaliadas a partir de parâmetros das áreas básicas e acadêmicas, prevalecendo o paper e o livro sobre as criações e os inventos" (BRASIL, 2010, p.127). Demonstrando assim, que a organização da pós-graduação brasileira reflete, inerentemente, a primeira etapa do modelo linear de inovação: Pesquisa Básica → Pesquisa Aplicada → Desenvolvimento Tecnológico e Inovação (MOREIRA & VELHO, 2008). Logo, mesmo as áreas de conhecimento aplicado têm o desenvolvimento da formação de recursos humanos e da produção de conhecimento "[...] nos moldes institucionais da pesquisa acadêmica [...], e só raramente conduzem a aplicações efetivas" (SCHWARTZMAN, 2002, p.373).

Mesmo que entre os vários PNPGs, o desenvolvimento científico não tenha se dado "pari passu" com a almejada projeção de avanço científico do Brasil no cenário internacional, é no PNPG 2005-2010 que a avaliação da produtividade dos programas torna a referência à produção científica como nuclear, pois dever-se-ia considerar o "[...] impacto e relevância na fronteira do conhecimento ao avaliar-se a produção científica, aferindo-a por sua visibilidade (índice de impacto) e também por sua contribuição intrínseca ao conhecimento novo (índice de citação)" (CAPES, 2004, p.63).

Da estreita vinculação entre a pós-graduação e o campo científico, depreende-se que o sistema de avaliação da primeira funciona conforme as pressões sofridas nas negociações e intermediação com o segundo, importando dele inclusive as demandas, conflitos e lutas por acúmulo do que BOURDIE U (2004) chamou de capital científico. Assim, o capital científico não é apenas um indicador de capacidade científica, mas o seu acúmulo permite a um determinado grupo ou área exercer poder social ou político de influenciar o funcionamento do campo no qual está inserido (ÁVILA, 1997). Dificilmente, nesse caso, a organização da pós-graduação consegue resistir às pressões externas atinentes ao campo científico (MAIA DA SILVA, 2010). Um dos desdobramentos é a transferência direta para o campo da pós-graduação do sistema de valoração e aferição de "qualidade" da produção de conhecimento do campo científico. Como que em uma "transliteração" bastante restritiva do que seja qualidade em ciência, a avaliação da pós-graduação é traduzida, preponderantemente, por medianas e médias, compostas entre os produtos-artigos disseminados e estratificados.

Tendo-se esse aspecto em mente, destaca-se que o principal conjunto de procedimentos utilizados pela CAPES para estratificação da qualidade da produção intelectual dos programas de pós-graduação, o Qualis Periódicos, é constituído a partir de diversas bases referenciais e indicadores bibliométricos baseados em citação. Tal procedimento reflete o que os respectivos Comitês de Avaliação das Áreas na CAPES propõem como escores de pontuação para cada estrato dos periódicos que congrega.

Assim, tenciona-se com a construção do Qualis, uma "[...] estratificação da qualidade da produção intelectual dos programas de pós-graduação [a fim de que se possa aferir] a qualidade dos artigos e de outros tipos de produção, a partir da análise da qualidade dos veículos de divulgação, ou seja, periódicos científicos" (CAPES, 2012, p.1, termo acrescido). Porém, não há como negar a forte influência que o Qualis exercerá nas estratégias empregadas pelos docentes pesquisadores no campo da pós-graduação, de modo que as aspirações e interesses científicos e temáticos também se estratificarão, condicionando as suas trajetórias individuais (ÁVILA, 1997).

Determinado e determinante o Qualis é reorganizado em conformidade com a fluência e lutas do campo científico e sua estreita relação com a disputa por financiamento. Não fica muito difícil a compreensão do porquê a área da Educação Física, na busca pelo "status" científico, aproximou-se mais das ciências biológicas, tentando ajustar-se à lógica de produtividade em pesquisa predominante no campo científico.

Ainda que se possa advogar que o Qualis não tenha sido concebido para nortear a produção, ao se estabelecer como um instrumento de classificação, ele delineará a produção das subáreas de conhecimento, de forma que acaba permitindo a criação de um sistema de referências para convalidar posições políticas e científicas, independentemente das características das áreas.

O sistema classificatório empregado no Qualis segue o funcionamento do cenário científico brasileiro, que tem na universidade o principal local de produção de conhecimento, norteada, por sua vez, pela pesquisa básica e "[... ] as atividades de pesquisa que acontecem no âmbito da pós-graduação como um todo e a formação de doutores em particular são parte correlata da produção de conhecimento e da ciência que se faz no Brasil" (BRASIL, 2010, p.257). Com isso, a forma de reconhecimento da excelência do trabalho realizado por docentes pesquisadores nos programas de pós-graduação reforça a linearidade e suposta dependência entre pesquisa básica e aplicada. A decorrência é que indivíduos podem engajar-se em atividades de pesquisa em proximidade com a pesquisa básica, o que supostamente garantiria maior reconhecimento e prestígio no campo científico (MOREIRA & VELHO, 2008).

Na Educação Física, esse processo não se manifesta apenas em relação à Biodinâmica, Ciências Sociais e Humanas. Podemos depreender, por exemplo, que mesmo entre os agentes que compõem o grupo da biodinâmica, aqueles que se aproximam mais dos temas relacionados à pesquisa básica contarão com a possibilidade de disseminação em periódicos estratificados de forma mais prestigiosa. Isso pode ser facilmente observado por meio do fator de impacto. Além disso, não há, necessariamente, limitações de escopo nas revistas típicas da Educação Física, possibilitando que artigos atinentes mais às áreas de pesquisa básica também possam ser disseminados nelas (LOVISOLO , 2007; MARCHLEWSKI, MAIA DA SILVA & SORIANO, 2011).

Os critérios para estratificação de periódicos da Área 21 - Educação Física³, resultaram em uma lista com cerca de 1275 periódicos Webqualis/2012⁴ (entre os estratos A1 e B1) denotando, assim, o caráter estruturante do Qualis na hierarquização inter e intra-áreas, seja na relação entre as subáreas da Biodinâmica, entre a Biodinâmica e a Saúde, bem como, entre a Biodinâmica, Saúde e Ciências Sociais e Humanas.

Do contrário, se o professor pesquisador, pudesse de fato selecionar livremente periódicos não estratificados, sem impingir-lhe a responsabilidade pela nota do programa de pós-graduação a que pertence, por que, então, restringir os nove mil periódicos da base multidisciplinar da Web of Science ou sete mil da base Scopus, a 1275 periódicos listados?

Ao considerar a complexidade do sistema de avaliação da pós-graduação e da produção de conhecimento no campo da pesquisa na área da Educação Física, colocamos como objetivos deste ensaio: a) analisar as limitações da avaliação bibliométrica baseada no uso da citação; e b) refletir sobre a influência desta forma de avaliação da produção de conhecimento na área da Educação Física, especialmente na pós-graduação.

Avaliação da produtividade em pesquisa e suas limitações

A partir da II Guerra e início da Guerra Fria, a ciência se institucionaliza como vitrine de preponderância e/ou dominação intelectual e, por decorrência, econômica (GEIGER, 1997, 2009). Em relação à pósgraduação, no Parecer 977/65, fica evidenciado o modelo a ser implementado no Brasil e que, espelhado no formato americano, demarca a sistematização da formação do "stricto-sensu" com "[...] natureza acadêmica e de pesquisa e mesmo atuando em setores profissionais [teria] objetivo essencialmente científico" (ALMEIDA JÚNIOR, SUCUPIRA, SALGADO, BARRETO FILHO, SILVA, TRIGUEIRO, LIMA, TEIXEIRA, CHAGAS & MACIEL , 2005, p.166, termo acrescido).

Ao considerar a pesquisa um componente estratégico de desenvolvimento social, cultural, mas, sobretudo, econômico (GEIGER, 2009), com certo atraso, a bem da verdade, acompanha-se no Brasil aquilo que vem sendo detectado no cenário internacional, que é a criação de novas vertentes e modalidades de financiamento e estratificação das áreas de conhecimento. Assim tem-se: a) um sensível incremento no número de artigos (GRIEGER, 2005; MONTENEGRO, 1999); b) um aumento no número de autores por artigo (BROAD, 1981; HUTH, 1986; MONTENEGRO , 1999); c) a busca da "otimização", com o estabelecimento, por exemplo, da Unidade Mínima Publicável⁵ (BROAD , 1981), entre outros aspectos, denotam alguns desdobramentos e demandas que vão desenhando mudanças para cultura científica.

Na medida em que tais fatores vão sendo impactados pelas mudanças tecnológicas e tratamentos multidisciplinares, com implicações diretas para o desenvolvimento de projetos de pesquisa (GRIEGER, 2005; MONTENEGRO, 1999), não se pode negar como vão sendo desenhadas: a) as possibilidades de ascensão na carreira de docentes e pesquisadores; b) disputa por fomento a pesquisa; c) a construção de parâmetros que classificam cursos de pós-graduação, com respectivo impacto para o seu financiamento; d) a classificação do "mérito" de pesquisadores para atribuição de bolsas, junto às agências de pesquisa, federais e estaduais.

A justificativa que permeia os documentos oficiais para distribuição ideal do recurso é a excelência acadêmica, científica e/ou tecnológica⁶. Congruente à necessidade de classificação e inerente a implementação do recurso, o que vemos no lugar da avaliação da pesquisa ou do curso de pós-graduação é a avaliação dos professores-pesquisadores-orientadores pela performance em indicadores bibliométricos. Dessa forma, torna-se muito mais fácil lidar com a quantificação de alguns números do que pensar seriamente sobre o que uma pessoa realizou (LA WRENCE, 2003; WATERS, 2006).

Ainda que existam outras formas de avaliação da produção científica, abordaremos os principais indicadores bibliométricos utilizados pelas agências de pesquisa e pós-graduação brasileiras para avaliação do desempenho de pesquisadores: a) o fator de impacto (PI), utilizado para avaliar o "impacto" de periódicos; e b) o índice h, que permite identificar a "influência" individual de um determinado pesquisador, mas também, de periódicos⁷.

O fator de impacto: antes da fascinação, a realidade

Desde 1972, o fator de impacto (FI) é calculado pelo Institute for Scientific Information (ISI) sendo, inicialmente, previsto apenas como um auxílio para bibliotecas avaliarem os periódicos científicos a serem assinados (W ALLIN, 2005). O FI é uma medida que reflete o número médio de citações de publicações em determinado periódico. É calculado da seguinte maneira: divide-se o número de citações do ano corrente, de quaisquer itens publicados em uma revista nos dois anos anteriores (numerador) pelo número de artigos publicados, nos mesmos dois últimos anos (denominador) (GARFIELD , 1999). Por exemplo, se um periódico publicou 135 trabalhos nos anos de 2008 e 2009 e estes foram citados 150 vezes no ano de 2010, dentre os demais periódicos da área na mesma base de dados, então seu FI de 2010 será: 150/135 = 1,11.

As medidas bibliométricas podem ser interessantes, pois oferecem um panorama geral do crescimento científico, uma vez que permitem a comparação da atividade de pesquisa em diferentes regiões de um mesmo país e podem fornecer parâmetros para o investimento em regiões com menor desenvolvimento e menor produtividade em pesquisa (SILV A & BIANCHI, 2001). No entanto, sua utilização não está livre de críticas por parte dos pesquisadores, cientistas e administradores.

Em um levantamento promovido pela revista Nature, dentre os 150 leitores-participantes⁸, 50,7% disseram que mudaram seu comportamento devido a forma com que eles estavam sendo avaliados, e 71,3% se disseram preocupados com seus colegas, pois poderiam estar jogando e enganando o sistema para se sair bem nas avaliações. Também foi questionado aos respondentes, quais atividades eles consideravam que a instituição ou departamento enfatizava mais para avaliação de desempenho ou como indicadores para o avanço na carreira. Dentre as 36 listadas no instrumento utilizado, três se destacaram como sendo priorizadas: a) bolsas e fomentos a partir de fontes governamentais; b) número de publicações; e c) publicação em periódicos com alto fator de impacto (NATURE , 2010b).

Apesar de no Brasil, a maior parte dos pesquisadores terem estabilidade, por pertencerem à Universidade Pública, são as estratégias para obtenção e/ou manutenção de financiamento que garantirão a sobrevida do pesquisador e sua linha de investigação na estrutura de pesquisa, seja por meio de injeção de bolsas de estudo, captação em chamadas públicas e/ou ascensão de nota dos programas de pós-graduação a que pertencem. Portanto, esses aspectos acabaram por se tornar determinantes para sobrevivência e/ou poder dos pesquisadores e seus grupos de pesquisa, podendo interferir, na forma como se comportam no campo da pesquisa e da pós-graduação (SGUISSARDI & SILVA JÚNIOR, 2009).

Grande parte dos entrevistados da pesquisa realizada pela Nature (NATURE, 2010b) respondeu não estar muito satisfeita com a forma de avaliação bibliométrica, pois as agências de fomento estariam confundindo impacto com qualidade das pesquisas, como se fossem sinônimos (ABBOTT et al., 2010). No entanto, é preciso ter claro que a qualidade de um estudo deve estar atrelada ao conteúdo científico da publicação, enquanto que o impacto pode dizer respeito à influência que um artigo terá num momento, destacando-o em função de seu papel numa temporada, como algo da "moda" (SILVA & BIANCHI, 2001). Todavia, não necessariamente a pesquisa seria julgada pela discussão significativa que deveria ser promovida em uma determinada área, denotando assim, uma falha em se reconhecer adequadamente se tal produto é ou não um avanço promovido na produção de conhecimento (LoscALZO, 2011).

Rapidamente o FI ascendeu como ferramenta "potencial" e "fidedigna" para analisar e avaliar projetos de pesquisa na distribuição de financiamento (MCALISTER, LAWSON, GOOD & ARMSTRONG, 2011; WILCOX , 2008). Isto tem levado a um uso generalizado e errôneo do FI, assim como a assunção da qualidade da pesquisa, a partir de um simples indicador numérico. Sendo, no entanto, um incomensurável erro sua utilização para avaliação de pesquisadores e cientistas (DEMPSEY, 2009; HERNÁN, 2008; LOSCALZO, 2011; NOORDEN , 2010). Por ser derivado das citações de todos os artigos em um periódico, este número não necessariamente diz algo sobre a qualidade de um trabalho de qualquer artigo e/ou autor em especial (PLOS MEDICINE EDITORS, 2006; SZKLO, 2008).

Assim, é fundamental a realização de alguns apontamentos que permitam certa ponderação relacionada à aplicação e um escrutínio mais independente acerca desse indicador. Sobretudo, quando a exemplo do que vem acontecendo em alguns países, da mesma forma que no Brasil, o financiamento público da pesquisa e pós-graduação tem estabelecido sua dependência em relação ao número de publicações em periódicos com FI (PLOS MEDICINE EDITORS, 2006).

Junto a diversos posicionamentos de editores de periódicos e autores, podem ser encontradas reflexões sobre algumas limitações relacionadas ao FI, enquanto parâmetro para avaliação de qualidade. Todavia, é interessante destacar, que desde a década de 1970, já havia certo desconforto com os desvios do "Jogo da Publicação" (BROAD , 1981) e o incentivo direto ou indireto em direção ao "volume" de produtos publicados, em vez da busca por sua qualidade, originalidade e inovação (LOSCALZO, 2011; RELMAN, 1977).

Dentre as limitações no uso do FI, GARFIELD (1982) lembrou que as características de citação podem variar conforme o tipo de produção predominante entre as diversas áreas existentes, sendo que autores das artes e humanidades tendem a citar mais livros do que artigos e podem também citar pinturas, poemas, gravações, filmes, entre outros.

É necessário considerar, também, que a quantidade de periódicos por área pode influenciar no indicador de citação, pois áreas com grande número de revistas contam com um significativo volume de artigos, aumentando suas chances de serem citados. O número de referências por artigo também pode interferir no FI, pois existem áreas que têm por característica utilizar mais produções, como por exemplo, a áreas relacionadas à biologia e outras menos como é o caso da matemática (GARFIELD, 1997; PINTO & ANDRADE, 1999). Outro aspecto que merece destaque é o interesse restrito ou regional de um determinado assunto, porém não menos importante que alguns trabalhos podem ter para a sociedade, mas que não despertariam interesse perante a literatura internacional, não consolidando índice suficiente para FI (KING , 2004; PINTO & ANDRADE, 1999; PLOS MEDICINE EDITORS 2006; SEGLEN, 1997). Por fim, artigos que possuem erros ou dados experimentais, ao serem contestados, apresentam uma tendência ou frequência de citação maior, muito mais em função da polêmica que causam do que, necessariamente, pelo suposto impacto que teriam numa determinada área (IOANNIDIS, 2005; PINTO & ANDRADE, 1999; ROSSNER, EPPS & HILL, 2007).

Além desses aspectos, gostaríamos de destacar outro ponto que merece reflexão e que está relacionado à idade média da literatura citada. Quando o FI leva em consideração apenas os dois anos anteriores ao analisado, as áreas que têm uma característica mais "dinâmica" na produção científica são favorecidas. Por outro lado, algumas áreas das ciências sociais e humanas contam com um menor número de citações em suas referências. Muitas vezes, se utilizam de referenciais teóricos clássicos cuja raiz é mais autoral do que multiautoral, ou ainda o campo empírico não permite que o objeto investigado seja fragmentado em várias Unidades Mínimas Possíveis (LPU - Least Publishable Unit) (BROAD , 1981). Dessa forma, as ciências sociais e humanas terão um processo mais lento para atingir um determinado número de citações (W ALLIN , 2005). No entanto, pelo método padronizado para analisar o FI, os periódicos das ciências sociais e humanas podem ser considerados de "menor impacto". co m isso, é preciso cuidado no uso de indicadores bibliométricos baseados em citação e sua uniformização, procurando-se considerar a especificidade de citação das áreas e subáreas de conhecimento (ABBOT T et al., 2010; VANZ & CAREGNATO, 2003).

Por exemplo, o periódico Sports Medicine (2010 - JCR Science Edition), que recebe artigos preponderantemente da área de fisiologia do exercício da Educação Física tem um FI igual a 5.072⁹, enquanto que a Quest e o Journal of Teaching in Physical Education (2010 - JCR Social Science Edition), que são periódicos de caráter mais abrangente, junto à Educação Física, têm respectivamente um FI igual a 0,614 e 0,621¹⁰. No entanto, não se pode afirmar, categoricamente, que artigos publicados no primeiro periódico tem maior qualidade que aqueles publicados nos outros dois. Uma das razões para esta diferença se dá em função das características peculiares no uso de citações de subáreas em uma mesma área de conhecimento, como é o caso da Educação Física.

Outra ocorrência que vem sendo detectada se dá quando algumas revistas sugerem que os artigos submetidos devem conter alguma citação do próprio periódico (PINTO & ANDRADE, 1999), insuflando artificialmente os seus FIs. Consoante a isso, muitos editores supostamente são pressionados a buscar caminhos para aumentar o FI e podem interferir na seleção de artigos, por exemplo, ao recusarem trabalhos sem chances de citação imediata e aceitarem aqueles que, quando publicados, poderão atrair um amplo número de citações (CASTIEL & SANZ-VALERO, 2007; WALLIN, 2005). Isso torna, muitas vezes, o processo de decisão editorial, recheado de elementos tácitos e mais importantes que a revisão por pares, suscetível a uma boa rede de relações e contatos informais "persuasivos", e que podem selar as tendências e perspectivas da produção de conhecimento de uma determinada área (LAWRENCE , 2003).

A "revisão por pares", por sua vez, é considerada atributo inquestionável de qualidade do processo de avaliação da disseminação científica, mesmo não havendo evidências sobre isso. Com esse aspecto em mente, uma das críticas que subjaz o FI, diz respeito a ele ser, também, representativo da qualidade quase "sacralizada" da avaliação dos pares, mesmo em um campo em que as pessoas raramente aceitam algo com "fé cega" (Smith, s/d, citado por MCCOOK , 2006). No entanto, é importante que se reconheça que a "revisão por pares" porta aspectos pouco controláveis tais como uma gama variada e incongruente de interesses que povoa o universo científico, como campo social que é (LAWRENCE, 2003).

Assim sendo, ainda que se tenha o reconhecimento das oscilações típicas do campo social na "revisão por pares", supõe-se que os artigos ("papers") possuem uma "qualidade inerente", pois passaram no mínimo por dois crivos antes de serem publicados: o de "pares rigorosos" e o das revisões editoriais. Ao utilizar esse raciocínio LOSCALZ O (2011) chama a atenção para o fato de que, ao citar uma publicação de um par, cita-se aquela que o próprio revisor serviu como um árbitro de sua qualidade. Desse modo, o FI acaba não sendo, necessariamente, a medida do que está sendo lido, mas sim, do que deveria ser lido pela comunidade científica. Ainda, segundo o autor, "[...] esta falha reflete, então, a geopolítica da ciência e sua influência no avanço ou impedimento do progresso cientifico"¹¹ (p.949). O "efeito halo¹²" desse processo (DAVY T & VELHO , 2000) parece difícil combater, uma vez que será considerada como "excelente", a produção que estiver em consonância com o mainstream da produção científica de uma determinada área ou subárea.

Tais aspectos trazidos até o momento parecem inflacionar o FI e por decorrência as "credenciais" de alguns pesquisadores (DEMPSEY, 2009), mesmo que aquilo que produzem não corresponda ao real impacto na produção de conhecimento da área em que pertence. WlLCOX (2008) afirma, criticamente, que essa lógica tem se disseminado de forma generalizada, junto às instituições acadêmicas, quando da avaliação de pesquisadores para atribuição de recursos ou bonificações, e descreve o pensamento corrente entre vários pesquisadores da seguinte forma: "[...] mesmo que o seu artigo não preste, publique-o em um periódico com um bom fator de impacto e nós o perdoaremos"¹³ (p.373).

O índice h: entre a adequação e o desvio

Ao considerar o impulso ou projeção da atividade científica e a necessidade de administração da distribuição do investimento, têm-se indelevelmente marcado como unidade de medida o artigo para avaliação do desempenho científico de pesquisadores (BORNMANN , 2012). Consequentemente, é inevitável a existência de certa insatisfação entre os pesquisadores, editores, agências de financiamento com os sistemas de avaliação e classificação de pesquisadores baseado no FI.

Assim, ainda que não se tenham muito claras as implicações de combinações entre "unidades de medidas", sua correlação com a real qualidade e impacto no avanço do conhecimento numa determinada área, fato é que outras estratégias para aferir produtividade vêm sendo agregadas, ou simplesmente postas em substituição às anteriores.

HIRSH(2005) propôs outro indicador, cujo princípio é fornecer um critério singular e numérico para avaliar o impacto da produção de um determinado pesquisador, o índice h. Ainda que sua proposta inicial fosse avaliar os trabalhos de pesquisadores na área da física, é ponto pacífico, que o uso do índice h vem se estendendo para as mais diferentes áreas, independentemente de suas características de produção de conhecimento. Como o próprio autor chama a atenção, o número em si dá uma estimativa apenas aproximada para avaliar indivíduos de perfis multifacetados, sendo que muitos outros fatores devem ser considerados e combinados para avaliar um pesquisador, sobretudo quando o índice h compõe processos de decisão quanto a fomento ou garantias de ascensão na carreira.

Basicamente, o índice h busca apontar o desempenho científico de um determinado pesquisador, tomado a partir do número de vezes em que suas obras são citadas por outros trabalhos. De forma bastante simplificada, o número que traduz o h representa o número de artigos que um pesquisador tem e que já foram citados, pelo menos h vezes. Assim, se um pesquisador que tem h = 39, significa que ao longo de sua carreira ele possui pelo menos 39 artigos com 39 ou mais citações localizadas em suas obras.

Segundo NOORDEN (2010), o índice h de um autor tem a virtude de medir, simultaneamente, sua produtividade em artigos e o seu impacto baseado em citações. Todavia, o indicador apresenta limitações, pois o índice h de um autor pode refletir tanto a longevidade como a qualidade, ou seja, mesmo que o pesquisador encerre sua carreira científica, o seu índice h nunca vai diminuir com o passar do tempo. Logo, o uso generalizado deste indicador bibliométrico pode se constituir como um problema para pesquisadores em início de carreira.

O índice h não é representativo do número total de artigos de um autor, nem do número total que seus estudos foram citados. Como exemplo, considere que temos dois pesquisadores (A e B), que publicaram o mesmo número de artigos (15 artigos) até o ano de 2011. Em um de seus trabalhos o autor A obteve 62 citações, embora os 14 restantes tivessem duas ou menos citações, sendo assim seu índice h é igual a 2. Enquanto isso, o pesquisador B teve quatro artigos citados ao menos quatro vezes, sendo que os 11 restantes nunca foram citados, então seu índice h é igual a 4. Nesse caso, se olharmos apenas o índice h vamos acreditar que o autor B tem melhor desempenho que o autor A, sendo que, na realidade, o autor A é mais citado que o B.

Não obstante a importância, a simplicidade e a facilidade de aplicação do índice h, é preciso considerar que poderá haver: a) discrepâncias entre diferentes campos (HIRSCH, 2005); b) diferenças na média de referências citadas por artigo, entre as tradições de diversas áreas (HIRSCH , 2005); c) diferenças no número medido de artigos produzidos pelos pesquisadores em um determinado campo, bem como o número de pesquisadores que compõem esse campo (BORN MANN & DANIEL, 2007; HIRSCH, 2005); d) áreas que se utilizam mais de artigos de campo como referência do que outras (HIRSCH , 2005); e e) pesquisadores que trabalham com assuntos ou áreas que não pertencem às áreas de maior interesse ou dominantes, implicando, portanto, a composição do índice h (BORNMANN & DANIEL, 2007; HIRSCH, 2005).

Colocados esses aspectos, HIRSC H (2005) ainda destaca que pode-se até argumentar que um alto índice h é um indicador de alto desempenho científico do pesquisador, porém, o inverso não necessariamente sempre é verdade, sobretudo por ter que considerar até mesmo as assimetrias de distribuição dentro de uma subárea. É possível que um pesquisador que tenha um h baixo, com alguns trabalhos originais e seminais, possua uma contagem de citações extremamente alta de apenas algumas obras, de modo que o h não reflete, necessariamente, o desempenho e/ou impacto desse pesquisador.

Ao mesmo tempo, é preciso ter claro que o índice h, em si, não oferece a possibilidade de diferenciar pesquisadores que estão na ativa daqueles já aposentados, assim como, deve-se reconhecer a sua fragilidade para distinguir trabalhos significativos no passado (mas que não o são mais) e trabalhos que estão na "moda", ou aqueles trabalhos que continuam a amoldar o pensamento científico (BORNMANN & DANIEL, 2007; SIDIROPOULOS, KATSAROS & MANOPOULOS, 2007).

Considerados esses aspectos, observa-se que não há como obter uma padronização do índice h, de modo que só deveria ser empregado para comparar pesquisadores se eles forem da mesma área/subárea de pesquisa e "idade científica" (SIDIROPOULOS, KATSAROS & MANOPOULOS, 2007).

Vale ressaltar que, mesmo que o índice h tenha sido proposto inicialmente para a avaliação de pesquisadores, o indicador também vem sendo atribuído para periódicos, como proposto por BRAUN , GLÀNZEL e SCHUBER T (2006). Os autores lembraram que o Web of Science fornece informações relacionadas ao índice h da revista. Também, destaca-se que o instrumento empregado para avaliar a produção brasileira, o Qualis, faz o uso do índice h de periódicos para classificá-los nos estratos superiores.

Ambos os índices bibliométricos apresentam sérias limitações e devem ser utilizados com cautela no momento da avaliação de periódicos e da produção científica de pesquisadores. De fato, não há como atribuir qualidade a uma pesquisa com o uso do indicador bibliométrico baseado em citação, exclusivamente. porém, atualmente é empregado no sistema avaliativo da produção científica e, considerando os problemas expostos, o seu uso vem afetando o modo como as pesquisas são realizadas e avaliadas em diversas áreas de conhecimento e, especificamente, na área da Educação Física.

Influência da forma de avaliação da produtividade em pesquisa na Educação Física

O fenômeno do crescimento da produção científica no Brasil vem acontecendo não só na Educação Física, mas em todas as áreas de conhecimento e ocorre em paralelo com o aumento dos cursos de mestrado de doutorado, desde a elaboração do parecer CFE 977/65. Nessa direção, a partir do pós-guerra e concretamente durante a guerra fria, houve o encadeamento de diversas políticas públicas para o avanço do conhecimento, que resultaram na vinculação entre o desenvolvimento da pesquisa básica e a correlação com a pós-graduação, declarada no "Scientific Progress, the Universities, and the Federal Government'", de 1960, de Glenn Seaborg (GEIGER, 2009; PRESIDENT'S SCIENCE ADVISORY COMMITTEE, I960).

Norteados por essas indicações, originárias da estreita relação que o Brasil irá manter com os Estados Unidos, principalmente, a partir dos anos 60, o Scientific Establishment se instala diretamente a partir do poder executivo do governo nos EUA (GEIGER, 2009), da mesma forma que no Brasil, estabelecendo-se junto ao sistema de desenvolvimento e financiamento da pesquisa e pós-graduação, uma importante plataforma de propagação da ideologia da pesquisa básica (MOREIRA & VELHO, 2008). Considerando esses aspectos, podemos lançar um olhar sobre a Educação Física, tendo em vista que a pós-graduação "stricto-sensu" vem crescendo desde sua implantação em 1977.

Mesmo a área apresentando uma pequena evolução desde a década de 70, com relação a formação de doutores e criação de grupos de pesquisa (KOKUBUN , 2003), o que pode ser refletido no volume da produção científica da área, não há como afirmar que também representa um crescimento da qualidade da pesquisa e da formação de recursos humanos oferecidas pelos programas de pós-graduação.

Ao se observar que o investimento em produção de conhecimento, não só na Educação Física, mas de modo geral, não cresce no mesmo ritmo, a comunidade de pesquisadores vive sob certa pressão no que diz respeito à busca de recursos financeiros para a realização de suas pesquisas (CASTIEL & SANZ-VALERO, 2007; DE MEIS, VELLOSO, LANNES, CARMO & DE MEIS, 2007). E, segundo DAOLIO (2007), a "[...] área de educação física, como qualquer outra, precisa ser avaliada, uma vez que é beneficiária de consideráveis recursos públicos para o financiamento de bolsas de estudo, equipamentos de laboratório, viagens e estágios" (p.53).

Na avaliação trienal (2007-2009) dos programas da Área 21, na qual a Educação Física está inserida, observamos, por exemplo, o peso que a pesquisa tem nos itens analisados. Segundo o Documento da Área 21, "Os quesitos Corpo discente e Produção Intelectual recebem maior ponderação, por que representam os produtos dos PPGs" (CAPES, 2009, p.2, grifo do original). Lembrando que a Área 21 segue as orientações da Grande Área das Ciências da Saúde, na avaliação do corpo discente, os itens que recebem maior peso são aqueles voltados para a participação dos pós-graduandos na produção científica do programa. E para a qualidade das teses e dissertações, temos que é avaliada conforme a "[...] qualificação dos veículos em que ocorreram as publicações vinculadas" (CAPES, 2007, p.4), seguindo a classificação do instrumento norteador, o Qualis Periódicos. Além do mais, considerando que a Avaliação de Livros ainda é recente, e pressionado pela exigência que os programas têm em publicar em revistas bem classificadas no Qualis, não só os docentes, mas os discentes também acabam por focarem na disseminação no formato de artigos.

A política de incentivo à pesquisa não se restringe apenas ao âmbito da pós-graduação. O grande peso que a produção científica tem na avaliação dos programas "stricto-sensu" também se expande para outras esferas, como as demais atividades de pesquisa e ensino realizadas pelos docentes no cenário universitário.

A produtividade em pesquisa é um dos itens que entram na avaliação para a concessão de recursos financeiros por editais do CNPq. Um dos editais mais concorridos, o Edital Universal, considera a produtividade do proponente do projeto como critério para avaliação, a "[...] experiência prévia do Coordenador na área do projeto de pesquisa, considerando sua produção científica ou tecnológica relevante, nos últimos cinco anos" (CNPq, 2010, p.11). O peso atribuído a este critério foi de 1,5, enquanto "[...] o mérito, originalidade e relevância do projeto para o desenvolvimento científico, tecnológico e de inovação do País [...]" (CNPq, 2010, p.11), recebeu peso 1. Fica claro que a produtividade tem grande influência neste tipo de avaliação para distribuição de verba para pesquisa.

Segundo ABBOTT et al. (2010), existe uma grande preocupação por parte dos jovens pesquisadores, pois acreditam que ao procurarem emprego em uma universidade serão avaliados por simples indicadores numéricos, em detrimento de outras qualidades que fazem parte da vida acadêmica, que são difíceis de mensurar. Para DE MEIS et al. (2003), a corrida para se manterem produtivos perante o sistema de avaliação vigente leva os estudantes e os pesquisadores há quadros extremos de estresse de trabalho e ao chamado "burnout" (p.1135), ou seja, uma exaustão mental e emocional no trabalho, podendo assim diminuir sua produtividade durante este período. COIMBRA JÚNIOR (1996) acrescenta também que vem aumentando o número de casos em que pós-graduandos se sentem prejudicados pelo uso indevido dos dados de suas pesquisas pelos seus orientadores.

A produtividade científica também alcança as esferas da graduação, pois o número crescente de bolsas de iniciação científica (IC) pelo CNPq e pelas agências estaduais de apoio a pesquisa é uma estratégia para incentivar no graduando o gosto pela produção de conhecimento. Assim, nos cursos de Educação Física, a participação do estudante de IC se tornou um caminho para a entrada na pósgraduação (LOVISOLO, 2003).

O propósito da pesquisa nas universidades vem perdendo seu real significado ou função de outrora, que seria a de oferecer uma espécie de aventura intelectual, na qual o aluno poderia soltar a imaginação, a partir de fatos apresentados por seus orientadores e professores (WHITEHEAD, 1969). De certo modo, a pressão realizada pelos órgãos governamentais para elevar o volume de produção de conhecimento, pode ter influenciado uma mudança de comportamento dos pesquisadores que, provavelmente, tem ou terão sérias repercussões na qualidade do que é produzido, principalmente dos artigos publicados.

Assim, com a predominância da quantificação do conhecimento na avaliação da produtividade em pesquisa, diversas estratégias são empregadas pelos pesquisadores para elevar sua produção científica. CASTIEL e SANZ-VALERO (2007) exemplificaram com a ideia de "ciência-salame" (p.3042), que representa o que alguns pesquisadores fazem ao dividir apenas um projeto em várias publicações e que, com a exigência voltada para a produtividade, tem se tornado cada vez mais comum. os autores também citaram outros termos, como "publicacionismo" e "produtivite" (p.3042), que vêm sendo utilizados para representar a tendência focada na valorização da produtividade em pesquisa baseada na quantificação.

Outras estratégias também são empregadas, como o roubo de ideias, mencionada por COIMBRA JÚNIOR (1996), e o que vem sendo chamado pela literatura sobre conduta em pesquisa, de FFP - Falsificação, Fabricação e Plágio (COMMITTEE ON SCIENCE, ENGINEERING, AND PUBLIC POLICY. NATIONAL ACADEMY OF SCIENCES. NATIONAL ACADEMY OF ENGINEERING, INSTITUTE OF MEDICINE, 2009; DE VRIES, ANDERSON & MARTINSON, 2006; KUMAR, 2008; MARTINSON, ANDERSON & DE VRIES, 2005; STENECK, 2010). As práticas questionáveis empregadas no exercício da produção de conhecimento trazem consequências que podem ser nefastas para o discernimento entre aquilo que é um produto original ou fruto genuíno do empenho de um pesquisador e/ou seu grupo; ou também, se tal "produção" apenas sustenta um pesquisador ou um grupo no "sistema de financiamento", sob a égide de cumprimento de critérios, mas que de fato apresenta pouco impacto naquilo que na área poderia avançar, em termos científicos e acadêmicos. Assim, surgem alguns questionamentos, como por exemplo, se o conhecimento disseminado por tais artigos seriam redundantes, fragmentados, ou lidos de fato.

Segundo LAWSON (1990), é quase impossível acompanhar a produção científica, até mesmo nos assuntos com menor número de publicações. A quantificação do conhecimento é uma tendência não só no campo da pesquisa em Educação Física, mas do cenário científico nacional e internacional. Dados do MINISTÉRIO DE CIÊNCIA E TECNOLOGIA(2010a, 2010b) mostram a evolução quantitativa que o Brasil obteve com publicações indexadas no ISI: em 1981 eram 1.989 artigos e no ano de 2009 a produção nacional alcançou 32.100 artigos.

Diante da grande quantidade de pesquisas produzidas, é inevitável questionar: Qual seria a qualidade destes trabalhos? Esse aspecto leva a refletir sobre qual "sentido de qualidade" a avaliação da produtividade em pesquisa é considerada.

Em outras palavras, a produção que se enquadra nesses moldes pode ser altamente qualificada formalmente, mas socialmente parece irrelevante e de pouca expressão no cenário dominado pelas áreas científicas tradicionais (DEMO, 1987). Com a tendência de estratificação dos periódicos, conforme os indicadores bibliométricos anteriormente discutidos, o que temos é um fenômeno já percebido por vários pesquisadores e gestores do sistema de pesquisa, que é a demanda aumentada em periódicos internacionais.

Reforça-se, com isso, uma hierarquia que pode não ser representativa daquilo que vem sendo produzido em algumas áreas; ou ainda, induzir pesquisadores a encaminharem trabalhos que, talvez, não pertençam ao escopo de um determinado periódico, mas que são atraídos pelas "características de excelência" que alguns periódicos supostamente representam (MCCOOK, 2006). Este efeito provavelmente seria impulsionado pelo sistema de avaliação de desempenho adotado na ciência atual (BORNMANN, 2012).

Além disso, percebe-se nitidamente uma tendência do conhecimento produzido na Educação Física possuir características mais próximas das áreas básicas, de modo que "[...] o sistema de pontuação atual pode ser indutor de um ciclo nada virtuoso, no qual são estimulados aqueles que publicam muito e não aqueles que produzem conhecimento com qualidade, se admitirmos que mais não seja sinônimo de melhor" (RODRIGUES, 2007, p.44).

Outro aspecto também a se destacar é se os artigos produzidos terão alguma aplicação ou contribuição com conhecimentos para melhorar a intervenção profissional. Mais uma vez aqui a "ideologia da pesquisa básica" parece transformar em heresia, aquilo que talvez se revelasse como um fértil campo de bons e elegantes problemas de pesquisa, sobretudo, se considerarmos que a área é de caráter profissionalizante, com um perfil mais focado na intervenção do que na pesquisa básica. Em função disso, parece haver uma tensão entre a produção de artigos e a de inovação tecnológica, além do que a avaliação, tanto dos órgãos de fomento, como da pós-graduação acaba por enfatizar o "P", de P&D (Pesquisa & Desenvolvimento).

Assim, a produção de conhecimento da Educação Física verte-se mais para a pesquisa, com viés básico (LOVISOLO, 2007), mas com pouca representatividade nesse universo nas áreas tradicionais e, ao mesmo tempo, que perde-se de si mesma, na medida que o crescimento da produção nessa vertente e o seu respectivo financiamento parecem sem volta.

Os diversos fatores destacados até aqui associados à avaliação da produtividade em pesquisa e da pós-graduação podem desvirtuar a produção e excelência em pesquisa, pois ao buscar ferramentas que avaliem apenas a competitividade numérica, através de indicadores bibliométricos, abdica-se da ideia de se obter mérito acadêmico para se ter como meta a busca da vicissitude do prestígio acadêmico, sem que se pese os reais prejuízos e efeitos colaterais, tanto para a área de conhecimento científico, como profissional da Educação Física.

Indicadores bibliométricos têm sido utilizados em grande escala para avaliação da produtividade e qualidade de pesquisadores e periódicos. Quando empregados como recurso para análise do estágio da produção científica, podem auxiliar a mapear o panorama geral da pesquisa em um determinado país e também identificar o nível de desenvolvimento científico em determinadas regiões, fornecendo uma estimativa aproximada do avanço da pesquisa de modo geral, ou de uma determinada área de conhecimento. Com isso, estes dados podem contribuir para a definição de políticas de investimento em P&D com direcionamento de recursos para estimular, por exemplo, o avanço de pesquisa básica e aplicada em regiões com baixo índice de desenvolvimento e/ou áreas estratégicas.

Todavia, os instrumentos de avaliação da produção de conhecimento no Brasil, sejam na pesquisa ou na pós-graduação, também têm empregado o uso de indicadores baseados em citação para hierarquizar os periódicos científicos e, direta ou indiretamente, pesquisadores. No entanto, pouco esforço tem sido feito para analisar as limitações desses indicadores bibliométricos e suas implicações para a avaliação do desenvolvimento da pesquisa nacional na Educação Física, sobretudo, para análise dos diferentes tipos de produção científica realizados pelas diversas subáreas que a compõem.

Desde a década de 60, Merton já chamava a atenção para o processo de alocação ou destinação de recompensas aos cientistas por suas contribuições e o respectivo efeito que poderia ter em relação ao fluxo de ideias e descobertas, através das redes de comunicação da ciência. Ao reconhecer a complexidade psicossocial do processo que afeta o sistema de recompensas e da comunicação científica, Merton cunha a ideia de "efeito Mateus", "[...] porque a todo o que tem, dar-se-lhe-á, e terá em abundância; mas ao que não tem, até aquilo que tem ser-lhe-á tirado"¹⁴. Destacamos que mesmo correndo o risco de muito rapidamente esse aspecto ser caracterizado como "uma reincidente lamúria", é preciso ter claro que o campo científico é um campo social como qualquer outro, sujeito, entre outras variantes, ao "efeito halo", a certos aspectos típicos da socialização desse campo, bem como, aos seus esquemas de valores.

O ideário iluminista, do século XVIII, acabou ascendendo à ingênua ideia da inerência ética por parte de cientistas e pesquisadores, pois por seguirem métodos e regras "racionais" para persecução da "verdade", situar-se-iam acima dos desejos, ambições e conflitos que existem no campo social. Isso acabou obnubilando a avaliação crítica acerca das intercorrências, interesses, lutas e jogos de poder, que podem diminuir, anular ou extinguir ideias ou temas interessantes para o avanço da área, sob a suposta áurea de improdutividade, pouco volume e, por consequência, desinteresse de investimento.

Nesse contexto, indivíduos envolvidos com produção de conhecimento podem estar distorcendo seu comportamento para atingirem altos "escores" nos sistema de avaliação vigente e, assim, obter prestígio e reconhecimento individual, elevando o número de suas publicações listadas em seus Lattes. Sem dúvida, coloca-se em risco a qualidade da pesquisa em áreas mais consolidadas e, também, a possibilidade de desenvolvimento de áreas incipientes como a Educação Física. Não há como afirmar se o que é produzido e considerado como alto padrão de qualidade pelo atual sistema de avaliação, apresenta relevância para fortalecer e aprimorar a intervenção do profissional, como se fosse um processo natural, ou decorrência natural.

Como uma alternativa a ser pensada e discutida, seria a reestruturação do atual sistema de hierarquização de periódicos, para outro que pudesse distinguir periódicos nacionais dos internacionais. Assim, poderíamos ter condições de equiparar as melhores publicações brasileiras que abordam temáticas de interesse regional/nacional com aquelas que abordam temáticas de interesse internacional. É possível que uma publicação em periódico nacional tenha a mesma qualidade e relevância, em questão de conteúdo e finalidade do estudo, quando comparada com um artigo publicado em revista internacional.

Estamos há pelo menos 50 anos da primeira iniciativa de indexação e avaliação da produtividade científica. Tentativas devem ser feitas para criação de outros meios de avaliar a produção e a qualidade das pesquisas. Esforços devem ser envidados por parte das instituições responsáveis por avaliar e financiar a produção de conhecimento no país, para incentivar o desenvolvimento de parâmetros mais justos e transparentes para a avaliação de pesquisadores e periódicos.

Por fim, consideramos que a comunidade académico-científica da área da Educação Física precisa intensificar os estudos que visem investigar o funcionamento de indicadores bibliométricos baseados em citação e as reais implicações de seu emprego na avaliação da pesquisa e da pós-graduação, tendo-se em conta, enfim, um projeto coletivo de reconstrução do sistema de avaliação da produção de conhecimento da área. Talvez seja a hora em que temos que tomar a decisão, entre uma intensa reflexão do nosso processo de produção intelectual, enquanto área, ou assumir o cinismo individual da "autopreservação"...

Notas

A autora Priscila Maia da Silva é bolsista CAPES.

Endereço:

Jeane Barcelos Soriano

Departamento de Educação Física Centro de Educação Física e Esporte Universidade Estadual de Londrina

Caixa Postal 6001

86051-990 - Londrina - PR - BRASIL

e-mail: [e-mail] website: www.uel.br/grupo-pesquisa/geipef

Recebido para publicação: 25/04/2011

Revisado: 30/01/2012

Aceito: 14/06/2012

• ABBOTT, A.; CYRANOSKI, D.; JONES, N.; MAHER, B.; SCHIERMEIER, Q.; NOORDEN, R.V. Do metrics matter? Nature, London, v.465, n.7300, p.860-2. 2010.
• ARAUJO, C.A. Bibliometria: evolução histórica e questões atuais. Em Questão, Porto Alegre, v.12, n.1, p.11-32, 2006. Disponível em: <http://revistas.univerciencia.org/index.php/revistaemquestao/article/view/3707/3495>. Acesso em: 13 dez. 2010.
• ALMEIDA JÚNIOR, A.; SUCUPIRA, N.; SALGADO, C.; BARRETO FILHO, J.; SILVA, M. R.; TRIGUEIRO, D.; LIMA, A. A.; TEIXEIRA, A.; CHAGAS, V.; MACIEL, R. Parecer CFE nş 977/65, aprovado em 3 dez. 1965. Revista Brasileira de Educação, Rio de Janeiro, n.30, 2005. Disponível em: <http://www.scielo.br/scielo.php?script=sci_arttext&pid=S1413-24782005000300014&lng=pt&nrm=iso>. Acesso em: 19 abr. 2011.
• ÁVILA, P. A distribuição do capital científico: diversidade interna e permeabilidade externa no campo científico. Sociologia: Problemas e Práticas, Lisboa, n.25, p.9-49, 1997. Disponível em: <http://www.repositorio-iul.iscte.pt/bitstream/10071/810/1/1.pdf>. Acesso em: 27 maio 2012.
• BAKKALBASI, N.; BAUER, K.; GLOVER, J.; WANG, L. Three options for citation tracking: Google Scholar, Scopus and Web of Science. Biomedical Digital Libraries, London, v.3, n.7, p.1-8, 2006.
• BARROS, E.M.C. Política de pós-graduação: um estudo da participação da comunidade científica. São Carlos: EdUFSCar, 1998.
• BENNETT, D.M.; TAYLOR, D. McD. Unethical practices in authorship of scientific papers. Emergency Medicine, Fremantle, v.15, p.263-70, 2003.
• BETTI, M. Educação física como prática científica e prática pedagógica: reflexões a luz da filosofia da ciência. Revista Brasileira de Educação Física e Esporte, São Paulo, v.19, n.3, p.183-9, 2005.
• BIAGIOLI, M. The instability of authorship: credit and responsibility in contemporary biomedicine. The FASEB Journal, v.12, n.1, p.3-16, 1998. Disponível em: <http://www.fasebj.org/content/12/1/3.full.pdf+html>.Acesso em: 27 jan. 2012.
• BORNMANN, L. The Hawthorne effect in journal peer review. Scientometrics, Amsterdam, v.91, p.857-62, 2012.
• BORNMANN, L.; DANIEL, H.-D. What do we know about the h index? Journal of the American Society for Information Science and Tehcnology, New York, v.58, n.9, p.1381-85, 2007.
• BOURDIEU, P. Os usos sociais da ciência: por uma sociologia clínica do campo científico. São Paulo: UNESP, 2004.
• BRASIL. Ministério da Ciência e Tecnologia. Dispêndios públicos em pesquisa e desenvolvimento (P&D), por objetivo socioeconómico, 2000-2008: indicadores. Brasília: MCT, 2010a. Disponível em: <http://www.mct.gov.br/index.php/content/view/9134.html>. Acesso em: 20 abr. 2011.
• ______. Número de artigos brasileiros publicados em periódicos científicos indexados pela Thomson/ISI e participação percentual em relação ao mundo, 1981-2009: indicadores. Brasília: MCT, 2010b. Disponível em: <http://www.mct.gov.br/index.php/content/view/9134.html>. Acesso em: 20 abr. 2011.
• BRAUN, T.; GLÄNZEL, W.; SCHUBERT, A. A Hirsch-type index for journals. Scientometrics, Amsterdam, v.69, n.1, p.169-73, 2006. Disponível em: <http://www.akademiai.com/index/L5471571M5365RX0.pdf>. Acesso em: 20 abr. 2011.
• BROAD, W.J. The publishing game: getting more for less. Science, New York, v.211, n.13, p.1137-39, 1981.
• BUSH, V. Science, the endless frontier. Washington: United States Government Printing Office, 1945. Disponível em: <http://www.nsf.gov/od/lpa/nsf50/vbush1945.htm>. Acesso em: 20 abr. 2011.
• BUSSATO FILHO, G. A importância do uso de critérios objetivos para autoria em artigos científicos. Revista de Psiquiatria Clínica, São Paulo, v.29, n.1, p.28-32, 2002.
• CASTIEL, L.D.; SANZ-VALERO, J. Entre fetichismo e sobrevivência: o artigo científico é uma mercadoria acadêmica. Cadernos de Saúde Pública, Rio de Janeiro, v.23, n.12, p.3041-50, 2007.
• CENTRO DE GESTÃO E ESTUDOS ESTRATÉGICOS (CGEE). A economia natural do conhecimento: projeto Atlas das idéias: mapeando a nova geografia da Ciência. Brasília: CGEE, 2008.
• CONSELHO NACIONAL DE DESENVOLVIMENTO CIENTÍFICO E TECNOLÓGICO (CNPq). Diretrizes. Brasília: CNPq, 2012. Disponível em: (http://www.cnpq.br/web/guest/diretrizes). Acesso em: 25 maio 2012.
• ______. Edital MCT/CNPq nº 014/2010: universal. Brasília: CNPq, 2010. Disponível em: <http://www.cnpq.br/editais/ct/2010/docs/014.pdf>. Acesso em: 20 abr. 2011.
• ______. Ética e integridade na prática científica. Brasília: CNPq, 2011. (Relatório da Comissão de Integridade de Pesquisa do CNPq). Disponível em: (http://www.cnpq.br/normas/lei_po_085_11.htm). Acesso em: 27 jan. 2012.
• COIMBRA JÚNIOR, C.E.A. Plágio em ciência. Cadernos de Saúde Pública, Rio de Janeiro, v.12, n.4, p.440-41, 1996. Disponível em: <http://www.scielo.br/pdf/%0D/csp/v12n4/0234.pdf>. Acesso em: 20 abr. 2011.
• COMMITTEE ON SCIENCE, ENGINEERING, AND PUBLIC POLICY. NATIONAL ACADEMY OF SCIENCES. NATIONAL ACADEMY OF ENGINEERING. INSTITUTE OF MEDICINE. On being a scientist: a guide to responsible conduct in research. 3rd. ed. Washington: The National Academies Press, 2009. Disponível em: <http://www.nap.edu/catalog/12192.html>. Acesso em: 20 abr. 2011.
• COORDENAÇÃO DE APERFEIÇOAMENTO DE PESSOAL DE NÍVEL SUPERIOR (CAPES). Critérios e pesos: grande área da saúde. Brasília: CAPES, 2007. Disponível em: <http://www.capes.gov.br/images/stories/download/avaliacao/CA2007_CienciasSaude.pdf>. Acesso em: 20 abr. 2011.
• ______. Documento de área 2009. Área de avaliação: Educação Física, Fisioterapia, Fonoaudiologia e Terapia Ocupacional. Brasília: CAPES, 2009. Disponível em: <http://qualis.capes.gov.br/arquivos/avaliacao/webqualis/criterios2007_2009/Criterios_Qualis_2008_21.pdf> Acesso em: 20 abr. 2011.
• ______. Plano Nacional de Pós-Graduação (PNPG) 2005-2010. Brasília: Ministério da Educação, 2004. Disponível em: <http://www.capes.gov.br/images/stories/download/editais/PNPG_2005_2010.pdf>. Acesso em: 16 jan. 2012d.
• ______. Qualis periódicos. Brasília: CAPES, 2012. Disponível em: <http://www.capes.gov.br/avaliacao/qualis>. Acesso em: 27 maio 2012.
• ______. Tabela de áreas de conhecimento. Brasília: CAPES, 2010. Disponível em: <http://www.capes.gov.br/images/stories/download/avaliacao/TabelaAreasConhecimento_042009.pdf>. Acesso em: 20 abr. 2011.
• CURY, C.R.J. Quadragésimo ano do parecer CFE n.977/65. Revista Brasileira de Educação, Rio de Janeiro, n.30, p.7-20, 2005.
• DAOLIO, J. O ser e o tempo da pesquisa sociocultural em educação física. Revista Brasileira de Ciências do Esporte, Campinas, v.29, n.1, p.49-60, 2007. Disponível em: <http://www.rbceonline.org.br/revista/index.php?journal=RBCE&page=article&op=view&path%5B%5D=9&path%5B%5D=15>. Acesso em: 20 abr. 2010.
• DAVYT, A.; VELHO, L. A avaliação da ciência e a revisão por pares: passado e presente. Como será o futuro? História, Ciências, Saúde-Manguinhos, Rio de Janeiro, v.7, n.1, 2000. Disponível em <http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0104-59702000000200005&lng=pt&nrm=iso> . Acesso em: 28 jan. 2012.
• DE MEIS, L.; VELLOSO, A.; LANNES, D.; CARMO, M.S.; DE MEIS, C. The growing competition in Brazilian science: rites of passage, stress and burnout. Brazilian Journal of Medical and Biological Research, Ribeirão Preto, v.36, p.1135-41, 2003.
• DE VRIES, R.; ANDERSON, M.S.; MARTINSON, B.C. Normal misbehavior: scientists talk about the ethics of research. Journal of Empirical Research on Human Research Ethics, Berkeley, v.1, p.43-50, 2006.
• DEMO, P. Avaliação qualitativa. São Paulo: Autores Associados, 1987.
• DEMPSEY, J.A. Impact factor and its role in academic promotion: a statement adopted by the International Respiratory Journal Editors Roundtable. Journal of Applied Physiology, Bethesda, v.107, n.4, p.1005, 2009.
• GARFIELD, E. Arts and humanities journals differ from natural and social sciences journals-but their similarities are surprising. Essays of an Information Scientist, Wilmington, v.5, n.47, p.5-11, 1982.
• ______. Dispelling a few common myths about journal citation impacts. The Scientist, Philadelphia, v.11, n.3, p.11-12, 1997. Disponível em: <http://www.garfield.library.upenn.edu/commentaries/tsv11(03)p11y19970203.pdf>. Acesso em: 20 abr. 2011.
• ______. Journal impact factor: a brief review (Editorial). Canadian Medical Association Journal, Ottawa, v.161, n.8, p.979-80, 1999. Disponível em: <http://www.pubmedcentral.nih.gov/articlerender.fcgi?artid=1230709&tool=pmcentrez&rendertype=abstract>. Acesso em: 20 abr. 2011.
• GEIGER, R.L. Research & relevant knowledge: american research universities since World War II. New Jersey: Transaction, 2009.
• ______. What happened after sputnik? Shaping university research in the United States. Minerva, Dordrecht, v.35, p.349-67, 1997.
• GOLLOGLY, L.; MOMEN, H. Ethical dilemmas in scientific publication: pitfalls and solutions for editors. Revista de Saúde Pública, São Paulo, v.40, p.24-9, 2006. Número especial.
• GRIEGER, M.C.A. Authorship: an ethical dilemma of science. São Paulo Medical Journal, São Paulo, v. 123, n.5, p.242-46, 2005.
• HERNÁN, M.A. Epidemiologists (of all people) should question journal impact factors. Epidemiology, Cambridge, v.19, n.3, p.366-68, 2008.
• HIRSCH, J.E. An index to quantify an individual's scientific research output. Proceedings of the National Academy of Sciences, Washington, v.102, n.46, p.16569, 2005.
• HUTH, E.J. Irresponsible authorship and wasteful publication. Annals of Internal Medicine, Philadelphia, v.104, n.2, p.257-59, 1986. Disponível em: <http://www.ncbi.nlm.nih.gov/pubmed/3946956>. Acesso em: 16 jan. 2012.
• IOANNIDIS, J.PA. Why most published research findings are false. PLoS Medicine, San Francisco, v.2, n.8, p.e124, 2005.
• KING, D.A. The scientific impact of nations. What different countries get for their research spending. Nature, London, v.430, p.311-16, 2004.
• KOKUBUN, E. Pós-graduação em educação física no Brasil: indicadores objetivos dos desafios e das perspectivas. Revista Brasileira de Ciências do Esporte, Campinas, v.24, n.2. p.9-26, 2003.
• KUMAR, M.N. A review of the types of scientific misconduct in biomedical research. Journal of Academic Ethics, Dordrecht, v.6, n.3, p.211-28, 2008. Disponível em: <http://www.springerlink.com/index/10.1007/s10805-008-9068-6>. Acesso em: 20 abr. 2011.
• LARSEN, PO.; VON INS, M. The rate of growth in scientific publication and the decline in coverage provided by Science Citation Index. Scientometrics, Amsterdam, v.84, n.3, p.575-603, 2010. Disponível em: <http://www.ncbi.nlm.nih.gov/pmc/articles/PMC2909426/pdf/11192_2010_Article_202.pdf>. Acesso em 20 abr. 2011.
• LAWRENCE, PA. The politics of publication: authors, reviewers and editors must act to protect the quality of research. Nature, London, v.422, n.3, p.259-61, 2003.
• LAWSON, H. Beyond positivism: research, practice, and undergraduate professional education. Quest, Champaign, v.42, n.2, p.161-83, 1990.
• LOSCALZO, J. Can scientific quality be quantified? Circulation, Dallas, v.123, n.9, p.947-50, 2011.
• LOVISOLO, H.R. A política de pesquisa e a mediocridade possível. Revista Brasileira de Ciências do Esporte, Campinas, v.24, n.2, p.97-114, 2003.
• ______. "Levantando o sarrafo ou dando tiro no pé": critérios de avaliação e qualis das pós-graduações em educação física. Revista Brasileira de Ciências do Esporte, Campinas, v.29, n.1, p.123-33, 2007.
• MACIAS-CHAPULA, C.A. O papel da informetria e da cienciometria e sua perspectiva nacional e internacional. Ciência da Informação, Brasília, v.27, n.2, p.134-40, 1998.
• MAIA DA SILVA, P. Avaliação da grande área das ciências da saúde e as implicações para a formação de recursos humanos e produção de conhecimento na pós-graduação em educação física. 2010. Dissertação (Mestrado em Educação Física) - Centro de Educação Física e Esporte, Universidade Estadual de Londrina, Londrina. 2010. Disponível em: <http://www.bibliotecadigital.uel.br/document/?code=vtls000162543>. Acesso em: 16 jan. 2012.
• MARCHLEWSKI, C.; MAIA DA SILVA, P.; SORIANO, J.B. A influência do sistema de avaliação Qualis na produção de conhecimento científico: algumas reflexões sobre a educação física. Motriz: Revista de Educação Física, Rio Claro, v.17, n.1, p.104-16, 2011. Disponível em: <http://www.scielo.br/scielo.php?script=sci_arttext&pid=S198065742011000100012&lng=pt&nrm=iso>. Acesso em: 03 jun. 2012.
• MARCOVITCH, H. Misconduct by researchers and authors. Gaceta sanitaria, Madrid, v.21, n.6, p.462-69, 2007.
• MARTINSON, B.C.; ANDERSON, M.S.; DE VRIES, R. Scientists behaving badly. Nature, London, v.435, p.737-38, 2005. Disponível em: <http://www.nature.com/nature/journal/v435/n7043/full/435737a.html>. Acesso em: 20 abr. 2011.
• McALISTER, F.A.; LAWSON, F.M.E.; GOOD, H.A.; ARMSTRONG, PW. Evaluating research in cardiovascular medicine: citation counts are not sufficient. Circulation, Dallas, v.123, n.9, p.1038-43, 2011.
• McCOOK, A. Is peer review broken? The Scientist, Philadelphia, v.20, n.2, p.26-34, 2006.
• MERTON, R.K. The Matthew effect in science. Science, New York, v.159, n.3810, p.56-63, 1968.
• MONTENEGRO, M.R Autoria e co-autoria: justificativa e desvios. Jornal de Pneumologia, Brasília, v.25, n.3, p. 159-62, 1999.
• MOREIRA, M.L.; VELHO, L. Pós-graduação no Brasil: da concepção "ofertista linear" para "novos modos de produção do conhecimento" implicações para avaliação. Avaliação (Campinas), Sorocaba, v.13, n.3, p.625-45, 2008.
• NATURE. Assessing assessment. Nature, London, v.465, n.7300, p.845, 2010a.
• NATURE. Metrics survey results. Nature, London, 2010b. Disponível em: <http://www.nature.com/nature/newspdf/metrics_survey.pdf>. Acesso em: 29 out. 2010.
• NOORDEN, R.V. A profusion of measures. Nature, London, v.465, n.7300, p.864, 2010.
• PANEL ON SCIENTIFIC RESPONSIBILITY AND THE CONDUCT OF RESEARCH. COMMITTEE ON SCIENCE, ENGINEERING, AND PUBLIC POLICY. NATIONAL ACADEMY OF SCIENCES. NATIONAL ACADEMY OF ENGINEERING INSTITUTE OF MEDICINE. Responsible science: ensuring the integrity of the research process. Washington: National Academy Press, 1992. v.1.
• PINTO, A.C.; ANDRADE, J.B.D. Fator de impacto de revistas científicas: qual o significado deste parâmetro. Química Nova, São Paulo, v.22, n.3, p.448-53, 1999.
• PLoS MEDICINE EDITORS. The impact factor game. It is time to find a better way to assess the scientific literature. PLoS Medicine, San Francisco, v.3, n.6, p.e291, 2006.
• PRESIDENT'S SCIENCE ADVISORY COMMITTEE. Scientific progress, the universities, and the federal government. (Seaborg Report). Washington: The White House, 1960.
• RELMAN, A.S. Publish or perish - or both. New England Journal of Medicine, Royston, v.297, n.13, p.724-25, 1977.
• RODRIGUES, L.O.C. Publicar mais, ou melhor? O tamanduá olímpico. Revista Brasileira de Ciências do Esporte, Campinas, v.29, n.1, p.35-48, 2007.
• ROSSNER, M.; EPPS, H.V; HILL, E. Show me the data. The Journal of Cell Biology, New York, v.179, n.6, p.1091-92, 2007.
• SÁ BARRETO, F.C. O Futuro da pós-graduação brasileira. In: STEINER, J.E.; MALNIC, G. (Orgs.). Ensino superior: conceito e dinâmica. São Paulo: EDUSP, 2006. p.157-76.
• SCHWARTZMAN, S. A pesquisa científica e o interesse público. Revista Brasileira de Inovação, Campinas, v.1, n.2, p.361-95, 2002.
• SEGLEN, P. Why the impact factor of journals should not be used for evaluating research. British Medical Journal, London, v.314, n.7079, p.498-502, 1997.
• SIDIROPOULOS, A.; KATSAROS, D.; MANOPOULOS, Y. Generalized h-index for disclosing latent facts in citation networks. Scienciometrics, Amsterdam, v.72, n.2, p.253-80, 2007. Disponível em <http://sci2s.ugr.es/hindex/pdf/Sidiropoulosetal2007.pdf1>. Acesso em: 28 nov. 2011.
• SGUISSARDI, V.; SILVA JÚNIOR, J.R. Trabalho intensificado nas federais: pós-graduação e produtivismo acadêmico. São Paulo: Xamã, 2009.
• SILVA, J.A.; BIANCHI, M.L.P. Cientometria: a métrica da ciência. Paidéia, Ribeirão Preto, v.11, n.20, p.5-10, 2001.
• SORIANO, J.B.; WINTERSTEIN, PJ. A constituição da intervenção profissional em educação física: interações entre o conhecimento "formalizado" e as estratégias de ação. Revista Brasileira de Educação Física e Esporte, São Paulo, v.18, n.4, p.315-32, 2004. Disponível em: <http://www.revistasusp.sibi.usp.br/pdf/rbefe/v18n4/v18n4a02.pdf>. Acesso em: 20 abr. 2010.
• STENECK, N.H. Fostering integrity in research: definitions, current knowledge, and future directions. Science and Engineering Ethics, Guildford, v.12, n.1, p.53-74, 2006.
• ______. Instruction to the responsible conduct of research. Washington: Government Printing Office, 2010. Disponível em: <http://ori.dhhs.gov/documents/rcrintro.pdf>. Acesso em: 13 dez. 2010.
• STREHL, L. O fator de impacto do ISI e a avaliação da produção científica: aspectos conceituais e metodológicos. Ciência da Informação, Brasília, v.34, n.1, p.19-27, 2005.
• SZKLO, M. Impact factor: good reasons for concern. Epidemiology, Cambridge, v.19, n.3, p.369, 2008.
• TANDON, V.R.; MAHAJAN, A.; SHARMA, S.; GUPTA, S.K. Unethical publication practices. JK Science: Journal of Medical Education & Research, Bakshi Nagar, v.38, n.3, p.123-24, 2006.
• VANZ, S.A.S.; CAREGNATO, S.E. Estudos de citação: uma ferramenta para entender a comunicação científica. Em Questão, Porto Alegre, v.9, n.2, p.295-307, 2003.
• VERHINE, R.E. Pós-graduação no Brasil e nos Estados Unidos: uma análise comparativa. Educação, Porto Alegre, v.31, n.2, p.166-72, 2008.
• WALLIN, J.A. Bibliometric methods: pitfalls and possibilities. Basic and Clinical Pharmacology & Toxicology, Oxford v.97, n.5, p.261-75, 2005.
• WATERS, L. Inimigos da esperança: publicar, perecer e o eclipse da erudição. São Paulo: Editora da UNESP, 2006.
• WHITEHEAD, A.N. Os fins da educação e outros ensaios. São Paulo: Companhia Editora Nacional. 1969.
• WILCOX, A. J. Rise and fall of the Thomson Impact Factor. PLoS Medicine, San Francisco, v.19, n.3, p.373-74, 2008.

1

vem ganhando espaço na avaliação da produtividade em pesquisa. Cada vez mais, os índices bibliométricos são utilizados para avaliação do desempenho de pesquisadores em todas as áreas do conhecimento (WALLIN , 2005).

1

. Segundo MACIAS-CHAPULA (1998) e STREHLI (2005), a bibliometria pode ser definida como o estudo dos aspectos quantitativos da produção, disseminação e utilização da informação.

2

. O Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq), por exemplo, em várias áreas atrela para os candidatos às diferentes categorias da modalidade de bolsa "Produtividade em Pesquisa (PQ)", a estratificação das revistas científicas utilizando-se da soma do índice

h ou com referência ao volume de publicações em periódicos com fator de impacto. Para avaliação da produção intelectual dos Programas de Pós-Graduação ("stricto-sensu"), as Comissões de Avaliação das Áreas que fazem parte da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES) têm disposto em seus respectivos "Documentos de Área", que a estratificação de periódicos deverá seguir os indicadores de impacto (FI - Fator de Impacto) do JCR

((jornal Citation Report) e/ou adota-se também, com o índice

h de periódicos obtidos a partir do SJR

(Scientific Journal Report).

3

. Segundo a Tabela de Áreas de Conhecimento da Capes, a Área 21 é composta pelas seguintes áreas: Educação Física, Fisioterapia, Fonoaudiologia e Terapia Ocupacional (CAPES, 2010).

4

. Consulta realizada em 06 de junho de 2012.

5

.

LeastPublishable Unit (L.P.U.) (BROAD, 1981).

6

. A avaliação do mérito acadêmico e excelência pode ser encontrada como um dos principais itens para distribuição de recursos em editais vinculados às modalidades de Bolsas do CNPq, regulamento do PROAP-CAPES ou chamadas públicas para financiamento pelas Fundações de Amparo à Pesquisa.

7

. As principais bases indexadoras de resumos e referências bibliográficas mais conhecidas são a

Web of Science, da Thomson & Reuters e

Scopus da Elsevier, tanto uma como a outra mantém sistemas de consulta, seja ela privada ou aberta, para identificar como vem sendo citados os periódicos e os respectivos autores em suas bases bibliográficas.

8

. As características dos leitores-respondentes da enquete da

Nature correspondem a indivíduos envolvidos com atividades acadêmicas e científicas, como docentes, estudantes de pós-graduação, pesquisadores, consultores, chefes de departamento, entre outros (NATURE, 2010b, p.3).

9

. Verificado no

ISI Web of Science. Disponível em <

www.portalcapes.gov.br>. Acesso em 01 jun. 2012. Fator de Impacto aferido com as publicações de 2008 e 2009, portanto, sendo o resultado de 2010.

10

. Verificado no

ISI Web of Science. Disponível em <

www.portalcapes.gov.br>. Acesso em 01 jun. 2012. Fator de Impacto aferido com as publicações de 2008 e 2009, portanto, sendo o resultado de 2010.

11

. "This flaw, then, reflects the geopolitics of science and its influence in directing or hindering scientific progress" (LOSCALZO, 2011, p.949).

12

. Efeito Halo é a conhecido, desde a década de 20, século XX, como a possibilidade de que um item possa interferir no julgamento sobre outros fatores. Ao criar uma impressão global sobre uma pessoa ou instituição, tem-se a tendência a captar as impressões ou características que as confirmarão (LOSCALZO, 2011; MERTON, 1968). Em outras palavras, alguns pesquisadores emprestam "[...] as qualidades científicas daqueles dos quais dependem para sua carreira e que podem assegurar-se assim de clientelas dóceis e de todo o cortejo de citações de complacência e de homenagens acadêmicas" (BOURDIEU, 2004, p.39).

13

. "[...] even ifyour paper is useless, publish it in a journal with a good impact factor and we will forgive you." (WILCOX, 2008, p.373).

14

. "For unto every one that hath shall be given, and he shall have abundance: but from him that hath not shall be taken away even that which he hath" (MERTON, 1968, p.3).

Datas de Publicação

• Publicação nesta coleção
  11 Jan 2013
• Data do Fascículo
  Dez 2012

Histórico

• Recebido
  25 Abr 2011
• Aceito
  14 Jun 2012
• Revisado
  30 Jan 2012