Perfil dos bolsistas de produtividade do Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq) na área de Medicina Veterinária

Profile of the Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq) productivity fellows in the area of Veterinary Medicine

TÓPICO DE INTERESSE GERAL

Perfil dos bolsistas de produtividade do Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq) na área de Medicina Veterinária

Profile of the Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq) productivity fellows in the area of Veterinary Medicine

Fernando Rosado Spilki^*

Laboratório de Microbiologia Molecular, Instituto de Ciências da Saú-de, Universidade Feevale, Campus II, Rodovia RS-239, 2755, Novo Hamburgo, RS 93352-000, Brasil

ABSTRACT

In this study, data regarding the population of productivity fellows from the Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq), Committee of Veterinary Medicine, were evaluated by calculation of scientometrical indexes as an effort to examine the profile of researchers from different levels on these parameters. Other variables, such as the place of doctorate studies, gender, institution, and advisory of human resources were also recorded and evaluated. There is a clear predominance of men (72.37%), which are mostly settled in the South and Southeast. Most of the recipients were awarded his doctorate in Brazil. From the analyzed parameters, advisory of human resources is very high at all levels; among the scientometric variables, the citations indexes and h-index are decreasing from the highest level (PQ-1A) to level 2, yet the intragroup variation is very high for these and other derivatives of the H-index. A modification of the h-index, the AWCR index, in which the calculation takes into account the age of articles published and cited, seems more appropriate to stratify the scholarship of fellows. Studies like these could be repeated in the medium term in order to improve the ranking formulas of scholars.

Index terms: Research productivity, Veterinary Medicine, scientometrics.

RESUMO

No presente estudo, submeteram-se dados da população de bolsistas de produtividade do Comitê de Medicina Veterinária do Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq) ao cálculo de índices cientométricos, em um esforço para avaliar o perfil de pesquisadores de diferentes níveis perante vários parâmetros. Outras variáveis, como o local de formação, gênero, local de trabalho e formação de recursos humanos foram também anotados e avaliados. Há uma clara predominância do gênero masculino (72,37%), os quais se encontram em sua grande maioria radicados nas regiões Sul e Sudeste do país. A maioria dos bolsistas concluiu seu doutorado no Brasil. Dentre os parâmetros de produção analisados, a formação de recursos humanos é alta em todos os níveis; dentre as variáveis cientométricas, os índices de citações e o índice h são decrescentes do nível mais alto (PQ-1A) ao nível 2; todavia, a variação intragrupos é muito alta para estes e outros derivado do índice h. Uma modificação do índice H, o índice AWCR, em que o cálculo leva em conta a idade dos artigos publicados e citados, parece mais adequado à estratificação dos bolsistas. No âmbito geral, estudos deste tipo poderiam ser repetidos no médio prazo com vistas a aprimorar as fórmulas de ranqueamento de bolsistas.

Termos de indexação: Produtividade em pesquisa, Medicina Veterinária, cientometria

INTRODUÇÃO

Desde a década de 1970 o Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq) distribui através de editais anuais Bolsas de Produtividade em Pesquisa a pesquisadores atuantes no Brasil com destacada produtividade científica. Estas, mais do que o valor de remuneração e de bancada que revertem àqueles indivíduos que as alcançam, conferem a estes pesquisadores um diferencial perante os pares dentro de suas diferentes áreas de atuação (Barata & Goldbaum 2003, Martelli-Junior et al. 2010, Santos et al. 2010). Além do status diferenciado e da bolsa mensal auferida, as "bolsas de produtividade", sobretudo permitem que estes pesquisadores participem de editais específicos não só para verbas destinadas a bens de capital e consumo como ainda possam obter bolsas do mais variados níveis para formação de recursos humanos. Todas as referidas concessões ocorrem por intermédio de editais. Três são os níveis de bolsas de produtividade em pesquisa concedidos pelo CNPq: PQ-Sr, concedida a bolsistas que permaneceram no nível 1A por 15 anos ininterruptos; PQ-1, dividida nos níveis 1A até 1D, voltadas a beneficiar pesquisadores com elevada produção e impacto na comunidade científica; PQ-2, voltada a pesquisadores com inserção mais recente e produtividade científica também elevada. Além destas bolsas PQ, o CNPq ainda concede bolsas de desenvolvimento tecnológico e extensão inovadora (modalidade DT) e bolsas de produtividade ligadas a projetos específicos (PQ-2F).

No Brasil, há em todas as áreas do conhecimento uma demanda sempre crescente da comunidade científica por recursos financeiros um número cada vez maior de indivíduos com doutorado atuantes em instituições de ensino e pesquisa e uma dotação orçamentária muito variável é conferida pelos governos na forma de fomento à pesquisa ao longo dos anos. Deste modo, os editais visando à distribuição de recursos são normalmente muito competitivos no Brasil (Politzer 2005, Toffoli & Ferreira 2011). A maioria das agências de fomento trabalha portanto com um número enorme de propostas no vários editais que se contrapõem a um montante de recursos escassos, de tal modo que não há como contemplar a todos os pesquisadores. Outra dificuldade para os comitês que julgam as propostas de pesquisa é que usualmente se conta com um tempo exíguo para determinar quais projetos devem receber recursos. Assim, além da análise do mérito da proposta em si e na premência de avaliar os próprios pesquisadores faz-se necessário estabelecer sistemas rápidos que possam avaliar e comparar a produção pregressa dos proponentes seja no quesito de produção de artigos científicos, seja na formação de recursos humanos. Deste modo, sendo o grupo de Bolsistas de Produtividade um conjunto de indivíduos que deve ter por concepção um nível de produção formação de recursos humano e impacto científico elevado, os estudos que busquem esmiuçar as características deste grupo de modo a traçar um perfil destes indivíduos se tornam de interesse de toda a comunidade científica nacional. Independentemente da área de atuação, uma série de estudos vem sendo realizada neste sentido nos últimos anos (Barata & Goldbaum 2003, Cavalcante et al. 2008, Lino et al. 2010, Martelli-Junior et al. 2010, Oliveira et al. 2012, Oliveira et al. 2011, Santos et al. 2010, Scarpelli et al. 2008, Toffoli & Ferreira 2011).

Os Comitês de Assessoramento do CNPq, em especial o da Medicina Veterinária, área tema deste trabalho, valorizam a produção do pesquisador no nível do decênio para pesquisadores do nível PQ-1 e no quinquênio para o nível PQ-2; além da produção de artigos, é valorizada a formação de recursos humanos e participação em atividades de gestão, editoração de revistas científicas, etc. O Comitê da área de Medicina Veterinária (CA-VT) está ligado à grande área de Ciências Agrárias do CNPq e informa os critérios de avaliação adotados pelo comitê no seu sítio internet (http://cnpq.br/web/guest/view/-/journal_content/56_INSTANCE_0oED/10157/50198).

A análise é criteriosa; como principal parâmetro quantitativo é utilizado a soma dos fatores de impacto das revistas científicas indexadas em que publicou o pesquisador; outro parâmetro cientométrico previsto é o índice H, usado em situações de desempate entre currículos. Como também pode se observar, são apenas dois os parâmetros cientométricos de uso corrente na literatura internacional que são não obstante os mais utilizados (Hirsch 2005, 2010), ainda que outras variáveis numéricas estejam descritas (Schreiber 2010).

A cientometria não é uma panaceia que substitua de forma definitiva a análise pormenorizada de propostas e currículos no âmbito do julgamento de projetos em agências de fomento à pesquisa (Hirsch 2010). Todavia, o cálculo de diferentes fatores modernamente descrito para avaliar a produtividade científica pode ser de valia e curiosidade na caracterização de um determinado grupo de pesquisadores ou mesmo direcionar complementações e melhorias nos processos de avaliação de propostas de pesquisa (Bar-Ilan 2008, Oliveira et al. 2012).

No presente trabalho, submeteu-se a população dos bolsistas de produtividade do CA Medicina Veterinária do CNPq ao cálculo dos valores e índices acimas descritos, em um esforço para avaliar o comportamento dos dados de pesquisadores de diferentes níveis perante estes variados parâmetros possíveis. Outras variáveis, como o local de formação, gênero, local de trabalho e formação de recursos humanos foram também anotados e avaliados.

MATERIAL E MÉTODOS

Coleta e análise de dados

Os dados foram compilados de 15 de fevereiro de 2011 até 11 de maio de 2012; nesta última data o Mapa de Investimentos do CNPq apontava a presença de 304 pesquisadores bolsistas na área do Comitê Assessor de Medicina Veterinária (CA-VT). Os nomes dos pesquisadores (analisados de forma anônima) foram utilizados na formulação de uma planilha informatizada (Excel™, Microsoft Office Professional Plus, 2011™,) contendo a categoria de bolsa concedida pelo CNPq e, a partir do exame do Currículo Lattes (http://lattes.cnpq.br/) individual de cada pesquisador, foram coletados os seguintes dados: instituição de vínculo/ trabalho; caráter jurídico da instituição (pública ou privada); estado e região da instituição; gênero do bolsista; ano de conclusão do doutorado; instituição de realização do doutorado; país de realização do curso de doutorado; presença ou não de pós-doutorado; número de orientações de mestrado e doutorado no quinquênio (2008 a 2012 inclusive); número de orientações de mestrado e doutorado totais; número de supervisões de pós-doutorado. A partir da plataforma Scopus (http://www.scopus.com; Elsevier™) foram compilados os seguintes dados: número total de publicações; número total de citações; número de citações subtraídas as autocitações; o índice h (calculado de 1995 em diante); o número de artigo no quinquênio (2008-2012 inclusive). Através do software EndNote X4^® (Thomson's Reuters), foram anotadas todas as publicações deste grupo exportadas da base Scopus para possíveis análises posteriores. Com o auxílio do programa de computador gratuito Publish or Perish (Harzing 2010) foram compilados os dados disponíveis de cada pesquisador no Google Scholar^®™, sendo analisados os seguintes parâmetros: número de produtos totais (incluindo artigos em periódicos arbitrados e revistas de divulgação científica, teses, dissertações, resumos expandidos e artigos completos publicados em congressos, patentes, normativas e legislações em que o pesquisador atuou como pesquisador ou orientador); citações totais; média de citações por ano; razão das citações pelo número de autores; artigos por autor nomeado entre os colaboradores; índice h (neste caso o Google-h); índice g; índice h individual original e normalizado; índice e; índice hm para múltiplos-autores e índice AWCR (Egghe 2006, Zhang 2009, Hirsch 2005, 2010, Harzing 2010, Schreiber 2010).

Os dados foram reconferidos e recompilados para a formulação das planilhas finais na última data descrita acima. A análise foi aprofundada nas comparações entre os níveis 1A a 1D e nível 2; quando pertinente foram abordadas e analisadas características dos bolsistas DT e 2F.

Foram calculadas as médias, medianas e desvios padrão de todos os itens para comparação e análise com uma possível relação das médias obtidas com o nível do pesquisador conforme a classificação do CA-VT. Quando pertinente, foi feita análise estatística para diferença entre médias dos grupos tomados aos pares através do teste t, e considera estatisticamente significativas àquelas diferenças com p<0,05 a um nível de confiança de 95%.

RESULTADOS E DISCUSSÃO

Distribuição em níveis e a questão do gênero

Em maio de 2011 estavam presentes na base de dados do CA-VT 304 bolsistas assim distribuídos: um bolsista PQ-Sr; 18 bolsistas PQ-1A; 27 bolsistas PQ-1B; 46 bolsistas PQ-1C; 25 bolsistas PQ-1D; 172 bolsistas PQ-2; 1 bolsista DT-1D; 4 bolsistas DT-2 e 10 bolsistas PQ-2F. Do total, 72,37% dos bolsistas são homens, e esta grande maioria se reflete nos vários níveis de bolsas. Descontado o nível PQ-Sr (1 bolsista do sexo masculino) a disparidade entre os gêneros é maior no nível PQ-1A (77,78% masculino) e menor na modalidade PQ-2F (60% masculino). Os dados estão sumarizados no Quadro 1.

A disparidade entre os contingentes masculino e feminino entre os bolsistas de produtividade do CA-VT é evidente e para os níveis 1A até o nível 2 se situa em torno dos 75% a favor dos bolsistas do sexo masculino. Se esse equilíbrio não é tão grave quanto aquele observado e debatido no nível 1A da área de Química (De Torresi et al. 2010, Santos et al. 2010), ao contrário daquele caso não parece haver uma tendência de mudança no médio prazo tendo em vista que no CA-VT as médias de participação feminina se mantêm similares nos vários níveis. Esta distribuição do CA-VT é similar ao que ocorre nas áreas de Cardiologia e na Medicina (Martelli-Junior et al. 2010) (Oliveira et al. 2012).Todavia, difere, por exemplo, do que foi observado para a área de Saúde Pública (Barata & Goldbaum 2003). É interessante notar que as pesquisadoras são em quase totalidade oriundas de graduação em medicina veterinária, enquanto no grupo de pesquisadores do sexo masculino há indivíduos com formação em farmácia, medicina, ciências biológicas e outras, além de uma ampla maioria de formados em medicina veterinária. Deste modo, a distribuição não parece ser devida à formação inicial como se poderia pensar, tendo em vista a predominância de indivíduos do sexo masculino na graduação em medicina veterinária até meados da década de 1970.

Distribuição geográfica

Quadro 2 apresenta os dados de distribuição geográfica da população estudada. Para a distribuição geográfica observa-se uma forte concentração do número de bolsistas na região Sudeste (65,8%), seguida da região Sul (19,7%), Nordeste (8,2%), Centro-Oeste (5,3%) e por último a região Norte, com apenas três bolsistas, o que corresponde a aproximadamente 1% do total. Do ponto de vista da relação bolsista/ população geral, a razão para o país como um todo foi de aproximadamente 1 bolsista para cada 627.486 habitantes, sendo que o estado com menor densidade foi a Bahia e com a melhor relação o Rio Grande do Sul, com 1 bolsista para cada 255.542 habitantes. É notório que dos 27 estados da federação, 9 não têm nenhum bolsista em atividade.

A distribuição geográfica dos bolsistas é bastante desuniforme no país e mesmo no nível intraregional. É digna de nota a concentração de um elevado número de bolsistas no estado de São Paulo, representando 42,8% do número total, o que pode refletir a concentração elevada de recursos disponíveis para pesquisa no estado de São Paulo, através da Fundação de Amparo à Pesquisa do estado de São Paulo (FAPESP) e de outro lado na quantidade de docentes envolvidos na Pós-Graduação Strictu Sensu nesta unidade da federação. Apenas em programas de pós-graduação da área de ciências agrárias o sistema de dados estatísticos da Comissão Permanente de Aperfeiçoamento do Pessoal de Nível Superior (CAPES), o Geocapes (http://geocapes.capes.gov.br) informa 1106 docentes permanentes em SP, contra 456 docentes permanentes na mesma área no RS e 877 em MG, por exemplo. Mesmo no nível regional ocorrem disparidades importantes, como no caso da região Sul, onde o Rio Grande do Sul tem um número expressivo de bolsistas e uma das melhores densidades em relação à população total; todavia, Santa Catarina, mesmo sendo um dos estados com maior produção de aves e suínos, conta com apenas 3 bolsistas. Não obstante, a produção científica na área de suínos e aves é notavelmente ampla e presente em grande quantidade especialmente nos currículos de pesquisadores do Rio Grande do Sul, São Paulo e Minas Gerais. Ainda chama a atenção o grande número de estados sem nenhum bolsista. Obviamente, não há dúvida de que isto não é uma situação gerada dentro do CNPq, mas um reflexo da tradição de formação de recursos humanos, produção científica e mesmo de maior população e desenvolvimento econômico de alguns dos estados em detrimento de um investimento precário na educação e treinamento de pessoal de outras regiões. Assim, não parece que seja cabível tentar resolver essas assimetrias regionais apenas com indução na forma de bolsas, mas de fato corrigir e redirecionar o processo histórico no médio prazo levando a estes locais estruturas e cursos qualificados. Outra possível estratégia seria a montagem de redes de colaboração que aproveitassem a gama de bolsistas já alocadas em outras regiões em projetos conjuntos. Tais desequilíbrios regionais não são exclusividade da área de Veterinária e já foram relatados em outras áreas do conhecimento (Oliveira et al. 2012; Scarpelli et al. 2008).

Local de formação

Considerando todos os níveis, 221 bolsistas concluíram seus estudos de doutorado no Brasil (74,01%), enquanto os outros 25,99% (79 pesquisadores) obtiveram o título de doutor no exterior. Dentre os pesquisadores que obtiveram o grau de doutor no país é notório observar que 33,88% foram titulados pela Universidade de São Paulo (USP), em um de seus vários programas de pós-graduação; em segundo lugar vem a Universidade Estadual Júlio de Mesquita Filho (UNESP), que em seus vários campi formou outros 10,19% dos bolsistas da população estudada. O Quadro 3 apresenta esses resultados de forma pormenorizada. As demais instituições formaram entre um e dois bolsistas cada.

Dentre as instituições estrangeiras, é notável a contribuição à formação de pessoal dada pela Tierärztliche Hochschule, de Hannover, Alemanha, que titulou 12 dos bolsistas, seguida pela University of Illinois, que titulou 6 outros bolsistas. Os demais bolsistas que concluíram seus estudos no exterior estudaram em um amplo conjunto de Universidades do mundo todo, mas é notável que 27 dos 79 bolsistas nesta condição realizassem seus estudos de tese nos Estados Unidos da América, sendo este o país mais procurado por estes pesquisadores no caso do doutoramento no exterior. O grande número de bolsistas com doutorados realizados em instituições alemãs deve ser em parte reflexo da existência de acordos de intercâmbio científico Brasil-Alemanha de longa data, consolidados entre outras iniciativas pelas bolsas concedidas pelo Deutscher Akademischer Austauschdienst (DAAD) em convênios firmados com a CAPES e outras agências de fomento. De outro lado, seja no caso dos indivíduos com doutorado na Alemanha ou Estados Unidos da América, há que se considerar que a excelência em ciência e protagonismo na produção científica destes países podem conferir à formação dos indivíduos os requisitos necessários a uma chance maior de alcançarem o nível de produtividade necessário. Também se deve ressaltar uma forte tendência de formação em âmbito internacional observável nos currículos até meados da década de 1990, fato sucedido pela expansão do número de cursos de doutorado recomendados pela CAPES no Brasil nos últimos 20 anos.

Caráter jurídico das instituições de trabalho

Quanto ao caráter jurídico das instituições com as quais os bolsistas mantêm vínculo, 148 têm seu vínculo empregatício com universidades ou institutos de pesquisa federais e 145 atuam em universidades ou centros de pesquisa estaduais. Apenas 6 dos bolsistas atuam em universidades privadas, panorama que já foi bem descrito na área de Odontologia (Cavalcante et al. 2008, Oliveira et al. 2012). Este fato pode refletir uma tradição menor de pesquisa no seio das universidades privadas e comunitárias, mas é notório que em algumas regiões, especialmente no Sul do país, este panorama esteja se modificando. Características inerentes à diversidade de propósitos e das universidades particulares nas diversas regiões do país, ora mais voltadas à formação de recursos humanos no nível da graduação; ora mais abertamente voltadas à pesquisa e ao desenvolvimento da pós-graduação strictu sensu, como no caso das universidades comunitárias gaúchas, também podem ter reflexo nestes números.

Ano de conclusão do doutorado

Os dados obtidos quanto ao ano de conclusão do doutorado em cada dos níveis estão sumarizados no Quadro 4. No nível PQ-1A a média do ano de conclusão de doutorado fica ao redor do ano de 1987 (desvio padrão ±7 anos, mediana 1988). Neste nível, o bolsista com doutorado concluído há mais tempo obteve o título em 1972, enquanto o bolsista com doutorado mais recente obteve tal titulação em 1999. No nível PQ-1B, a média para o ano de titulação no doutorado se encontra no ano de 1988 (desvio padrão ±8,5 anos, mediana 1992). Para o nível PQ-1B, os 3 bolsistas com doutorado concluído há menos tempo o fizeram em 2000 e o bolsista doutorado há mais tempo obteve o título em 1973. Analisando o nível PQ-1C neste quesito, a média se situa no ano de 1991 e a mediana em 1992 (desvio padrão ±4,7 anos). O bolsista com doutorado há mais tempo obteve seu título em 1980 e no outro extremo o título mais recente foi obtido em 2001. Tomando os dados coletados para o nível PQ-1D, a média de obtenção do título de doutor está no de 1991, a mediana em 1992 e o desvio padrão para este nível é de ±8 anos. O bolsista com maior tempo de titulação obteve seu doutorado em 1975 e o bolsista com menor tempo de titulação concluiu seu doutorado em 2002. Para o nível PQ-2, a média se situa no ano de 1995 (desvio padrão ±6 anos, mediana 1998). É o nível com maior heterogeneidade e o bolsista com titulação há mais tempo obteve o grau equivalente ao doutorado em 1965, ao passo que os 3 bolsistas com título de doutor obtido há menos tempo alcançaram essa titulação em 2006. A correlação entre a média do ano de conclusão do doutorado e o nível de bolsa PQ é forte (r=0,98).

Para os bolsistas DT, a média fica próxima ao ano de 1997 (desvio padrão ±8,75 anos, mediana 2001). Já para os bolsistas do nível 2F, a média está em 2005 e a mediana em 2006, o grupo tem um desvio padrão de apenas 1,64 anos neste quesito.

Orientações de mestrado e doutorado (e soma destas) no quinquênio 2008-2012 e a formação de recursos de recursos humanos ao longo da carreira

Os resultados gerais para estes quesitos estão descritos no Quadro 1. Os bolsistas do nível PQ-1A orientaram em média aproximadamente 6alunos de mestrado último quinquênio; 3alunos de doutorado no mesmo período e na soma foram em média 9pós-graduandos titulados. No conjunto da carreira toda, estes bolsistas orientaram até em média 17 mestrandos e 9 doutorandos. A média de supervisões de pós-doutorado é de 0,83 supervisões sendo que 7 dos bolsistas não declararam supervisões dessa natureza em seus currículos Lattes. O bolsista com maior número de orientações de doutorado orientou 46 indivíduos.

Ao analisar o nível PQ-1B para estas mesmas variáveis, observa-se que em média no quinquênio 2008-2012 os bolsistas orientaram 6 mestrados e 3 doutorados. Na soma os bolsistas neste nível formaram em média 10 pós-graduandos no quinquênio. Quando considerados números totais de formação de recursos humanos obtém-se a média de 23 mestrados e 10 doutorados, com 0,85 supervisões de pós-doutorado. O bolsista com maior número de doutores formados ao longo da carreira titulou 28 indivíduos.

Para o nível PQ-1C, a média quinquenal de mestrados concluídos é 6, para doutorados de 4 e na soma 11,25 pós-graduados no período. Para a carreira toda são aproximadamente21 mestres e 10 doutores em média. Neste nível as supervisões de pós-doutorado são mais raras e a média é de 0,9 supervisões. O bolsista com maior número de doutorados concluídos no nível PQ-1C tem 23 orientações concluída ao longo de sua carreira.

No nível PQ-1D, a média de orientações de mestrado concluídas no período 2008-2012 é de 4 orientações e para o doutorado 2 orientações. A soma das orientações de pós-graduação strictu sensu neste nível tem uma média de 6,8. Ao longo da carreira estes bolsistas orientaram em média 16 mestres, 6 doutores e supervisionaram 0,3 pós-doutorados. O bolsista com maior número de orientações de doutorado concluídas ao longo da carreira apresentava 38 doutores e este mesmo bolsista participou da orientação de 100 mestres.

Analisando o nível PQ-2, a média de conclusão de orientações de mestrado é de aproximadamente 6 para o quinquênio analisado e de 2,5 doutorados no mesmo período, enquanto a soma de ambos os níveis fica em média em aproximadamente8 nos últimos 5 anos. Ao longo da carreira as médias de mestrados e doutorados concluídos foi de respectivamente 16 e 5 orientações. As supervisões de pós-doutorados são raras e a média é de 0,39. Todos os bolsistas tem ao menos 1 orientação de mestrado mas 1 bolsista não conclui a orientação de mestres ou doutores no quinquênio analisado.

Na categoria DT, neste quinquênio a média de mestrados concluídos foi de 3, 2 doutorados e na soma 4,5 titulações. Em números gerais, considerando dados de toda a carreira destes bolsistas, a orientação de mestrado total tem média de aproximadamente 9, 2 para o doutorado e apenas 1 bolsista supervisionou pós-doutorado. Há que ressaltar que 2 dos bolsistas nunca orientaram mestrado ou doutorado.

A correlação entre o nível de bolsa PQ e o número de orientados de doutorado é moderada (r= 0,419), enquanto para o mestrado a correlação é forte (r=0,775).

Os bolsistas PQ-2F participaram em média da formação concluída de 2 mestres, 0,8 doutores e ao todo 3 pós-graduações no quinquênio. Na carreira toda, estes bolsistas se envolveram com a formação em média de 3 mestres e 1 doutor.

Análise de dados cientométricos na base Scopus

Utilizando a ferramenta de busca de autores da base Scopus foi possível encontrar e individualizar os resultados dos 304 bolsistas incluídos no estudo. O primeiro parâmetro analisado foi o número total de artigos registrado no Scopus para cada autor e o número de artigos publicados no quinquênio 2008-2012. A análise dos dados demonstra que há diferença significativa entre o grupo PQ-1A e os demais nos parâmetros artigos publicados no total e no quinquênio. Ocorreram ainda diferenças no quesito 'artigos publicados totais' entre PQ-1B e PQ-2; não diferença estatisticamente significativa entre PQ-1B, 1C e 1D nestes quesitos; não há diferenças estatisticamente significativas entre os níveis PQ-1C, PQ-1D e PQ-2 nestes mesmos parâmetros. O bolsista PQ-1A com maior número de artigos indexados na base Scopus tem 191 produtos; o bolsista com menos artigos tem 43 produções. O bolsista PQ-1B com maior número de artigos nesta mesma base tem 218 artigos; aquele com menor número de produtos tem 33 artigos. O bolsista do nível 1C com maior produção pela base Scopus tem 108 artigos lá nominados e o que tem menor produção nesta faixa 15 artigos. Dentre os bolsistas PQ-1D, o que conta com maior número de produções tem 105 e o bolsista com menor número conta 23 produtos. No nível PQ-2, o bolsista com maior número de produções na base Scopus tem 104 produtos e o bolsista com menos produções contabiliza 7 artigos.

No que tange às citações, seja contabilizando as citações totais, seja contabilizando descontando-se as autocitações, há diferença estatisticamente significativa das médias entre o grupo PQ-1A e demais níveis; há diferença entre o nível PQ-1B e o nível 2; mas não há diferença entre os níveis PQ-1C até o nível 2. Os dados para médias de citações estão sumarizados na Figura 1.

Quanto ao principal parâmetro cientométrico disponível para cálculo na base Scopus, qual seja o índice H, os dados estão sumarizados na Figura 2. Para as médias do índice H calculado a partir da base Scopus, há diferença estatisticamente significativa entre os níveis PQ-1A e PQ-1B; não há diferença entre os níveis PQ-1B, PQ-1C e PQ-1D; há diferença entre o nível 1 e o nível 2. Todavia, essa medida se mostra distribuída de forma heterogênea, conforme demonstram os números a seguir: o índice H de bolsistas do nível PQ-1A variou de 5 até 24; no nível PQ-1B, de 3 até 21; no nível PQ-1C, de 2 a 22; para PQ-1D, variou de 3 a 16; para PQ-2, variou na faixa de 1 até 16; na modalidade DT, variou de 5 a 11. Para os bolsistas 2F, a variação ocorreu na faixa de 1 a 15. Percebe-se claramente que neste quesito há inúmeros bolsistas com índice muito acima ou muito abaixo da média de seu grupo. Estes aparentes desajustes entre variáveis cientométricas usuais e a colocação de parte dos bolsistas em um mesmo comitê já foi descrito também para outras áreas do CNPq (Oliveira et al. 2012).

Para as citações totais, no grupo de bolsistas PQ-1A, os dados de três pesquisadores apresentaram citações ao menos um desvio padrão abaixo da média do grupo; no nível 1B, nenhum bolsista tem índices inferiores à diferença entre média e o desvio padrão neste quesito; no nível 1C, 8 bolsistas têm números inferiores a um desvio padrão subtraído da média; no nível 1D, 2 pesquisadores e no nível 2, são 29 bolsistas que tem citações totais inferiores em 1 desvio padrão ao menos abaixo da média de seus pares. Como os outros índices são calculados com bases nestes dados, há similaridade também nesta distribuição nos demais indicadores avaliados.

Análise de dados cientométricos no Google Scholar ^®

Com auxílio do programa de computador Publish or Perish (Harzing 2010), foram calculados vários indicadores cientométricos utilizando o Google Scholar^® como base de coleta de dados. A análise nesta base é um pouco mais trabalhosa, especialmente na ocorrência de homônimos, já que pela sua generalidade é necessário remover artigos de autoria erroneamente alocada para um autor e entradas sem cunho científico (Repanovici 2011). Foi possível analisar 303 currículos, já que um dos bolsistas do nível PQ-1D tinha uma quantidade muito grande homônimos. Outra possível dificuldade a levar-se em conta seria a limitação na disponibilização de resultados não superiores a 1000 produções por autor por parte dos servidores do Google^® (Harzing & Van der Wal 2007, Repanovici 2011), mas nenhum dos bolsistas analisados atingiu este limite.

O primeiro parâmetro observado foi o número de produtos de cada autor; após tabulação foram calculadas médias e desvios padrão destes índices por categoria. É importante observar que nesta base estão indexados documentos diversos, além de artigos publicados em periódicos indexados. Ainda que os números absolutos variem bastante daquilo que é percebido na base Scopus e sejam via de regra bem superiores pela inclusão de outros documentos além de artigos publicados em periódicos arbitrados, a relação entre os níveis de bolsas de produtividade se mantém similar àquela descrita para esta outra base de dados, conforme descrito a seguir.

O autor com maior número de produtos no Google Scholar^® no nível PQ-1A apresentou 364 produções enquanto o menor apenas 125; ressalte-se que há concordância para a ordem dos autores nos índices mais altos de produção com o que se observa na base Scopus para este nível. No nível PQ-1B, o bolsista com mais produções possuía 245 produtos e aquele com menos, 32 produções; neste nível a concordância entre a base Scopus e o Google Scholar^® é mais baixa. Na faixa de PQ-1C, o bolsista com maior número de produtos tem 255 produções e o bolsista com menor número apresenta 26 produções. Para os bolsistas do nível 1D, o bolsista com mais produções tem 196 produtos e o bolsista com menos produções, 10. No nível PQ-2, o bolsista com maior número de produções tem 198 produtos e com menor número tem 7 publicações incluídas nesta base de dados.

Seguindo as análises, obtiveram-se os dados referentes ao perfil de citações dos bolsistas com base no Google Scholar^®. Para este item pôde-se calcular nesta base tanto o número de citações totais nos mais variados tipos de documentos até o índice de citações por ano dos bolsistas. As citações totais na base Google Scholar^® tem enorme variação em uma mesma faixa de bolsistas, a exemplo do que ocorreu na base Scopus, mas em grau ainda mais acentuado. Todavia, é possível perceber uma escala decrescente do nível 1A ao nível 2, neste quesito. Tanto para a média de citações totais quantas citações por ano, há diferenças significativas entre PQ-1A e PQ-1B e destes em relação aos demais níveis; todavia, não há diferenças significativas entre os grupos PQ-1C, PQ-1D e o nível 2. Há ainda que ressaltar que dentro do universo pesquisado nestes quesitos há inúmeros bolsistas com citações muito acima ou muito abaixo da média de seu grupo, sendo que tomado um desvio padrão abaixo da média do grupo, índices entre 15% no caso do nível 1A e 7,5% no caso do nível 2 cairiam nesta situação.

A análise do índice aqui nominado Google-H, ou seja, o índice H calculado a partir dos dados da base Google Scholar^® revelou que os números gerais pouco diferem (inclusive na variação obtida dentro de cada faixa) daqueles obtidos com o índice H calculado na base Scopus. Para alguns bolsistas o índice Google-H é 1 ou 2 pontos mais alto que para o índice H, mas isto não parece ter um efeito direto sobre as médias gerais dos grupo. Continua para o índice Google-H a situação de grande variação em cada uma das faixas analisadas, representada por desvios padrão próximos da média do grupo em todos os níveis.

A Figura 3 apresenta as médias de variados índices (índice g, ou índice Egghe que dá maior peso a artigos com elevado número de citações; o índice e, que permite diferenciar entre pesquisadores com mesmo índice h, mas com padrões de citações diferentes; índice hc, que dá mais peso a artigos publicados recentemente; e ainda os índices h individual original - hi - e índice hm, ou multiautores). Os resultados para estes índices apresentam grande variação entre os grupos, os desvios padrão são altos, próximos às médias dos grupos analisados em alguns casos. Os vários índices permitem uma discriminação na média entre os vários níveis de bolsas, com a ressalva de que um elevado número de bolsistas fica muito acima ou muito abaixo da média de seu grupo, novamente variando de 7 a 15% conforme o nível de bolsa analisado. Por último apresenta-se a análise do índice AWCR, em que o cálculo do índice leva em conta a idade dos artigos publicados e citados. Este índice, uma variação do índice H, permite uma melhor discriminação entre os níveis de bolsistas, com uma variação ainda alta, porém mais baixa do que aquela descrita anteriormente para outras formas de cálculo do índice H. Ao que parece este índice pode ter vantagens na análise deste grupo pelos parâmetros vigentes no CA-VT. Os resultados estão apresentados na Figura 4.

Diferentes indicadores cientométricos vem sendo propostos ao longo do tempo: desde o número de artigos publicados total de um indivíduo até fatores de cálculo mais complexo. Sem dúvida o indicado mais conhecido e difundido é o índice h (ou H), também nomeado índice de Hirsch, autor que o desenvolveu (Hirsch 2005). Neste índice de cálculo simples mensura-se o número de vezes em que os artigos mais citados de um determinado autor são citados; ou seja, o índice H de um pesquisador é x quando este possuir um número x de trabalhos com igualmente x citações. Por exemplo, um pesquisador com índice h 14 tem 14 trabalhos os quais foram citados no mínimo 14 vezes. A grande vantagem deste cálculo é dar valor à produção de artigos com maior relevância, em periódicos de visibilidade mais alta e não de produção em massa de artigos de pouca relevância. Outra vantagem é permitir o julgamento do conjunto da produção ao longo da carreira do pesquisador, evitando atribuir maior peso a um artigo ou número pequeno de artigos com alto índice de citações (Bornmann et al. 2010, Hirsch 2010). Dentre as desvantagens estão que o índice h não necessariamente reflete o impacto na formação de recursos humanos e dimensão social ou econômica dos produtos gerados pelo pesquisador; há ainda a possível tendência de citações entre grupos que mantém colaboração e a natural tendência à citação de artigos publicados em periódico com maior fator de impacto (Jin et al. 2007, Schreiber 2008, Zhang 2009).

Outro obstáculo é de que normalmente estes índices são calculados em bases que muitas vezes não contém todos os artigos de um determinado pesquisador, tais como Scopus ou Web of Science (Bar-Ilan 2008, De Moya-Anegón et al. 2007, Vieira & Gomes 2009). Mais recentemente Foram ainda desenvolvidas ferramentas como o programa de computador Publish or Perish (Harzing 2010) que permite cálculo de um índice H mais amplo, também nominado Google-H, pois o cálculo se baseia em informações contidas na base Google Scholar^®, a qual traz além de artigos publicados em periódicos, patentes, resumos expandidos de anais de congressos, legislações, teses e dissertações, além de outros documentos os quais possam estar ligados à produção do pesquisador (Bar-Ilan 2008, Harzing & Van der Wal 2007, 2008). A grande desvantagem seria incluir produtos que muitas vezes não sofrem o mesmo escrutínio do sistema de revisão por pares comum em revistas conceituadas; todavia, ao incluir outras formas de produção, muitas de acesso livre na internet o Google-h fornecer informações de interesse do impacto da atividade geral do pesquisador (Bar-Ilan 2008, Harzing & Vn der Wal 2008) ou mesmo no nível institucional (Repanovici 2011). Mais que isso, esta base talvez esteja mais concatenada com os recentes movimentos de expansão do sistema de acesso livre à informação científica e seu uso com o auxílio de ferramentas computacionais também livres pode permitir a realização análises cientométricas como esta aqui descrita com baixo custo e mesmo em ambientes não ligados a uma rede universitária formal, em instituições menores ou localizadas em regiões periféricas (Harzing & Van der Wal 2007).

Outras correções foram propostas para possíveis fraquezas do índice h. O índice g, ou índice Egghe propõe alteração no cálculo que dá maior peso a artigos com elevado número de citações (Egghe 2006, Hirsch 2010); o índice e de Zhang, propõe um modificação que permitiria diferenciar entre pesquisadores com mesmo índice h, mas com padrões de citações diferentes (Zhang 2009). Há ainda o índice hc, ou h contemporâneo, que dá mais peso a artigos publicados recentemente (Schreiber 2010); o índice AWCR, em que o cálculo do índice leva em conta a idade dos artigos publicados e citados (Jin et al. 2007); e ainda os índices h individual original (hi) e do grupo de pesquisadores, que dão diferentes pesos às coautorias e por último o índice hm para múltiplos autores (Schreiber 2009) que visa justamente estabelecer uma escala de contribuição ao autor analisado em um conjunto maior de autores dos artigos citados. Todos os índices baseiam-se no número de citações de artigos, o que por si só pode ter problemas e vieses, mas ainda parece ser uma maneira segura de avaliar o impacto da produção de um pesquisador.

CONCLUSÕES

No âmbito geral, o estudo demonstra que há uma coerência quanto às médias dos grupos para os vários níveis de bolsas concedidas pelo CA-VT; todavia, há grandes disparidades refletidas em desvios-padrões elevados e, por conseguinte, um número considerável de bolsistas está colocado em taxas muito aquém ou além da média de cada nível.

O índice AWCR, uma modificação do índice H em que o cálculo leva em o tempo decorridos desde a publicação e citação dos artigos publicados em periódicos, parece mais adequado à estratificação dos bolsistas da maneira como se distribuem os pesquisadores nos diferentes níveis no CA-VT na atualidade.

Deve-se sempre levar em conta que a utilização destes e outros indicadores cientométricos da produção necessita de cautela em sua adoção, utilização e interpretação: obviamente a análise de currículos é um desafio mais amplo que compreende a visualização de informações e pormenores nem sempre expressos por números.

Agradecimentos.- O autor é Bolsista de Produtividade do CNPq nível 2; o presente trabalho foi realizado com apoio financeiro da Fundação de Amparo à Pesquisa do Estado do Rio Grande do Sul (FAPERGS), Edital 010/2010, processo no. 10/1889-3. O autor agradece aos comentários e sugestões formulados pelos revisores que em muito contribuíram à versão final do artigo.

Recebido em 11 de agosto de 2012

Aceito para publicação em 31 de dezembro de 2012

• Bar-Ilan J. 2008. Which h-index? A comparison of WoS, Scopus and Google Scholar. Scientometrics 74:257-271.
• Barata R.B. & Goldbaum M. 2003. Perfil dos pesquisadores com bolsa de produtividade em pesquisa do CNPq da área de saúde coletiva. Cad. Saúde Publ. 19:1863-1876.
• Bornmann L., Mutz R. & Daniel H.D. 2010. The h index research output measurement: two approaches to enhance its accuracy. J. Informetrics 4:407-414.
• Cavalcante R.A., Barbosa D.R., Bonan P.R.F., Pires M.B.D.O. & Martelli Jr H. 2008. Perfil dos pesquisadores da área de odontologia no Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq). Revta Bras. Epidemiol. 11:106-113.
• De Moya-Anegón F., Chinchilla-Rodríguez Z., Vargas-Quesada B., Corera-Álvarez E., Muñoz-Fernández F.J., González-Molina A. & Herrero-Solana V. 2007. Coverage analysis of Scopus: A journal metric approach. Scientometrics 73:53-78.
• De Torresi S.I.C., Pardini V.L. & Ferreira V.F. 2010. A desigualdade só aumenta prejuízos e diminui as oportunidades. Quim. Nova 33:499.
• Egghe L. 2006. Theory and practise of the g-index. Scientometrics 69:131-152.
• Harzing A.W. 2010. The Publish or Perish Book. Tarma Software Research, Melbourne.
• Harzing A.W. & Van der Wal R. 2007. Google scholar: the democratization of citation analysis. Ethics Sci. Environ. Pol. 8:61-73.
• Harzing A.W. & Van der Wal R. 2008. A google scholar h-index for journals: a better metric to measure journal impact in economics and business. Psychology 60:1-26.
• Hirsch J.E. 2005. An index to quantify an individual's scientific research output. Proc. Natl Acad. Sci. 102:16569-16572.
• Hirsch J.E. 2010. An index to quantify an individual's scientific research output that takes into account the effect of multiple coauthorship. Scientometrics 85:741-754.
• Jin B., Liang L., Rousseau R. & Egghe L. 2007. The R- and AR-indices: complementing the h-index. Chinese Sci. Bull. 52:855-863.
• Lino M.M., Backes V.M.S., Canever B.P., Ferraz F. & Prado M.L. 2010. Perfil da produção científica e tecnológica dos grupos de pesquisa em educação em enfermagem da Região Sul do Brasil. Revta Lat.-Am. Enf. 18:452-458.
• Martelli-Junior H., Martelli D.R.B., Quirino I.G., Oliveira M.C.L.A., Lima L.S. & De Oliveira E.A. 2010. Pesquisadores do CNPq na área de medicina: comparação das áreas de atuação. Revta Assoc. Med. Bras. 56:478-483.
• Oliveira E.A., Colosimo E.A., Martelli D.R., Quirino I.G., Oliveira M.C.L., Lima L.S., Silva A.C.S. & Martelli-Júnior H. 2012. Comparison of Brazilian researchers in clinical medicine: are criteria for ranking well-adjusted? Scientometrics 90:429-443.
• Oliveira E.A., Pécoits-Filho R., Quirino I.G., Oliveira M.C., Martelli D.R., Lima L.S. & Martelli Jr H. 2011. Profile and scientific production of CNPq researchers in nephrology and urology. J. Bras. Nefrol. 33:31-37.
• Politzer K. 2005. Aspectos e fatores da produtividade em pesquisa, desenvolvimento e inovação. Quim. Nova 28:S76-S78.
• Repanovici A. 2011. Measuring the visibility of the university's scientific production through scientometric methods: an exploratory study at the Transilvania University of Brasov, Romania. Perf. Meas. Metrics 12:106-117.
• Santos N.C.F., De Cândido L.F.O. & Kuppens C.L. 2010. Produtividade em pesquisa do CNPq: análise do perfil dos pesquisadores da química. Quim. Nova 33:489-495.
• Scarpelli A.C., Sardenberg F., Goursand D., Paiva S.M. & Pordeus I.A. 2008. Academic trajectories of dental researchers receiving CNPq's productivity grants. Braz. Dental J. 19:252-256.
• Schreiber M. 2008. An empirical investigation of the g-index for 26 physicists in comparison with the h-index, the 4-index, and the R-index. J. Am. Soc. Info. Sci. Tech. 59:1513-1522.
• Schreiber M. 2009. A case study of the modified Hirsch index hm accounting for multiple coauthors. J. Am. Soc. Info.Sci. Tech. 60:1274-1282.
• Schreiber M. 2010. Twenty Hirsch index variants and other indicators giving more or less preference to highly cited papers. Annal. Physik (Leipzig) 522:536-554.
• Toffoli G.A. & Ferreira S.M.S.P. 2011. Mapeamento da produção científica de pesquisadores brasileiros de ciências da comunicação: período de 2000 a 2009. Psicol. USP 22:399-422.
• Vieira E.S. & Gomes J.A.N.F. 2009. A comparison of Scopus and Web of Science for a typical university. Scientometrics 81:587-600.
• Zhang C.T. 2009. The e-index, complementing the h-index for excess citations. PloS One Article 4.

Datas de Publicação

• Publicação nesta coleção
  11 Abr 2013
• Data do Fascículo
  Fev 2013

Histórico

• Recebido
  11 Ago 2012
• Aceito
  31 Dez 2012