Limites dos indicadores bibliométricos de bases de dados internacionais para avaliação da Pós-Graduação brasileira: a cobertura da Web of Science nas diferentes áreas do conhecimento

Limits of international databases bibliometric indicators to evaluate the Brazilian Graduate Programs: Web of Science coverage on different scientific disciplines

Resumo

Considerando o crescimento do uso de indicadores bibliométricos e cientométricos em processos de avaliação da Pós-Graduação brasileira, buscou-se identificar o nível de cobertura da Web of Science em relação à produção bibliográfica brasileira (artigos) nas diferentes Grandes Áreas do Conhecimento e Áreas de Avaliação da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior, agência pública brasileira de financiamento à pesquisa, apontando limites e possibilidades da adoção desses indicadores como mecanismos de avaliação dos resultados da atividade científica dos programas que compõem o Sistema Nacional de Pós-Graduação. Para tanto, recorreu-se ao levantamento de dados da produção bibliográfica dos 4.377 Programas de Pós-Graduação cadastrados na Plataforma Sucupira nos anos de 2017 e 2018, bem como à coleta de dados da Core Collection da Web of Science. Diante dos dados empíricos e do referencial teórico adotado, evidenciou-se que 46,56% dos periódicos utilizados para publicação por pesquisadores vinculados aos Programas de Pós-Graduação brasileiros estão indexados na base, enquanto 53,44% dos periódicos utilizados não estão indexados. Demonstrou-se variações de cobertura/indexação nas diferentes Grandes Áreas do Conhecimento e Áreas de Avaliação, assim como abordou-se a necessidade de se considerar, em processos de avaliação de Programas de Pós-Graduação, os resultados das atividades científicas para além da produção bibliográfica de artigos indexados em bases bibliográficas internacionais.

Palavras-chave
Avaliação da atividade científica; Bibliometria; Comunicação científica; Estudos bibliométricos; Fontes bibliométricas; Produção científica

Abstract

Considering the growing use of bibliometric and scientometric indicators in the evaluation of Brazilian Graduation Programs, this paper aims to identify Web of Science’s coverage concerning bibliographic output (scientific papers). It focuses on the major knowledge and evaluation areas set by the Coordination for Higher Education Staff Development, a Brazilian public organization for research funding, and seeks to highlight the limits and possibilities of the use of these indicators as devices for evaluating the scientific activity of the national graduation system. For this purpose, data surveys were held on the bibliographic production of 4,377 graduate programs currently registered on Sucupira Platform, and Web of Science Core Collection, between 2017 and 2018. Consolidated by empirical data and a theoretical approach, the results show that 46.56% of journals employed by Brazilian researchers affiliated to Brazilian graduate programs are currently indexed on this database, while 53.44% are not. The conclusion, therefore, is that there are variations on the indexation levels among the various Major Knowledge and Evaluation Areas. We also addressed the recommendation that processes of evaluation consider the results of scientific activities beyond just papers indexed on international bibliographic databases.

Keywords
Scientific activity evaluation; Bibliometric; Scholars communication; Bibliometric studies; Bibliometric sources; Scientific production

Introdução

Os indicadores bibliométricos e cientométricos têm sido cada vez mais utilizados em processos de avaliação dos resultados da produção científica em todo o mundo, embora se observe uma diversidade de pesquisas, manifestos e declarações que apontam as suas fragilidades e limitações (Dora, 2012; Hicks et al., 2015; Sugimoto et al., 2019; Wouters et al., 2015; Wilsdon et al., 2015).

A área conhecida como Estudos Métricos da Informação, onde se situam a bibliometria e a cientometria, se desenvolveu a partir da segunda metade do século XX, num contexto de reconfiguração da economia política da atividade acadêmico-científica, desdobrando-se dos esforços da sociologia da ciência (que voltava-se à análise das dinâmicas da produção do conhecimento científico) e da ciência da informação (em articulação com outras disciplinas, como a matemática, a estatística, a informática, etc.) para dedicar-se aos estudos quantitativos da ciência e da tecnologia (Van Raan, 1997).

Grande parte dos indicadores em uso na contemporaneidade derivam da influência e atuação de organismos internacionais, como a Organização para a Cooperação e o Desenvolvimento Econômico e a Organização das Nações Unidas para Educação, Ciência e Cultura, bem como o National Science Foundation, os quais realizam, dentre outras ações, a conceituação, operacionalização de dados e elaboração de manuais metodológicos visando a comparação internacional dos resultados das atividades de Ciência, Tecnologia e Inovação (Larivière; Sugimoto, 2018; Medeiros, 2015).

Os indicadores de produção e citação de bases de dados internacionais, a exemplo do Fator de Impacto (FI) da Web of Science (WoS), tiveram papel de destaque na elaboração, sistematização e formulação de políticas conduzidas por esses organismos, de modo que os dados do então Institute for Scientific Information, atual Clarivate Analytics, passaram a ser utilizados pela Organização para a Cooperação e o Desenvolvimento Econômico a partir de 1972, assim como incluídos nos Relatórios de Indicadores Científicos do National Science Foundation (Mingers; Leydesdorff, 2015).

No contexto brasileiro, o uso da bibliometria para analisar as dinâmicas científicas buscando compreender a evolução de sua produção começou a ganhar corpo a partir da década de 1970, quando o país registrava menos de dez periódicos e poucas centenas de artigos indexados nas bases do Institute for Scientific Information (Morel; Morel, 1977; Mugnaini; Digiampietri; Mena-Chalco, 2014).

Não obstante, somente na virada do milênio é que adquiriu força, em âmbito nacional, a divulgação de estatísticas e indicadores de ciência, tecnologia e inovação por parte do Ministério de Ciência e Tecnologia, agências nacionais de fomento e fundações estaduais de apoio à pesquisa, especialmente em decorrência da implementação de critérios bibliométricos no processo de avaliação de Programas de Pós-Graduação conduzido pela Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes) (Leta, 2011; Mugnaini; Digiampietri; Mena-Chalco, 2014).

A Capes implantou o sistema de avaliação da Pós-Graduação brasileira em 1976 e, a partir de 1998, passou a realizar a avaliação com a participação da comunidade acadêmico-científica por meio da colaboração de consultores ad hoc³, incluindo sete quesitos padronizados como critérios a serem analisados por todas as áreas, assim como conceitos avaliativos em escala de 1 a 7, onde as notas 1 e 2 implicam no descredenciamento do curso. Desde então, a agência vem ajustando e atualizando os critérios adotados em cada ciclo avaliativo em direção a enfoques entendidos como mais objetivos e transparentes.

O sistema compreende os processos de acompanhamento anual e de avaliação quadrienal do desempenho dos programas que integram o Sistema Nacional de Pós-Graduação e tem por principal base a Plataforma Sucupira, que contém múltiplos dados e informações fornecidos pelos programas de todas as regiões. A avaliação de um Programa de Pós-Graduação leva em consideração quesitos que compõem a Ficha de Avaliação, os quais, atualmente, são: programa (funcionamento, estrutura, planejamento e alinhamento em relação ao seu perfil e aos seus objetivos); formação (qualidade das teses, dissertações, produção intelectual de discentes e docentes e das atividades de pesquisa, bem como avaliação do egresso) e impacto na sociedade (caráter inovador da produção intelectual, os efeitos econômicos, sociais e culturais do programa, internacionalização e visibilidade).

No que concerne à produção intelectual, a Capes também possui papel fundamental na estratificação da qualidade das revistas científicas por meio do sistema Qualis Periódicos, um instrumento desenvolvido para classificar todos os periódicos listados pelos Programas de Pós-Graduação na Plataforma Sucupira, com vistas a retratar os veículos onde docentes e discentes de cada área publicam os resultados de suas investigações.

O Qualis Periódicos, por sua vez, constitui-se em uma das ferramentas empregadas na avaliação e certificação dos Programas de Pós-Graduação que repercute, ainda que indiretamente, na distribuição de bolsas e recursos para o fomento aos cursos e à pesquisa, ao mesmo tempo em que a listagem de classificação dos periódicos gerada pelo sistema também é considerada como referência pelos pesquisadores quando da seleção de veículos onde pretendem publicar, embora esse uso seja inadequado e desaconselhado, conforme aborda Barata (2016).

Em 2019, a Capes propôs uma nova metodologia para a classificação do Qualis Periódicos com vistas a produzir uma comensurabilidade entre as diversas áreas, a qual considera indicadores combinados das bases de dados Scopus (CiteScore), Web of Science (Fator de Impacto) e Google Scholar (Índice h), evidenciando ainda mais a intenção da agência em privilegiar o uso de indicadores bibliométricos de bases internacionais (Martínez-Ávila; Muriel-Torrado; Bisset-Álvarez, 2020; Martins et al., 2019).

Diante do crescimento da aplicação de indicadores bibliométricos e cientométricos na avaliação da Pós-Graduação brasileira, considera-se relevante compreender os limites e as possibilidades do emprego de métricas e indicadores provenientes de bases de dados internacionais na avaliação nacional. Sob essa perspectiva, este estudo tem como objetivo central identificar o nível de cobertura da WoS em relação à produção bibliográfica brasileira nas diferentes Grandes Áreas do Conhecimento e Áreas de Avaliação da Capes, problematizando o uso de indicadores bibliométricos de bases internacionais como mecanismos exclusivos de avaliação e ranqueamento dos resultados da atividade científica dos Programas de Pós-Graduação que compõem o Sistema Nacional de Pós-Graduação.

Dentre as diversas abordagens analíticas possíveis, a pesquisa optou por focar no aspecto relacionado à cobertura externa⁴ da produção científica em bases de dados internacionais, pesquisando especificamente a base Web of Science (da empresa Clarivate Analytics) comparativamente ao universo de dados da produção bibliográfica de artigos produzidos no âmbito dos Programas de Pós-Graduação presentes na Plataforma Sucupira da Capes. Diversas são as críticas dirigidas à WoS, aos seus indicadores e políticas de indexação. Dentre elas destacam-se, por exemplo, a definição pouco transparente do que são considerados documentos citáveis, a qualidade da indexação de conteúdos não anglófonos, assim como a crítica de que a base bibliográfica representa a ciência mainstream, com profunda centralização na produção científica proveniente dos Estados Unidos e de países europeus, além da prevalência de artigos e periódicos no idioma inglês (Larivière; Sugimoto, 2018).

Nessa linha, estudos também evidenciam a disparidade da relação entre os países com revistas indexadas na WoS e o quantitativo da produção científica desses mesmos países, demonstrando uma concentração de títulos das editoras comerciais associados aos países onde operam, “como é o caso da Holanda e da Suíça, que ocupam, no ranking de edição de periódicos, dez posições acima da produção de artigos” (Packer, 2011, p. 34).

Entretanto, a seleção da WoS para este estudo se deve, por um lado, pelo interesse em conhecer a cobertura dessa base em relação à produção nacional de todos os campos do conhecimento e, por outro lado, em função de a WoS ser a mais antiga e reconhecida base de dados bibliográficos, largamente empregada para conduzir análises em torno da produção científica e tecnológica (Larivière; Sugimoto, 2018) e igualmente usada, juntamente com a Scopus (Elsevier), dentre outras bases, em processos de avaliação da Pós-Graduação brasileira.

Embora sejam abundantes os estudos bibliométricos que utilizam a base WoS para mapear o impacto dos resultados da produção científica em áreas específicas (Brambilla; Stumpf, 2012; Bufrem; Nascimento, 2019; Leta, 2011), o presente trabalho busca fazê-lo de modo a evidenciar a cobertura a partir da pesquisa comparativa do universo amplo de artigos e periódicos de todos os campos científicos elencados na tabela de áreas da Capes presentes na Plataforma Sucupira.

Como apontado por Mugnaini et al. (2019), os estudos métricos brasileiros ainda carecem de pesquisas que tomem como referência fontes de informação nacionais. Nesse sentido, valer-se da Plataforma Sucupira da Capes constitui-se em um meio de utilizar fontes brasileiras que detém dados da produção científica do país e que pode ser uma ferramenta mais completa para a medição da produção intelectual brasileira, embora com diversas imperfeições de fontes de informação com preenchimento realizado de forma descentralizada.

Ressalta-se, ademais, que a maior parte dos estudos cientométricos não consideram questões relacionadas aos problemas da “medição” e, conforme assegura Oliveira (2019) em diálogo com Cassiolato et al. (2007), acabam adotando uma coleção de indicadores que “aparentemente são amplamente aceitos pela literatura mais tradicional e, com base nestes desenvolvem análise comparativas de países, regiões, setores e empresas, bem como diagnósticos sobre a dinâmica dos Sistemas Nacionais de Inovação (SNI)” (Cassiolato et al., 2007, p. 1), muitas vezes “ignorando as particularidades da circulação científica de cada país” (Oliveira, 2019, p. 197).

Ainda que este estudo objetive apresentar dados quantitativos da cobertura da produção brasileira na WoS, se pretende, igualmente, debater os limites em torno da “medição” e o uso de indicadores de forma não situada nos processos de avaliação de Programas de Pós-Graduação e classificação/estratificação de periódicos. Ao identificar e problematizar a cobertura da produção brasileira indexada na WoS por Grande Área do Conhecimento e Área de Avaliação da Capes a partir do universo de dados da Plataforma Sucupira, espera-se que a pesquisa possa contribuir para a gestão pública da ciência, mais especificamente para subsidiar as atribuições de gestores, coordenadores de área e comissões de avaliação das principais agências de fomento do Brasil.

Procedimentos Metodológicos

Para alcançar os objetivos propostos, recorreu-se ao levantamento de dados da produção bibliográfica (particularmente de artigos em periódicos com International Standard Serial Number [ISSN]) dos 4.377 Programas de Pós-Graduação cadastrados na Plataforma Sucupira nos anos de 2017 e 2018, bem como a coleta de dados de identificação dos periódicos atribuídos pelo International Centre (2020) e também ao levantamento de dados – do mesmo período –, da WoS Core Collection, com vistas a identificar a indexação da produção nacional nessa base bibliográfica internacional.

A coleta de dados foi realizada entre fevereiro e maio de 2020 por meio do acesso aos arquivos disponíveis em sítio eletrônico da Capes (2019), bem como por meio de arquivos em formato CSV enviados, a pedido dos autores, pela Clarivate Analytics e pelo International Centre (2020).

Valendo-se da linguagem de programação Python em sua interface gráfica Jupyter Notebook (Jupyter, 2020), os quatro arquivos da Plataforma Sucupira foram agrupados (contendo a produção bibliográfica de artigos de periódicos, o detalhamento dessa produção, bem como as informações dos Programas de Pós-Graduação vinculadas a essas produções dos anos de 2017 e 2018) e foram extraídos os dados relativos às instituições, Programas de Pós-Graduação, Grande Área do Conhecimento, Área de Avaliação da Capes, título do artigo, ano de publicação e ISSN.

Em seguida foi verificada a presença da publicação na WoS utilizando o ISSN como elemento integrador entre as bases, o qual foi padronizado por meio do uso do International Standard Serial Number – Linking (ISSN-L), bem como a correspondência entre o ano de publicação do artigo informado na Plataforma Sucupira e o ano de indexação da revista na WoS.

Inicialmente o conjunto de dados da Plataforma Sucupira apresentava 494.802 registros. Para buscar uma estimativa de artigos únicos presentes na base, as duplicações foram removidas utilizando o título exato do artigo – após padronização feita com o software Open Refine (2020) –, o ISSN-L do periódico e o ano de publicação. Também foram removidos 802 artigos de periódicos que não possuíam o ISSN ou que não foram identificados na tabela do ISSN-L, o que resultou no total de 272.984 artigos únicos.

Assim, o universo de artigos cadastrados na Plataforma Sucupira e presente em periódicos indexados na WoS foi identificado (sem distinguir a qual Coleção da WoS Core Collection⁵ pertencem). A produção bibliográfica foi organizada considerando as 9 Grandes Áreas do Conhecimento e as 49 Áreas de Avaliação, conforme definição da Capes (2020).

Para a geração dos gráficos de Grandes Áreas contabilizou-se a duplicação da publicação para os casos em que um mesmo artigo estivesse presente em mais de uma Grande Área. O mesmo procedimento foi realizado para as Áreas de Avaliação. A Tabela 1 apresenta os dados gerais⁶ de modo a permitir a análise do volume de informações consolidadas de acordo com cada Grande Área do Conhecimento.

Tabela 1
Universo de artigos, periódicos e Programa de Pós-Graduação discriminados por Grande Área do Conhecimento (2017-2018).

Grande Área PPG/Capes	Artigos	Periódicos	Programa de Pós-Graduação
	n
Ciências Agrárias	35.714	3.778	436
Ciências Biológicas	33.670	5.118	322
Ciências da Saúde	63.313	7.352	695
Ciências Exatas e da Terra	29.767	4.688	328
Ciências Humanas	44.646	6.581	609
Ciências Sociais Aplicadas	38.938	6.121	598
Engenharias	26.644	4.925	440
Linguística, Letras e Artes	15.237	2.272	213
Multidisciplinar	58.802	9.786	736

• Fonte: Elaborada pelos autores com base nos dados extraídos da Plataforma Sucupira em maio de 2020.
• Nota: Capes: Coordenação de Aperfeiçoamento de Pessoal de Nível Superior; PPG: Programa de Pós-Graduação.

Resultados e Discussão

Os resultados obtidos por meio do cruzamento entre os dados da Plataforma Sucupira e os da Web of Science revelam que 9.700 (46,56%) periódicos utilizados para publicação de artigos por pesquisadores vinculados aos Programas de Pós-Graduação brasileiros estão indexados na base, enquanto 11.135 (53,44%) periódicos utilizados não estão indexados.

Os dados, ainda com variações decorrentes de recortes, metodologias e escopos distintos, seguem na mesma direção da ampla pesquisa realizada por Mugnaini et al. (2019) onde apontam que, ao se analisar a indexação dos periódicos utilizados para publicação de artigos por 260.663 pesquisadores doutores com currículos cadastrados na Plataforma Lattes entre o período de 1998 e 2016, verificou-se que “[...] 60% dos periódicos não estão indexados na SciELO, no Scopus ou no WoS” (Mugnaini et al., 2019, p. 9).

Quando se observa o quantitativo de artigos, os dados cruzados da Plataforma Sucupira com a WoS no biênio 2017-2018 mostram valores levemente superiores aos de periódicos (Gráfico 1) concernentes à cobertura: 131.957 (48,34%) dos artigos publicados por pesquisadores vinculados a Programas de Pós-Graduação brasileiros encontram-se em periódicos indexados na Web of Science, enquanto 141.027 (51,66%) dos artigos não estão indexados em periódicos que figuram na base.

Gráfico 1
Cobertura de periódicos indexados na Web of Science e de artigos publicados em periódicos indexados na Web of Science por pesquisadores vinculados a Programas de Pós-Graduação brasileiros – período 2017-2018.

Essa limitação na representatividade da pesquisa nacional, mesmo com o inegável avanço da cobertura ao longo dos últimos 50 anos⁷, ainda atinge a produção científica brasileira como um todo, mas isso ocorre de forma distinta para cada Grande Área do Conhecimento, conforme pode se observar no Gráfico 2.

Gráfico 2
Cobertura de periódicos indexados na Web of Science e de artigos de Programas de Pós-Graduação brasileiros presentes na Web of Science por Grande Área de Conhecimento Capes – período 2017-2018.

Observa-se, no Gráfico 2, que as Grandes Áreas Ciências Exatas e da Terra e Ciências Biológicas publicam um percentual acima de 83% de artigos em periódicos indexados na WoS, enquanto que aproximadamente 17% dos artigos foram publicados em periódicos que não integram a base. Nesse conjunto de áreas, com cobertura ampla de artigos e periódicos, a utilização de indicadores bibliométricos oriundos de bases de dados internacionais para fins de avaliação de Programas de Pós-Graduação brasileiros e classificação de periódicos parece não ocasionar grandes distorções, tendo em vista sua característica de produção preponderantemente internacionalizada.

As Grandes Áreas Ciências da Saúde, Engenharias e Ciências Agrárias possuem perfil semelhante de publicação. Publicaram, considerando o período de 2017 e 2018, acima de 66% de seus artigos em periódicos indexados na WoS e um pouco mais de 33% de artigos em periódicos não indexados na WoS. Nesse bloco de áreas do conhecimento, observa-se que o uso de indicadores bibliométricos de bases de dados internacionais começa a oferecer certos limites para fins de avaliação, sobretudo quando se tem como norte a busca da completude da pesquisa bibliográfica produzida, posto que cerca de um terço de sua produção não se encontra indexada.

As Grandes Áreas Multidisciplinar, Ciências Humanas, Ciências Sociais Aplicadas e Linguística, Letras e Artes manifestam comportamento distinto quanto à variável cobertura. As três últimas publicaram 80,0% ou mais em periódicos não indexados e menos de 20,0% naqueles que estão indexados na WoS. A Grande Área Multidisciplinar difere um pouco, apresentando relativo equilíbrio, com 26.795 (45,6%) de sua produção de artigos e 4.606 (47,0%) de periódicos indexados na WoS, enquanto 32.007 (54,4%) artigos e 5.195 (53,0%) periódicos não se encontram indexados na base. Notadamente, o emprego exclusivo de dados e métricas provenientes de bases de dados como a WoS para processos de ranqueamentos, de promoção, de avaliação de Programas de Pós-Graduação e estratificação de periódicos, nesse conjunto, pode subestimar consideravelmente a produção científica dessas áreas, tendo em vista que o quantitativo da pesquisa não indexada é superior àquela presente na WoS.

De modo geral, o nível de cobertura de artigos brasileiros indexados na WoS é levemente superior ao de periódicos em seis Grandes Áreas, com destaque para Ciências Biológicas, com uma proporção de artigos indexados superior a 14% em relação ao quantitativo de periódicos, seguido de Ciências Exatas e da Terra, com cerca de 13%. Por outro lado, as Ciências Sociais Aplicadas e Ciências Humanas têm aproximadamente 10% a mais de cobertura em periódicos do que em artigos.

Apesar dessas duas Grandes Áreas apresentarem porcentagem maior de cobertura de periódicos em relação a artigos, isso não significa que essas áreas estão melhor representadas, pois basta que um único artigo seja publicado em revista indexada para que ela componha a contagem de periódicos. O resultado aponta para a tendência de maior dispersão de publicação nessas áreas.

Outro aspecto relevante a se observar é que o perfil de publicação não apenas varia entre as 9 Grandes Áreas do Conhecimento, mas também entre as 49 Áreas de Avaliação. Os dados revelam comportamentos diversos de produção e comunicação científica concernentes a cada campo científico, indicando também diferenças mesmo entre as subáreas de um mesmo campo.

O Gráfico 3 evidencia a variação da cobertura de periódicos das 49 Áreas de Avaliação na WoS, demonstrando que considerar as Grandes Áreas como blocos homogêneos pode gerar prejuízos para interpretações e análises do sistema nacional de ciência e tecnologia.

Gráfico 3
Cobertura de periódicos indexados na Web of Science utilizados pelos Programas de Pós-Graduação brasileiros por Área de Avaliação Capes – período 2017-2018.

O Gráfico 4 também evidencia essa variação da cobertura referente aos artigos para as 49 Áreas de Avaliação, seguindo disposição semelhante ao Gráfico 3 quando se observam as Grandes Áreas em bloco, mas com alterações nas classificações individuais. Como previa-se, a porcentagem de periódicos indexados é inferior à porcentagem de artigos. Todavia, assim como no Gráfico 2, ao comparar o nível de cobertura nos periódicos e nos artigos apresentados nos Gráficos 3 e 4, fica ainda mais evidente a tendência de dispersão de publicação, pois além de figurar nas Ciências Humanas e Sociais Aplicadas, a dispersão também está presente em quase todas as Grandes Áreas – mais especificamente em 22 Áreas de Avaliação, as quais possuem maior nível (percentagem) de cobertura em periódicos do que em artigos. Além disso, essas Áreas estão entre as que possuem menor nível de cobertura de artigos indexados na WoS em suas respectivas Grandes Áreas.

Gráfico 4
Cobertura de artigos de Programas de Pós-Graduação brasileiros indexados na Web of Science por Área de Avaliação Capes – período 2017-2018.

Nas Ciências Humanas, a Psicologia possui 1.742 (26,0%) artigos publicados em 727 (40,4%) periódicos indexados na WoS. Nas Ciências Sociais Aplicadas destaca-se a Economia, com 934 (29,7%) artigos e 469 (44,2%) periódicos indexados. Essa tendência de dispersão também ocorre em outras Grandes Áreas, como pode ser observado nas Ciências da Saúde, onde a Enfermagem tem 3.213 (39,8%) artigos em 619 (49,2%) periódicos e a Multidisciplinar tem 1.848 (18,1%) artigos de Ensino em 697 (30,7%) periódicos indexados na WoS.

A dispersão da produção científica de pesquisadores brasileiros em periódicos (sob a ótica das Zonas de Bradford) foi analisada de forma detalhada e inédita na pesquisa de Mugnaini et al. (2019), a qual revelou, dentre outros resultados extremamente relevantes para subsidiar processos e instâncias de avaliação em nível nacional, “tendências de internacionalização, assim como a importância de periódicos nacionais como veículos de publicação de parte significativa da produção científica de algumas áreas” (Mugnaini et al., 2019, p. 13), como Sociais e Humanas.

Ao analisar a indexação por Área de Avaliação no Gráfico 4, percebem-se as especificidades e diferenças internas concernentes às Grandes Áreas do Conhecimento. Se no Gráfico 2 a Grande Área Multidisciplinar apresentava relativo equilíbrio se considerada como um bloco, com 26.795 (45,57%) artigos indexados versus 32.007 (54,43%) não indexados, quando se verifica a área subdividida em Áreas de Avaliação, nota-se um comportamento de publicação substancialmente distinto entre Materiais e Ensino. Materiais apresenta 84,20% de sua produção indexada, enquanto Ensino apresenta apenas 18,10% de seus artigos indexados na base de dados WoS.

É possível identificar certos padrões nas Áreas de Avaliação pertencentes às Grandes Áreas Ciências Exatas e da Terra e Ciências Biológicas. Biologia 1, 2 e 3 possuem percentual de publicações indexadas acima de 85%. Astronomia/Física e Química, da Grande Área Ciências Exatas e da Terra, possuem percentual aproximado de 90% de publicações indexadas na WoS. Matemática, Probabilidade e Estatística também se aproxima de 85% de publicações indexadas na WoS, com comportamento muito semelhante a Materiais, da Grande Área Multidisciplinar. Nessas áreas, de maneira geral, o emprego de dados oriundos de bases de dados internacionais pode não ser especialmente problemático assim como se manifesta em áreas com baixa cobertura.

Ressalta-se, contudo, que o nível de cobertura de periódicos presentes em bases de dados internacionais não necessariamente possui relação com a excelência acadêmica dessas áreas. Notadamente, sabe-se que a WoS tem uma cobertura apropriada nas áreas denominadas ciências duras (Menezes; Caregnato, 2018). Em Química, por exemplo, em 2005 a base já cobria 90% das principais revistas da área (Moed, 2005).

Por outro lado, essas mesmas Grandes Áreas que compõem o Colégio de Ciências Exatas e da Terra, Tecnológicas e Multidisciplinar, conhecidas como hard sciences, também se subdividem em Áreas de Avaliação, com parcela significativa de publicações não indexadas na WoS como, por exemplo, a Área de Geociências, com 1.387 (32,5%) artigos não indexados, e Engenharia 1 e 3, com 2.948 (45,9%) e 3.378 (36,7%), respectivamente, artigos não indexados. Ciências Ambientais possui 5.994 (49,9%) artigos não indexadas, e interdisciplinar possui 17.045 (60,9%). Nesse grupo, o uso de indicadores de bases internacionais também possui certa limitação para fins de avaliação.

As Áreas de Avaliação que integram as Ciências Agrárias, Ciências Biológicas e Ciências da Saúde apresentam prevalência de publicações indexadas (com 50,0% ou mais de artigos indexados), embora a Enfermagem, no âmbito das Ciências da Saúde, tenha um número maior de artigos publicados (4.852) que não estão indexados na WoS (60,2%) comparativamente às demais áreas do mesmo grupo. Farmácia, Medicina 1, Medicina 2, Medicina 3 e Nutrição possuem, em média, mais de 80,0% da sua produção de artigos indexadas na WoS, o que se poderia considerar, com relação a esse último grupo, uma cobertura adequada para oferecer suporte à avaliação qualitativa especializada, conforme expressa o primeiro princípio do Manifesto de Leiden.

Por outro lado, as áreas de Odontologia, Saúde Coletiva e Educação Física, mesmo com uma quantidade pouco superior de produção indexada em relação à Enfermagem, mas compondo ainda a mesma Grande Área do Conhecimento (Ciências da Saúde), possuem, em média, menos de 60% de sua produção indexada na WoS, fator indicativo de importantes limites para consideração em processos de avaliação de desempenho, posto que um amplo universo da produção (40%) restaria excluído. Todavia, os problemas referentes à adoção de métricas e indicadores das principais bases indexadoras internacionais em processos de avaliação de desempenho científico da Pós-Graduação brasileira ultrapassam a variável indexação/cobertura.

As discussões levantadas, por exemplo, pela área de Saúde Coletiva – por meio da Carta aberta sobre a proposta do Qualis Periódicos (Fundação Oswaldo Cruz, 2019) e pelo documento Critérios para classificação das revistas: apreciação da proposta de Qualis Periódico Referência (Associação Brasileira de Saúde Coletiva, 2019) –, destacam diversos efeitos prejudiciais decorrentes dos novos critérios de classificação das revistas que privilegiam indicadores de citação de bases internacionais para compor a nova metodologia do Qualis Periódicos.

Como qualquer área do conhecimento, a Saúde Coletiva possui suas peculiaridades e dinâmicas próprias de produção e comunicação científicas. A área apresenta forte interface com as Ciências Sociais e Humanas (Minayo, 2013), algo que aporta dificuldades até para a classificação em categorias realizada pelas próprias bases de dados (Meneghini, 2010).

Diante de suas particularidades, pesquisadores e editores científicos da Saúde Coletiva problematizam a nova metodologia de classificação do Qualis Periódicos apontando que a adoção de indicadores bibliométricos de bases de dados comerciais internacionais favorece “a priorização de temas de interesse da política científica do hemisfério norte (Estados Unidos e Reino Unido, principalmente)” (Cadernos…, 2019, p. 2), com consequente fuga de artigos para periódicos de outras áreas melhor classificados, possibilidades de declínio de investigações voltadas a temas locais/regionais, subfinanciamento de periódicos nacionais, entre outras repercussões negativas que podem aprofundar as desigualdades entre regiões e áreas do conhecimento (Rizzotto; Costa; Lobato, 2019).

Basicamente, sabe-se que o nível mais amplo de cobertura de publicações e de potencial publicação em revistas indexadas na WoS provenientes das áreas que formam os Colégios de Ciências da Vida e de Ciências Exatas, Tecnológicas e Multidisciplinar decorre, dentre outros fatores, de suas especificidades epistêmicas. As características dessas áreas propiciam maior grau de interação entre grupos de pesquisas em escala global, muito em função de interesses de investigação transnacional e dos componentes universais de seus objetos de estudos.

Dentre as Áreas de Avaliação da Capes que integram as Grandes Áreas Ciências Humanas, Ciências Sociais Aplicadas e Linguística, Letras e Artes há um predomínio da produção científica em periódicos que não estão indexados na WoS, ainda que os gráficos permitam constatar que Economia apresenta mais de 29% de publicações indexadas e que Teologia, Psicologia, Geografia e Administração apresentam mais de 25% de publicações indexadas. História, Filosofia e Planejamento Urbano/Demografia possuem mais de 20% de publicações indexadas.

Do conjunto de todas as áreas que formam o Colégio Humanidades, a área com menor percentual de publicações indexadas é o Direito, com menos de 10%. Logo, 10.252 artigos dessa área não estão indexados na WoS. Para esse conjunto de áreas, entende-se que a adoção de métricas e indicadores bibliográficos da WoS para subsidiar processos de avaliação de desempenho, formulação de políticas e concessão de incentivos à pesquisa precisaria ser reconsiderada ou conduzida com extrema cautela, sobretudo em razão de as áreas pertencentes às Ciências Sociais e Humanidades serem fortemente orientadas para a pesquisa de temas regionais e nacionais e possuírem uma cultura de comunicação e de citação muito distinta das Ciências Exatas e da Vida (Barbosa, 2020; Hicks et al., 2015).

Nessa direção, Spera e Mugnaini (2019) assinalam que, se como Grande Área as Ciências Sociais e Humanas “sofrem efeitos negativos nos processos de avaliação devido às suas singularidades, há que se considerar também que essas ciências não constituem, no todo, um bloco homogêneo” (Spera; Mugnaini, 2019, p. 1). Os autores investigaram o perfil de publicação da área do Direito e evidenciaram que, mesmo sendo ponto controverso no interior do campo, o parecer jurídico figura como parcela considerável da pesquisa desenvolvida pela área, porém tem permanecido alheio “aos mecanismos de detecção dos sistemas de avaliação, seja porque publicados como literatura cinzenta ou por falta de legitimação da comunidade científica” (Spera; Mugnaini, 2019, p. 14).

Como demonstram diversas pesquisas (Franssen; Wouters, 2019; Giménez-Toledo; Tejada-Artigas; Mañana-Rodríguez, 2013; Hicks, 2004; Nederhof, 2006), as Humanidades, pelo próprio modo como se desenvolveu a organização do conhecimento ao longo da história e por sua identidade hermenêutica, exibem, de modo geral, práticas e perfis de publicação singulares que não foram alicerçadas com base em publicações de artigos científicos, assim como sucedeu nas Ciências Naturais. Ao contrário, nas Ciências Sociais e Humanidades há um predomínio da publicação de livros (e de capítulos de livros) e essas referências não estão, em sua maior parte, indexadas em bases de dados bibliográficas (Hicks, 2004).

Mesmo em países do chamado Norte Global, como a Noruega, as áreas ligadas às Ciências Sociais e Humanidades não encontram sua produção concentrada nas revistas internacionais, como normalmente ocorre na maioria das áreas de Ciências Naturais. Por exemplo, nas áreas de Ciências Sociais e Humanidades a cobertura da produção científica da Noruega na WoS é muito próxima, apesar de levemente inferior, à cobertura brasileira. Nessas áreas a indexação varia entre 11% a 20%, enquanto as áreas de Engenharia, Saúde e Ciências Naturais contam com cobertura entre 61% e 80% (Sivertsen; Larsen, 2012).

Hicks (2004) pontua que a avaliação quantitativa do resultado da pesquisa nas Ciências Sociais e Humanidades enfrenta severos limites metodológicos, visto que as avaliações bibliométricas são continuamente baseadas na literatura de periódicos indexados. Não obstante, a autora afirma que os pesquisadores desse grande campo concentram suas produções sobretudo em quatro canais de literatura distintos: livros, artigos em jornais e revistas, publicações nacionais e publicações não acadêmicas.

Embora o livro seja um veículo de informação de extrema importância no processo de comunicação científica das Ciências Sociais e Humanas, a dinâmica de publicação dessas áreas vem gradualmente se modificando, possivelmente em função da cobrança de produzir e publicar cada vez mais rápido e em maior quantidade em canais que permitam gerar indicadores para efeitos de avaliação (Wouters, 2014).

Sob esse aspecto, Wouters (2014) chama a atenção para as interações que se desenvolveram entre a aplicação de indicadores de citação na avaliação da pesquisa e os regimes de accountability decorrentes dessa relação no âmbito da ciência e da academia, acrescentando, por conseguinte, a necessidade de se aprofundar a compreensão em torno da infraestrutura de citações e sua influência nas culturas epistêmicas, “uma vez que estas tenderão a fornecer os modelos para a evolução de novas infraestruturas de conhecimento” (Wouters, 2014, p. 62, tradução nossa)⁸.

Diante desse contexto, Mingers e Leydesdorff (2015) salientam que os indicadores bibliométricos e cientométricos, cada vez mais usados por governos e organismos internacionais como instrumentos técnicos para fundamentar avaliações de desempenho, estabelecer rankings e tabelas de classificação, têm gerado consequências significativas em termos de admissão, promoção e concessão de recursos e bolsas de pesquisa, ressaltando, a partir do que aponta Wouters (2014), que “o resultado bastante irônico é que em vez de meramente refletir ou mapear uma realidade pré-estabelecida, os métodos cientométricos estão na verdade moldando essa realidade por meio de seus efeitos performativos em acadêmicos e pesquisadores” (Mingers; Leydesdorff, 2015, p. 4, tradução nossa)⁹.

Conclusão

Conquanto a cobertura das bases de dados não seja o único problema relacionado aos estudos bibliométricos referentes a processos de avaliação da produção científica de pesquisadores, universidades e países, buscou-se, neste estudo, lançar um olhar sobre essa variável específica, mormente visando evidenciar os limites da abrangência de bases comerciais internacionais em relação ao universo da produção científica dos Programas de Pós-Graduação brasileiros.

A análise dos dados evidenciou que a cobertura da base de dados Web of Science Core Collection para artigos de Programas de Pós-Graduação brasileiros é de aproximadamente 50% (metade da produção total), sendo, porém, alta em algumas áreas (91% – Ciências Biológicas III e 90% – Astronomia e Física) e baixa em outras (10% – Direito). Desse modo, o uso da base para fins de avaliação da produção científica brasileira e de Programas de Pós-Graduação precisaria ser considerado com certa precaução, levando-se em conta as diferentes dinâmicas de produção e comunicação científica de cada área do conhecimento e os contextos em que se inserem.

Observou-se, assim, que existem significativas diferenças de níveis de cobertura da produção científica brasileira (tanto em relação aos artigos, como também de indexação de periódicos) na WoS, inclusive em Áreas de Avaliação pertencentes à mesma Grande Área do Conhecimento. Assim, enquanto algumas áreas do conhecimento podem valer-se de indicadores oriundos da base para fins de avaliação com certa segurança, outras, mesmo no âmbito da própria Grande Área do Conhecimento, possuem limitações que devem ser observadas contextualmente.

Nos últimos dez anos cresceu o número de declarações e manifestos críticos a respeito do uso de métricas e indicadores bibliométricos empregados de modo isolado e indiscriminado, descontextualizados das práticas dos campos disciplinares por instituições de ensino e pesquisa, agências de fomento e organizações governamentais e não-governamentais. Por exemplo, a San Francisco Declaration on Research Assessment, iniciativa de pesquisadores e editores da American Society for Cell Biology, publicada em 2012, apresenta críticas ao uso de métricas baseadas em periódicos indexados e propõe a eliminação do FI para a avaliação da pesquisa.

Contemplando aspectos mais amplos em torno do abuso de indicadores convencionais, o Manifesto de Leiden, lançado em 2015, menciona haver uma equivocada aplicação de indicadores quantitativos e métricas imprecisas na avaliação do desempenho científico e recomenda dez princípios para o uso adequado dessas ferramentas a fim de subsidiar processos de avaliação.

Igualmente, em 2015, foram publicados os estudos “The Metric Tide: Report of the Independent Review of the Role of Metrics in Research Assessment and Management” e o “The Metric Tide: Literature Review Supplementary Report I to the Independent Review of the Role of Metrics in Research Assessment and Management”, encomendados pelo Higher Education Funding Council for England. Os documentos abordam o papel das métricas na avaliação e gestão da pesquisa, discutem os problemas envolvendo os diversos efeitos performativos dos indicadores e também apontam princípios do que constituiria o uso responsável das métricas.

Mais recentemente, em 2019, um grupo de 25 pesquisadores, editores e especialistas em bibliometria e avaliação de diferentes universidades e agências de financiamento (entre eles representantes da Fundação de Amparo à Pesquisa do Estado de São Paulo) publicou o “Rethinking impact factors: better ways to judge a journal”, documento que se desdobrou do Workshop de mesmo nome realizado em 2017 na cidade de Leiden, Holanda, onde propõem a criação de uma organização governamental internacional concentrada em tratar de indicadores de periódicos e apresentam um conjunto de princípios para orientar a construção de novas gerações de indicadores e a reavaliação dos atuais.

Esses manifestos e declarações permitem depreender, ainda, que ao fixar-se em indicadores das bases indexadoras internacionais cria-se o risco de abrir mão de propor formas de avaliação baseadas em quesitos e critérios condizentes com os diversos campos científicos e suas culturas epistêmicas, e com a realidade geopolítica e sociocultural de cada país. Com a dependência cada vez mais marcante dessas bases, a esfera pública pode se distanciar de uma gestão autônoma da ciência, por exemplo, para tratar da avaliação de periódicos nacionais ainda em consolidação, de áreas com características de citação e publicação distintas das convencionais, de práticas de produção acadêmico-científica regionais e locais, etc.

Os distintos níveis de cobertura das bases indexadoras também indicam que as diferentes áreas do conhecimento apresentam distribuições específicas e, por consequência, não comparáveis. Como já alertado por diversos especialistas em bibliometria e cientometria, os indicadores de citação, a exemplo do Fator de Impacto, são constantemente influenciados por muitos elementos que não se relacionam à qualidade ou ao mérito da produção em si, como a quantidade de referências dispostas nos artigos, a extensão da comunidade científica em cada área, o prestígio e emergência de temas de investigação, o idioma de publicação, o país de origem dos autores, entre outros aspectos ligados à geopolítica do conhecimento.

Portanto, ainda que os indicadores bibliométricos de bases de dados comerciais internacionais possam ser pertinentes para a avaliação de algumas áreas do conhecimento, a exemplo das Ciências Naturais, faz-se necessário considerar a geopolítica do conhecimento e reconhecer as diferenças entre os modos de produção e comunicação da ciência nas diferentes áreas do saber, de maneira a fortalecê-las em suas idiossincrasias.

Finalmente, ao se trabalhar com dados da Plataforma Sucupira, este trabalho expressa tributos à pesquisa “Panorama da produção científica do Brasil além da indexação: uma análise exploratória da comunicação em periódicos” por meio da qual os autores Mugnaini, Damaceno, Digiampietri e Mena-Chalco apontaram para a necessidade de os estudos bibliométricos brasileiros e as políticas de avaliação se debruçarem sobre universos mais amplos da produção científica brasileira que não estão contemplados nas bases de dados internacionais, bem como almejarem abordagens bibliométricas avaliativas que considere o movimento de abertura da ciência e suas agendas e iniciativas.

• 3
  Expressão latina que significa “para isto” ou “para esta finalidade”, ou seja, consultores/avaliadores que não são membros permanentes da Capes.
• 4
  A cobertura externa consiste no conjunto de uma produção bibliográfica, seja de um país ou área, que encontra-se indexada em uma base de dados. A porcentagem desse conjunto indexado na base indica a relevância de um índice de citação para estudos e avaliações de domínios ou áreas do conhecimento (Van Leeuwen; Van Wijk; Wouters, 2016).
• 5
  A Core Collection é composta por seis Coleções, a saber: 1. Science Citation Index Expanded; 2. Social Sciences Citation Index; 3. Arts & Humanities Citation Index; 4. Conference Proceedings Citation Index; 5. Book Citation Index; 6. Emerging Sources Citation Index. Este estudo se ateve aos índices da Core Collection que tratam apenas de periódicos. Ressalta-se, ademais, que os periódicos que integram o Emerging Sources Citation Index e o Arts & Humanities Citation Index não são contabilizados para gerar o Fator de Impacto, mas esses índices foram considerados neste estudo para a análise da cobertura.
• 6
  O número de PPG apresentado na Tabela 1 é moderadamente superior ao número disponibilizado via GeoCAPES em função de se ter considerado, como referência para esta pesquisa, o quantitativo de PPG inserido na Plataforma Sucupira, englobando também aqueles com conceitos 1 e 2.
• 7
  O Brasil encontra-se na 13ª posição no mundo em termos de produção de artigos e revisões de pesquisa, considerando apenas a produção bibliográfica indexada na Web of Science (Clarivate Analytics, 2019).
• 8
  No original: “[...] since these will tend to provide the templates for the evolution of new knowledge infrastructures” (Wouters, 2014, p. 62).
• 9
  No original: “[...] the rather ironic result is that instead of merely reflecting or mapping a pre-given reality, scientometrics methods are actually shaping that reality through their performative effects on academics and researchers” (Mingers; Leydesdorff, 2015, p. 4).

Agradecimentos

Agradecemos as contribuições feitas pelo pesquisador Rodrigo Costas Comesaña, do Centre for Science and Technology Studies da Universidade de Leiden (Holanda) no decorrer da Disciplina Estudos Avançados em Ciência da Informação: Bibliometria, Cientometria e Altmetria, ofertada no primeiro semestre de 2020 pelo Programa de Pós-Graduação em Ciência da Informação da Universidade de Brasília.

Como citar este artigo/How to cite this article

• Melo, J. H. N.; Trinca, T. P.; Maricato, J. M. Limites dos indicadores bibliométricos de bases de dados internacionais para avaliação da Pós-Graduação brasileira: a cobertura da Web of Science nas diferentes áreas do conhecimento. Transinformação, v. 33, e200071, 2021. https://doi.org/10.1590/2318-0889202133e200071

Referências

• Associação Brasileira de Saúde Coletiva. Critérios para classificação das revistas: apreciação da proposta de Qualis Periódico Referência. Abrasco, Rio de Janeiro, 22 ago. 2019. Notícias. Disponível em: https://www.abrasco.org.br/site/outras-noticias/notas-oficiais-abrasco/apreciacao-da-proposta-de-qualis-periodico-referencia/42328/ Acesso em: 10 set. 2020.
  » https://www.abrasco.org.br/site/outras-noticias/notas-oficiais-abrasco/apreciacao-da-proposta-de-qualis-periodico-referencia/42328/
• Barata, R. C. B. Dez coisas que você deveria saber sobre o Qualis. Revista Brasileira de Pós-Graduação, v. 13, n. 30, 2016. Doi: https://doi.org/10.21713/2358-2332.2016.v13.947.
  » https://doi.org/10.21713/2358-2332.2016.v13.947
• Barbosa, G. R. Avaliação da pesquisa em humanidades: relatório técnico DAV. Brasília: Capes, 2020. Disponível em: https://www.gov.br/capes/pt-br/centrais-de-conteudo/23072020-dav-aph-pdf Acesso em: 25 fev. 2021.
  » https://www.gov.br/capes/pt-br/centrais-de-conteudo/23072020-dav-aph-pdf
• Brambilla, S. D. S.; Stumpf, I. R. C. Produção científica da UFRGS representada na Web of Science (2000-2009). Perspectivas em Ciência da Informação, v. 17, n. 3, p. 35-50, 2012. Doi: https://doi.org/10.1590/S1413-99362012000300004.
  » https://doi.org/10.1590/S1413-99362012000300004
• Bufrem, L. S.; Nascimento, B. S. A produção científica brasileira na Web of Science (2017-2019): entre o discurso político e os estudos métricos de informação. Logeion: Filosofia da Informação, v. 6 n. 1, p. 12-26, 2019. Doi: https://doi.org/10.21728/logeion.2019v6n1.p12-26.
  » https://doi.org/10.21728/logeion.2019v6n1.p12-26
• Cadernos de Saúde Pública. Contribuições ao debate sobre a avaliação da produção científica no Brasil. Cadernos de Saúde Pública, v. 35, n. 10, 2019. Doi: https://doi.org/10.1590/0102-311x00173219.
  » https://doi.org/10.1590/0102-311x00173219
• Cassiolato, J. E. et al. Indicadores de inovação: uma análise crítica para os BRICS. Rio de Janeiro: RedeSist, 2007. Disponível em: http://www.redesist.ie.ufrj.br/images/Textos_Discussao_DIT/2007/TD_2007_4.pdf Acesso em: 25 fev. 2021.
  » http://www.redesist.ie.ufrj.br/images/Textos_Discussao_DIT/2007/TD_2007_4.pdf
• Clarivate Analytics. A pesquisa no Brasil: promovendo a excelência. Filadélfia: Clarivate Analytics, 2019. Disponível em: https://discover.clarivate.com/Research_Excellence_Awards_Brazil_Download Acesso em: 10 jul. 2020.
  » https://discover.clarivate.com/Research_Excellence_Awards_Brazil_Download
• Coordenação de Aperfeiçoamento de Pessoal de Nível Superior. Dados abertos: conjunto de dados: avaliação da Pós-Graduação stricto sensu. Brasília: Capes, 2019. Disponível em: https://dadosabertos.capes.gov.br/dataset?organization=diretoria-de-avaliacao Acesso em: 23 fev. 2020.
  » https://dadosabertos.capes.gov.br/dataset?organization=diretoria-de-avaliacao
• Coordenação de Aperfeiçoamento de Pessoal de Nível Superior. Sobre as áreas de avaliação Brasília: Capes, 2020. Disponível em: https://www.gov.br/capes/pt-br/acesso-a-informacao/acoes-e-programas/avaliacao/sobre-a-avaliacao/areas-avaliacao/sobre-as-areas-de-avaliacao/sobre-as-areas-de-avaliacao Acesso em: 24 out. 2020.
  » https://www.gov.br/capes/pt-br/acesso-a-informacao/acoes-e-programas/avaliacao/sobre-a-avaliacao/areas-avaliacao/sobre-as-areas-de-avaliacao/sobre-as-areas-de-avaliacao
• Declaration on Research Assessment. Declaração de São Francisco sobre avaliação da pesquisa São Francisco: Dora, 2012. Disponível em: https://sfdora.org/wp-content/uploads/2018/11/DORA_Brazilian-Portuguese.pdf Acesso em: 21 set. 2020.
  » https://sfdora.org/wp-content/uploads/2018/11/DORA_Brazilian-Portuguese.pdf
• Franssen, T.; Wouters, P. Science and its significant other: representing the humanities in bibliometric scholarship. Journal of the Association for Information Science and Technology, v. 70, n. 10, p. 1124-1137, 2019. Doi: https://doi.org/10.1002/asi.24206.
  » https://doi.org/10.1002/asi.24206
• Fundação Oswaldo Cruz. Carta aberta sobre a proposta do Qualis Periódicos [internet]. [2019]. Disponível em: http://periodicos.fiocruz.br/sites/default/files/anexos/carta_FECF_criterios-Qualis-Capes_v2_Fitosassina_22082019_0.pdf Acesso em: 21 set. 2020.
  » http://periodicos.fiocruz.br/sites/default/files/anexos/carta_FECF_criterios-Qualis-Capes_v2_Fitosassina_22082019_0.pdf
• Giménez-Toledo, E.; Tejada-Artigas, C.; Mañana-Rodríguez, J. Evaluation of scientific books’ publishers in social sciences and humanities: results of a survey. Research Evaluation, v. 22, n. 1, p. 64-77, 2013. Doi: https://doi.org/10.1093/reseval/rvs036.
  » https://doi.org/10.1093/reseval/rvs036
• Hicks, D. The four literatures of Social Science. In: Moed, H. F.; Glänzel, W.; Schmoch, U. (ed.). Handbook of quantitative science and technology research: the use of publication and patent statistics in studies of S&T systems. Dordrecht: Springer, 2004. cap. 21, p. 473-496. Doi: https://doi.org/10.1007/1-4020-2755-9_22.
  » https://doi.org/10.1007/1-4020-2755-9_22
• Hicks, D. et al The Leiden Manifesto for research metrics. Nature, v. 520, n. 7548, p. 429-431, 2015. Doi: https://doi.org/10.1038/520429a.
  » https://doi.org/10.1038/520429a
• International Centre. Access to the ISSN-L table Paris: International Centre, 2020. Available from: https://www.issn.org/services/online-services/access-to-issn-l-table/ Cited: Mar. 10, 2020.
  » https://www.issn.org/services/online-services/access-to-issn-l-table/
• Jupyter. Project Jupyter United States: Jupyter, 2020. Available from: https://jupyter.org/ Cited: Jun. 16, 2020.
  » https://jupyter.org/
• Larivière, V.; Sugimoto, C. R. Mesurer la science Montréal: Les Presses de l’Université de Montréal, 2018. Disponible en: https://www.pum.umontreal.ca/catalogue/mesurer-la-science Accès en: 21 sept. 2020.
  » https://www.pum.umontreal.ca/catalogue/mesurer-la-science
• Leta, J. Indicadores de desempenho, ciência brasileira e a cobertura das bases informacionais. Revista USP, n. 89, p. 62-67, 2011. Doi: https://doi.org/10.11606/issn.2316-9036.v0i89p62-77.
  » https://doi.org/10.11606/issn.2316-9036.v0i89p62-77
• Martínez-Ávila, D.; Muriel-Torrado, E.; Bisset-Álvarez, E. Qualis Periódicos de Brasil: nuevos criterios y estado de las revistas españolas de Comunicación e Información. Anuario ThinkEPI, v. 14, p. 1-6, 2020. Doi: https://doi.org/10.3145/thinkepi.2020.e14e05.
  » https://doi.org/10.3145/thinkepi.2020.e14e05
• Martins, D. L. et al Qualis Periódicos referência 2017/18 da Área Comunicação e Informação: uma crítica construtiva aos seus critérios, resultados e impactos na área. Brasília: Programa de Pós-Graduação em Ciência da Informação, 2019. Disponível em: http://www.ppgcinf.fci.unb.br/en/component/k2/item/4308-qualis-periodicos-referencia-2017-18-da-area-comunicacao-e-informacao-uma-critica-construtiva-aos-seus-criterios-resultados-e-impactos-na-area Acesso em: 21 set. 2020.
  » http://www.ppgcinf.fci.unb.br/en/component/k2/item/4308-qualis-periodicos-referencia-2017-18-da-area-comunicacao-e-informacao-uma-critica-construtiva-aos-seus-criterios-resultados-e-impactos-na-area
• Medeiros, F. A avaliação científica. In: Medeiros, F. A historiografia medieval portuguesa na viragem do milénio: análise bibliométrica (2000-2010). Évora: Publicações do Cidehus, 2015. p. 38-87. Doi: https://doi.org/10.4000/books.cidehus.1232.
  » https://doi.org/10.4000/books.cidehus.1232
• Meneghini, R. Visibilidade internacional da produção brasileira em saúde coletiva. Cadernos de Saúde Pública, v. 26, n. 6, p. 1058-1059, 2010. Doi: https://doi.org/10.1590/S0102-311X2010000600001.
  » https://doi.org/10.1590/S0102-311X2010000600001
• Menezes, S. D.; Caregnato, S. E. Produção científica brasileira em Química entre 2004 e 2013: análise dos artigos indexados na Web of Science. Encontros Bibli: Revista Eletrônica de Biblioteconomia e Ciência da Informação, v. 23, n. 53, p. 25-38, 2018. Doi: https://doi.org/10.5007/1518-2924.2018v23n53p25.
  » https://doi.org/10.5007/1518-2924.2018v23n53p25
• Minayo, M. C. S. A produção de conhecimentos na interface entre as ciências sociais e humanas e a saúde coletiva. Saúde e Sociedade, v. 22, n. 1, p. 21-31, 2013. Doi: https://doi.org/10.1590/S0104-12902013000100004.
  » https://doi.org/10.1590/S0104-12902013000100004
• Mingers, J.; Leydesdorff, L. A review of theory and practice in scientometrics. European Journal of Operational Research, v. 246, n. 1, p. 1-19, 2015. Doi: https://doi.org/10.1016/j.ejor.2015.04.002.
  » https://doi.org/10.1016/j.ejor.2015.04.002
• Moed, H. F. Citation analysis in research evaluation Amsterdam: Springer, 2005.
• Morel, R. L. M.; Morel, C. M. Um estudo sobre a produção científica brasileira, segundo os dados do institute for scientific information (ISI). Ciência da Informação, v. 6, n. 2, p. 99-109, 1977. Disponível em: http://revista.ibict.br/ciinf/article/view/85 Acesso em: 12 set. 2020.
  » http://revista.ibict.br/ciinf/article/view/85
• Mugnaini, R. et al Panorama da produção científica do Brasil além da indexação: uma análise exploratória da comunicação em periódicos. Transinformação, v. 31, e190033, 2019. Doi: https://doi.org/10.1590/2318-0889201931e190033.
  » https://doi.org/10.1590/2318-0889201931e190033
• Mugnaini, R.; Digiampietri, L. A.; Mena-Chalco, J. P. Comunicação científica no Brasil (1998-2012): indexação, crescimento, fluxo e dispersão. Transinformação, v. 26, n. 3, p. 239-252, 2014. Doi: https://doi.org/10.1590/0103-3786201400030002.
  » https://doi.org/10.1590/0103-3786201400030002
• Nederhof, A. J. Bibliometric monitoring of research performance in the social sciences and the humanities: a review. Scientometrics, v. 66, n. 1, p. 81-100, 2006. Doi: https://doi.org/10.1007/s11192-006-0007-2.
  » https://doi.org/10.1007/s11192-006-0007-2
• Oliveira, T. As políticas científicas na era do conhecimento: uma análise de conjuntura sobre o ecossistema científico global. Perspectivas em Ciência da Informação, v. 24, n. 1, p. 191-215, 2019. Doi: https://doi.org/10.1590/1981-5344/3520.
  » https://doi.org/10.1590/1981-5344/3520
• Open Refine. A free, open source, powerful tool for working with messy data [s. l]: Open Refine, 2020. Available from: https://openrefine.org/ Cited: Jun. 16, 2020.
  » https://openrefine.org/
• Packer, A. L. Os periódicos brasileiros e a comunicação da pesquisa nacional. Revista USP, n. 89, p. 26-61, 2011. Doi: https://doi.org/10.11606/issn.2316-9036.v0i89p26-61.
  » https://doi.org/10.11606/issn.2316-9036.v0i89p26-61
• Rizzotto, M. L. F.; Costa, A. M.; Lobato, L. V. C. Os novos critérios da Capes para classificação dos periódicos e a repercussão no campo da saúde coletiva. Saúde em Debate, v. 43, n. 122, p. 649-656, 2019. Doi: https://doi.org/10.1590/0103-1104201912200.
  » https://doi.org/10.1590/0103-1104201912200
• Sivertsen, G.; Larsen, B. Comprehensive bibliographic coverage of the social sciences and humanities in a citation index: an empirical analysis of the potential. Scientometrics, v. 91, n. 2, p. 567-575, 2012. Doi: https://doi.org/10.1007/s11192-011-0615-3.
  » https://doi.org/10.1007/s11192-011-0615-3
• Spera, H. B.; Mugnaini, R. Características da produção científica em direito: desafios para a avaliação. In: Encontro Nacional de Pesquisa em Ciência da Informação, 20., 2019, Florianópolis. Anais eletrônicos [...]. Florianópolis: ANCIB, 2019. Disponível em: http://hdl.handle.net/20.500.11959/brapci/123068 Acesso em: 12 jul. 2020.
  » http://hdl.handle.net/20.500.11959/brapci/123068
• Sugimoto, C. et al Rethinking impact factors: new pathways in journal metrics. F1000Research, v. 8, n. 671, p. 1-15, 2019. Doi: https://doi.org/10.7490/f1000research.1116751.1.
  » https://doi.org/10.7490/f1000research.1116751.1
• Van Leeuwen, T. N.; Van Wijk, E.; Wouters, P. F. Bibliometric analysis of output and impact based on CRIS data: a case study on the registered output of a Dutch university. Scientometrics, v. 106, p. 1-16, 2016. Doi: https://doi.org/10.1007/s11192-015-1788-y.
  » https://doi.org/10.1007/s11192-015-1788-y
• Van Raan, A. F. J. Scientometrics: state-of-the-art. Scientometrics, v. 38, n. 1, p. 205-218, 1997. Doi: https://doi.org/10.1007/BF02461131.
  » https://doi.org/10.1007/BF02461131
• Wilsdon, J. et al. The metric tide: report of the independent review of the role of metrics in research assessment and management. Bristol: HEFCE, 2015. Doi: https://doi.org/10.13140/RG.2.1.4929.1363.
  » https://doi.org/10.13140/RG.2.1.4929.1363
• Wouters, P. The citation: from culture to infrastructure. In: Cronin, B.; Sugimoto, C. R. (ed.). Beyond bibliometrics: harnessing multidimensional indicators of scholarly impact. Cambridge: MIT Press, 2014. p. 47-66.
• Wouters, P. et al. The metric tide: literature review: supplementary report I to the independent review of the role of metrics in research assessment and management. Bristol: HEFCE, 2015. Doi: https://doi.org/10.13140/RG.2.1.5066.3520.
  » https://doi.org/10.13140/RG.2.1.5066.3520

Datas de Publicação

• Publicação nesta coleção
  04 Jun 2021
• Data do Fascículo
  2021

Histórico

• Recebido
  04 Nov 2020
• Revisado
  02 Mar 2021
• Aceito
  08 Abr 2021