Avaliação da pesquisa científica no âmbito das políticas nacionais de ciência aberta

RESUMO

Introdução:

A ciência aberta tem tido um progressivo destaque nas agendas das políticas científicas internacionais, convergindo-se para o entendimento de que a sua consolidação como prática acadêmica depende da reformulação do atual sistema de avaliação da pesquisa. Objetivo: Identificar e analisar em que medida e de que modo políticas de ciência aberta incorporam e abordam a avaliação da pesquisa Metodologia: Realizou-se pesquisa bibliográfica e documental, que possibilitou estabelecer a seleção de políticas públicas de ciência aberta de cinco países - Finlândia, Eslovênia, Holanda, França e Colômbia. Resultados: Observou-se que os países com políticas consideradas mais abrangentes reconhecem a necessidade de reformulação dos mecanismos de reconhecimento e recompensa para contemplar componentes da ciência aberta. Apenas a Política francesa apresenta indicativos mais concretos de mudanças. A Política Nacional de Ciência Abierta 2022-2031, da Colômbia, indica metas e prazos de execução para a adoção da ciência aberta em processos de avaliação da pesquisa e de classificação de grupos e pesquisadores, a partir da proposta de revisão de seus sistemas de acreditação de programas e instituições. Os planos da Holanda, Eslovênia e Finlândia também preveem mudanças após realizarem exames dos atuais instrumentos e critérios que adotam, seja averiguando a viabilidade do uso de indicadores altmétricos (Holanda), seja incluindo novos métodos (Eslovênia) ou considerando novos e variáveis formatos de publicação (Finlândia). Conclusão: Constatou-se certa limitação em passar de uma política discursiva de apoio à ciência aberta para uma política com dispositivos que impliquem em mudanças concretas nos critérios e procedimentos usados nas avaliações.

PALAVRAS-CHAVE:
Avaliação; Política científica; Pesquisa científica; Ciência aberta; Acesso aberto.

ABSTRACT

Introduction:

Open science is increasingly prominent in international science policy agendas, converging towards the understanding that its consolidation as an academic practice depends on the reformulation of the current research evaluation system. Objective: This study aims to identify and analyze to what extent and in what way open science policies incorporate and address research evaluation. Methodology: A bibliographic and documentary research was carried out, enabling the selection of open science policies from five countries - Finland, Slovenia, the Netherlands, France, and Colombia. Results: It was observed that countries with more comprehensive policies recognize the need to reformulate recognition and reward mechanisms to include open science components. Only the French policy presents more concrete indications of changes. Colombia's National Open Science Policy 2022-2031 sets goals and execution deadlines for the adoption of open science in research evaluation and classification of groups and researchers, based on the proposal to review its accreditation systems for programs and institutions. The plans of the Netherlands, Slovenia, and Finland also anticipate changes after examining the current instruments and criteria adopted by them, whether by verifying the feasibility of using altmetric indicators (Netherlands), including new methods (Slovenia), or considering new and variable formats of publication (Finland). Conclusion: There is some limitation in moving from a supportive discursive policy towards open science to a policy with devices that imply concrete changes in the criteria and procedures used in evaluations.

KEYWORDS:
Evaluation; Science policy; Scientific Research; Open Science; Open access.

1 INTRODUÇÃO

A ciência aberta tem tido progressiva importância nas agendas das políticas científicas internacionais. Nos últimos anos ampliou-se o número de iniciativas e de políticas institucionais voltadas a favorecer o acesso aberto aos resultados de pesquisas financiadas com recursos públicos¹. Somente no Diretório Internacional de Registro de Políticas de Acesso Aberto (Registry of Open Access Repositories Mandatory Archiving Policies - ROARMAP) constam 1.116 políticas de acesso aberto ligadas a universidades, instituições de pesquisa e financiadores². Mais recentemente, têm sido formulado um conjunto de regulamentações e de políticas governamentais, em âmbito nacional, que abrangem a ciência aberta como um construto mais amplo, ainda que prevaleça uma ênfase em publicações e dados de pesquisa.

O termo ciência aberta compreende distintas abordagens (Fecher; Friesike, 2014) e remete a uma pluralidade de práticas e iniciativas, que englobam desde o acesso aberto aos dados e publicações, como também a abertura das infraestruturas (software e hardware), das metodologias de pesquisa e processos de avaliação, bem como a participação colaborativa de indivíduos e comunidades de não-cientistas, entre outros componentes (Albagli, Clinio, Raychtock, 2014).

Há, por sua vez, uma convergência no entendimento de que a disseminação e a consolidação da ciência aberta como prática acadêmica depende substancialmente da reformulação do atual sistema de avaliação da pesquisa (O'Carroll et al., 2017; Boukacem- Zeghmouri, 2020; Beigel, 2021).

A crítica aos sistemas de avaliação da pesquisa científica - sejam eles ligados aos processos de recrutamento e promoção de carreira, de análises de candidaturas de bolsas e projetos para financiamento ou aos processos de avaliação de departamentos e programas de pós-graduação - não é nova, particularmente na América Latina. Questiona-se, entre outros aspectos, a priorização do formato artigo como veículo único ou principal de comunicação científica, bem como a crescente utilização de indicadores bibliométricos para a mensuração da qualidade das pesquisas, além da premissa amplamente difundida de que periódicos indexados em bases bibliográficas internacionais comerciais possuem maior qualidade que aqueles indexados em bases abertas locais/regionais. Ademais, a pressão para se publicar cada vez mais, reforça práticas de segredo e competição, assim como favorece certos tipos de pesquisa e o inglês como idioma referencial das publicações. Como resultado, o sistema hegemônico de avaliação vem conformando um quadro monocromático do trabalho de pesquisa, o que tende a aprofundar as assimetrias já existentes entre o que se consideram ciência dominante (mainstream) e ciência periférica (Guédon, 2011).

As agendas da ciência aberta, especialmente em suas perspectivas pública e democrática (Albagli, 2015; Clinio, 2019; Chan; Okune; Sambuli, 2015, Albornoz et al., 2018; Albagli; Iwama, 2022), atualizam e trazem novos elementos aos debates históricos a respeito dos sistemas de avaliação, reconhecimento e recompensa da pesquisa científica. Para além das novas agendas e desafios relativos à publicação de artigos e livros em acesso aberto (Appel; Albagli, 2019) e da abertura dos dados de pesquisa (Jorge, 2022), colocam-se questões que problematizam os critérios de excelência e os sistemas dominantes de avaliação da pesquisa e de pesquisadores. Ressaltam-se, entre outras dimensões, o reconhecimento e a visibilização da contribuição, para a ciência, de outros sistemas de saberes; a governança coletiva e democrática das infraestruturas digitais que dão suporte à comunicação científica, e ainda a promoção da multiplicidade de línguas³ (Becerril-García; Aguado-López, 2019; Beigel, 2021; Vommaro; Rovelli, 2022).

Considerando que a avaliação da pesquisa constituiu um aspecto incontornável da ciência, este trabalho objetiva identificar e analisar em que medida e de que modo políticas públicas de ciência aberta, de diferentes países, incorporam e abordam o componente da avaliação da pesquisa científica em seus enquadramentos normativos.

2 METODOLOGIA

Trata-se de um estudo exploratório e descritivo, não-exaustivo, baseado em análise bibliográfica e documental, tendo como fontes informacionais artigos científicos, relatórios de entidades multilaterais, documentos e informações disponíveis em sítios de internet de instituições governamentais.

O referencial teórico foi composto por documentos recuperados por meio de buscas realizadas em 13 de janeiro de 2022 no Portal de Periódicos Capes e nas bases de dados Scopus, Web of Science, Library, Information Science & Technology Abstracts (LISTA), Redalyc e SciELO Org, com a expressão em inglês “open science policies”, sem delimitação de período, conforme detalhado no Quadro 1.

Quadro 1
Bases de dados, sintaxe, campos de busca aplicados e documentos recuperados

Bases de dados, sintaxe, campos de busca aplicados e documentos recuperados (13 de janeiro de 2022)
Bases de Dados	Sintaxe de busca	Campos buscados	Docs. recuperados	Tipos de documentos	Idiomas dos documentos
Portal de Periódicos Capes	Assunto "open science policies"	Todos os campos	250	Artigos (204); Relatórios (22); Conjunto de Dados (9); Gravação de Vídeo (8); Recursos Textuais (3), Imagens (1), Resenhas (1), Atas de Congresso (1), Outros (1)	Inglês (245); Português (4), Espanhol (4); Japonês (2); Croata (2), Russo (1); Persa (1), Norueguês (1), Sérvio (1)
Scopus	TITLE-ABS-KEY ("open science policies")	Título, resumo, palavra-chave	32	Artigos (20); Conferência Paper (9); Revisão (2), Entrevista curta (1)	Inglês (27); Espanhol (2); Japonês (1); Persa (1); Português (1)
Web of Science	All Fields ("open science policies")	Todos os campos	14	Artigos (9); Proceedings Papers (4);	Inglês (12); Japonês (1); Espanhol(1)
				Artigos de Revisão (1)
Library, Information Science & Technology Abstracts (LISTA)	All Fields ("open science policies")	Todos os campos	4	Artigos (4)	Inglês (2); Japonês (1); Português (1)
Redalyc	Palabra clave, título, DOI, texto completo ("open science policies")	Artigo	3	Artigos (3)	Português (2)/ Espanhol (1)
SciELO Org	All Indexes ("open science policies")	Artigo	1	Artigo (1)	Inglês/Espanhol(1)

Fonte: Elaboração própria a partir dos dados recuperados via Portal de Periódicos Capes, Scopus, Web of Science, Library, Information Science & Technology Abstracts (LISTA), Redalyc e SciELO Org.

A partir da leitura dos títulos e resumos e, após revisão manual excluindo os registros duplicados, foram selecionados 7 artigos, 3 relatórios, 2 proceedings e 1 livro para compor o referencial teórico vinculado aos objetivos da pesquisa. Somado a estes, foram incluídos, ao referencial, outros dois documentos não recuperados pela busca nas bases de dados, a saber: a Recomendação da UNESCO sobre Ciência Aberta⁴ e o Relatório Tendencias recientes en las políticas científicas de ciencia abierta y acceso abierto en Iberoamérica, produzido pela CLACSO em parceria com a Fundación Carolina.

A Recomendação da UNESCO sobre Ciência Aberta foi incorporada ao arcabouço em função de seu propósito de apresentar um conceito, simultaneamente amplo e unificado, de ciência aberta, bem como de estabelecer compromissos, entre os países signatários, para o desenvolvimento de práticas a valores de abertura, estimulando-os a revisarem seus sistemas de avaliação da pesquisa e da carreira acadêmica, de modo a alinhá-los aos princípios da ciência aberta. Por seu turno, o Relatório Tendencias recientes en las políticas científicas de ciencia abierta y acceso abierto en Iberoamérica, foi igualmente incluído por apresentar um recorrido histórico e um panorama muito completo da diversidade de ações e experiências de abertura da ciência no espaço iberoamericano.

A partir do quadro referencial inicial, que possibilitou estabelecer a seleção de 5 países (Finlândia, Eslovênia, Holanda, França e Colômbia), procedeu-se a um levantamento documental sobre os marcos regulatórios de ciência aberta disponíveis nos sítios eletrônicos de organismos governamentais dos respectivos países⁵.

O levantamento prévio dos primeiros 4 países partiu do Relatório An Analysis of Open Science Policies in Europe, volume 7, elaborado em parceria pela Scholarly Publishing and Academic Resources Coalition (SPARC Europe) e a Digital Curation Center (DCC). Em sua sétima série, o estudo⁶ apresenta e analisa 14 documentos de políticas nacionais de dados abertos e ciência aberta, abrangendo leis nacionais, planos, roadmaps, acordos e códigos de práticas de pesquisa pertencentes a 12 países membros da União Europeia (Bélgica, Chipre, República-Checa - com 2 documentos analisados -, Finlândia, França, Irlanda, Lituânia, Países Baixos/Holanda, Sérvia, Eslováquia, Eslovênia e Espanha), bem como 3 documentos de países associados a UE: Noruega, Suíça e Reino Unido.

Em seguida, a seleção desses países foi corroborada pelo estudo “Políticas de ciência abierta en Europa”, elaborado por Abadal e Anglada (2021), que se debruçou sobre políticas globais europeias que apresentam um escopo mais amplo sobre a ciência aberta, e analisou, concisamente, os conteúdos de documentos que possuem caráter político, com planos de execução em âmbito nacional. Sob este recorte, o estudo de Abadal e Anglada (2021) examinou as recomendações da União Europeia, os planos estatais da Eslovênia, Finlândia, Holanda e França, bem como algumas diretrizes e roadmaps de associações universitárias e de bibliotecas, como a League of European Research Universities (LERU) e a Ligue des Bibliothèques Européennes de Recherche (LIBER), os quais têm servido de base para a elaboração de algumas iniciativas também na América Latina (Babini; Rovelli, 2020).

Por sua vez, foi considerado, para a seleção dos 5 países, o Relatório Tendencias recientes en las políticas científicas de ciência abierta y acceso abierto en Iberoamérica, elaborado por Babini e Rovelli (2020), que investigou iniciativas de 9 países ligadas à ciência aberta. Não obstante, desse conjunto, apenas a Colômbia foi selecionada para este trabalho, pelos motivos que seguem.

O Relatório elaborado por Babini e Rovelli (2020) reuniu e analisou diretrizes, programas, instrumentos normativos e marcos legais de 9 países da Iberoamérica, escolhidos em função da participação ativa na construção de iniciativas em torno da abertura do conhecimento científico, a saber: Argentina, Brasil, Chile, Colômbia, Costa Rica, Cuba, Espanha, México e Peru, dos quais, à época do estudo, apenas Espanha, Peru, Argentina e México possuíam regulação, em âmbito legislativo, de política de acesso aberto a dados e/ou publicações. No Peru e na Argentina a política se expressa via lei nacional em caráter mandatório, enquanto no México e Espanha expressa-se como recomendação.

A análise de Babini e Rovelli (2020), dividida em três dimensões - acesso aberto, dados de pesquisa abertos e ciência aberta - explorou uma pluralidade de regulamentações e iniciativas, em diferentes níveis, que se desenvolveram desde 1990, buscando demonstrar as conquistas e limitações em cada cenário nacional, alertando para a necessidade de mudanças nas atuais políticas de avaliação, de modo a realçar críticas aos sistemas tradicionais de avaliação e aos indicadores de impacto. Ao final, o Relatório apresenta a “Propuesta de Declaración de Principios”, documento integrante da Serie para una transformación de la evaluación de la ciencia en América Latina y El Caribe⁷, do FOLEC/CLACSO (Babini; Rovelli, 2020).

Apesar de Babini e Rovelli (2020) destacarem o crescimento de manifestos, recomendações e declarações que assinalam uma necessidade premente de revisão dos sistemas e processos de avaliação e dos indicadores bibliométricos atualmente empregados - tais como a Declaração de São Francisco sobre Avaliação da Pesquisa⁸ (DORA) e o Manifesto de Leiden para Métricas de Pesquisa⁹ -, as políticas nacionais dos 9 países iberoamericanos, por elas analisadas, não incorporam o componente avaliação em suas estruturas¹⁰, ainda que a política da Espanha reconheça a necessidade de introduzir melhorias na avaliação técnico-científica para contemplar a ciência aberta e que o país avance em iniciativas nesta direção¹¹. Tais ações tratam, sobretudo, do desenvolvimento de repositórios de dados e publicações, de produtos e serviços em favor do acesso aberto, de projetos de ciência cidadã, de infraestruturas tecnológicas para gestão, depósito e visualização da produção científica, de ações de sensibilização de pesquisadores e de formação em torno dos direitos autorais, entre outras (Babini; Rovelli, 2020).

Considerando tais aspectos, após a identificação do conjunto de países com políticas/planos nacionais de ciência aberta oriunda dos estudos levantados, optou-se por selecionar como corpus apenas aqueles países com políticas mais abrangentes e/ou consolidadas, que dispõem de documentos que definem ciência aberta de forma global (e não apenas focam, isoladamente, no acesso aberto às publicações ou na implementação de repositórios para depósito de dados e/ou artigos) e são capazes de incidir sobre os sistemas de CT&I, conduzir o discurso público e as práticas da ciência aberta em nível nacional.

Nesse sentido, o recorte se baseou na seleção de políticas governamentais europeias¹² realizada por Abadal e Anglada (2021), elegendo, assim, os planos nacionais de ciência aberta da Finlândia, Eslovênia, Holanda e França. Acrescentou-se a este conjunto a Política Nacional de Ciência Abierta 2022-2031, da Colômbia, publicada em agosto de 2022, a primeira política nacional de ciência aberta do território latino-americano, a qual possui, igualmente, a característica de ser uma política pública ampla, condutora de ações e estratégias nesse terreno e que congrega acesso aberto, dados abertos e outras práticas de abertura num extenso documento.

Não obstante, destaca-se que o estudo de Abadal e Anglada (2021) bem como o relatório SPARC (2021) não se debruçaram sobre a dimensão da avaliação da pesquisa. Portanto, ainda que ambos tenham analisado as políticas nacionais da Finlândia, Eslovênia, Holanda e França, o enquadramento aqui proposto se distingue.

O enfoque sobre a dimensão da avaliação se deve ao fato de que, apesar de ser considerada crucial para o fortalecimento da ciência aberta, os mecanismos de reconhecimento e recompensa ainda prevalecem adotando modelos e procedimentos de avaliação da atividade científica substancialmente voltados a privilegiar o uso de rankings e indicadores bibliométricos, como o Fator de Impacto (Clarivate Analytics) e o CiteScore, a indexação em bases como Web of Science (WoS) e Scopus (Elsevier), o formato artigo de periódico (Salatino; López Ruiz, 2021) e o inglês como “o idioma da ciência” (Sánchez-Tarragó, 2015), sem considerar as diversidades de práticas de abertura, o multilinguismo, a bibliodiversidade, as pesquisas inclusivas, os diferentes formatos de criação de conhecimento como, por exemplo, o trabalho na geração, limpeza, gestão e curadoria de dados, protocolos e códigos abertos, a ciência cidadã, o diálogo com outros sistemas de saberes, ou seja, sem ter em vista as características e abordagens plurais e a variedade de experiências de cooperação, co-criação e compartilhamento que a ciência aberta preconiza.

3 RESULTADOS

3.1 Revisão da Literatura: Modelo tradicional de avaliação da pesquisa como obstáculo maior à ciência aberta

As críticas dirigidas ao uso de indicadores quantitativos e ao emprego de critérios homogeneizadores em processos de avaliação da ciência vêm de longa data. Conforme descrevem Davyt e Velho (2000), a avaliação da pesquisa remonta ao século XVII, coincidindo com o alvorecer da construção do conhecimento científico nos moldes modernos.

No século XX, após o final da Segunda Guerra, os organismos governamentais passaram a se interessar pela mensuração da atividade científica, sobretudo em função da mudança do entendimento do papel da ciência (Velho, 2011). Tal interesse foi reforçado com o nascimento da Sociologia da Ciência, formulada por Robert Merton, bem como com a criação de metodologias de indicadores de ciência e tecnologia (C&T). Em particular, a década de 1960 marcou uma virada no uso desses instrumentos, com a concepção, por Derek de Solla Price, da “ciência da ciência”, que passou a constituir uma nova área de investigação com destaque para a cientometria (Davyt; Velho, 2000). O desenvolvimento da cientometria foi ainda impulsionado pela criação, em 1963, do Science Citation Index¹³ (SCI), e de técnicas e métodos quantitativos propostos por Eugène Garfield, também fundador do Institute for Scientific Information (ISI). (Davyt; Velho, 2000).

Desde então, apesar das frequentes críticas e questionamentos (Davyt; Velho, 2000; Vessuri; Guédon; Cetto, 2013; Gingras, 2014; Aksnes; Langfeldt; Wouters, 2019), a ênfase no uso e na produção de novos indicadores para mensurar atividades de pesquisa se intensificou, motivada, dentre outros aspectos: i) pela informatização de bases de dados para armazenamento e recuperação de informação científica; ii) pela facilitação que esses instrumentos proporcionaram em processos de avaliação, por guardarem características supostamente objetivas, neutras e transparentes, além da capacidade de agilizar análises e “revelar” a qualidade das pesquisas e, por conseguinte, subsidiar políticas de C&T¹⁴; e, finalmente, iii) pelo avanço do controle gerencial e da lógica competitiva advindos das pautas neoliberais que se difundiram no âmbito da administração pública a partir da década de 1970. (Mingers; Leydesdorff, 2015).

Segundo explica Beigel (2021), os debates e as reflexões críticas sobre os rumos da avaliação acadêmica e os estudos e proposições de pesquisadores e ativistas dos movimentos pela ciência aberta seguiram, cada qual, um percurso específico e diferenciado, porém, nos últimos anos, tornaram-se cada vez mais entrelaçados. A autora argumenta que o peso crescente de indicadores como o Fator de Impacto ¹⁵ na acreditação de pesquisadores e instituições produziu progressivamente um sistema científico “mais hierarquizado e mercantilizado que, longe de abrir a conversação mundial da ciência, contribuiu para o seu progressivo fechamento”¹⁶ (Beigel, 2021, p. 229, tradução nossa).

Paradoxalmente, ao mesmo tempo em que o direito à ciência e a urgência de que o conhecimento científico seja aberto e colaborativo têm sido colocados como pauta prioritária por diversas organismos multilaterais como a Unesco, a Organização Mundial do Comércio (OMS), a Organização para Cooperação e Desenvolvimento Econômico (OCDE), dentre outros (Cueva; Méndez, 2022), o sistema de avaliação vigente vem reforçando, em contraste, valores e comportamentos em dissonância com os princípios de uma ciência mais aberta, transparente, participativa, plural, equitativa e colaborativa.

Em 2015, a OCDE publicou o documento Making Open Science a Reality, onde analisou o progresso dos países integrantes em tornar abertos os resultados das pesquisas financiadas com recursos públicos (OCDE, 2015). O relatório chamou a atenção para a necessidade de criação de mecanismos de incentivo, que deveriam voltar-se não apenas ao apoio financeiro para pagamento das chamadas taxas de processamento de artigos (Article Processing Charges - APC) ou aos custos associados ao compartilhamento de dados, mas promover comportamentos de abertura,

[...] incluindo, por exemplo, apoio financeiro para esforços de ciência aberta, reconhecimento e recompensa aos pesquisadores que realizam ações de ciência aberta ou o uso de novas e mais amplas métricas de avaliação que levam em consideração a ciência aberta e seu impacto¹⁷. (OCDE, 2015, p. 89, tradução nossa)

No Brasil, o relatório Livro Verde: Ciência Aberta e Dados Abertos: mapeamento de políticas, infraestruturas e estratégias em perspectiva nacional de internacional publicado pela Fundação Oswaldo Cruz (Fiocruz), em 2017, com foco na abertura de dados de pesquisa, apresentou experiências da União Europeia e de mais 8 países, constatando que os pontos críticos para a implantação de políticas e ações de ciência aberta passam por um conjunto de estratégias que abrangem desde a “necessidade de novas métricas para avaliação da ciência, o desenvolvimento de infraestruturas tecnológicas, [até a] definição de marco legal, entre outras” (Santos; Almeida; Henning, 2017, p.19).

Em nível regional da América Latina, o Foro Latinoamericano sobre Evaluación Científica (FOLEC) foi criado, em 2019, com o objetivo de debater e formular propostas para a transformação das práticas avaliativas na região. Desde então, o FOLEC vem elaborando uma série de diretrizes visando sensibilizar pesquisadores, instituições e governos sobre a necessidade de repensar os atuais mecanismos de avaliação da pesquisa considerando abordagens mais plurais, participativas e situadas, bem como de alinhar os sistemas de avaliação às práticas da ciência aberta (FOLEC, 2020).

Em 2021, foi publicada a Recomendação da UNESCO sobre Ciência Aberta, orientando seus 195 Estados-membros a adotarem um conjunto de estratégias e medidas com vistas a fomentar princípios e práticas da ciência aberta, enfatizando o imperativo de se promover uma revisão dos sistemas de avaliação da pesquisa e de pesquisadores/as para alinhá-los aos princípios da ciência aberta (Unesco, 2021).

Dentre as recomendações tocantes à avaliação da pesquisa, a Unesco menciona que os Estados-membros devem se engajar na remoção das barreiras à ciência aberta, em especial àquelas relativas à avaliação de carreiras e aos sistemas de recompensas. Para isso, devem promover o desenvolvimento e implementação de sistemas de avaliação que (Unesco, 2021, p.29):

• sejam baseados nos esforços existentes para melhorar as formas de avaliação dos resultados científicos, tais como a Declaração de São Francisco sobre Avaliação da Pesquisa, de 2012, com maior foco na qualidade dos resultados da pesquisa, não na quantidade, e pelo uso adequado de indicadores e processos diversificados que dispensam o uso de métricas baseadas em periódicos, tais como o fator de impacto do periódico;

• valorizem todas as atividades de pesquisa e resultados científicos relevantes, incluindo dados e metadados FAIR de alta qualidade, softwares bem documentados e reutilizáveis, protocolos e fluxos de trabalho, resumos de resultados legíveis por máquinas, e ensino, alcance e engajamento dos atores sociais;

• levem em consideração as evidências do impacto da pesquisa e do intercâmbio de conhecimentos, como a ampliação da participação no processo de pesquisa, a influência sobre as políticas e práticas e o envolvimento em inovação aberta, com parceiros fora da academia;

• considerem o fato de que a diversidade de disciplinas exige abordagens diferentes na ciência aberta;

• considerem o fato de que a avaliação dos pesquisadores em relação aos critérios da ciência aberta deve ser adequada para diferentes estágios da carreira, com especial atenção aos pesquisadores em início de carreira.

Em julho de 2022 foi lançado, pela Comissão Europeia, pela Associação Europeia de Universidades (EUA) e a Science Europe, o Acordo sobre a Reforma da Avaliação da Pesquisa (Agreement on Reforming Research Assessment¹⁸), assinado por mais de 500 organizações - entre universidades, instituições de pesquisas, sociedades científicas e agências de avaliação e financiamento -, que assumiram o compromisso de implementação de uma série de medidas que preveem, dentre outras ações, o abandono do uso inapropriado de indicadores como o Fator de Impacto e o Índice-H, o reconhecimento da diversidade de produções, em diferentes linguagens, assim como de habilidades e práticas de abertura e colaboração. (Agreement On Reforming Research Assessment, 2022).

Em dezembro de 2022, o Acordo se institucionalizou na Coalização para o Avanço da Avaliação da Pesquisa (Coalition for Advancing Research Assessment - CoARA). Trata-se de um empreendimento multiorganizacional e multilateral com princípios, metas e cronograma de ação (prazo de 5 anos a partir da assinatura do Acordo) para impulsionar mudanças nos sistemas de avaliação por meio da implementação de novos critérios, ferramentas e processos de avaliação que reconheçam e recompensem a diversidade de resultados, atividades e práticas de pesquisas que conduzam à uma maior qualidade e impacto da ciência. (Agreement On Reforming Research Assessment, 2022).

3.2 Análise documental: Políticas nacionais

A partir da análise documental do conjunto de políticas nacionais de ciência aberta da Finlândia, Eslovênia, Holanda, França e Colômbia, verifica-se o delineamento, ainda que incipiente, de novos critérios e requisitos de incentivo e recompensa que buscam contemplar as agendas de ciência aberta.

Finlândia

A Finlândia lançou, já em 2014, a Iniciativa de Pesquisa e Ciência Aberta (Open Science and Research Inititative, 2014-2017), coordenada pelo Ministério da Educação e Cultura finlandês, a partir de ampla cooperação com outros ministérios, universidades, institutos e financiadores de pesquisa. A Iniciativa contou com a elaboração de um manual de ciência aberta e com um mapeamento e avaliação de ações já desenvolvidas por instituições de pesquisa e organismos de financiamento, do país, orientadas para promover a ciência aberta e a adoção de requisitos e práticas de abertura da ciência (Finland, 2014).

Posteriormente, a Finlândia publicou sua Declaração para Pesquisa e Ciência Aberta (Declaration for Open Science and Research - 2020-2025), estabelecendo ainda diversas políticas de ciência aberta articuladas a essas diretrizes. Tais políticas se direcionam para componentes específicos, a saber: i) política para a academia aberta; ii) política de dados e métodos de pesquisa abertos; iii) política de acesso aberto às publicações acadêmicas; e, iv) política de educação e recursos educacionais abertos. Sua política de acesso aberto às publicações acadêmicas estabelece que a avaliação considerará os novos e mutáveis formatos de publicação; bem como menciona que realizará revisões regulares para discutir e apontar como as novas formas de publicação serão consideradas nos sistemas de avaliação dos pesquisadores e instituições.

A Declaração estabelece ainda que o trabalho de gestão e abertura dos dados de pesquisa seja reconhecido e considerado na avaliação dos pesquisadores. Recomenda que o monitoramento desse trabalho seja feito por meio de ferramenta de autoavaliação a ser desenvolvida pela Coordenação de Ciência Aberta da Finlândia (Finland, 2021).

Quadro 2
Síntese dos principais aspectos referentes à dimensão da avaliação no âmbito da política nacional de ciência aberta da Finlândia.

Mapeamento da dimensão da avaliação da pesquisa no âmbito da Política Nacional de Ciência Aberta da Finlândia
País	Denominação da Política	Ano publicação/ Documentos relacionados	Eixos dos Documentos	Dimensão da Avaliação (mecanismos de reconhecimento e recompensa)
Finlândia	Open Science and Research Initiative 2014-2017 Policies of Open Science and Research in Finland 2020- 2025	(2020-2025) Policy for Open Scholarship	Ciência cidadã e cooperação empresarial	1) Faz referência ao documento "Good practice in researcher evaluation. Recommendation for the responsible evaluation of a researcher in Finland", o qual menciona que as atividades dos pesquisadores para promover o acesso aberto serão consideradas como parte da avaliação. (p. 7).
		(2020-2025) Policy for Open Access to Scholarly Publications	Acesso Aberto aos artigos em periódicos e conferências	1) Avaliação considerará os novos e mutáveis formatos de publicação; Fará revisões regulares sobre como as novas formas de publicação são consideradas nos sistemas de avaliação dos pesquisadores e instituições; Agências e financiadores de pesquisas devem se comprometer a considerar o acesso aberto em suas avaliações (p.9).
			Acesso Aberto à teses e monografias	Em fase de planejamento* (acesso em 6 Dez.2022)
		(2021-2025) Policy for Open Access to Research Data and Methods	Acesso Aberto aos Dados de Pesquisa (FAIR)	1) A gestão e abertura dos dados de pesquisa serão considerados no trabalho do pesquisador; O monitoramento se dará por meio de ferramenta de autoavaliação a ser desenvolvida pela Coordenação de Ciência Aberta da Finlândia como parte do monitoramento nacional (p. 11).
			Acesso Aberto aos Métodos de Pesquisa	Em fase de planejamento* (acesso em 6 Dez.2022)
		(2021-2025) Policy for the Open Education and Educational Resources	Acesso Aberto aos Recursos Educacionais	1) O trabalho na elaboração de REA será avaliado nos critérios de mérito e no planejamento de funções; A Coordenação de Ciência Aberta planeja desenvolver indicadores e uma base de conhecimentos para subsidiar a avaliação de mérito deste quesito. (p.15).
			Práticas Educacionais Abertas	Em fase de planejamento* (acesso em 6 Dez.2022)

Fonte: Elaboração própria a partir dos planos e políticas de ciência aberta da Finlândia.

Eslovênia

A Eslovênia foi um dos primeiros países europeus a desenvolver uma Estratégia Nacional de Acesso Aberto a Publicações Científicas e a Dados de Pesquisa (no original, National strategy of open access to scientific publications and research data in Slovenia 2015-2020), alinhada às diretrizes do Projeto Europeu Horizonte 2020. O título da política não faz menção explícita ao termo ciência aberta, que à época não estava muito disseminado, mas se refere às publicações e aos dados de pesquisa em uma mesma normativa geral (Abadal; Anglada, 2021).

A Estratégia eslovena foi precedida de um plano de ação e de um piloto para abertura de dados de pesquisa. Seus componentes abarcam recomendações de: i) acesso aberto às publicações científicas - com regras sobre o depósito e períodos de embargo aceitos e ii) acesso aberto aos dados - com obrigatoriedade de depósito de um conjunto de metadados que descrevam os dados de pesquisas depositados. Além dos artigos e monografias, todos os periódicos eslovenos que recebem recursos públicos devem ser de acesso aberto e incluídos no Diretório de Periódicos de Acesso Aberto (DOAJ). A política da Eslovênia estabelece ainda que a avaliação de pesquisadores, organizações de pesquisa, programas e projetos devem incentivar o acesso aberto da informação científica na forma de publicações e dados de pesquisa, incluindo em seu escopo novos métodos para a avaliação da ciência (Slovenia, 2015). O Plano de Ação para a implementação da Estratégia Nacional aponta a necessidade de estabelecimento de um sistema de avaliação onde conjuntos de dados de pesquisa sejam reconhecidos como publicação científica, a partir do atendimento de critérios de qualidade (Slovenije, 2017). A Agência Eslovena de Pesquisa também integra a cOAlition S e passou a incluir os dispositivos do Plano S¹⁹ em todas as novas chamadas de financiamento à pesquisa (Sparc, 2021). Não obstante, não há delineamentos mais concretos que possam indicar uma mudança nos sistemas de incentivo e recompensa nos marcos da política da Eslovênia analisada.

Quadro 3
Síntese dos principais aspectos referentes à dimensão da avaliação no âmbito da política nacional de ciência aberta da Eslovênia.

Mapeamento da dimensão da avaliação da pesquisa no âmbito da Política Nacional de Ciência Aberta da Eslovênia
País	Denominação da Política	Ano publicação/ Documentos relacionados	Eixos dos Documentos	Dimensão da Avaliação (mecanismos de reconhecimento e recompensa)
Eslovênia	National Strategy of Open Access to Scientific Publications and Research Data in Slovenia 2015 - 2020	(2015-2020) National Strategy of Open Access to Scientific Publications and Research Data	Acesso Aberto às Publicações Científicas e aos Dados de Pesquisa (além de artigos e monografias, todos os periódicos eslovenos que recebem recursos públicos devem ser de acesso aberto e incluídos no DOAJ)	1) A avaliação de pesquisadores, organizações de pesquisa, programas de pesquisa e projetos deve incentivar o acesso aberto da informação científica na forma de publicações e dados de pesquisa. Os critérios para a avaliação da ciência também devem incluir novos métodos relevantes para a avaliação da ciência. (p.11)
		(2015-2020) Akcijski načrt izvedbe	1) Publicações científicas e dados de pesquisa; 2) Revistas científicas e	1) A avaliação de pesquisadores, organizações de pesquisa, programas e projetos de pesquisa deve promover
		nacionalne strategije odprtega dostopa do znanstvenih objav in raziskovalnih podatkov v sloveniji (Plano de ação para a implementação da Estratégia nacional de acesso aberto a publicações científicas e dados de pesquisa da Eslovênia)	monografias de editores sediados na Eslovênia; 3) Infraestrutura nacional para acesso aberto à informação científica; 4) Apoio aos pesquisadores; 5) Programa piloto Acesso aberto aos dados de pesquisa; 6) Acesso aberto na avaliação de ciências.	2) o acesso aberto à informação científica na forma de publicações e dados de pesquisa. Os critérios para a avaliação da ciência devem incluir novas formas apropriadas de avaliar a ciência. (p.8); Visa estabelecer um sistema de avaliação de dados de pesquisa; Os dados de pesquisa armazenados que tenham aprovação de relevância serão reconhecidos como uma publicação científica; Os relatórios intermediários e finais de programas e projetos de pesquisa devem prever uma autoavaliação dos efeitos das publicações de acesso aberto de artigos científicos revisados por pares relacionados a resultados de pesquisa; O Plano de ação realizará uma análise da avaliação da ciência conduzida por financiadores nacionais, bem como pelas instituições de ensino superior e institutos de pesquisa com vistas à elaboração de uma proposta de mudanças na direção da ciência aberta. (p.21)

Fonte: Elaboração própria a partir dos planos e políticas de ciência aberta da Eslovênia.

Holanda

O Plano Nacional de Ciência Aberta (National Plan Open Science) da Holanda foi publicado em 2017, a partir da articulação de diversas organizações - Ministério da Educação, Cultura e Ciência, agências de financiamento nacionais (NWO e ZonMw), Associação de Universidades (VSNU), Biblioteca Nacional, entre outros órgãos - que, juntas, formaram uma coalizão de esforços em torno da Plataforma Nacional de Ciência Aberta (NPOS, acrônimo do inglês National Programme Open Science). Esta visa acelerar a ampliação do acesso aberto às publicações científicas e aos dados de pesquisa, bem como adaptar os sistemas de avaliação e recompensa aos objetivos da ciência aberta.

Àquela altura, a Holanda já havia avançado em políticas mandatórias e em iniciativas como GO FAIR²⁰, com exigências de acesso aberto às publicações e de apresentação de planos de gerenciamento de dados para pesquisas que receberam financiamento público. Mas a política nacional aponta a ausência na promoção de recompensas explícitas pelos esforços e práticas voltados à abertura da ciência, afirmando que “os atuais sistemas de avaliação e recompensa dão maior ênfase ao número de publicações em periódicos de prestígio com alto fator de impacto, muitas vezes produzidos por editores bem estabelecidos e para os quais não há acesso aberto, mantendo assim a cultura do ‘publicar ou perecer’” ²¹ (Netherlands, 2017, p. 10, tradução nossa).

O Plano holandês expressa, além disso, a necessidade de analisar de que modo o instrumento de avaliação da pesquisa do país, denominado Protocolo de Avaliação de Padrão (Standard Evaluation Protocol - SEP), pode auxiliar na transição para a ciência aberta, de modo a integrá-la na avaliação de pesquisadores e projetos de pesquisa. Nessa direção, a coalizão NPOS se compromete a iniciar as mudanças recomendadas no documento, examinando, primeiramente, indicadores alternativos (altmetria) como meios de compor a avaliação de pesquisadores. Ressalta, por seu turno, que os indicadores a serem adotados nesses processos devem passar pelo crivo das instituições sob avaliação (Netherlands, 2017, p. 25).

Já o Plano da Holanda sobre Ciência Aberta: Estudo de Caso do Monitor de Ciência Aberta, de 2018, (The Netherlands’ Plan on Open Science: Open Science Monitor Case Study), relatório de monitoramento encomendado pela Comissão Europeia, elencou as principais barreiras na ambição holandesa de tornar 100% de suas publicações em acesso aberto até o ano de 2020, entre elas a ausência de incentivos e recompensas nos sistemas de avaliação. O parecer indica que as exigências, desde 2016, de tornar abertas as publicações científicas e de estabelecer planos de gestão de dados contemplaram apenas a perspectiva dos órgãos financiadores e as etapas da comunicação dos resultados das pesquisas. Em resumo, o relatório de monitoramento expressa que:

As universidades holandesas fazem pouco ou nada em termos de recompensar os pesquisadores pelas práticas de ciência aberta. Isso pode ser observado a partir dos critérios de nomeação e estabilidade em todas as universidades holandesas, que geralmente incluem pesquisa, ensino, valorização e liderança gerencial. Por exemplo, a Delft University of Technology tem os seguintes critérios em sua política de estabilidade: (1) realização de pesquisa, (2) supervisão de estudantes de doutorado, (3) aquisição de financiamento governamental indireto e pesquisa por contrato e (4) publicações. A ciência aberta não foi incluída nem integrada em nenhum dos quatro elementos. Em nível nacional, o Protocolo de Avaliação Padrão (SEP - 2015-2020) incluiu o critério de relevância para a sociedade como quesito a ser avaliado na avaliação de pesquisas. No entanto, o documento não se refere explicitamente às práticas de ciência aberta, nem como isso poderia impactar positivamente a carreira dos pesquisadores de maneira concreta nas universidades holandesas. ²² (Chan; Meijer, 2018, p. 10-11, tradução nossa).

Em consultas ao sítio eletrônico do Programa Nacional de Ciência Aberta (National Programme Open Science - NPOS), foi possível observar a publicação sistemática de atualizações e de novas estratégias e iniciativas de promoção da ciência aberta, o que corrobora o reconhecimento, em diversos estudos, do papel ativo da Holanda na adoção da ciência aberta (SPARC, 2021; Abadal; Anglada, 2021; Santos; Almeida; Henning, 2017). Verificou-se ainda que as principais organizações ligadas à pesquisa, como a Associação de Universidades Holandesas (VSNU), a Academia Real das Artes e Ciências (KNAW) e o Conselho de Pesquisa (NWO) produziram, em 2019, um documento orientador de mudanças nos processos de avaliação nas universidades holandesas intitulado “Espaço para o talento de todos: em direção a um novo equilíbrio no reconhecimento e recompensas para acadêmicos” (Room for everyone’s talent: towards a new balance in the recognition and rewards for academics²³) (Rodrigues, 2022).

Em relação à ciência aberta, o documento menciona que a modernização dos sistemas de avaliação da pesquisa passa pela necessidade de assegurar, aos acadêmicos, o reconhecimento pela adoção de práticas de abertura no trabalho científico, de novos tipos de produção e co-criação que vão além do modelo tradicional de produção da pesquisa científica (Vsnu; Knaw; Nwo; Zonmw, 2019).

Quadro 4
Síntese dos principais aspectos referentes à dimensão da avaliação no âmbito da política nacional de ciência aberta da Holanda (Países Baixos)

Mapeamento da dimensão da avaliação da pesquisa no âmbito da Política Nacional de Ciência Aberta da Holanda
País	Denominação da Política	Ano publicação/ Documentos relacionados	Eixos dos Documentos	Dimensão da Avaliação (mecanismos de reconhecimento e recompensa)
Holanda	National Plan Open Science (2017)	(2022) Open Science 2030 in the Netherlands (2021) Professionalising Data Stewardship (2021) Collection National Open Science Festival on Zenodo (2020) Kennis en Krachten gebundeld - Citizen Science in NL (2020) NPOS Final report Exploring and optimising the Dutch data landscape (2019) Open Access policy fo academic books in the Netherlands (2019) Report Transition Costs for Open Science in the Netherlands (2018) NPOS Recommendations Recognition and Rewards (2016) Call for Action on Open Science	Acesso Aberto às Publicações Científicas, aos Dados de Pesquisa e Adaptação dos sistemas de avaliação e recompensa aos objetivos da Ciência Aberta r	1) A agência de financiamento Netherlands Organization for Scientific Research (NWO) exige acesso aberto às publicações e planos de gerenciamento de dados de pesquisadores por ela financiados e se compromete a lançar estudos contemplando a Ciência Aberta em seus procedimentos de avaliação (p.26); O Plano menciona que há uma ausência de recompensas explícitas pelos esforços e práticas voltadas à abertura; O Plano ambiciona examinar como o instrumento Standard Evaluation Protocol (SEP) pode facilitar a transição para a Ciência Aberta, analisando como integrar a Ciência Aberta na avaliação de pesquisadores e projetos de pesquisa; A coalizão NPOS se compromete a iniciar as mudanças examinando primeiramente os indicadores alternativos (altmetria) para a avaliação de pesquisadores, 5) Os indicadores utilizados devem ser selecionados e utilizados pelas unidades dos institutos avaliados (p.25)

Fonte: Elaboração própria a partir dos planos e políticas de ciência aberta da Holanda.

França

A França publicou, em 2018, seu Primeiro Plano Nacional de Ciência Aberta (Premier Plan National pour la science ouverte). Esse primeiro plano centrou-se em três componentes: i) generalizar o acesso aberto às publicações; ii) estruturar dados de pesquisa e disponibilizálos em acesso aberto; e, iii) integrar o país em uma dinâmica sustentável de ciência aberta europeia e internacional, garantindo sustentabilidade a longo prazo do ecossistema que envolve as infraestruturas e práticas de compartilhamento e abertura. Tais eixos perpassam a implantação de mecanismos de reconhecimento e recompensa para o incentivo de práticas abertas; a redução da influência da avaliação quantitativa em favor da avaliação qualitativa; o incentivo à adoção de citações abertas ao invés de citações em ambientes proprietários²⁴ que restringem seu acesso; bem como o incentivo à bibliodiversidade e ao desenvolvimento de habilidades em ciência aberta, particularmente no campo da propriedade intelectual e da revisão por pares (France, 2018a).

Em seu Segundo Plano Nacional de Ciência Aberta (Deuxième Plan National pour la science ouverte), lançado em 2021, o país avançou para englobar a valorização do desenvolvimento de códigos abertos nas estruturas de avaliação e a criação de premiações para práticas que promovam a reutilização dos dados de pesquisa e desenvolvam software livre. O documento também menciona a necessidade de reduzir a influência do indicador Fator de Impacto por meio de uma medida efetiva: excluir as menções a este indicador e ao índice-H dos textos das chamadas para apresentação de projetos e formulários de candidaturas ao financiamento. Por fim, destaca a necessidade de engajar as organizações de pesquisa que assinaram a Declaração DORA a informar seus comitês de avaliação e apoiá-los na implementação dos princípios adotados (France, 2021).

Quadro 5
Síntese dos principais aspectos referentes à dimensão da avaliação no âmbito da política nacional de ciência aberta da França

Mapeamento da dimensão da avaliação da pesquisa no âmbito da Política Nacional de Ciência Aberta da França
País	Denominação da Política	Ano publicação/ Documentos relacionados	Eixos dos Documentos	Dimensão da Avaliação (mecanismos de reconhecimento e recompensa)
França	Premier Plan National pour la Science Ouverte (2018-2020)	(2022) Appel de Paris sur l’évaluation de la recherche (2021) Plan d’action logiciels libres et communs numériques (2021)	1) Generalizar o Acesso Aberto às Publicações; Estruturar Dados de Pesquisa e disponibilizálos em acesso aberto; Integrar uma dinâmica sustentável de ciência aberta europeia	1) A avaliação dos pesquisadores terá como objetivo reduzir a dimensão quantitativa em benefício de uma avaliação mais qualitativa, seguindo as diretrizes da Declaração sobre Avaliação de Pesquisa de São Francisco (DORA), bem como do Manifesto de Leiden,
		Passeport pour la Science Ouverte / Guide pratique à l’usage des doctorantes et des doctorants, v.1 et 2 (2020) Déclaration conjointe du réseau des agences de financement françaises en faveur de la science ouverte (2020) Loi de programmation de la recherche (2017) Appel de Jussieu pour la science ouverte et la bibliodiversité (2016) Livre blanc: Une Science ouverte dans une République numérique (CNRS) (2016) Loi pour une République numérique (2013) Politique science ouverte de l' Agence Nationale de la Recherche (ANR)	e internacional	contando, em particular, com citações abertas, dando continuidade aos esforços da Iniciativa para Citações Abertas (I4OC). (p. 4)
	Deuxième Plan National pour la Science Ouverte (2021-2024)		1) Generalizar o Acesso Aberto às Publicações, com ênfase no modelo Diamante e no multilinguismo; Estruturar, Compartilhar e Abrir os Dados de Pesquisa (FAIR); 3) Abrir e promover os códigosfonte produzidos pelas pesquisas; 4) Transformar práticas para fazer a ciência aberta o padrão de pesquisa; 5) Integrar uma dinâmica sustentável de ciência aberta europeia e internacional	1) Criação de prêmio para práticas que promovam a reutilização dos dados de pesquisa (p.13); Criação de prêmio para equipes que desenvolvam software livre (p.17); Aperfeiçoar a valorização das produções de software no âmbito das carreiras de pesquisador, pessoal de apoio à pesquisa e na avaliação de estruturas de pesquisa (p.18); Reduzir a dimensão quantitativa em favor de uma abordagem mais qualitativa, levando em conta, além das publicações, a pluralidade dos resultados da pesquisa, fazendo uso racional de indicadores e premiando a cooperação e a abertura mais do que a concorrência e o sigilo. (p. 21); Reduzir a influência do Fator de Impacto (FI), começando com a exclusão de todas as referências a este indicador e ao H-index nos textos das Chamadas para projetos e formulários de candidaturas. (p.22); Promover o uso de currículos narrativos para reduzir a influência da avaliação quantitativa em favor da avaliação qualitativa (p.22); Engajar as organizações de pesquisa que assinaram a DORA à informar seus comitês de avaliação e apoiá-los na implementação efetiva dos princípios adotados. (p.23)

Fonte: Elaboração própria a partir dos planos e políticas de ciência aberta da França.

Colômbia

A política nacional da Colômbia, publicada em 2022, apresenta um longo diagnóstico da situação da ciência aberta no país e levanta diversos problemas do sistema dominante de avaliação da pesquisa que afeta o reconhecimento da produção científica do país, entre eles, a sub-representação dos periódicos colombianos indexados em bases de dados como a Web of Science (WoS) e a Scopus (Elsevier) e o uso Fator de Impacto como critério privilegiado em processos de avaliação. Menciona que ainda não existem incentivos, no sistema de avaliação colombiano, para promover práticas abertas, assim como não existem sistemas de revisão por pares abertos.

Remetendo à Recomendação da UNESCO sobre Ciência Aberta, ao Manifesto de Leiden e à Declaração de São Francisco (DORA), a Política colombiana abarca um plano de ação, com objetivos, ações estratégicas e metas, entre os quais, um objetivo específico atinente à avaliação: “Instituir um sistema de métricas e incentivos que promovam, valorizem e reconheçam as práticas, processos e resultados de Ciência Aberta da comunidade científica colombiana e integrá-lo aos modelos e sistemas de métricas e incentivos das atividades de CT&I existentes no país”²⁵ (Colombia, 2022, p. 51).

A meta de execução prevê a formulação de um programa de incentivos fiscais para que empresas, instituições de ensino superior, sociedade civil e Estado realizem ações conjuntas de pesquisa, inovação e desenvolvimento alinhadas às práticas de ciência aberta. (Colombia, 2022).

Na mesma direção, prevê, a partir de 2023, que os processos de avaliação passem a reconhecer a ciência aberta em seus sistemas de classificação, o que implica a introdução de mudanças nos quesitos que compreendem o Modelo de Medición de Grupos e Investigadores de Minciencias, ferramenta colombiana que contém os indicadores empregados na avaliação dos resultados das atividades de ciência, tecnologia e inovação. Também até 2023 está previsto o desenvolvimento e a integração de métricas responsáveis e indicadores alternativos de ciência aberta que valorizem a diversidade de produtos, bem como os diferentes processos e impactos gerados pelas práticas de abertura. Para 2025, a Colômbia espera revisar e ajustar o sistema de registros qualificados e as acreditações de programas e instituições para que passem a considerar práticas de ciência aberta como indicadores substanciais dos processos de autoavaliação e nos planos de aperfeiçoamento. E por fim, para 2026, a política colombiana vislumbra adotar orçamento específico para financiar prioritariamente pesquisas que contemplem práticas concretas de abertura e promovam o diálogo de saberes (Colombia, 2022).

Quadro 6
Síntese dos principais aspectos referentes à dimensão da avaliação no âmbito da política nacional de ciência aberta da Colômbia

Mapeamento da dimensão da avaliação da pesquisa no âmbito da Política Nacional de Ciência Aberta da Colômbia
País	Denominação da Política	Ano publicação/ Documentos relacionados	Eixos dos Documentos	Dimensão da Avaliação (mecanismos de reconhecimento e recompensa)
Colômbia	Política Nacional de Ciência Abierta 2022- 2031	(2022) Política Nacional de Ciência Abierta 2022-2031	1) Governança da ciência aberta; cultura de abertura e inclusão; métricas e incentivos; formação e expertise de atores; infraestruturas para a ciência aberta	1) Criar programa de incentivos fiscais para que empresas, instituições de ensino e sociedade civil realizem ações conjuntas que promovam a ciência aberta; Reconhecer práticas de ciência aberta nos processos de avaliação da pesquisa e na classificação de pesquisadores e grupos, contemplando atualização do Modelo de Medição de Grupos e Pesquisadores do Minciências, de modo a privilegiar critérios de ciência aberta; Prever orçamento específico para investigações que contemplem práticas de ciência aberta;
				4) Desenhar e implementar métricas responsáveis e indicadores alternativos que valorizem a diversidade de produtos, de processos, bem como os diferentes impactos gerados pelas práticas de abertura; Ajustar os sistemas de acreditação para que as práticas de ciência aberta sejam contempladas e valoradas como indicadores nos processos de auto-avaliação e planos de aperfeiçoamento. (p. 61-62).

Fonte: Elaboração própria a partir dos planos e políticas de ciência aberta da Colômbia.

CONCLUSÃO

A revisão da literatura evidenciou ampla convergência, entre os estudiosos do tema, em apontar que o atual sistema de avaliação da pesquisa - baseado sobremaneira na utilização de métricas associadas ao número de publicações e ao número de citações (Fator de Impacto/CiteScore) - conforma um dos maiores desafios à promoção e à consolidação dos princípios e práticas a ciência aberta como dinâmica padrão da atividade acadêmico-científica (Babini; Rovelli, 2020; Méndez, 2021; Rodrigues, 2022).

As disfunções geradas por esse sistema, calcado no produtivismo quantitativista e sintetizado na frase “publicar ou perecer”, têm despertado inúmeras críticas de parcelas das comunidades científicas, em nível global e dos países latino-americanos em particular, o que contribuiu para o lançamento de diversas propostas de reformas ao longo da última década.

Por meio dos documentos analisados foi possível constatar a crescente importância atribuída à questão da avaliação da pesquisa e de pesquisadores nas políticas de ciência aberta, com diretrizes mais ou menos específicas que apontam para a necessidade da reformulação desses sistemas para fortalecer ações, práticas e valores de abertura da ciência.

Tais documentos, por possuírem caráter orientador, com direcionamentos gerais, não contemplam um detalhamento dos instrumentos e procedimentos para efetuar as transformações requeridas nos aparatos e métodos de avaliação da pesquisa e de progressão profissional nas carreiras acadêmicas, de modo a incentivar a adoção de princípios e práticas de ciência aberta. Com efeito, observa-se certa limitação em passar de uma política discursiva de apoio à ciência aberta para uma política com dispositivos que impliquem em mudanças concretas nos critérios e procedimentos usados nas avaliações de pesquisa, pesquisadores, instituições, universidades e projetos.

A pesquisa revelou que a França é a que possui uma política de ciência aberta com delineamentos mais definidos em relação à reconfiguração dos sistemas de reconhecimento e recompensa da pesquisa e dos pesquisadores, comparativamente aos outros países analisados, ainda que a temática seja tratada de modo pulverizado em distintas partes e diretrizes dos seus dois planos de ciência aberta. Holanda e Eslovênia demonstram avançar na direção de conduzir reformas em seus sistemas de avaliação. Na Finlândia, as instituições de pesquisa e os organismos e financiadores vêm sendo instados a considerar a orientação de acesso aberto das publicações derivadas de seus resultados como parte de seus critérios de avaliação. Já a política de ciência aberta da Colômbia é a única, dentre os países pesquisados, que contém um item específico para tratar do tema da avaliação, em que enfatiza a necessidade de introduzir mudanças no atual modelo de avaliação e incentivos, considerando o conceito de métricas responsáveis como um de seus componentes.

A rota seguida pela Unesco em direção à ampliação da definição de ciência aberta - que abarca o compromisso com o multilinguismo, com a bibliodiversidade e com distintos sistemas de conhecimento, setores sociais, culturas, a diversidade de formas, produtos e resultados - demonstra o tamanho do desafio que se coloca para as políticas públicas em CT&I e para os sistemas de avaliação da pesquisa em transformar seus mecanismos, critérios, e procedimentos largamente baseados em métricas. O alinhamento dos sistemas de avaliação das pesquisas às práticas de ciência aberta requer uma mudança de cultura, coordenação nacional e articulação internacional entre os diversos atores envolvidos. Requer, ainda, a substituição de uma lógica que estimula a padronização, o segredo e a competição, por uma lógica que contemple as diferentes produções de conhecimento, o compartilhamento, a transparência, a co-criação e a colaboração em pesquisa.

Albornoz et al. (2018) chamam a atenção para as disputas de poder subjacentes aos processos de abertura ao identificar uma grande desconexão entre as narrativas em torno da ciência aberta que prometem uma democratização equitativa, mas que parecem reforçar as desigualdades existentes no sistema científico.

Nesse sentido, pensar mudanças nos sistemas de avaliação da pesquisa e das carreiras de pesquisadores consonantes com os pilares e pressupostos da ciência aberta também requer reflexões acerca de qual ciência e qual abertura deseja-se promover, quais conjuntos de valores, comportamentos e práticas se pretende estimular.

De fato, os planos de ciência aberta analisados apontam para possíveis mudanças nos sistemas de incentivo e recompensa, sobretudo quando problematizam os atuais modelos de avaliação que privilegiam a visibilidade da pesquisa em periódicos de alto impacto que não condizem com os pressupostos da ciência aberta (Netherlands, 2017). Todos os planos vislumbram formas alternativas de incentivos, por exemplo, propondo recompensas para o compartilhamento de dados, mas parecem não questionar, ainda, o produtivismo, a padronização, a avaliação centrada no controle ou nos aspectos quantitativos, à exceção da política francesa, que é mais explícita neste quesito e expressa que irá reduzir a influência da avaliação quantitativa em favor da avaliação qualitativa, promovendo o uso de currículos narrativos das trajetórias profissionais e excluindo referências ao Fator de Impacto e ao Índice- H das chamadas públicas de projetos e dos formulários de candidaturas (France, 2021).

Assim, tanto as políticas nacionais de ciência aberta, como os sistemas de incentivo e recompensa resultam de paradigmas que representam um conjunto de valores ético-políticos, que também envolvem uma série de conflitos, tensões e negociações entre os diversos atores envolvidos. Destas tensões, se desdobram, de modo esquemático, ao menos duas perspectivas de ciência aberta: uma mais pragmática (que enfatiza valores mais ligados à eficiência, produtividade, aceleração nos processos de compartilhamento de dados e (re)produção das pesquisas) e outra mais democrática (que destaca valores associados à inclusão, justiça social e cognitiva, bibliodiversidade e multilinguismo) (Albagli, 2015; Clinio, 2019).

Por fim, fica claro que a ciência aberta visa a um conjunto mais amplo de critérios de avaliação do que os empregados atualmente (Babini; Rovelli, 2020), mas quaisquer que sejam os requisitos que venham a substituí-los, é preciso ter em mente que estes não são neutros, imparciais e precisos.

• 1
  No que concerne à perspectiva brasileira, também se observa um crescente reconhecimento da importância do acesso aberto e do conjunto de práticas e questões a ele relacionadas (dados abertos, licenças abertas, repositórios abertos), o que vem resultando, nos últimos 5 anos, na implementação de políticas institucionais ligadas a universidades, instituições de pesquisa e financiadores (Café et al., 2022).
• 2
  Disponível em: https://roarmap.eprints.org/. Acesso em: 7 abr. 2023.
• 3
  A Iniciativa de Helsinki sobre o Multilinguismo na Comunicação Científica convida gestores de políticas públicas, universidades, instituições de pesquisa, agências de financiamento à pesquisa, bibliotecas e investigadores individuais a promoverem o acesso ao conhecimento em várias línguas e a garantirem a diversidade linguística nos sistemas de avaliação e financiamento da pesquisa (Helsinki Initiative, 2019).
• 4
  A Recomendação da UNESCO sobre Ciência Aberta foi adotada pela Conferência Geral da Unesco em sua 41ª sessão, em 23 de novembro de 2021. Disponível em: https://l1nq.com/gL20b. Acesso em: 12 dez. 2022.
• 5
  Todos os marcos regulatórios e documentos analisados estão descritos, por país, nos quadros que compõem a seção Resultados deste artigo.
• 6
  O Relatório SPARC não cobre políticas de acesso aberto. Em sua página 10, na nota explicativa 53, foram listados apenas 10 países. Provavelmente houve um equívoco ao não mencionar Bélgica e Lituânia, países incluídos no Sumário e na análise. No caso da Itália (que também consta na listagem de países presentes no Sumário), o Relatório indica, na nota explicativa 54, que o conteúdo da política não foi analisado em função de estar disponível apenas no idioma italiano. Além destes, o estudo sistematizou os marcos regulatórios de outros 14 países da União Europeia engajados no movimento pela abertura da ciência e que avançam na formulação de suas políticas, a saber: Áustria, Bulgária, Croácia, Dinamarca, Estônia, Alemanha, Grécia, Hungria, Letônia, Luxemburgo, Malta, Polônia, Portugal e Romênia. (SPARC, 2021).
• 7
  O FOLEC foi estabelecido em 2019 pela CLACSO com o objetivo de discutir, compartilhar conhecimento e elaborar uma proposta coletiva de reforma do sistema de avaliação da pesquisa da América Latina e Caribe. Disponível em: https://www.clacso.org/folec/. Acesso em: 12 jan. 2022.
• 8
  Elaborada em 2012 e publicada em 2013, a Declaração DORA é uma iniciativa global que questiona o uso crescente da bibliometria para mensurar a qualidade das pesquisas científicas. Disponível em: https://l1nq.com/pxVqL. Acesso em: 10 abr. 2023.
• 9
  Lançado em 2015, o Manifesto de Leiden destaca que está ocorrendo um uso incorreto de indicadores quantitativos e métricas em processos de avaliação do desempenho científico e recomenda dez princípios para o uso adequado desses instrumentos a fim de subsidiar processos de avaliação da ciência. Disponível em: http://www.leidenmanifesto.org/. Acesso em: 10 abr. 2023.
• 10
  Ressalta-se que a Política Nacional de Ciência Aberta da Colômbia, incorporada em nossa pesquisa, foi publicada em 2022, portanto, posteriormente à análise de Babini e Rovelli (2020).
• 11
  Por exemplo, a Espanha é o país com maior número de instituições e organismos signatários da Coalition for Advancing Research Assessment (CoARA) e sua Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA) está empenhada em promover mudanças no sistema de avaliação da ciência a partir da aprovação do novo Real Decreto de acreditación, aprovado em julho de 2023. Disponível em:https://acesse.dev/uQL4D. Acesso em: 05 out. 2023.
• 12
  Tais políticas nacionais também estão contempladas no relatório An Analysis of Open Science Policies in Europe, v7 (Sparc, 2021).
• 13
  A partir da inspiração em um sistema de referência para casos de jurisprudência criado por Frank Shepard, denominado Shepard's legal citation system, Garfield notou que um índice de citações poderia ser útil ao domínio científico, tanto para indexação de termos, como para a pesquisa destes, além de servir a descoberta de autores desconhecidos (Mingers; Leydesdorff, 2015; Larivière; Sugimoto, 2018).
• 14
  Mugnaini, Jannuzzi e Quoniam (2004) acrescentam que os indicadores de ciência e tecnologia foram empregados, a partir do período pós-guerra, para “[...] dimensionar o esforço em C&T por meio de indicadores de input (insumo) como volumes de investimento em pesquisa científica e tecnológica. A partir dos anos 1960, os indicadores de output (resultados) começam a ser mais utilizados, dada a necessidade de se dispor de medidas que permitissem aos tomadores de decisão avaliar o retorno dos investimentos aplicados” (Mugnaini; Jannuzzi; Quoniam, 2004, p.125).
• 15
  Como explica o próprio Eugene Garfield (2006), criador deste indicador (em colaboração com Irving H. Sher), o Fator de Impacto (FI) foi concebido em 1955, para “[...] ajudar a selecionar fontes de periódicos. Para fazer isso, nós simplesmente reclassificamos o índice de citações do autor no índice de citações do periódico. A partir deste simples exercício, aprendemos que inicialmente um grupo central de periódicos e altamente citados precisava ser coberto no novo Science Citation Index (SCI)” (Garfield, 2006, p. 90). Garfield esclarece que após a criação do FI foram necessários oito anos para formular as bases teóricas e conceituais da análise de citações, a partir de fundamentos e abordagens advindos dos trabalhos da Sociologia da Ciência, de Merton, e da comunicação científica, de Crawford, Griffith e Crane (Araújo, 2006).
• 16
  Do original: “[...] más jerarquizado y mercantilizado que lejos de abrir la conversación mundial de la ciencia contribuyó a su progresiva cerrazón” (Beigel, 2021, p. 229).
• 17
  No original: “including for example financial support to open science efforts, acknowledgment and reward of researchers undertaking open science actions, or the use of new and broader evaluation metrics that take into account open science and its impact.” (OCDE, 2015, p. 89).
• 18
  Disponível em: https://acesse.dev/tkTqg Acesso em: 15 jan. 2023.
• 19
  O Plano S consiste em um projeto da União Europeia vinculado a agências de financiamento de pesquisa de países europeus (com o apoio de agências dos EUA e da China) que determina que: “A partir de 2021, todas as publicações acadêmicas e resultados de pesquisas financiadas com recursos públicos ou privados provenientes de conselhos de pesquisa e organismos de financiamento nacionais, regionais e internacionais devem ser publicadas em periódicos de acesso aberto, em plataformas de acesso aberto ou disponibilizadas imediatamente por meio de repositórios de acesso aberto sem embargo” (Plan S, 2020, tradução nossa). Disponível em: https://www.coalition-s.org/about/. Acesso em: 20 jan. 2022.
• 20
  A rede GO FAIR foi fundada na Holanda, com estratégias para promover os princípios FAIR que estabelecem que os dados devam ser encontráveis (findable), acessíveis (accessible), interoperáveis (interoperable) e reutilizáveis (reusable). Disponível em: https://www.go-fair.org/country/netherlands/
• 21
  Do original: “In the present evaluation and reward systems the emphasis is often on the number of publications in prestigious journals with a high impact factor, often produced by well-established publishers and to which there is no open access, thus maintaining the culture of ‘publish or perish’.”(Netherlands, 2017, p. 10).
• 22
  Do original: “Dutch universities do little to none in terms of rewarding researchers for practicing open science. This can be observed from the appointment criteria of tenure track policy across all Dutch universities, which generally include research, teaching, valorisation, and management leadership. For example, Delft University of Technology has the following criteria in the research aspect of their tenure track policy: (1) conducting research, (2) supervising PhD students, (3) acquisition of indirect government funding and contract research and (4) publications. Open science was not included nor integrated into any of the four research elements. At the national level, the Standard Evaluation Protocol (SEP2015-2020) has included relevance to society to be assessed in research evaluation of disciplines. However, the document does not explicitly refer to open science practices. Hence, it is still unclear how individuals would be rewarded for practicing open science and how it could positively impact their career in a concrete manner at Dutch universities (Chan; Meijer, 2018, p. 10-11).
• 23
  Disponível em: https://www.nwo.nl/en/position-paper-room-everyones-talent. Acesso em: 20 jan. 2023.
• 24
  Conforme consta no sítio eletrônico da Iniciativa para Citações Abertas (I4OC), lançada em 2018, os dados de citação geralmente não estão disponíveis livremente para acesso; na maior parte das vezes estão sujeitos a licenças inconsistentes e difíceis de analisar e, frequentemente, não são legíveis por máquina (I4OC, 2018). O formato aberto e legível por máquina desses dados permite que pesquisadores e público em geral, interessados em qualquer tema, se mantenham atualizados sobre as descobertas de conteúdos publicados, assim como possibilita sua incorporação, por exemplo, em sistemas como o Crossref e outros sistemas computacionais. Como esclarece Redhead (2019), a Iniciativa para Citações Abertas (I4OC) trabalha em colaboração com alguns editores acadêmicos com o objetivo de promover a disponibilidade irrestrita dos dados e metadados de citações. Disponível em: https://i4oc.org/. Acesso em: 5 abr. 2023.
• 25
  Do original: “Instituir un sistema de métricas e incentivos que fomenten, valoren y reconozcan las prácticas, procesos y resultados de Ciencia Abierta de la comunidad científica colombiana e integrarlo a los modelos y sistemas de métricas e incentivos de las actividades de CTeI existentes en el país” (COLOMBIA, 2022, p. 51).

Reconhecimentos

Não aplicável.

• Financiamento: O presente trabalho foi realizado com apoio da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior - Brasil (CAPES) - Código de Financiamento 001.
• Aprovação ética: Não aplicável.
• Disponibilidade de dados e material: Não aplicável.
• JITA: IN. Open science.

REFERÊNCIAS

• ABADAL, E.; ANGLADA, L. Políticas de ciencia abierta en Europa. In: BORGES, M. M.; SANZ CASADO, E. (coord.). Sob a lente da Ciência Aberta: olhares de Portugal, Espanha e Brasil. Coimbra: Imprensa da Universidade, 2021. p. 45-66. Disponível em: https://doi.org/10.14195/978-989-26-2022-0 Acesso em: 22 jan. 2023.
  » https://doi.org/10.14195/978-989-26-2022-0
• AGREEMENT ON REFORMING RESEARCH ASSESSMENT. [S.l.:s.n], 2022. Disponível em: https://coara.eu/app/uploads/2022/09/2022_07_19_rra_agreement_final.pdf Acesso em: 22 jan. 2023.
  » https://coara.eu/app/uploads/2022/09/2022_07_19_rra_agreement_final.pdf
• AKSNES, D. W.; LANGFELDT, L.; WOUTERS, P. Citations, Citation Indicators, and Research Quality: An Overview of Basic Concepts and Theories. SAGE Open, [S.l], v. 9, n. 1, 2019. Disponível em: https://doi.org/10.1177/2158244019829575 Acesso em: 22 jan. 2023.
  » https://doi.org/10.1177/2158244019829575
• ALBAGLI, S. Ciência aberta em questão. In: ALBAGLI, S.; MACIEL, M. L.; ABDO, A. H. (Org.). Ciência aberta, questões abertas Brasília: Ibict; Rio de Janeiro: Unirio, 2015.
• ALBAGLI, S; CLINIO, A.; RAYCHTOCK, S. Ciência Aberta: correntes interpretativas e tipos de ação. Liinc em Revista, Rio de Janeiro, v.10, n.2, p. 434-450, nov. 2014. Disponível em: https://revista.ibict.br/liinc/article/view/3593 Acesso em: 14 abr. 2023.
  » https://revista.ibict.br/liinc/article/view/3593
• ALBAGLI, S.; IWAMA, A. Y. Citizen science and the right to research: building local knowledge of climate change impacts. Humanities and Social Sciences Communications, v. 9, n. 39, 2022. Disponível em: https://doi.org/10.1057/s41599-022-01040-8 Acesso em: 14 abr. 2023.
  » https://doi.org/10.1057/s41599-022-01040-8
• ALBORNOZ, D. et al Framing power: tracing key discourses in Open Science Policies. In: INTERNATIONAL CONFERENCE ON ELECTRONIC PUBLISHING, 22., Villeurbanne, 2018. [Proceeddings]… Villeurbanne, France: ELPUB, 15 jun. 2018.
• APPEL, A. L; ALBAGLI, S. Acesso Aberto em questão: novas agendas e desafios. Informação & Sociedade: Estudos, João Pessoa, v. 29, n. 4, p. 187-208, 28 dez. 2019. DOI: https://doi.org/10.22478/ufpb.1809-4783.2019v29n4.50113
  » https://doi.org/10.22478/ufpb.1809-4783.2019v29n4.50113
• ARAÚJO, C. A. Á. Bibliometria: evolução histórica e questões atuais. Em questão, Porto Alegre, v. 12, n. 1, p. 11-32, 2006.
• BABINI, D.; ROVELLI, L. Tendencias recientes en las políticas científicas de ciencia abierta y acceso abierto en Iberoamérica Ciudad Autónoma de Buenos Aires: CLACSO; Fundación Carolina, 2020.
• BECERRIL-GARCÍA, A.; AGUADO-LÓPEZ, E. the end of a centralized open access project and the beginning of a community-based sustainable infrastructure for Latin America: Redalyc.org after Fifteen Years. In: CONNECTING THE KNOWLEDGE COMMONS - From Projects to Sustainable Infrastructure: The 22nd International Conference on Electronic Publishing - Revised Selected Papers, 22., Marseille, 2019. Proceeddings… Marseille: OpenEdition Press, 2019 (généré le 18 janvier 2023). Disponível em: https://doi.org/10.4000/books.oep.9003 Acesso em: 14 abr. 2023.
  » https://doi.org/10.4000/books.oep.9003
• BEIGEL, F. La evaluación académica y el camino latinoamericano de la ciencia abierta.” In: BECERRIL-GARCÍA, A.; CÓRDOBA GONZÁLEZ, S. Conocimiento Abierto en América Latina: Trayectoria y Desafíos. [S.l.]: CLACSO, 2021. p. 229-54. Disponível em: https://doi.org/10.2307/j.ctv2v88f34.13 Acesso em: 22 jan. 2023.
  » https://doi.org/10.2307/j.ctv2v88f34.13
• BOUKACEM-ZEGHMOURI, C. Pourquoi les chercheurs ouvrent-ils leurs recherches? The Conversation, June 22, 2020. Disponível em: https://acesse.dev/Y20Hb Acesso em: 22 jan. 2023.
  » https://acesse.dev/Y20Hb
• CAFÉ, L. C. et al Análise de domínio de políticas institucionais de acesso aberto no Brasil. RDBCI: Revista Digital de Biblioteconomia e Ciência da Informação, Campinas, v. 20, 2022. DOI: https://doi.org/10.20396/rdbci.v20i00.8670092 Acesso em: 10 abr. 2023.
  » https://doi.org/10.20396/rdbci.v20i00.8670092
• CHAN, L.; OKUNE, A.; SAMBULI, N. O que é ciência aberta e colaborativa e que papeis ela poderia desempenhar no desenvolvimento?. In: ALBAGLI, S.; MACIEL, M. L.; ABDO, A. (org). Ciência aberta, questões abertas Brasília: IBICT, 2015. 312p. Disponível em: http:/livroaberto.ibict.br/handle/1/1060 Acesso em: 3 abr. 2022.
  » http:/livroaberto.ibict.br/handle/1/1060
• CHAN, T. T.; MEIJER, I. The Netherlands’ Plan on Open Science: open science monitor case study. Brussels: Office of the European Union, Oct. 2018. [Research and Innovation]. Disponível em: https://op.europa.eu/en/publication-detail/-/publication/20d4026e-4478-11e9-a8ed-01aa75ed71a1 Acesso em: 30 jan. 2022.
  » https://op.europa.eu/en/publication-detail/-/publication/20d4026e-4478-11e9-a8ed-01aa75ed71a1
• CLINIO, A. Ciência Aberta na América Latina: duas perspectivas em disputa. Transinformação, Campinas, v. 31, 2019. Disponível em: https://doi.org/10.1590/238180889201931e190028 Acesso em: 14 abr. 2023.
  » https://doi.org/10.1590/238180889201931e190028
• COLOMBIA. Ministerio de Ciencia Tecnología e Innovación - Minciencias. Politica Nacional de Ciencia Abierta 2022-2031 Bogotá D.C: [s.n.], jul. 2022. Disponível em: https://minciencias.gov.co/pdf/pdfreader?url=https://minciencias.gov.co/sites/default/files/politica_nacional_de_ciencia_abierta_-2022_-_version_aprobada.pdf Acesso em: 22 jan. 2023.
  » https://minciencias.gov.co/pdf/pdfreader?url=https://minciencias.gov.co/sites/default/files/politica_nacional_de_ciencia_abierta_-2022_-_version_aprobada.pdf
• CUEVA, J.; MÉNDEZ, E. Open Science and intellectual property rights. How can they better interact? State of the art and reflections. [Report of Study EUROPEAN COMMISSION]. [S.l.: s.n], 2022. Disponível em: https://op.europa.eu/en/publication-detail/-/publication/42d27e04-b715-11ec-b6f4-01aa75ed71a1/language-en Acesso em: 22 jan. 2023.
  » https://op.europa.eu/en/publication-detail/-/publication/42d27e04-b715-11ec-b6f4-01aa75ed71a1/language-en
• DAVYT, A.; VELHO, L. A avaliação da ciência e a revisão por pares: passado e presente: como será o futuro? História, ciências, saúde-Manguinhos, Rio de Janeiro, v. 7, n. 1, p. 93-116, mar./jun. 2000.
• FECHER, B., FRIESIKE, S. Open Science: one term, five schools of thought. In: BARTLING, S., FRIESIKE, S. (ed.). Opening Science Cham: Springer Open, 2014.
• FINLAND. Ministry of Education and Culture. Department for Higher Education and Science Policy. Open science and research leads to surprising discoveries and creative insights Open science and research roadmap 2014-2017. Helsinki: [s.n], 2014. [Reports of the Ministry of Education and Culture, Finland 2014:21]. Disponível em: https://julkaisut.valtioneuvosto.fi/bitstream/handle/10024/75210/okm21.pdf?sequence=1&isAllowed=y Acesso em: 30 jan. 2022.
  » https://julkaisut.valtioneuvosto.fi/bitstream/handle/10024/75210/okm21.pdf?sequence=1&isAllowed=y
• FINLAND. Open Science Coordination in Finland. Federation of Finnish Learned Societies. Declaration for Open Science and Research (Finland) 2020-2025 Helsinki: TJNK; TSV, 2020. Disponível em: https://avointiede.fi/sites/default/files/2020-02/declaration2020_0.pdf Acesso em: 30 jan. 2022.
  » https://avointiede.fi/sites/default/files/2020-02/declaration2020_0.pdf
• FINLAND. Open Science Coordination in Finland. Federation of Finnish Learned Societies. Open Research Data and Methods: National Policy and Executive Plan by the Higher Education and Research Community for 2021-2025 Helsinki: TJNK; TSV, 2021. [Responsible Research Series 7:2021. 3.v.] Disponível em: https://encr.pw/SIGUe Acesso em: 30 jan. 2022.
  » https://encr.pw/SIGUe
• FOLEC/CLACSO. Diagnóstico y propuestas para una iniciativa regional [S.l]: FOLEC/CLACSO, 2020. [Elaborado por Fernanda Beigel]. (Serie Para una transformación de la Evaluación de la Ciencia en América Latina y el Caribe - FOLEC, CLACSO). Disponível em: https://www.clacso.org/en/folec/ Acesso em: 15 abr. 2023.
  » https://www.clacso.org/en/folec/
• FRANCE. Ministère de L’Enseignement supérieur de la Recherche et de L’Innovation. Plan National pour la Science Ouverte Paris: Open Science, 2018a. Disponível em: https://encr.pw/lzQup Acesso em: 30 jan. 2022.
  » https://encr.pw/lzQup
• FRANCE. Pour une action publique transparente et collaborative: Plan d’action national pour la France: 2018-2020. Paris: Open Government Partnership, 2018b. Disponível em: https://www.etalab.gouv.fr/wp-content/uploads/2018/04/PlanOGP-FR-2018-2020-VF-FR.pdf Acesso em: 30 jan. 2022.
  » https://www.etalab.gouv.fr/wp-content/uploads/2018/04/PlanOGP-FR-2018-2020-VF-FR.pdf
• FRANCE. Ministère de l’Enseignement supérieur, de la Recherche et de l’Innovation. Deuxième Plan national pour la science ouverte: Généraliser la science ouverte en France 2021-2024 Paris: Open Science, 2021. Disponível em: https://encr.pw/PIVyH Acesso em: 30 jan. 2022.
  » https://encr.pw/PIVyH
• FRESSOLI, M.; ARZA, V. Los desafíos que enfrentan las prácticas de ciencia aberta. Teknokultura, Madrid, v. 15, n. 2, p. 429-448, 2018.
• GARFIELD, E. The history and meaning of the journal impact factor. Jama, [S.l.], v. 295, n. 1, p. 90-93, 2006. DOI: DOI: https://doi.org/10.1001/jama.295.1.90 Acesso em: 15 abr. 2023.
  » https://doi.org/DOI:» https://doi.org/10.1001/jama.295.1.90
• GINGRAS, Y. Les dérives de l’évaluation de la recherche: du bon usage de la bibliométrie. Paris: Raisons d’agir, 2014, 122 p.
• GUÉDON, J-C. El acceso abierto y la división entre ciencia “principal” y “periférica”. Crítica y Emancipación, Buenos Aires, ano 3, n. 6, p. 135-180, 2011. Disponível em: http://eprints.rclis.org/17570/1/CyE-6_Guedon-CLACSO.pdf Acesso em: 30 jan. 2022.
  » http://eprints.rclis.org/17570/1/CyE-6_Guedon-CLACSO.pdf
• HELSINKI INITIATIVE. Helsinki Initiative on Multilingualism in Scholarly Communication Helsinki: Federation of Finnish Learned Societies; Committee for Public Information, Finnish Association for Scholarly Publishing; Universities Norway & European Network for Research Evaluation in the Social Sciences and the Humanities, 2019. Disponível em: https://doi.org/10.6084/m9.figshare.7887059 Acesso em: 10 abr. 2023.
  » https://doi.org/10.6084/m9.figshare.7887059
• I40C. Initiative for Open Citations [S.l.: s.n]. 2018. [website]. Disponível em: https://i4oc.org/ Acesso em: 5 abr. 2023.
  » https://i4oc.org/
• JORGE, V. de A. Implementando um repositório de dados no contexto da ciência aberta: a experiência da Fiocruz. In: ENCONTRO DA REDE BRASILEIRA DE REPOSITÓRIOS DIGITAIS, 1., 2022. Anais.. [S. l]: Fiocruz/Icict; IBICT, 2022. 33 p.
• LARIVIÈRE, V.; SUGIMOTO, C. R. Mesurer la science Montréal: Les Presses de l'Université de Montréal, 2018.
• MÉNDEZ, E. Open science por defecto. La nueva normalidad para la investigación Arbor, Madrid, v.197, n.799, a587, 2021. Disponível em: https://doi.org/10.3989/arbor.2021.799002 Acesso em: 10 abr. 2023.
  » https://doi.org/10.3989/arbor.2021.799002
• MINGERS, J.; LEYDESDORFF, L. A review of theory and practice in scientometrics. European Journal of Operational Research, v. 246, n. 1, p. 1-19, 1 Oct. 2015. DOI: https://doi.org/10.1016/j.ejor.2015.04.002 Acesso em: 21 set. 2020.
  » https://doi.org/10.1016/j.ejor.2015.04.002
• MUGNAINI, R.; JANNUZZI, P. M.; QUONIAM, L. Indicadores bibliométricos da produção científica brasileira: uma análise a partir da base Pascal. Ciência da informação, Brasília, v. 33, n. 2, p. 123-131, 2004.
• NETHERLANDS. Dutch Ministry of Education, Culture and Science. National plan open science [S.l.:s.n], 9 febr. 2017. Disponível em: https://www.dtls.nl/2017/02/09/national-plan-open-science-presented/ . Acesso em: 30 jan. 2022.
  » https://www.dtls.nl/2017/02/09/national-plan-open-science-presented/
• O’CARROLL et al Evaluation of research careers fully acknowledging Open Science practices: Rewards, incentives and/or recognition for researchers practicing Open Science. Publications Office, Luxembourg, 2017. Disponível em: https://data.europa.eu/doi/10.2777/75255 Acesso em: 30 jan. 2022.
  » https://data.europa.eu/doi/10.2777/75255
• OCDE. Making Open Science a Reality. OECD Science, Technology and Industry Policy Papers, Paris, n. 25, 15 oct. 2015. 108 p. DOI: https://doi.org/10.1787/5jrs2f963zs1-en
  » https://doi.org/10.1787/5jrs2f963zs1-en
• RODRIGUES, E. A necessária e difícil reforma da avaliação da investigação. In: REFORMA da avaliação [Preprint de Capítulo do Livro] [S.l.: s.n.], 2022. Disponível em: https://encr.pw/0iX7Q Acesso em: 22 jan. 2023.
  » https://encr.pw/0iX7Q
• SALATINO, M.; LÓPEZ RUIZ, O. El fetichismo de la indexación: una crítica latinoamericana a los regímenes de evaluación de la ciencia mundial. Revista Iberoamericana de Ciencia, Tecnología y Sociedad -CTS, [S.l.], v. 16, n. 46, p. 73-100, 2021. Disponível em: https://l1nq.com/1fuIR Acesso em: 30 jan. 2022.
  » https://l1nq.com/1fuIR
• SÁNCHEZ-TARRAGÓ, N. Acceso abierto en Latinoamérica: desafiando la geopolítica del conocimiento. Revista Cubana de Información en Ciencias de la Salud, Habana, Habana, v. 26, n. 4, ago. 2015. Disponível em: https://acesse.dev/VITBU Acesso em: 22 jan. 2023.
  » https://acesse.dev/VITBU
• SANTOS, P. X.; ALMEIDA, B. A.; HENNING, P. (org.). Livro Verde - Ciência aberta e dados abertos: mapeamento e análise de políticas, infraestruturas e estratégias em perspectiva nacional e internacional. Rio de Janeiro: Fiocruz, 2017. 140 p.
• SLOVENIA. Government of the Republic of Slovenia. National Strategy of Open Access to Scientific Publications and Research Data in Slovenia 2015-2020 Liubliana: [S.n], 3 Sept. 2015. Number: 60300-5/2015/5. Disponível em: https://l1nq.com/3AHdC Acesso em: 22 jan. 2023.
  » https://l1nq.com/3AHdC
• SLOVENIJE. Vlada Republike Slovenije. Akcijski Načrt Izvedbe Nacionalne Strategije Odprtega Dostopa do Znanstvenih Objav in Raziskovalnih Podatkov v Sloveniji 2015‒ 2020 Liubliana: [S.l], 24 maj. 2017. Številka [número]: 60300-5/2015/10. Disponível em: https://l1nq.com/dscl0 Acesso em: 30 jan. 2022.
  » https://l1nq.com/dscl0
• SPARC. An Analysis of Open Science Policies in Europe, v.7. [Report]. [S.l]: SPARC EUROPE; DCC, Apr. 2021. 43 p. Disponível em: https://zenodo.org/record/4725817#.YfaYxurMIdU Acesso em: 30 jan. 2022.
  » https://zenodo.org/record/4725817#.YfaYxurMIdU
• UNESCO. Recommandation de l’UNESCO sur une science ouverte Paris: UNESCO, 2021. Disponível em: https://unesdoc.unesco.org/ark:/48223/pf0000379949_fre
  » https://unesdoc.unesco.org/ark:/48223/pf0000379949_fre
• VELHO, L. Conceitos de ciência e a política científica, tecnológica e de inovação. Sociologias, Porto Alegre, v. 13, n. 26, p. 128-153, jan./abr. 2011.
• VESSURI, H.; GUÉDON, J.-C.; CETTO, A. M. M. Excellence or quality? Impact of the current competition regime on science and scientific publishing in Latin America and its implications for development. Current Sociology, London, v. 62, n. 5, p. 647-665, 2014. DOI:10.1177/0011392113512839
  » https://doi.org/10.1177/0011392113512839
• VOMMARO, P.; ROVELLI, L. Desafíos a la evaluación de la investigación orientada a la movilización del conocimiento en transición hacia la ciencia abierta: un análisis a partir del caso de los Grupos de Trabajo del Consejo Latinoamericano de Ciencias Sociales. Analecta Política, Medellín, v. 12, n. 23, p. 1-18, 2022, Disponível em: http://dx.doi.org/10.18566/apolit.v12n23.a02 . Acesso em: 10 abr. 2023.
  » http://dx.doi.org/10.18566/apolit.v12n23.a02
• VSNU; KNAW; NWO; ZONMW. Room for everyone’s talent: towards a new balance in the recognition and rewards for academics. [S.l.: s.n], 2019. Disponível em: https://acesse.dev/prlLe Acesso em: 10 abr. 2023.
  » https://acesse.dev/prlLe
• PLAN S. Why Plan S Strasburg: Science Connect, 4 set. 2018. Disponível em: https://www.coalition-s.org/why-plan-s/ Acesso em: 22 jan. 2023.
  » https://www.coalition-s.org/why-plan-s/
• REDHEAD, C. OASPA e a Iniciativa para Citações Abertas Blog PPEC, [S.l.], v. 9, n. 1, set. 2019. Disponível em: https://periodicos.sbu.unicamp.br/blog/index.php/2019/09/19/oaspa/ Acesso em: 22 jan. 2023.
  » https://periodicos.sbu.unicamp.br/blog/index.php/2019/09/19/oaspa/
• WOUTERS, P. The citation: from culture to infrastructure. In: CRONIN, B.; SUGIMOTO, C. R. (ed.). Beyond bibliometrics: harnessing multidimensional indicators of scholarly impact. Cambridge: MIT Press, 2014. p. 47-66. Cap. 3.

Editado por

Editor: Gildenir Carolino Santos

Disponibilidade de dados

Disponibilidade de dados e material: Não aplicável.

Datas de Publicação

• Publicação nesta coleção
  27 Nov 2023
• Data do Fascículo
  2023

Histórico

• Recebido
  16 Abr 2023
• Aceito
  04 Out 2023
• Publicado
  20 Out 2023