Um Qualis em quatro tempos: histórico e sugestões para Administração, Ciências Contábeis e Turismo

1 INTRODUÇÃO

Enquanto as áreas chamadas "duras" sempre privilegiaram as métricas para definir os respectivos Qualis - em especial, o fator de impacto veiculado no Journal Citation Reports (JCR, atualmente publicado pela Thomson-Reuters), várias do grupo das humanidades e sociais aplicadas (como, entre outras, psicologia, administração, educação e antropologia) iniciaram a trajetória sistematizada por meio de uma ficha de avaliação. Foi somente após a reestruturação do sistema (Capes, 2008), na fase que denominamos "terceiro tempo", que as métricas passaram a ter um papel mais decisivo também nessas últimas áreas. Conta-se aqui, no primeiro e segundo tempos, a história de uma delas - a de Administração, Ciências Contábeis e Turismo - que, em grande parte, é similar à de todas as outras, especialmente quando, também no terceiro tempo, discutem-se e apresentam-se argumentos que evidenciam a não adequabilidade do emprego do fator de impacto (ou de métricas de citação em geral) como critério preferencial para construir a hierarquia Qualis. No quarto tempo, então, apresenta-se uma proposta que dispensa métricas e propicia às revistas não indexadas em empresas privadas do hemisfério norte uma real possibilidade de galgar os estratos superiores da classificação.

Nesse contexto, foram duas as grandes motivações para a elaboração deste editorial. Uma, o resgate da história dos quase 15 anos que trouxeram a área das 19 revistas da primeira avaliação formal, em 2002, até a impressionante SPELL (Scientific Periodicals Electronic Library - www.spell.org.br). A outra, a percepção da importância do Qualis como instrumento de instigação para a área acadêmica. Efetivamente, essa história somente existe em decorrência da orientação e da avaliação das publicações científicas no âmbito da Capes (Coordenação de Aperfeiçoamento de Pessoal de Nível Superior). Esse papel nem sempre é adequadamente compreendido e, consequentemente, os objetivos podem também não ser alcançados. Dessa maneira, este texto foi estruturado para (i) mostrar a evolução do processo ao longo do tempo, (ii) analisar os progressos alcançados e (iii) refletir sobre aspectos de melhoria.

As mudanças verificadas foram filosóficas, estruturais e tanto qualitativas como quantitativas.

2 TEMPO 1: AS AVALIAÇÕES ASSISTIDAS POR FICHA (2002-2007)

2.1 A Primeira Ficha

Tudo começou no início de 2002: por iniciativa da então coordenadora da área, professora Sonia Calado, discutimos a avaliação de revistas científicas em uma sessão do Comitê da Capes, "exteriorizando um descontentamento com o modelo pouco estruturado de avaliação de periódicos" (F. Frezatti, agosto, 2016). Após vários anos de participação no Grupo Assessor de Editoração (GAE, extinto em 2005) do Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq), com algumas passagens também pelo Comitê Editorial, a qualidade das revistas científicas era um tema ao qual eu vinha me dedicando, e estavam-se consolidando as ideias acerca das suas quatro dimensões (técnico-normativa, de produto ou de conteúdo, do processo produtivo e de mercado). Essas ideias, que, posteriormente, vieram a originar um artigo (Trzesniak, 2006), foram expostas nessa primeira reunião, em uma apresentação mais ou menos formal (www.infocien.org/QualAval), de que fazia parte a Ficha de Avaliação Capes/Anpepp (Yamamoto et al., 1999, 2002), a então referência "estado da arte" para construir o Qualis das áreas que (i) viam como relevante a participação das revistas brasileiras no escoamento da respectiva produção de artigos e (ii) tinham interesse em fortalecer e consolidar essas revistas.

Os integrantes do Comitê de Área se mostraram motivados e entusiasmados com a proposta da ficha, especialmente por nela divisarem não apenas um modo de organizar sistemática e objetivamente o Qualis, mas o potencial para contribuir significativamente para o aperfeiçoamento das revistas. Definiu-se a realização de uma segunda reunião, com o propósito de criar uma ficha de avaliação inicial que levasse em conta (i) as peculiaridades temáticas da área, (ii) o patamar médio de qualidade das revistas na época e (iii) os aspectos considerados mais relevantes para a evolução do conjunto das revistas entre uma primeira e uma segunda avaliações (uma sinalização, um balizamento para nortear o futuro). Intenso e dedicado foi o trabalho da equipe, integrada por Alberto L. Albertin, Antonio Freitas, César Tibúrcio, Fábio Frezatti, Jaime Fensterseifer, Neusa M. B. F. Santos, Piotr Trzesniak, Rachel C. M. Silva, Reynaldo C. Marcondes, Sergio Bulgacov, Silvia H. Koller, Sônia M. R. Calado e Tomás A. Guimarães. Discutiu-se a pertinência de cada quesito e, sendo esse aceito, determinava-se o nível de atendimento pretendido.

Apesar de, na época, já se classificarem as revistas em estratos A, B e C, nenhum desses era subdividido em níveis (A1, A2, B1 etc.), como é feito em 2016. Porém existia um segundo critério, independente, denominado âmbito, que podia ser Internacional, Nacional ou Local. Assim sendo, uma revista podia ser Internacional A, B ou C, Nacional A, B ou C, ou Local A, B ou C.

Nessas circunstâncias, concluiu-se a Ficha de Avaliação 2002 (www.infocien.org/QualAval/Hist/Capes/AdmConT), por meio da qual a revista era pontuada em cinco dimensões, conforme mostram a segunda e a terceira colunas da Tabela 1. Do total de 34 quesitos que a ficha apresentava, 27 diziam respeito apenas à qualidade, quatro exclusivamente a âmbito e três (quesitos 20, 31 e 32) às duas características. Assim, a revista poderia atingir até 73 pontos na qualidade e até 34 pontos no âmbito.

Tabela 1
As dimensões da avaliação das revistas da área de Administração, Ciências Contábeis e Turismo (cinco via ficha e uma ad hoc) e a evolução da respectiva pontuação máxima ao longo do tempo

Dimensão	2002			2005		2007
	Qualidade	Âmbito	Qualidade	Âmbito	Qualidade	Âmbito
Normalização	16,0	0,0	16,0	0,0	15,0	0,0
Publicação	12,0	0,0	12,0	0,0	12,0	0,0
Circulação e visibilidade	14,0	11,0	14,0	11,0	14,0	9,0
Autoria e conteúdo	15,0	16,0	15,0	16,0	13,0	12,0
Gestão editorial	16,0	7,0	16,0	7,0	15,0	7,0
Impacto (ad hoc)	0,0	0,0	10,0	0,0	15,0	0,0
Total	73,0	34,0	83,0	34,0	84,0	28,0
Total da ficha*	95,0			105,0		100,0

• * Inferior à soma dos totais de qualidade e de âmbito por haver três quesitos (números 30, 31 e 32) computados para dois os critérios.
• Fonte: Elaborada pelo autor.

2.2 Os Princípios do Processo

Na mensagem de encaminhamento da ficha aos editores, além do incentivo explícito para adesão e envolvimento de todos, despontavam alguns princípios fundamentais para que as revistas crescessem e cada vez mais se consolidassem:

• transparência: critérios claros, objetivamente enunciados, com texto de ajuda oferecido na própria ficha, mediante acionamento da tecla F1;

• participação: cada editor fazia a avaliação inicial da sua revista e encaminhava o resultado à Comissão, para verificação e uniformização;

• autoaperfeiçoamento dos editores: a conjunção de (i) quesitos bem elaborados, suportados por textos explicativos, (ii) exercício de autoavaliação da própria revista e (iii) inclusão de quesitos de sinalização de avanços futuros criava um contexto de aprendizagem para editores iniciantes e revistas jovens no sentido de abreviar seu tempo de maturação.

Foi nesse cenário que, em meados de 2002, tendo como anfitrião o professor Antonio Freitas, diretor do Ibmec/Rio de Janeiro, a Comissão se reuniu nessa instituição para a primeira avaliação Qualis segundo a nova sistemática. Participaram 19 revistas, com o resultado que, comparado ao de 2007, está apresentado na Tabela 2. Porém mais importante que a classificação em si foi a comprovação prática da viabilidade e eficácia do processo. Em nenhum momento foi questionado se esse seria de fato o melhor caminho, a adesão foi total e imediata, e, sim, ir-se-ia seguir em frente.

E assim se fez.

2.3 A Avaliação 2002-2004

O aprendizado da primeira rodada levou a alguns aperfeiçoamentos da ficha, com a introdução, na versão para 2002-2004 (www.infocien.org/QualAval/Hist/Capes/AdmConT), da dimensão impacto, valendo até 10 pontos. Compreendia-se que a versão inicial contemplava prioritariamente aspectos técnico-normativos e, em vários quesitos, atribuía a pontuação com base apenas declaratória. Faltava, de alguma forma, a valorização do conteúdo. Impacto era um conceito que apontava nesse sentido, mas como medi-lo? Decidiu-se, então, em um primeiro momento, confiar na capacidade de julgamento da própria Comissão: caberia a ela, provisoriamente, definir a pontuação de cada revista nesse quesito, sem, porém, deixar de buscar alternativas que permitissem estabelecê-la de modo mais transparente e objetivo.

É curioso registrar, nessa versão, a inclusão, na dimensão circulação e visibilidade, de dois "quesitos sinalizadores", que carregavam, ambos, uma expectativa de continuidade de revistas impressas: (i) a efetiva distribuição da tiragem impressa, com o propósito de evitar prateleiras lotadas de fascículos "encalhados" e (ii) a distribuição a membros de associações científicas. Se o mérito da primeira era apenas econômico, o da segunda embutia uma esperança de promover um eventual futuro compartilhamento da responsabilidade editorial entre essas associações e as universidades ou institutos de pesquisa (ou suas respectivas subunidades), que constituíam (e ainda assim é) a retaguarda da maioria das revistas da área. Normalmente, as instituições se apresentam melhor quanto a recursos físico-financeiros, enquanto as sociedades, sem dúvida, contam com um corpo bem maior de pesquisadores especialistas (Döbereiner, 2001). A hipótese por trás era: se os membros da associação passassem a receber a revista, sentir-se-iam mais comprometidos com ela, cada um a veria como "a sua revista" e mais se motivaria a cooperar como parecerista, integrante do corpo editorial ou mesmo editor associado. A rigor, não há experimentos conclusivos que desmintam essa hipótese, mesmo no atual contexto de revistas somente eletrônicas. Também não existem confirmações, mas, aparentemente, não há como uma parceria séria, transparente e bem negociada entre uma instituição (ou várias) e uma associação científica (ou várias) possa não trazer vantagens significativas para todas as partes. Editores e dirigentes de associações científicas deveriam dar mais atenção a essa possibilidade.

Em termos operacionais, a ficha teve acrescentadas tabelas auxiliares, que facilitavam a compilação dos dados e os cálculos necessários para determinar a pontuação referente aos itens de autoria internacional, nacional e interinstitucional. A ficha 2002-2004 foi empregada para a avaliação de 39 revistas em 2005.

Tabela 2
Quantidades absolutas de revistas em cada faixa de classificação da primeira (2002) para a última (2007) das três avaliações realizadas e respectivas variações percentuais

		Nacional				Local				Total
	2002 (abs)	2007 (abs)	Variação (perc)	2002 (abs)	2007 (abs)		Variação (perc)			2002 (abs)	2007 (abs)		Variação (perc)
A	1	6	+500 %	0	0		+0 %			1	6		+500 %
B	1	13	+1200 %	4	3		-25 %			5	16		+220 %
C	5	8	+60 %	8	12		+50 %			13	20		+54 %
Total	7	27	+286 %	12	15		+25 %			19	42		+121 %
	37 %	64 %	-	63 %	36 %		-			100 %	100 %		-

• Fonte: Elaborada pelo autor.

2.4 A Terceira Avaliação e os Benefícios Conquistados

A derradeira utilização de uma ficha para classificar as revistas da área ocorreu em 2007, cinco anos da primeira avaliação. O número de revistas eletrônicas já se tornara significativo, sinalizando que os quesitos específicos para versões impressas iriam rapidamente perder seu sentido. Esse novo contexto mereceu destaque no texto de encaminhamento aos editores da Ficha de Avaliação 2007 (www.infocien.org/QualAval/Hist/Capes/AdmConT):

Os editores de periódicos exclusivamente eletrônicos devem também preencher a ficha, mas passarão ainda por um exame de suas características especiais, por exemplo: requisitos e facilidade de acesso; visualização, informações disponíveis, mecanismos de busca; disponibilidade de textos integrais; estatísticas de acesso e, especialmente, mecanismos de preservação. Esse exame adicional será realizado pelo Comitê (p. 1).

Além disso, foram reduzidas as pontuações de alguns quesitos que as avaliações anteriores revelaram estar demasiado valorizados, bem como os de difícil verificação e os de baixa capacidade de discriminação (em um procedimento classificatório, manter um quesito atendido por todos os participantes não tem razão de ser). A distribuição da pontuação está dada nas duas últimas colunas da Tabela 1.

A Tabela 2 compara as avaliações de 2002 e 2007. Com respeito ao âmbito, observa-se uma significativa inversão do percentual de revistas nacionais, que cresce de 37 % para 64 %, relativamente ao de locais, que diminui de 63 % para 36 %. Porém muito mais dramáticos são os números correspondentes aos níveis de qualidade. Observe-se que, enquanto a quantidade de revistas avaliadas aumentou 121 %, de 19 para 42,

• a de nacionais A aumentou 500 %;

• a de nacionais B aumentou 1200 %,

• a de revistas A cresceu 500 %,

• a de revistas B cresceu 220 %,

ou seja, em todos os segmentos superiores da qualidade, o crescimento observado foi maior do que o do número de revistas. Isso nos leva a concluir que a ficha, como instrumento de execução das políticas que a área considerava importantes para o Qualis (e, portanto, para o escoamento de sua produção), aliada a uma parceria transparente e cooperativa do Comitê Capes com os editores, trouxe, sim, uma evolução expressiva para o conjunto de revistas de Administração, Ciências Contábeis e Turismo no período até aqui abordado.

3 TEMPO 2: AS DIRETRIZES PARA A AVALIAÇÃO 2007-2009

3.1 Uma Avaliação Renovada

Concluída a avaliação 2007, a Comissão entendeu ter chegado ao fim o ciclo da ficha 2002 e suas versões, e passou a discutir modificações mais profundas no processo. Ficou claro que todos os envolvidos - editores e comissão - tinham cumprido suas "lições de casa", sendo chegada a hora de encarar novas metas.

Por um lado, todas as revistas haviam bem e definitivamente incorporado os aspectos técnico-normativos, não havendo contribuição à avaliação em continuar a pontuá-los. No sentido contrário, era cada vez maior a importância de as revistas se mostrarem, o que implicava valorizar as indexações, as quais apareciam na ficha de modo genérico, em um único quesito. A questão da preservação do conteúdo das revistas exclusivamente eletrônicas era outra preocupação (voltaremos a isso). E não se poderia ignorar a possibilidade da gestão eletrônica do processo editorial, que se tornara acessível a todas graças à produção, pelo Instituto Brasileiro de Informação em Ciência e Tecnologia (Ibict), do Sistema Eletrônico de Editoração de Revistas (SEER), a versão em português do canadense Open Journal Systems (OJS).

Esses aspectos e outros, após discussão com os editores e aprovação da Comissão de Área, foram divulgados em 31 de dezembro de 2007 pelo coordenador da área, professor Tomás de Aquino Guimarães, no documento Diretrizes de Avaliação de Periódicos 2007-2009 (www.infocien.org/QualAval/Hist/Capes/AdmConT), ou, abreviadamente, Diretrizes 2007-2009, do qual destacamos os principais aspectos conceituais:

1. (...)

2. O foco da avaliação passa a ser o periódico eletrônico e, subsidiariamente, o periódico impresso, ao contrário do que ocorreu até o triênio 2004-2006. Isso significa que a Comissão de Área valorizará a disponibilidade online, sem custos (acesso livre ou aberto), do texto integral dos artigos publicados em periódicos, sejam esses impressos ou eletrônicos.

3. Valorização do critério de indexação. Indexadores são "revistas de revistas" (atualmente, são bases de dados eletrônicas) que divulgam sumários, resumos ou textos integrais. Podem ser gerais (como o SciELO, RedAlyc e Current Contents) ou temáticos, específicos da área. O Comitê Qualis verificou que muitos editores consideram diretórios de registro de periódico (por exemplo, ISSN, Latindex e Ulrich´s) como indexadores. Esse é um aspecto importante a ser revisto por editores, que devem investir em indexadores de fato, para benefício e maior visibilidade da produção científica da área.

4. Adoção de sistemas automatizados de gerenciamento do processo editorial como, por exemplo, o sistema SEER, distribuído gratuitamente pelo Instituto Brasileiro de Informação em Ciência e Tecnologia, e reconhecido pela Capes.

5. Qualificação, âmbito de atuação e diversidade de editores, comitês científicos ou editoriais, autores, avaliadores e outros atores envolvidos no processo de produção do periódico. O critério de diversidade inclui penalizar mais fortemente do que ocorreu até 2006 o periódico que publique artigos de autores vinculados à IES ou Programa responsável por sua edição.

6. Realização de enquete com docentes-pesquisadores da Área para avaliação da qualidade percebida dos periódicos. Essa enquete terá como finalidade identificar o quanto um periódico é reconhecido e, portanto, a percepção do seu impacto na comunidade científica, segundo o ponto de vista de uma amostra representativa de pessoas responsáveis pela produção intelectual da área.

7. Preservação das informações e presença de metadados. A preservação de informações tem como finalidade garantir a integridade do que foi publicado durante longos períodos de tempo e os metadados constituem-se em mecanismos importantes do sistema de recuperação e visibilidade da informação científica. (pp. 1-2)

Destacando que essas diretrizes foram definidas há cerca de nove anos, é notável a vanguarda de sua visão. Por exemplo, o que se preconiza no item 7 ainda não é adequadamente atendido por muitas revistas (essa afirmativa diz respeito a revistas em geral, não às revistas da área).

3.2 Preservação

Quanto à preservação, decorre da exigência de perenidade da informação referencial: como novas pesquisas se constroem sobre pesquisas anteriores, é preciso que a descrição dessas últimas permaneça disponível para sempre. Nenhum material veiculado em revistas que residam em um único servidor, sujeitos à destruição por incêndios, enchentes, terremotos, tsunamis, quedas de avião, hackers etc., ainda que produzidas com todo rigor e dedicação, possui qualidade referencial. Tais revistas obtêm nota zero no requisito perenidade, que junto com atualidade, acessibilidade e confiabilidade, integra "as quatro 'idades' que asseguram a quinta", a qualidade plena da referência científica (Trzesniak, 2014).

Note-se que replicar o servidor (ou recorrer a backup offline) somente elimina a nota zero em preservação se o servidor (ou a mídia permanente de armazenamento utilizada) estiver localizado (respectivamente for mantida) a algumas centenas de quilômetros do servidor principal.

Uma boa notícia é que quem está integrado a um indexador que se apropria do conteúdo (como SciELO, RedALyC e SPELL) tem seu material replicado de maneira segura, pois esses portais não se descuidam da preservação digital. Outra boa prática, para quem utiliza a plataforma SEER/OJS, é integrar-se ao LOCKSS (https://www.lockss.org/), cuja finalidade é exatamente preservar o conteúdo; trata-se, porém, de um recurso que precisa ser ativado na instalação. Recomendamos a todos os editores usuários do SEER que o façam.

Toda essa discussão contemplou apenas os arquivos em si. E a questão do acesso a esses arquivos? Ainda existirão os formatos doc, docx, pdf daqui a cem ou duzentos anos? Haverá hardware que leia discos rígidos (HDs), discos compactos (CDs) ou discos digitais de vídeo (DVDs)?

E a humanidade? Dará conta do imenso esforço exigido para converter toda a informação já existente para novos formatos, em paralelo a armazenar tudo o que for sendo criado? Se hoje convertermos todo o acervo do conhecimento humano para arquivos pdf, e mantivermos esse padrão por 50 anos, porém for em 2066 decidido mudar para um "xkf", será necessário converter todo o acervo atual, mais o que for gerado nesses próximos 50 anos! E 50 anos depois, tudo o que havia nessa última conversão, mais 50 anos de informação... parece uma preocupante bola de neve...

Pois o documento de 2007 contemplava essa questão, cobrando um posicionamento quanto à acessibilidade na parte final do item a seguir:

c. Descrição explícita dos mecanismos que propõe e cumpre, visando à preservação do conteúdo científico ao longo do tempo, contemplando tanto a integridade física da informação (com respeito a catástrofes e acidentes) como a garantia de que ela permaneça acessível diante da evolução tecnológica em termos de software (tipos de arquivo e sua codificação) e hardware (mídia, dispositivos). (p. 3)

3.3 Metadados

A segunda parte do item 7 - metadados - é outro ponto a que muitas vezes falta atenção. A proposta básica por trás desse conceito é evitar que as informações sejam replicadas indiscriminadamente, atulhando os sistemas de armazenamento eletrônico do planeta. Metadados funcionam a partir da existência de provedores de dados - que mantêm a informação - e de provedores de serviços - que a descobrem e a oferecem conforme um critério que lhe agregue valor para fins de recuperação. Por exemplo, alguém pode achar interessante criar um serviço sobre... bem, seja o tema metadados mesmo.... Então organiza um sitio web com tudo que a eles se relacione - porém como ser exaustivo e nada ou muito pouco deixar escapar? Ficar todo o dia em um buscador, jogando palavras, recebendo a cada vez 7.854.567 retornos - e tendo que filtrar esses resultados manualmente? Inviável, por certo. Aí entram os metadados para resolver três problemas: os da precisão e da exaustão da informação recuperada e, também, o da necessidade da intervenção humana.

Funciona(ria) assim: o provedor de dados armazena a informação principal e, paralelamente, expõe um conjunto-chave de dados acerca da informação armazenada - os metadados - que a descrevem essencial e completamente. Os provedores de serviços criam harvesters (colheitadeiras) que ficam varrendo a web e, a cada vez que encontram algum metadado que contemple o interesse do provedor de serviços, capturam apenas o link da informação principal, o organizam e o oferecem conforme o valor agregado que escolheram.

A utilização generalizada de um conjunto de metadados padronizado - como os 15 que integram o núcleo do dublin core - expostos via um protocolo internet também padronizado (como o OAI-PMH, open archives initiative - protocol for metadata harvesting) uniformiza a arquitetura da organização da informação na web, e o harvester enxerga tudo isso como se fosse uma base de dados localizada em uma máquina única, pois encontra o mesmo panorama em todas.

De forma objetiva, oferecer bons metadados é mais relevante que ter fator de impacto, já que esse é calculado post mortem: quando é apurado, nada mais pode ser feito para promover melhoria em seu valor. Já os metadados influenciam a descoberta e a disseminação da informação, e só o que é descoberto pode ter impacto.

Tal como relativamente à preservação via LOCKSS, o SEER/OJS pode ou não ser configurado para exigir metadados no momento da submissão e, infelizmente, o default é não. Porém metadados preenchidos pelos autores muitas vezes são falhos, incompletos, imperfeitos, e nenhuma base de dados pode ser melhor do que o conteúdo com que é alimentada. Nessa direção, a avançada proposta da área, em dezembro de 2007 (Comissão de Administração, Ciências Contábeis e Turismo, 2007), valorizava a presença de um responsável específico pela qualidade dos metadados:

II.3.11. Serviços especiais Serão valorizados e pontuados os seguintes serviços especiais: 1. Presença de metadados em todos os idiomas oficiais e em inglês. 2. Existência de editor especialista para a preparação/revisão dos metadados. (p. 6)

3.4 A Enquete

Outra proposta interessante da nova avaliação era a introdução da enquete, item 6 do trecho destacado na abertura desta seção. A inspiração veio da França, onde foi introduzida, sob coordenação de Phillipe Jeannin (2002), porque "os indicadores relativos à França construídos a partir dessas bases [do então responsável pelo Journal Citation Reports (JCR), o Institute for Scientific Information (ISI)] não refletem a real atividade de pesquisa [em Ciências Sociais] desse país" (p. 4). Pedia-se aos pesquisadores das áreas que, com respeito a cada periódico incluído em uma lista previamente elaborada, respondessem às questões "Essa é uma revista A?" e "Essa é uma revista B?". As respostas aceitas eram "sim", "não" e "não desejo responder". Havia uma breve introdução, preparada pela própria área, com um enunciado subjetivo do que deveria ser entendido como "revista A" e como "revista B".

A enquete, assim como o fator de impacto, é uma dimensão de mercado (Trzesniak, 2006), porém, diversamente desse último, visa a captar, explicitar e formalizar a percepção subjetiva, latente na comunidade, que os pesquisadores têm das revistas. Tal percepção pode ter sido adquirida pelos respondentes por intermédio dos mais variados meios: ouvir dizer, influência de colegas, trabalho de marketing do periódico, credibilidade da instituição publicadora, notoriedade científica do editor ou dos integrantes do corpo científico, leitura de um artigo marcante e, até, eventualmente (mas apenas eventualmente), pelo exame crítico de algum fascículo completo, ou seja, mediante a execução de uma avaliação de produto objetiva.

Além desse mérito intrínseco como ferramenta de avaliação, a enquete é abrangente em termos do universo de periódicos avaliados, não se limitando a um elenco de revistas que integram uma base limitada e precisam ser acompanhadas por muitos anos, como é o caso na apuração do impacto. E, também por essa razão, é bem mais simples de operacionalizar.

A propósito da introdução da enquete, afirmava Trzesniak (2006), referência base para toda a presente seção:

Os Comitês Capes de Psicologia e de Administração, Contabilidade e Turismo têm-se preocupado em buscar alternativas para a avaliação de mercado (impacto), estando neles em discussão o emprego de uma enquete inspirada na experiência francesa, porém adaptada às peculiaridades nacionais e executada por via eletrônica. (p. 354)

3.5 Outros

Como outros aspectos interessantes, as Diretrizes 2007-2009 continham critérios mínimos para uma revista merecer a classificação de âmbito internacional e valorizavam especificamente (i) o gerenciamento eletrônico efetivo (grifo do original) do processo editorial, (ii) a adoção do padrão OAI-PMH, e (iii) a publicação, e manutenção permanente no site, de um Relatório Anual de Gestão, com nominata dos avaliadores ad hoc, intervalo de tempo médio entre submissão e publicação, números de artigos submetidos, rejeitados, retirados, aceitos e em processo e, tratando-se de revista impressa, informações sobre circulação (bibliotecas, assinaturas, permutas, cortesias etc.).

3.6 Um Epílogo Desafortunado

Estava o Qualis da área pronto e organizado para enfrentar mais um triênio quando, em reunião realizada nos dias 16 e 17 de abril de 2008, o Conselho Técnico Científico da Educação Superior da Capes (CTC) (Capes, 2008) definiu uma reestruturação conceitual geral do sistema de classificação das revistas, extinguindo o critério de âmbito e dividindo o estrato de qualidade A em dois subestratos (A1, o melhor, e A2) e o B em cinco (de B1 a B5). Até aí, nada seria desafortunado, os critérios poderiam seguir sendo aplicados. Porém, no item 7, o documento Capes sinaliza:

7. Cada área deverá apresentar em seu documento Critérios do Qualis de Periódicos, os critérios pelos quais define cada estrato (fator de impacto, índice H, ou outros modos de mensurar sua qualidade). Destaca-se a necessidade de a definição dos dois estratos superiores ser efetuada de maneira particularmente criteriosa e rigorosa. (p. 2)

A utilização de métricas de citação como principal critério de hierarquização constituía-se na prática preferida pelas áreas com produção representativa indexada na Thomson-Reuters que, especialmente em 2007, exercia uma espécie de monopólio do fator de impacto em seu Journal Citation Reports. Sua menção, associada à semidesqualificação de quaisquer critérios alternativos como "outros modos de mensurar sua qualidade", disseminou uma cultura de subserviência a uma empresa privada, criada e prioritariamente dedicada à ciência do hemisfério norte, cultura essa que, especialmente para as áreas de humanas e de sociais aplicadas, é muito difícil de compreender e aceitar. Mais argumentos que sustentam essa afirmativa estão apresentados na segunda subseção da seção 5.2, cujo título inicia com É sempre razoável hierarquizar.

A reformulação, com o destaque dado ao emprego de métricas, gerou um redirecionamento nas dimensões e quesitos a serem considerados nas avaliações, e as Diretrizes 2007-2009 acabaram ficando à margem da avaliação Qualis. Mas, então, por que dedicar-lhes tanto espaço neste texto? Há ao menos duas importantes razões: uma delas é que, mesmo não sendo utilizadas nas avaliações, elas levantam aspectos que, mesmo quase uma década depois, ainda podem orientar editores, especialmente os iniciantes, para melhor cumprir seu ofício. Outra é que elas surgiram a partir de amplas discussões, em reuniões que envolveram os editores e os avaliadores da área, o que as leva a ter endosso e validação por parte de todos os atores envolvidos.

E talvez exista ainda uma terceira. É bastante compreensível que aspectos como preservação e metadados não tenham sido preocupação do CTC: embora vitais, a primeira para a perenidade, a segunda para a difusão, não estão incorporadas ao dia-a-dia de um pesquisador que não seja da área da ciência da informação. Assim sendo, não parece inoportuno abordá-los aqui.

4 TEMPO 3: O QUALIS VIGENTE (2016)

Os critérios em vigor para a construção do Qualis de Administração, Ciências Contábeis e Turismo estão descritos em documento específico (Capes, 2015).

Qualquer revista, para ser incluída na classificação, precisa necessariamente possuir ISSN e publicar ao menos dois fascículos ao ano. Além disso, (i) é calculado o índice de atraso (i _atr), dado pelo quociente dos números de fascículos em atraso e fascículos prometidos por ano; (ii) colhem-se os fatores de impacto I _JCR, do Journal Citation Reports e I _Sci, da base SciELO; e (iii) colhe-se o indicador H _Sco, da base Scopus.

Então aplicam-se, para definir a inclusão nos estratos:

• B5: i _atr ≤ 1;

• B4: i _atr ≤ 0,5 e dois ou mais anos de existência;

• B3: i _atr ≤ 0,5, três ou mais anos de existência e estar confirmado como presente em pelo menos dois dentre os indexadores Ebsco, Doaj, Gale, Clase, Hapi, ICAP e IBSS;

• B2: ou I _Sci ≤ 0,01, ou estar indexado no RedALyC ou ser editado por Sage, Elsevier, Emerald, Springer, Interscience, Pergamon, Wiley, Routledge ou Taylor & Francis;

• B1: ou ISci ≤ 0,01, ou 9 ≥ H _Sco > 0, ou 0,7 ≥ I _JCR > 0;

• A2: ou 24 ≥ H _Sco > 9, ou 1,4 ≥ I _JCR > 0,7;

• A1: ou H _Sco > 24, ou I _JCR > 1,4.

Sobre o resultado dessa inclusão inicial, o Relatório informa terem sido efetuados dois ajustes:

• Revistas que não estivessem listadas como da área, segundo as bases de cálculo de fator de impacto, foram remanejadas para o estrato imediatamente inferior.

• Algumas das revistas editadas no Brasil, consideradas as mais relevantes para a área e responsáveis pela publicação de 10 % do total de artigos da área em 2013 e 2014, foram remanejadas para o estrato imediatamente superior.

Em uma análise geral, o estudo do relatório mostra o espírito de participação, a dedicação, o cuidado e o trabalho intenso, que vêm desde a era ficha, seguem norteando a preparação do Qualis da área. Um ponto altamente positivo é o segundo dos ajustes, a elevação das revistas que mais artigos da área publicam, ao estrato imediatamente superior. Essa é uma prática interessante, semente de uma das propostas de aperfeiçoamento discutidas na próxima seção.

Por outro lado, um destaque altamente preocupante é que o único caminho para figurar nos estratos A1 ou A2 é a revista estar indexada na Scopus ou na Thomson-Reuters. Isso tem de ser assim? Faz sentido em 2016, em que há tantos outros indexadores sérios, relevantes e muito mais amigáveis à pesquisa do hemisfério sul e às ciências humanas e sociais aplicadas? Existem fortes argumentos, igualmente discutidos na próxima seção, que colocam dúvidas sobre a conveniência de adotar essa espécie de critério para os estratos mais elevados, especialmente nas áreas recém-mencionadas. De fato, os argumentos sugerem ser essa prática uma espécie de autopunição.

5 TEMPO 4: SUGESTÕES A DISCUTIR PARA APERFEIÇOAR O QUALIS

5.1 Qual é Mesmo a Questão Essencial?

Em uma análise objetiva, o Qualis serve apenas para pontuar a produção dos programas de pós-graduação. Isso obviamente induz os pesquisadores a procurar colocar seus artigos em revistas pertencentes ao estrato mais elevado possível. Porém a finalidade desejada, explicitada no item 9 da Reestruturação do Qualis (Capes, 2008), está relacionada à qualidade da produção científica:

9. Os dois estratos superiores - A1 e A2 - poderão ser deixados vazios, por decisão da área, em termos de artigos efetivamente publicados, recomendando-se que deles constem apenas periódicos da mais alta qualidade, nos quais a área julga que deva sinalizar para avançar a qualidade da produção científica de sua comunidade. O Qualis assim terá um papel indutor claramente definido, não se limitando a analisar onde a área publica, mas indicando também onde se deve publicar (grifo nosso). (p. 2)

Nesse mesmo item, imediatamente antes do trecho destacado, elege-se a qualidade do periódico como proxy da qualidade da produção. Trata-se de um aspecto que deveria estar sempre em mente de quem prepara uma classificação Qualis: o verdadeiro foco da questão é a qualidade da produção, não a da revista.

Mas em que momento a qualidade do conteúdo e a da revista se sobrepõem? É no peer review, na condução e execução do processamento editorial. Todo artigo que passa por um processo editorial sério, bem gerenciado, tem qualidade. As falhas que eventualmente surgem e geram manchetes decorrem de falhas humanas, ou culposas (involuntárias, imperícia ou negligência), ou dolosas, caso das revistas predatórias.

A condição necessária e suficiente para um processo editorial de qualidade é um editor envolvido, dedicado, atuante, que saiba escolher editores associados e integrantes do corpo científico que tenham esse mesmo perfil. Que não veja (como infelizmente se encontra) o peer review como meramente uma etapa a ser cumprida no ritual da publicação científica, mas como "uma cumplicidade cordial de autores, árbitros e editores, com todos se esforçando ao máximo e trabalhando duramente no rumo da excelência do conteúdo".

5.2 Indexação, Sem Dúvida. Mas... Fator de Impacto?

5.2.1 Que relação há entre o fator de impacto da revista e qualidade, visibilidade e citações de artigos?

Infelizmente, não é possível construir um Qualis por meio de uma auditoria do processo editorial das revistas ou avaliando o envolvimento dos editores. As áreas têm buscado alternativas, destacando-se indexações e, dentro dessas, definindo uma hierarquia com base em alguma métrica de citação, como fator de impacto, índice H ou Q ou J* (entre outros).

Não há dúvidas quanto a indexações em bases de dados seletivas, ou seja, que realizam avaliações para ingresso e permanência das revistas na coleção. Tais avaliações cobram o atendimento de requisitos técnico-normativos, a não endogenia de autores, editores e corpo científico e a revisão por pares. Esse é um ponto em que bases de dados que optam por ser exaustivas ficam abaixo. Porém umas e outras expõem as revistas, dão visibilidade aos artigos, desse modo provendo a condição necessária para um artigo ser citado: ser encontrado. A indexação é, assim, uma espécie de catalisador das citações - porém o "agente ativo" é a qualidade da pesquisa. Ressalte-se aqui, por oportuno, que metadados de qualidade são outro catalisador importante, por igualmente contribuir significativamente para um artigo ser encontrado.

Em oposição, empregar o fator de impacto ou qualquer indicador métrico da revista como elemento decisivo para definir a qualidade de um artigo é uma prática altamente questionável. Senão, vejamos:

• O fator de impacto considera, no numerador, a quantidade de citações concedidas à revista, no ano de referência, em relação ao número de artigos nela publicados nos dois (ou três, ou cinco, ou dez) anos imediatamente anteriores. Pode refletir o sucesso de apenas vários artigos ou de apenas um em particular, mas o absolutamente nada permite concluir acerca da qualidade de um artigo determinado; a valorização da produção, então, acaba sendo feita mais por "carona" do que por mérito intrínseco.

• O seguinte argumento reforça o ponto anterior: o fator de impacto transfere uma eventual qualidade de alguns artigos à revista, o que já é um aspecto a questionar. Ao usá-lo para estender essa qualidade da revista a todos os artigos nela veiculados, é feita uma segunda transferência, certamente muito menos defensável que a anterior. Difícil mesmo de aceitar.

• Apesar de robusto, o fator de impacto geralmente muda a cada ano, o que introduz o aspecto sorte/azar na avaliação: ontem meu artigo era ótimo, hoje é apenas bom porque o fator de impacto da revista baixou. Mas não é o mesmo artigo? Sua qualidade decresceu do dia para a noite?

• Finalmente, é discutível que um fator de impacto elevado promova visibilidade e aumento no número de citações concedidas aos artigos que uma revista veicula. Isso pode até ter ocorrido na era Gutenberg, quando o pesquisador ia à biblioteca e consultava fascículos físicos: pode-se supor que ele iniciasse pelas revistas de maior fator de impacto, porém o mais provável é que buscasse primeiro aquelas que mais publicassem artigos de sua área de interesse. Com a atual (2016) facilidade das buscas eletrônicas, é difícil imaginar que alguém inicie sua pesquisa limitando-se a uma revista de fator de impacto elevado ou filtre os resultados devolvidos pela base, exigindo que somente sejam mostrados os publicados em revistas de fator de impacto maior do que y. Também não deve ser comum - se é que acontece - alguém citar um artigo apenas porque ele foi publicado por uma revista de fator de impacto elevado, ou deixar de citar outro, em caso contrário.

Esses argumentos permitem concluir que indexação sim, mas hierarquia por fator de impacto, ou índice H da revista, ou qualquer outra métrica que não reflita diretamente a qualidade do artigo ou promova suas futuras citações é difícil de defender e sustentar. Respondendo à questão colocada no título dessa seção "a relação entre o fator de impacto da revista e qualidade, visibilidade e citações dos artigos nela publicados é inexistente ou, no máximo, eventual".

Não bastassem essas objeções, todas de natureza técnica, o fator de impacto está sujeito a ser inflado mediante procedimentos eticamente discutíveis, sendo notórios os casos de citação coercitiva (Coercive citation, 2016), autocitação (Van Norden, 2012) e de formação de carteis editoriais (Davis, 2012; Van Norden, 2013).

5.2.2 É sempre razoável hierarquizar o Qualis privilegiando métricas estabelecidas por empresas privadas do hemisfério norte?

Letícia Strehl, estudiosa e palestrante habitual acerca das métricas de produção, coloca como "premissa, para a apuração de indicadores de impacto, (i) a existência de bases que indexem uma quantidade representativa de documentos e (ii) as referências citadas nas publicações" e segue: "atualmente, as principais bases de dados para o cumprimento dessa finalidade são a Web of Science e a Scopus" (Strehl, 2013, p. 10). Logo adiante (p. 15), deixa clara a primeira limitação: "o número de periódicos nacionais nas bases é irrisório". Esses números, em 2015, eram 133 na Web of Science (129 em 2009) e 424 na Scopus (266 em 2009) (Strehl, 2015, p. 12), correspondentes a, aproximada e respectivamente, 1% e 2% do total de revistas acompanhadas em cada uma das bases. Apesar do crescimento na segunda base, não há como discordar de Strehl.

Os números deixam claro que essas bases não foram feitas para acolher revistas, artigos e pesquisadores do hemisfério sul. Para concorrer no território delas, há que se adaptar ao idioma e aos problemas que sejam de seu interesse. Isso é até possível para algumas áreas, mas certamente não pode ser estendido a todas. Adicione-se a esse contexto um problema multiplamente mencionado em encontros de editores: brasileiro não costuma citar brasileiro, dando preferência a autores estrangeiros. Assim, as revistas brasileiras, além de competirem em desigualdade de condições com praticamente 100 % das contidas nas bases do hemisfério norte, adicionalmente não são mencionadas pelos próprios autores do país, e com certeza serão pouco ou nada mencionadas pelos estrangeiros. Como poderão, nesse contexto, alcançar um fator de impacto significativo ou, pelo menos, não nulo? Em suma, exigir um patamar mínimo de qualquer métrica Scopus ou Thomson-Reuters como critério exclusivo para alcançar os estratos A1 ou A2 praticamente alija as revistas brasileiras desses estratos e configura uma subserviência da ciência nacional a serviços feitos para o hemisfério norte e mantidos por empresas privadas de lá, a qual é muito difícil de aceitar.

E há ainda mais objeções. Atualizando o trabalho de Trzesniak (2012) com dados do CNPq até 2014, verifica-se que, de todos os artigos classificados como internacionais que o Brasil produz, apenas 6,8 % provem das Humanidades (Linguística, Letras e Artes; Sociais Aplicadas; Humanas), enquanto os demais 93,2 % são originários das "duras" (Engenharias e Ciências da Computação; Exatas e da Terra; Agrárias; Saúde; Biológicas). Apesar da pequena evolução, esse panorama não difere significativamente do de 2010, respectivamente 5,1 % e 94,9 %. Transformando esses percentuais verticais em horizontais, considerando que a produção inclui livros, capítulos de livros, artigos nacionais e artigos internacionais, constata-se que esses últimos correspondem a 57,6 % do total para as "duras", porém apenas 9,7 % para as Humanidades (em 2010, respectivamente, 53,5 % e 7,3 %)!

Conclui-se que a adoção de métricas estrangeiras como único critério capaz de credenciar uma revista aos estratos A1 e A2 pode até ser aceitável nas áreas "duras", em que artigos internacionais correspondem a mais da metade de tudo que é produzido. Porém, nas humanidades, corresponde a uma autopunição, "pois bane desses estratos mais de 90 % de tudo o que a área produz!"

Se, na seção anterior, foram apresentados argumentos contrários ao emprego de quaisquer métricas de citação criadas para revistas para hierarquizar o Qualis, destinado a avaliar artigos, nesta procura-se ressaltar a perversidade de, para esse fim, privilegiar métricas desenvolvidas para o contexto do hemisfério norte por empresas privadas sediadas naquela parte do planeta.

Que alternativas há?

5.3 Um Qualis mais Simples, Justo e Objetivo

Percorrendo os critérios Qualis nos documentos das áreas da Capes, encontram-se muitas soluções interessantes e criativas para o problema da hierarquização, a par do uso direto das métricas: normalização pela mediana, equivalência entre fator de impacto e índice H, indicadores J* e Q... Que não haja dúvidas relativamente ao reconhecimento do mérito desses esforços. Considere-se, em especial, a área interdisciplinar, que precisa encontrar uma solução que contemple de modo uniforme, justo, equilibrado, revistas de praticamente todas as áreas do conhecimento. O respectivo documento da área (Capes, 2012) merece uma boa leitura. Além disso, há intensa discussão de aspectos a melhorar e aperfeiçoar no sistema Qualis (Pascutti, 2016).

Porém todo esse contexto de elaborar e refinar a construção da hierarquia Qualis a partir de métricas de citação deixa a impressão de que se está dando mais atenção e esforço a uma determinada solução - o emprego de métricas - que ao problema em si - ampliar o alcance e a valorização da pesquisa desenvolvida pelos programas. E, como já discutido, as métricas deixam a desejar tanto como critério de valorização da produção como de agente para fomentar visibilidade e citações.

A questão que fica, então, é: sendo citações uma variável que considera a qualidade de mercado (Trzesniak, 2006), caso se queira substituí-la por outra da mesma dimensão, qual poderia ser?

A resposta vem da conjunção da proposta de enquete de Jeannin (2002) com uma prática de era Gutenberg. Jennin visa a capturar a valorização subjetiva das revistas pelos pesquisadores. A prática da era Gutenberg ensina que os primeiros periódicos que um pesquisador consulta são os que têm maior afinidade temática com a sua investigação e os em que, justamente por isso, ele mais publica e mais vai publicar. A quantidade de artigos que a área publica em determinada revista torna-se, assim, uma proxy interessante para a qualidade de mercado, pois indica a preferência dos pesquisadores por essa revista. Além disso, mas exatamente por isso, os artigos dessa revista tenderão a ser mais citados. Então: por que não utilizar esse indicador de publicação na composição de um critério geral para elaborar a hierarquia Qualis?

Outro grande mérito de utilizar o volume de artigos publicados, em substituição às métricas estrangeiras, é ao menos abrir a possibilidade de acesso aos estratos A1 e A2 às revistas que não estão nas bases Scopus ou Thomson-Reuters, valorizando o esforço próprio dessas revistas, e não obrigá-las, para tanto, a conquistas que não dependem somente delas e precisam ser logradas em um território francamente hostil. Uma revista nacional poderia, desse modo, subir no critério geral pela preferência dos autores, superando estrangeiras que publiquem uma parcela ínfima do que a área produz de fato e somente sustentam sua posição privilegiada por estarem incluídas em Scopus ou Thomson-Reuters.

A adoção de um procedimento na linha aqui defendida contemplará de maneira especialmente mais justa as áreas de ciências sociais e humanidades. Mugnaini, Digiampetri & Mena-Chalco (2014) analisaram a distribuição da produção de artigos de todas as áreas pelas revistas indexadas na SciELO e na Thomson-Reuters, abrangendo cinco triênios de avaliação Capes (de 1998 até 2012). As revistas foram organizadas em ordem decrescente do número de artigos publicados e distribuídas em três "zonas de Bradford", que incluíam, respectivamente, as responsáveis pelo primeiro, pelo segundo e pelo terceiro terço do total de artigos publicados. As conclusões falam por si:

Finalmente, a análise da variação do percentual da produção das áreas em revistas nacionais diferenciou três grupos de áreas. Na área de ciências sociais e humanidades, as zonas 1 e 2 são exclusivamente compostas por revistas nacionais, enquanto a zona 3 vem apresentando diminuição de percentual, devido ao esforço de publicação em revistas estrangeiras. Na área de Física, Ciência do Espaço e Imunologia, a produção se dá em revistas internacionais, não importando a zona. Já as demais áreas de ciências exatas e da terra, saúde e biológicas vêm apresentando aumento do percentual de publicação em revistas nacionais nas zonas 1 e 2, permanecendo a zona 3 exclusivamente internacional. (p. 251)

Assim sendo, um Qualis mais simples, mais inclusivo e mais justo relativamente às revistas brasileiras, particularmente para as áreas que publicam majoritariamente nessas últimas, poderia:

1) Desconsiderar o fator de impacto (e outras métricas) por ser demasiadamente indireto; por, como já mencionado, retratar um desempenho passado, apurado post mortem, quando nada mais há a fazer para melhorá-lo; e, parafraseando os anúncios dos fundos de investimento, porque seu eventual valor elevado não é garantia de "rentabilidade" (ou seja, citações) futuras.

2) Pontuar a presença em indexadores, porque, quanto maior o número de indexações da revista, maior a visibilidade dos artigos nela publicados, aumentando a probabilidade de que sejam encontrados e, portanto, citados.

Caberá a cada área determinar o número de pontos a serem atribuídos às diversas indexações, sendo a soma de todos o escore de visibilidade da revista. A nítida diferença de perfil de produção entre as humanidades e as ciências "duras" deixa claro que não é adequado simplesmente transferir critérios de umas dessas hiperáreas para a outra.

São aspectos a considerar para definir a pontuação do indexador:

• os que concedem acesso livre ao conteúdo indexado prestam um serviço melhor do que os que cobram para isso;

• os seletivos (que avaliam revistas para inclusão) devem ser mais valorizados que os exaustivos;

• os que detêm cópias do conteúdo indexado contribuem decisivamente para a preservação do conhecimento, sendo portanto bem superiores aos que meramente apontam o conteúdo presente em outros sites;

• um indexador específico da área não deve ser colocado em patamar inferior aos "grandes" apenas por ser menor;

• especialmente para as áreas que produzem majoritariamente artigos nacionais, privilegiar indexadores que consideram apenas marginalmente as revistas brasileiras não faz sentido;

• podem-se considerar certas peculiaridades de público-alvo ou abrangência temática dos indexadores e pontuar menos um segundo indexador que se sobreponha a outro, já pontuado. Por exemplo, apenas SciELO ou apenas RedALyC, 12 pontos, porém SciELO e RedALyC, 16 pontos;

• para as revistas sem qualquer indexação, pode-se convencionar o escore de visibilidade igual a 1.

3) Combinar o escore de visibilidade de cada revista com a quantidade de artigos que a área nela publicou, por exemplo por meio de multiplicação, gerando o respectivo escore Qualis, ordená-lo do maior para o menor e estabelecer os pontos de corte para os diversos estratos, respeitadas as diretrizes gerais do respectivo povoamento.

Tomar em conta o número total de artigos que a revista publica premia o esforço editorial, reconhece a contribuição da revista para divulgação do conhecimento produzido pela área e traduz a percepção do pesquisador quanto à preferência por um veículo em que seu trabalho tem as melhores oportunidades de ser encontrado e citado. A política de montar o Qualis com base em fator de impacto, levando os autores a preferir revistas que o têm elevado, como contribui para cada um desses pontos?

Multiplicação é um procedimento simples e faz sentido. É razoável admitir-se que publicar um artigo em uma revista com dois ou três indexadores, respectivamente duplica ou triplica a possibilidades de que ele seja encontrado, em relação a publicá-lo em uma revista que tenha apenas uma indexação. Porém o simples produto pode não ser adequada em todos os casos. Por exemplo, em áreas que cobrem mais de uma especialidade, como Administração, Ciências Contábeis e Turismo, a produção e os números de pesquisadores e de revistas podem diferir substancialmente, e a especialidade com maior volume de artigos acabaria predominando. Da mesma forma, revistas generalistas em uma área qualquer acabam publicando mais itens do que as temáticas especializadas. Isso poderia exigir uma correção, que pode ser feita dividindo-se o escore meramente multiplicativo pelo número de doutores ou de programas dedicadas ao tema ou subárea da revista. A criatividade que as áreas mostram relativamente a desenvolver indicadores derivados das métricas de citação brutas permite supor que essa questão, se relevante, rapidamente encontrará boas soluções.

Agradecimentos

Agradeço muito, mas muito mesmo, a toda a área da Administração, Ciências Contábeis e Turismo pela acolhida pessoal e profissional, e por me permitir participar da construção de um sistema forte e consolidado de revistas científicas de qualidade na área, que hoje conta com a SPELL, um indexador de primeira linha, por ela mesma desenvolvido.

REFERENCES

• Capes - Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (2008). Reestruturação do Qualis. Retrieved from http://www.capes.gov.br/images/stories/download/avaliacao/Restruturacao_Qualis.pdf
  » http://www.capes.gov.br/images/stories/download/avaliacao/Restruturacao_Qualis.pdf
• Capes - Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (2012). Comunicado n^o 003/2012 - Área Interdisciplinar: Atualização do Webqualis da área - Ano base 2010. Retrieved from https://www.capes.gov.br/images/stories/download/avaliacao/Qualis_Interdisciplinar2010.pdf
  » https://www.capes.gov.br/images/stories/download/avaliacao/Qualis_Interdisciplinar2010.pdf
• Capes - Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (2015). Relatório do processo de classificação de periódicos da Área de Administração, Ciências Contábeis e Turismo, Quadriênio 2013-2016. Retrieved from http://www.capes.gov.br/images/documentos/RelatorioQualisAdministracao-2015final.pdf
  » http://www.capes.gov.br/images/documentos/RelatorioQualisAdministracao-2015final.pdf
• Coercive citation. (2016, September 16). In Wikipedia, The Free Encyclopedia. Retrieved from https://en.wikipedia.org/w/index.php?title=Coercive_citation&oldid=739759440
  » https://en.wikipedia.org/w/index.php?title=Coercive_citation&oldid=739759440
• Comissão para avaliação de periódicos científicos em Administração, Turismo e Contábeis (2002): Processo de Avaliação 2002 (p. 3). Documento de circulação restrita à área, distribuído aos integrantes do Comitê Capes, aos editores científicos e aos coordenadores de programa de pós-graduação. Retrieved from http://www.infocien.org/QualAval/Hist/Capes/AdmConT
  » http://www.infocien.org/QualAval/Hist/Capes/AdmConT
• Comissão para avaliação de periódicos científicos em Administração, Turismo e Contábeis (2004): Processo de Avaliação 2003-2004 (p. 5) Documento de circulação restrita à área, distribuído aos integrantes do Comitê Capes, aos editores científicos e aos coordenadores de programa de pós-graduação. Retrieved from http://www.infocien.org/QualAval/Hist/Capes/AdmConT
  » http://www.infocien.org/QualAval/Hist/Capes/AdmConT
• Comissão para avaliação de periódicos científicos em Administração, Contabilidade e Turismo (2005): Processo de Avaliação 2004-2006 (p. 5) Documento de circulação restrita à área, distribuído aos integrantes do Comitê Capes, aos editores científicos e aos coordenadores de programa de pós-graduação. Retrieved from http://www.infocien.org/QualAval/Hist/Capes/AdmConT
  » http://www.infocien.org/QualAval/Hist/Capes/AdmConT
• Comissão de Administração, Ciências Contábeis e Turismo (2007): Diretrizes de Avaliação de Periódicos 2007-2009 (p. 7) Documento de circulação restrita à área, distribuído aos integrantes do Comitê Capes, aos editores científicos e aos coordenadores de programa de pós-graduação. Retrieved from http://www.infocien.org/QualAval/Hist/Capes/AdmConT
  » http://www.infocien.org/QualAval/Hist/Capes/AdmConT
• Davis, P. (2012, april 10). The emergence of a citation cartel [Blog post]. Retrieved from https://scholarlykitchen.sspnet.org/2012/04/10/emergence-of-a-citation-cartel/
  » https://scholarlykitchen.sspnet.org/2012/04/10/emergence-of-a-citation-cartel/
• Döbereiner, J (2001). A publicação científica vista por um pesquisador. In P. Trzesniak (Org.), X Curso de Editoração Científica: notas de aula compiladas (pp. 7-11). Petrópolis, RJ: Associação Brasileira de Editores Científicos.
• Jeannin, P. (2002). Pour une "revuemétrie" de la recherche en Sciences sociales. Un point de vue français (communication au Conceil scientifique du CNRS). Retrieved from http://pertimm.dsi.cnrs.fr/data/intranet/sc/moyenscommuns/www.cnrs.fr/comitenational/cs/exposes/Jeanin.pdf
  » http://pertimm.dsi.cnrs.fr/data/intranet/sc/moyenscommuns/www.cnrs.fr/comitenational/cs/exposes/Jeanin.pdf
• Mugnaini, Rogério, Digiampetri, Luciano Antonio, & Mena-Chalco, Jesús Pascual. (2014). Comunicação científica no Brasil (1998-2012): indexação, crescimento, fluxo e dispersão. Transinformação, 26(3), 239-252. https://dx.doi.org/10.1590/0103-3786201400030002
  » https://dx.doi.org/10.1590/0103-3786201400030002
• Pascutti, P. G. (2016). Entendendo o Qualis. Retrieved from http://www.abecbrasil.org.br/eventos/xxivcurso/palestras/quarta/pedrogpascutti.pdf
  » http://www.abecbrasil.org.br/eventos/xxivcurso/palestras/quarta/pedrogpascutti.pdf
• Strehl, L. (2013). Indicadores de produção e impacto das publicações científicas. Retrieved from http://pt.slideshare.net/leticia.strehl/indicadores-hcpa2-22448626?qid=71f623cb-6492-4bbb-8680-a92618647d9a&v=qf1&b=&from_search=5
  » http://pt.slideshare.net/leticia.strehl/indicadores-hcpa2-22448626?qid=71f623cb-6492-4bbb-8680-a92618647d9a&v=qf1&b=&from_search=5
• Strehl, L. (2015). As bases de dados e a cienciometria. Retrieved from http://pt.slideshare.net/leticia.strehl/as-bases-de-dados-e-a-cienciometria
  » http://pt.slideshare.net/leticia.strehl/as-bases-de-dados-e-a-cienciometria
• Trzesniak, P. (2006). As dimensões da qualidade dos periódicos científicos e sua presença em um instrumento da área da educação. Revista Brasileira de Educação 11(32), 346-377. doi: //dx.doi.org/10.1590/S1413-24782006000200013.
  » https://doi.org/10.1590/S1413-24782006000200013
• Trzesniak, P. (2012). A questão do livre acesso aos artigos publicados em periódicos científicos. Em Aberto, 25(87), 77-112. Recuperado de http://emaberto.inep.gov.br/index.php/emaberto/article/view/2364/2326
  » http://emaberto.inep.gov.br/index.php/emaberto/article/view/2364/2326
• Trzesniak, P. (2014). Hoje vou escrever um artigo científico: a construção e a transmissão do conhecimento. In S. H. Koller, M. C. P. de P. Couto, J Von Hohendorff (Org.), Manual de produção científica (pp. 15-38). Porto Alegre, RS: Penso.
• Van Noorden, R. (2012, 29 de junho). Record number of journals banned for boosting impact factor with self-citations [Blog post]. Retrieved from http://blogs.nature.com/news/2012/06/record-number-of-journals-banned-for-boosting-impact-factor-with-self-citations.html
  » http://blogs.nature.com/news/2012/06/record-number-of-journals-banned-for-boosting-impact-factor-with-self-citations.html
• Van Noorden, R. (2013). Brazilian citation scheme outed: Thomson Reuters suspends journals from its rankings for 'citation stacking'. Nature, 500(7464), 510-511. doi:10.1038/500510a.
  » https://doi.org/10.1038/500510a
• Yamamoto, O. H., Koller, S. H., Guedes, M. C., Lobianco, A. C., Sá, C. P., Hutz, C. S. & Menandro, P. R. M. (1999). Periódicos científicos em Psicologia: uma proposta de avaliação. Infocapes, 7(3), 5-11.
• Yamamoto, O. H., Menandro, P. R. M., Koller, S. H., Lobianco, A. C., Hutz, C. S., Bueno, J. L. O., & Guedes, M. C. (2002). Avaliação dos periódicos científicos brasileiros da área de psicologia. Ciência da Informação, 31(2), 163-177. doi: http://dx.doi.org/10.1590/S0100-19652002000200017.
  » https://doi.org/10.1590/S0100-19652002000200017

Datas de Publicação

• Publicação nesta coleção
  Dez 2016