PROPOSTA DE AVALIAÇÃO DE LIVROS E CAPÍTULOS DE LIVROS NA ÁREA 21 DA CAPES

PROPOSAL FOR THE EVALUATION OF BOOKS AND BOOK CHAPTERS FOR CAPES AREA 21

PROPUESTA DE EVALUACIÓN DE LIBROS Y CAPÍTULOS DE LIBROS EN EL ÁREA 21 DE LA CAPES

Resumo

O objetivo deste estudo foi propor um modelo de avaliação qualitativa de livros e capítulos de livros com base na percepção da comunidade de docentes da Área 21 da Capes sobre o prestígio das editoras. Noventa orientadores de programas de pós-graduação das diferentes regiões do país responderam a um questionário de avaliação da percepção do prestígio das editoras científicas. A partir do valor da percepção de prestígio, as editoras internacionais (N = 69) e nacionais (N = 97) foram ordenadas e classificadas em decis. Após, propusemos um sistema de classificação de livros e capítulos de livros de oito níveis considerando dois critérios: a) editora internacional ou nacional; e b) decil de cada editora. Os níveis de L1 a L4 referem-se às editoras internacionais (da maior para a menor percepção de qualidade), e os níveis de L5 a L8, às nacionais (da maior para a menor percepção de qualidade).

Palavras-chave:
Livros; Avaliação de Programas e Instrumentos de Pesquisa; Educação de Pós-Graduação; Publicações

Abstract

This study proposes a system to evaluate books and book chapters based on the perception of graduate program advisers affiliated to Capes (area 21) regarding the prestige of academic publishers. Ninety professors from all Brazilian regions responded to the questionnaire to assess their perception about the prestige of academic publishers. Almost all respondents (94.25%) considered the scientific quality of books as the most critical factor in determining publishers’ quality. The prestige value of international (N=69) and national (N=97) publishers were divided into deciles. We proposed an eight-level system to classify books and book chapters based on two criteria: a) their international or national publishers; and b) publishers’ deciles. Levels L1 to L4 refer to international publishers (from high to low quality perception), and L5 to L8 refer to national publishers (from high to low quality perception).

Keywords:
Books; Evaluation of Programs and Research Instruments; Education, Graduate; Publications

Resumen

El objetivo de este estudio ha sido proponer un modelo de evaluación cualitativa de libros y capítulos de libros a partir de la percepción de la comunidad de docentes del área 21 de la Capes acerca del prestigio de las editoriales. Noventa orientadores de programas de posgrado de las diferentes regiones del país respondieron un cuestionario para evaluar la percepción del prestigio de las editoriales científicas. A partir del valor de la percepción de prestigio, las editoriales internacionales (N = 69) y nacionales (N = 97) fueron ordenadas y clasificadas en deciles. En seguida, propusimos un sistema de clasificación de libros y capítulos de libros de ocho niveles considerando dos criterios: a) editora internacional o nacional; y b) decil de cada editorial. Los niveles de L1 a L4 se refieren a las editoriales internacionales (de mayor a menor percepción de calidad) y los niveles de L5 a L8 a las nacionales (de mayor a menor percepción de calidad).

Palabras clave:
Libros; Evaluación de programas e instrumentos de investigación; Educacion de postgrado; Publicaciones

1 INTRODUÇÃO

Ao longo das últimas décadas, a produção de conhecimentos tem sido foco de constantes e intensas reflexões, discussões e embates acadêmicos na pós-graduação brasileira na Área 21 (i.e., Fisioterapia, Fonoaudiologia, Terapia Ocupacional e Educação Física) da Coordenação de Aperfeiçoamento de Pessoal de Ensino Superior (Capes) e mais especificamente na Educação Física (e.g. KOKUBUM, 2006; MOREIRA; NISTA-PICCOLO, 2016; PASSOS, 1988; TANI, 1998, 2000). Isso se deve à importância que a pós-graduação e a produção de conhecimento têm na formação de recursos humanos e na legitimação e consolidação da Educação Física como campo do saber. Reconhecidamente, a sua principal função é a formação de docentes, pesquisadores e profissionais qualificados para a produção de conhecimentos no seu campo específico de atuação (CORRÊA; OLIVEIRA; TANI, 2017; FORJAZ; TRICOLI; CORRÊA, 2017).

Pode-se dizer que uma das contribuições mais significativas para o julgamento da qualidade da produção científica foi a criação e aplicação, no final da década de 1990, de um sistema de classificação da produção intelectual denominado Qualis, como parte da avaliação de programas de pós-graduação (KOKUBUM, 2003, 2006; TANI, 2007, 2016, 2021). O Qualis classificou os periódicos a partir de indicadores de qualidade reconhecidos e sugeridos pela própria comunidade acadêmica (TANI, 2007). Embora os impactos do Qualis sobre a pós-graduação não tenham sido imediatos (KOKUBUM, 2006), em médio prazo ele contribuiu determinantemente para a melhoria da qualidade dos programas, na medida em que passou a ser utilizado como referência para qualificar os artigos publicados e balizar os critérios de credenciamento de orientadores e da própria avaliação dos programas.

Em que pese o fato de que o sistema de avaliação de periódicos, através de dados bibliométricos, ter importantes limitações (CARNEIRO, 2019), a publicação em periódicos científicos passou a ter uma clara referência de avaliação. Enquanto a publicação em forma de livros e capítulos de livro continuou sem um sistema para a sua devida avaliação. Alguns fatores podem ser pensados para explicar esse cenário distinto em relação a esses dois tipos de publicação. O primeiro seria um sistema muito bem estabelecido de revisão por pares para a avaliação de artigos, que redundaria em um escrutínio qualitativo importante para que os melhores trabalhos fossem publicados nos melhores periódicos. O segundo seria a existência de um sistema que, a partir de indicadores do impacto dos trabalhos publicados em um dado periódico na comunidade científica (e.g., número de citações), geraria parâmetros bibliométricos para a sua qualificação. Por fim, a supervalorização da produção de artigos por parte dos órgãos de fomento à pesquisa. Em relação à publicação de livros, por sua vez, o que se observou foi que as editoras valorizavam mais os aspectos comerciais das obras do que os científicos para decidir sobre a publicação. Um fato que possibilita essa inferência é que poucas editoras da área tinham um corpo de consultores especializados devidamente constituído para realizar o processo de revisão por pares.

O critério mais aceito para a qualificação da produção científica, independentemente da área de conhecimento, é a revisão por pares (DERRICOURT, 2012). A produção de livros e capítulos de livros na Área 21 passou a ser considerada, genericamente, de baixa qualidade, pois somente editoras de elevado prestígio científico tinham um sistema rigoroso de revisão por pares. Como bons exemplos internacionais podemos citar a Cambridge University Press e a Oxford University Press, que utilizam critérios relativamente semelhantes aos de artigos científicos (e.g. https://www.cambridge.org/core/services/peer-review). Certamente, é preciso cuidado para não transportar critérios utilizados na avaliação de artigos diretamente para a avaliação de livros e capítulos de livro. De qualquer maneira, em termos concretos, na Área 21 da Capes, especificamente, este problema foi impactante, visto que os pesquisadores vinculados tematicamente às ciências sociais, humanas e pedagógicas tinham os livros e capítulos de livros como importantes e representativos meios de divulgação de suas pesquisas (CARNEIRO, 2019).

Na tentativa de amenizar este problema, a comissão de avaliação da Área 21 selecionou um grupo de pesquisadores que, com o suporte das discussões que ocorriam nas reuniões do Fórum Nacional de Pós-Graduação em Educação Física, Fonoaudiologia, Fisioterapia e Terapia Ocupacional, ficou encarregado de desenvolver um sistema de avaliação da produção científica em forma de livros e capítulos de livro conhecido como Qualis Livros (CARVALHO et al., 2007). Uma assunção importante da comissão idealizadora do Qualis Livros foi que a avaliação direta do livro, pela sua leitura, não seria necessária “[…] haja vista que, por princípio, o livro só é livro porque foi lido, avaliado e aprovado para impressão. “(CARVALHO et al., 2007). Além disso, a Comissão considerava que outras propostas que avaliavam, em última análise, as editoras, eram insuficientes para determinar a contribuição científica de um livro. Nessa perspectiva, a Comissão do Qualis Livros elaborou um sistema de avaliação composto por três partes: a primeira relativa à identificação da obra com as informações contidas na ficha catalográfica; a segunda referente às diretrizes para a avaliação, considerando os aspectos formais do livro como seu tipo e natureza e a sua vinculação à área do conhecimento; a terceira que dizia respeito à avaliação do conteúdo do livro com base na relevância temática, no caráter de inovação e no potencial de impacto. Em termos operacionais, os programas de pós-graduação enviavam os livros publicados por seus orientadores para que uma “comissão de classificação de livros” os avaliasse com base nos seguintes critérios e pontuações: livro integral (2,5), tratado (2,0) ou coletânea (1,0); processo editorial com análise por pares (1,0), parte de uma coletânea (1,0), fomento e parceria (1,0); potencial de impacto com base no número de edição e na natureza (de 1,0 a 4,0); e vinculação do livro com projeto e linha de pesquisa (2,0), linha de pesquisa (1,5), área de concentração (1,0) e área básica (0,5). Uma análise mais detalhada das pontuações atribuídas aos critérios avaliativos indica que apenas publicações no formato de livro/texto completo podiam atingir o estrato mais alto do Qualis Livros (CARNEIRO, 2019), independentemente da qualidade científica do material avaliado.

Em que pese a qualificação da comissão de classificação de livros e o trabalho sério e árduo por ela realizado, o sistema também apresentava problemas importantes de objetividade e reprodutibilidade, que comprometiam a sua validade. Sabidamente, ter elevada objetividade e reprodutibilidade, quando diferentes avaliadores utilizam um mesmo instrumento para avaliar diferentes amostras (no caso, livros), é crítico para a minimização de erros (CURRELL; JEUKENDRUP, 2008; HOPKINS, 2000; THOMAS; NELSON; SILVERMAN, 2007) e, consequentemente, para a aceitação de um sistema de avaliação pela comunidade acadêmica.

Importante ressaltar que a receptividade do Qualis Livros foi muito diferente do Qualis Periódicos. Conforme presenciado por dois dos autores deste artigo, a sua apresentação e discussão não envolveu a mesma mobilização da comunidade acadêmica. Supomos que a necessidade que a Comissão teve de demonstrar que a lógica utilizada na determinação dos indicadores para o Qualis Periódicos não era apropriada para livros e capítulos de livros, acabou deixando em segundo plano a devida apreciação e discussão dos indicadores de qualidade dos livros que foram apresentados (CARVALHO; MANOEL, 2007; CARVALHO et al., 2008; MANOEL, 2020). Essa afirmação se sustenta no fato de que o Qualis Livros apresentado valorizava mais os aspectos formais dos livros e se baseava na assunção de que, para ser publicado, o livro deveria ser lido. Isto ficava evidente quando notamos que a avaliação por pares tinha apenas peso 1, minimizando fortemente a importância do melhor mecanismo de controle de qualidade do conhecimento científico (ALBERT; LABERGE; McGUIRE, 2012; HAUSTEIN; LARIVIÉRE, 2015). Por outro lado, escrever um livro completo, independente da sua qualidade, tinha peso 2.

Perante esse cenário, o programa de pós-graduação a que pertence os autores deste artigo sempre se mostrou proativo em relação ao tema, não somente apontando os problemas no sistema de avaliação de livros, mas também discutindo e propondo alternativas. Especificamente, nosso programa mostrou que havia importantes discrepâncias entre avaliadores na avaliação de uma obra, algo também destacado em reunião de área pela própria comissão de classificação. Inúmeras tentativas de utilização de tal sistema foram realizadas, comparando-se os resultados obtidos por orientadores dentro de uma área de concentração, entre áreas de concentração e entre elas e a comissão coordenadora do programa, sendo sempre obtidos resultados diferentes daqueles da comissão de classificação de livros. Uma consequência dessa limitação diz respeito à dificuldade de os programas utilizarem as mesmas medidas e critérios para realizar as suas avaliações internas, como ocorre com os artigos. Se as avaliações interna e externa não mantêm coerência, o desenvolvimento do programa fica comprometido, pois perde-se a referência. Ademais, não é razoável que conteúdo acadêmico de tamanha importância seja avaliado somente por uma das partes envolvidas, isto é, a comissão externa.

Adicionalmente, foi apontado que: (i) o impacto da produção em forma de livros não poderia resumir-se às edições - outros aspectos, como, por exemplo, o quanto a obra é citada ou em quantos programas ela serve de referência básica, poderiam refletir de maneira mais adequada o seu nível de impacto; (ii) itens como financiamento, conselho editorial e revisão por pares não atendiam ao critério de validade de conteúdo, pois não faziam parte da cultura das editoras - sem um processo rigoroso de revisão por pares, a qualidade do trabalho nos seus aspectos teóricos e metodológicos não era devidamente avaliada; (iii) não era justo o docente ou programa ter que arcar com o custo dos livros para que eles fossem avaliados, mesmo porque eles teriam de ser encaminhados à comissão de avaliação - os autores recebem, normalmente, poucos exemplares de suas publicações, muitas vezes um só volume, e por isso não poderiam doá-lo para a comissão de avaliação.

Em 2019, a Capes publicou um documento que consideramos ser uma importante evolução na avaliação de livros e capítulos de livros¹, pois incorporou indicadores indiretos de qualidade das obras. Porém, ele ainda mantém um peso muito grande em relação a inúmeras características formais da obra, a saber: aderência à área de avaliação e ao perfil institucional estratégico do PPG, idioma, tipo de editora, financiamento, conselho editorial, informações sobre os autores, índice remissivo, e parecer e revisão por pares (grifo nosso). O destaque à última característica deve-se ao fato dela ser dicotômica (sim ou não) e não avaliar se a revisão por pares foi baseada em critérios comerciais (característica de várias editoras) ou científicos. Já a avaliação dos indicadores indiretos de qualidade das obras será feita pelo exame parcial ou total das obras. No nosso entendimento, a complexidade do novo sistema de avaliação do Qualis Livros e o volume de obras a ser analisado em uma avaliação quadrienal tornam o processo quase impraticável e invariavelmente irá implicar inúmeros erros de classificação. O novo Qualis Livros será utilizado pela primeira vez na avaliação do quadriênio 2017-2020 e somente o programa ao qual os autores deste artigo estão vinculados produziu mais de 200 produtos entre livros e capítulos de livro.

Em suma, fica claro que o sistema de avaliação de livros e capítulos de livros carece ainda de desenvolvimento e aprimoramento. As demandas comerciais, financeiras e temporais envolvidas em um processo de revisão de obras completas são elevadas e inviabilizam uma avaliação qualificada por pares. De nosso conhecimento, somente editoras internacionais muito competitivas científica e comercialmente têm um processo de revisão por pares similar ao de artigos científicos. Assim, é necessário propor modelos alternativos para qualificar a produção científica em forma de livros e capítulos de livro, principalmente em avaliações em larga escala (e.g., avaliação quadrienal da Capes e bolsa produtividade em pesquisa do CNPq).

Assim, o objetivo do presente trabalho é propor um modelo de avaliação qualitativa de livros e capítulos de livros com base na percepção da comunidade sobre o prestígio das editoras. Trata-se de um método de avaliação de livros que tem sido objeto de recentes empreendimentos acadêmicos internacionais, com critérios academicamente reprodutíveis e aceitáveis (GIMÉNEZ-TOLEDO, 2018; GIMÉNEZ-TOLEDO; TEJADA-ARTIGAS, 2015; GIMÉNEZ-TOLEDO; TEJADA-ARTIGAS; MAÑANA-RODRÍGUEZ, 2012).

2 PROCEDIMENTOS METODOLÓGICOS

Todos os procedimentos éticos foram integralmente contemplados de acordo com o Conselho Nacional de Saúde (resoluções 466/12 e 510/2016) e os Códigos de Ética do Committee on Publication Ethics.

Os procedimentos metodológicos utilizados para elaborar o ranking de qualidade e prestígio das editoras científicas foram baseados nos estudos de Giménez-Toledo e Tejada-Artigas (2015) e Giménez-Toledo (2018), os quais desenvolveram um ranking para as áreas de Educação e Ciências Sociais. Primeiramente, o questionário proposto por Giménez-Toledo (2018) foi traduzido e passou pela avaliação de dois especialistas para verificar a adequabilidade da versão em português (Quadro 1). Trata-se de um questionário que busca obter informações relativas aos seguintes tópicos: a área de conhecimento e as disciplinas em que as pesquisas do participante se enquadram; sua instituição (universidade/unidade); de duas a dez editoras acadêmicas nacionais e internacionais consideradas por ele como as mais prestigiosas em sua área, por ordem de importância; se ele publicou nelas; até cinco coleções acadêmicas pertencentes a tais editoras por ordem de importância; e os elementos que basearam sua decisão de seleção e ordenação das editoras de maior prestígio.

Quadro 1
Questionário de avaliação da percepção do prestígio das editoras científicas nacionais e internacionais.

1. Por favor, indique sua área de conhecimento. 2. Em qual ou quais disciplinas sua pesquisa se enquadra? 3. Indique a universidade/unidade em que você trabalha. 4. Indique de duas a dez editoras acadêmicas nacionais consideradas por você como as mais prestigiosas em sua área. Por favor, apresente-as por ordem de importância. Indique se você publicou (S) ou não (N) em cada uma das editoras por você listada. 5. Indique até cinco coleções acadêmicas pertencentes às editoras nacionais consideradas por você como mais prestigiosas em sua área, por ordem de importância. 6. Indique de duas a dez editoras acadêmicas internacionais consideradas por você como as mais prestigiosas em sua área. Por favor, apresente-as por ordem de importância. Indique se você publicou (S) ou não (N) em cada uma das editoras por você listada. 7. Indique até cinco coleções acadêmicas pertencentes às editoras internacionais consideradas por você como mais prestigiosas em sua área, por ordem de importância. 8. Que elementos basearam sua decisão de seleção e ordenação das editoras de maior prestígio? ( ) A especialização da editora ( ) A qualidade científica dos livros publicados ( ) A qualidade técnica das obras (design editorial, correção, leiaute, índices, etc.) ( ) Sua carreira e o histórico editorial que criou ( ) O foco dos livros publicados, resultado da visão da editora ( ) O endosso científico representado pelas editoras e/ou diretores de coleção ( ) O rigor na seleção de originais da editora ( ) Os prêmios recebidos pela editora ( ) A sua própria experiência como autor em relação à eficácia e competência da editora no processo de publicação ( ) Recomendações dos colegas ( ) O prestígio da editora entre os colegas ( ) Sua eficiência nos procedimentos de informação, indexação e marketing ( ) O fato de as obras serem traduzidas para outras línguas ( ) As críticas que os seus trabalhos normalmente recebem ( ) Outro

• Fonte: Autores

Em seguida, um questionário eletrônico (www.surveymonkey.com) foi enviado para todos os coordenadores de programas de pós-graduação da Área 21 da Capes, solicitando que ele fosse repassado para todos os orientadores do programa e demais docentes da instituição. Os dados brutos, relativos às respostas obtidas, foram transferidos para uma planilha Excel pelo sítio eletrônico www.surveymonkey.com. As (até) dez editoras internacionais listadas por cada respondente foram colocadas em ordem de importância (i.e., posição de 1 a 10, da mais importante para a menos importante). Todas as editoras estrangeiras foram consideradas como editoras internacionais. Posteriormente, o número de vezes que cada editora foi citada, em cada uma das posições na ordem de importância, foi calculado. Por fim, o prestígio de cada editora foi definido de acordo com a fórmula 1:

$\mathrm{Pr}estígio=A*10+B*9+C*8+D*7+E*6+F*5+G*4+H*3+i*2+J*1$ (1)

A letra “A” representa o número de vezes que uma determinada editora foi citada na posição 1, a letra “B” representa o número de vezes que a mesma editora foi citada na posição 2, e assim sucessivamente. O coeficiente de cada letra diminui de acordo com a posição que a editora foi citada, fazendo com que editoras citadas mais frequentemente nas primeiras posições tenham notas maiores. O mesmo procedimento foi realizado para as editoras nacionais. Na sequência, as editoras e suas respectivas notas de prestígio foram ordenadas da maior para a menor. As notas das editoras nacionais e internacionais foram divididas em decis, na tentativa de classificá-las de acordo com a percepção do prestígio dessas editoras indicada pela comunidade acadêmica.

3 RESULTADOS E DISCUSSÃO

Um primeiro aspecto a se considerar diz respeito à distribuição dos orientadores respondentes, relativamente às subáreas e às instituições ou regiões do país. De uma população de mais de 800 orientadores credenciados em programas de pós-graduação da Área 21, 90 responderam ao questionário. Conforme mostra a Figura 1, os percentuais de respondentes de acordo com as subáreas da Área 21 da Capes foram: 8% (Fonoaudiologia- 12 programas de pós-graduação), 21% (Fisioterapia - 30 programas de pós-graduação) e 51% (Educação Física - 39 programas de pós-graduação). Alguns orientadores preferiram não identificar sua área (20%). Embora todas as subáreas tenham apresentado significativo crescimento no número de programas ao longo da última década, pode ser que essas diferenças percentuais estejam associadas à quantidade de programas em cada uma. Interessante notar que não houve nenhum respondente da Terapia Ocupacional na amostra.

Figura 1
Percentual de respondentes por subárea de atuação.

Já a Figura 2 apresenta o percentual de respondentes em relação à instituição de trabalho/vínculo. Verifica-se que o envolvimento de orientadores de 29 IES de todas as regiões do país, sendo 23% da Região Sul, 43% da Região Sudeste, 10% da Região Norte, 17% da Região Nordeste e 7% da Região Centro-Oeste. Como os programas de pós-graduação das regiões Norte, Nordeste e Centro-Oeste iniciaram suas atividades mais recentemente, é possível que os orientadores desses programas ainda não se sintam com experiência suficiente para opinar sobre assuntos referentes às agências de fomento.

Caso o número de respondentes representasse um maior percentual do total de orientadores das quatro subáreas que compõem a Área 21, poderíamos fazer uma subanálise para identificar se a percepção da qualidade das editoras mudava entre as subáreas. Porém, como aproximadamente apenas 10% dos orientadores da Área 21 responderam ao questionário e a maioria dos respondentes era da Educação Física (51%), os resultados aqui apresentados possuem um viés de área que inviabiliza inferências sobre as subáreas.

Figura 2
Percentual de respondentes por instituição de trabalho/vínculo.

A Tabela 1 apresenta os critérios mais utilizados pelos respondentes para classificar as editoras nacionais e internacionais. Fica claro que quase a totalidade dos respondentes (94,25%) considera a qualidade científica dos livros publicados como o fator mais importante para determinar a percepção da qualidade de uma editora. Nossos achados são similares aos do estudo de Giménez-Toledo (2018) em que 91% dos 673 respondentes apontaram a qualidade científica dos livros publicados como critério determinante para a percepção de qualidade das editoras. Importante destacar que no estudo de Giménez-Toledo (2018) professores de 22 áreas de conhecimento, na sua maioria das ciências sociais e humanas, responderam ao questionário. Esta informação é importante, pois indica a validade do método, independentemente da área de atuação dos professores, além de mostrar que há uma revisão por pares post-hoc das publicações das editoras.

Em relação a outros possíveis critérios que poderiam determinar a qualidade das editoras, somente a qualidade técnica das obras foi apontada como importante por mais da metade da amostra (51,72%); os demais critérios tiveram porcentagem de menção entre 40,23% e 3,45% (Tabela1).

Tabela 1
Porcentagem dos critérios utilizados para classificar as editoras nacionais e internacionais.

RESPOSTAS	(%)
A especialização da editora	40,23
A qualidade científica dos livros publicados	94,25
A qualidade técnica das obras (design editorial, correção, leiaute, índices, etc.)	51,72
Sua carreira e o histórico editorial que criou	33,33
O foco dos livros publicados, resultado da visão da editora	34,48
O endosso científico representado pelas editoras e/ou diretores de coleção	39,08
O rigor na seleção de originais da editora	35,63
Os prêmios recebidos pela editora	5,75
A sua própria experiência como autor em relação à eficácia e competência da editora no processo de publicação	25,29
Recomendações dos colegas	11,49
O prestígio da editora entre os colegas	35,63
Sua eficiência nos procedimentos de informação, indexação e marketing	12,64
O fato de as obras serem traduzidas para outras línguas	12,64
As críticas que os seus trabalhos normalmente recebem	10,34
Outro	3,45

• Fonte: Autores

A Tabela 2 apresenta as editoras internacionais identificadas pelos orientadores respondentes, considerando a sua classificação de acordo com o decil de respostas e as pontuações. Embora menor, verifica-se uma significativa quantidade de editoras consideradas na Área 21 da Capes (N = 69). Similarmente aos resultados anteriores, verifica-se uma predominância de editoras não universitárias nos percentis superiores. A exceção é a Oxford no decil 90. Estes achados contrastam com os de Giménez-Toledo e Tejada-Artigas (2015), que verificaram que 58% dos pesquisadores da área da Educação preferiam publicar suas obras em editoras universitárias. A tabela mostra, também, uma quantidade diferente de editoras distribuídas em cada decil, de modo que aquelas nos decis 50% e 40% foram classificadas conjuntamente devido à baixa quantidade em cada um. O mesmo ocorreu com as editoras nos decis 30% e 20%.

A Tabela 3 apresenta as editoras nacionais identificadas pelos orientadores respondentes, considerando a sua classificação de acordo com o decil de respostas e as pontuações. Um primeiro aspecto a se destacar refere-se à significativa quantidade de editoras consideradas na Área 21 da Capes: noventa e sete (N = 97). Isto mostra a abrangência e diversidade de opções de publicação na área. Além disso, o fato de ter editoras em todos os decis significa que a comunidade tem critérios claramente diferenciados. Importa destacar, também, que no decil superior (90%) quase a totalidade de editoras não são universitárias, o que se repete no decil imediatamente inferior (80%). As exceções foram a Unijuí no decil 90 e a Edusp no decil 80. Esse resultado mostra que as editoras universitárias não são aquelas mais reconhecidas pela comunidade acadêmica e, portanto, refuta o item correspondente na atual proposta da Capes (2019). Verifica-se, ainda, que a quantidade de editoras universitárias passa a aumentar principalmente nos decis seguintes (70% e 60%). Por fim, observa-se uma quantidade diferente de editoras distribuídas em cada decil.

Tabela 2
Distribuição das editoras internacionais (N = 69) de acordo com o decil (%) e a pontuação (Pts) de prestígio obtida.

Editora	Pts	Editora	Pts	Editora	Pts	Editora	Pts
Elsevier (90%)	243	wiley (80%)	47	Lippicontt Willians & Willians (70%)	29	Blackwell Science (60%)	17
Human Kinects (90%)	191	Pearson (80%)	44	Porto (70%)	28	ÉDITIONS CNRS (60%)	17
Routledge (90%)	188	Thieme (80%)	44	L'Harmattan (70%)	26	Edições Piaget (60%)	13
Springer (90%)	117	Nova (80%)	39	Academic Press (70%)	23	N (60%)	10
Mc Grall Hill (90%)	109	Wolters Kluwer Health (80%)	39	Cambridge Press (70%)	23	Paidotribo (60%)	10
Oxford (90%)	73	Taylor & Francis (80%)	38	Morata (70%)	20	Palgrave (60%)	10
Sage (90%)	73	ThomsonReuters (80%)	31	W.B Saunders (70%)	19	Philadelphia (60%)	10
				Presses Universitaires de France (70%)	18	Plural (60%)	10
						Prentice Hall (60%)	10
						Publisher (60%)	10
						Sydney: Fair Play Publishing (60%)	10
Arnold (50/40%)	9	Basic Books (30/20%)	8	Bertrand Editora (10%)	7	Jones & Bartlett Learning	3
BONECKER (50/40%)	9	Basic Books (30/20%)	8	Demos (10%)	7	La Presses du Réel	3
Developmental Science (50/40%)	9	CNRS (30/20%)	8	Dykinson S. L - Madrid (10%)	7	Siglo XXI de España Editores	3
Editoral Medica Panamericana (50/40%)	9	Edexcel (30/20%)	8	VRIN (10%)	7	Editions AFRAPS	2
F.A. DAVIS (50/40%)	9	Edições 70 (30/20%)	8	Editorial Gedisa (10%)	6	Readers Digest	2
Graó - Espanha (50/40%)	9	Guilford Press (30/20%)	8	North-Holland (10%)	6	Editions EPS	1
Lisboa: Texto Editora (50/40%)	9	InTech (30/20%)	8	Piramide Ediciones (10%)	6	Stanford University Press	1
Masson - França (50/40%)	9	Norton (30/20%)	8
Morgantown: FIT Publishing (50/40%)	9	Prime Books (30/20%)	8
National Strength and Conditioning Association (50/40%)	9	Revinter (30/20%)	8
ndn (50/40%)	9
The MIT Press (50/40%)	9

• Fonte:Autores

Tabela 3
Distribuição das editoras nacionais (N = 97) de acordo com o decil (%) e a pontuação (Pts) de prestígio obtida.

Editora	Pts	Editora	Pts	Editora	Pts	Editora	Pts	Editora	Pts
Manole (90%)	445	Roca (80%)	78	Cortez (70%)	35	Sulina (60%)	17	Autobiografia (50%)	9
Guanabara (90%)	385	Vozes (80%)	75	UFRGS (70%)	34	Juruá (60%)	16	Cultura Acad (50%)	9
Artmed (90%)	363	Apris (80%)	53	Pro Fono (70%)	32	PanAmericana (60%)	15	FTD (50%)	9
Phorte (90%)	194	Edusp (80%)	50	Pulso (70%)	30	UNB (60%)	15	UFRN (50%)	9
CRV (90%)	140	G. Ed Nacional (80%)	48	Santos (70%)	29	EdUNESP (60%)	15	NDN (50%)	9
Aut.Associados (90%)	112	UFMG (80%)	46	Universitárias (70%)	27	Liber Ars (60%)	14	Pearson (50%)	9
Athneu (90%)	88	Boucher (80%)	39	UNIMEP (70%)	25	UNICAMP (60%)	14	SANARS (50%)	9
Elsevier (90%)	84	Revinter (80%)	38	Sprint (70%)	23	UEM (60%)	13	Secad (50%)	9
Papirus (90%)	83	Booktoy (80%)	38	UFSM (70%)	23	UFRN (60%)	10	Synopsis (50%)	9
Unijuí (90%)	79	Fontoura (80%)	38			EdUFSCar (60%)	10	UEPG (50%)	9
						PANCASTS (60%)	10
						Rubio (60%)	10
Doctor Press (40%)	8	Springer (30%)	6	EUNIFESP (20%)	5	ArtLetras (10%)	3	Annablume	1
HUCITEC (40%)	8	Casa Psicólogo (30%)	6	UNIVERSA (20%)	5	Campus (10%)	3	Cia das Letras	1
Lamparina (40%)	8	CBCE (30%)	6	WAK (20%)	5	eBook Kindle (10%)	3	TECCMEd	1
LTC (40%)	8	COOPMED (30%)	6	Wiley (20%)	5	PUCRS (10%)	3
Routledge (40%)	8	EDUERN (30%)	6	edUFMT (20%)	5	Saraiva (10%)	3
W.B. Saunders (40%)	8	Icone (30%)	6	SESC (20%)	5	UFBA (10%)	3
Plexus (40%)	7	Supimpa (30%)	6	UFJF (20%)	5	Artesã (10%)	2
Realize (40%)	7			CCTA (20%)	4	Átomo & Alínea (10%)	2
Shape (40%)	7			FLORENCE (20%)	4	Intersaberes (10%)	2
UFRJ (40%)	7			Paco (20%)	4	Leader (10%)	2
				Sarvier (20%)	4	Moderna (10%)	2
				Unimontes (20%)	4	Perspectiva (10%)	2
				Ulbra (20%)	4	Sete Letras (10%)	2

• Fonte:Autores

A Tabela 4 apresenta as classificações de L1 (superior) a L8 (inferior), o agrupamento dos decis de acordo com a procedência nacional ou internacional das editoras, a quantidade de editoras e a pontuação dos livros e capítulos em cada classe.

Tabela 4
Classificações dos livros e capítulos de livros, sendo L1 o nível superior e L8 o nível inferior, o agrupamento dos decis de acordo com a procedência nacional ou internacional das editoras, a quantidade de editoras (N) e a pontuação dos livros e capítulos de livros em cada classe.

Classificação	Decis e Natureza	N	Livro	Capítulo
L1	90% e 80% Internacional	14	320	160
L2	70% e 60% Internacional	19	280	140
L3	50% e 40% Internacional	12	240	120
L4	30% > Internacional	24	200	100
L5	90% e 80% Nacional	20	200	100
L6	70% e 60% Nacional	21	160	80
L7	50% e 40% Nacional	20	120	60
L8	30% > Nacional	36	80	40

• Fonte: Autores

Apesar da classificação das editoras não resolver a principal limitação na avaliação da produção de livros e capítulos de livros - a revisão por pares -, ela caracteriza-se como uma alternativa viável, reprodutiva e metodologicamente sólida.

4 Conclusão

Avaliar a qualidade e o impacto dos livros científicos tem sido tema de constante discussão na comunidade acadêmica (GIMÉNEZ-TOLEDO et al., 2016). Como já mencionado, alguns países têm elaborado rankings de editoras científicas para a avaliação da produção científica na forma de livros e capítulos de livros (GIMÉNEZ-TOLEDO et al., 2016). É consensual que a ciência, em geral, segue uma tendência de uma maior quantidade de trabalhos com múltipla autoria e publicados em periódicos científicos (CARNEIRO, 2019) e editoras internacionais. De maneira similar, as mais altas classificações dos programas de pós-graduação (notas 6 e 7) encontram-se referenciadas nos critérios de internacionalização. Assim, o primeiro aspecto que se considerou na presente proposta foi os livros publicados em editoras internacionais terem valores superiores àqueles de editoras nacionais. Em segundo lugar, ponderou-se sobre a existência de uma quantidade significativa de editoras juntamente com a ordem dos decis. Isso implicou agrupamento dos decis para possibilitar a disponibilidade de editoras em cada nível. O terceiro ponto considerado referiu-se a uma maior valorização dos livros quanto a pontuação, partindo da mínima vigente.

Os resultados desta pesquisa mostraram que quase a totalidade da amostra, portanto uma parte significativa da comunidade de orientadores da pós-graduação da Área 21 da Capes, considera que o prestígio de uma editora está associado à qualidade científica dos livros que ela publica. Esse achado está de acordo com a presente proposta de avaliação de livros e capítulos de livros com base na percepção dos orientadores e demais docentes sobre o prestígio das editoras. Naturalmente, para atender o necessário rigor do método científico, ele necessita ser replicado com uma amostra maior e mais representativa da diversidade temática da Área 21 para assegurar a coerência requerida para a generalização dos resultados obtidos. Ainda, uma amostra maior permitirá determinar critérios auxiliares na qualificação das editoras científicas de acordo com suas subdisciplinas ou especializações (GIMÉNEZ-TOLEDO; TEJADA-ARTIGAS, 2015) e se possuem um processo externo e rigoroso de revisão por pares. Apesar das limitações amostrais atuais, a proposta simplifica muito o sistema de avaliação de livros e capítulos de livros, com um método que tem o suporte da comunidade acadêmica e pode ser implementado nas avaliações em larga escala como as utilizadas pela Capes e pelo CNPq.

REFERÊNCIAS

• ALBERT, Mathieu; LABERGE, Suzanne; McGUIRE, Wendy. Criteria for assessing quality in academic research: the views of biomedical scientists, clinical scientists and social scientists. Higher Education, v. 64, n. 5, p. 661-676, 2012.
• CARNEIRO, Felipe Ferreira Barros. Sob o “fio da navalha”: análise das ciências praticadas pelos pesquisadores da educação física em periódicos científicos (2005-2016). 2019. 319 f. Tese (Doutorado em Educação Física) - Universidade Federal do Espírito Santo, Vitória, 2019.
• CARVALHO, Yara Maria de et al. O livro na pós-graduação: uma metodologia para avaliação do livro. Revista Brasileira de Pós-Graduação, v. 5, n. 10, p. 226-249, 2008.
• CARVALHO, Yara Maria de; MANOEL, Edison de Jesus. O livro como indicador da produção intelectual na grande área da saúde. Revista Brasileira de Ciências do Esporte, v. 29, n.1, p. 61-74, 2007.
• CORRÊA, Umberto Cesar; OLIVEIRA, Jorge Albert; TANI, Go. 40 anos da pós-graduação da EEFE-USP: a sua contribuição para o avanço do conhecimento sobre o comportamento motor humano. Revista Brasileira de Educação Física e Esporte, v. 31, n. especial, p. 97-110, 2017. Disponível em: https://www.revistas.usp.br/rbefe/article/view/135275 Acesso em: 23 ago. 2021.
  » https://www.revistas.usp.br/rbefe/article/view/135275
• CURRELL, Kevin; JEUKENDRUP Asker E. Validity, reliability and sensitivity of measures of sport performance. Sports Medicine, v. 38, n. 4, p. 297-316, 2008. DOI: 10.2165/00007256-200838040-00003.
  » https://doi.org/10.2165/00007256-200838040-00003.
• DERRICOURT, Robin. Peer review: Fetishes, fallacies and perceptions. Journal of Scholarly Publishing, v. 43, n. 2, p. 137-147, 2012. DOI: 10.1353/scp.2012.0000
  » https://doi.org/10.1353/scp.2012.0000
• FORJAZ, Cláudia Lúcia de Moraes; TRÍCOLI, Valmor Alberto Augusto; CORRÊA, Umberto Cesar. 40 anos da pós-graduação da EEFE-USP: uma autocrítica. Revista Brasileira de Educação Física e Esporte, v. 31, n. especial, p. 81-88, 2017. Disponível em: https://doi.org/10.11606/1807-55092017000nesp081 Acesso em: 23 ago. 2021.
  » https://doi.org/10.11606/1807-55092017000nesp081
• GIMÉNEZ-TOLEDO, Elea. La evaluación de las Humanidades y de las Ciencias Sociales en revisión. Revista Española de Documentación Científica, v. 41, n. 3, e208, 2018. Disponível em: https://doi.org/10.3989/redc.2018.3.1552 Acesso em: 23 ago. 2021.
  » https://doi.org/10.3989/redc.2018.3.1552
• GIMENEZ-TOLEDO, Elea, MANANA-RODRIGUEZ, Jorge, ENGELS, Tim, INGWERSEN, Peter, POLONEN, Janne, SIVERTSEN, Gunnar, VERLEYSEN, Frederik, ZUCCALA, Alesia. Taking scholarly books into account: current developments in five European countries. Scientometrics, v. 107, n.2, p. 685-699, 2016.
• GIMÉNEZ-TOLEDO, Elea; TEJADA-ARTIGAS, Carlos Miguel. Proceso de publicación, calidad y prestigio de las editoriales científicas en Educación = Process of publication, quality and prestige of scientific education publishers. Educación XXI: revista de la Facultad de Educación, v. 18, n. 1, p. 17-44, 2015.
• GIMÉNEZ-TOLEDO, Elea; TEJADA-ARTIGAS, Carlos Miguel; MAÑANA-RODRÍGUEZ, Jorge. Evaluation of scientific books’ publishers in social sciences and humanities: results of a survey. Research Evaluation, v. 22, n. 1, p. 64-77, 2012. DOI: 10.1093/reseval/rvs036
  » https://doi.org/10.1093/reseval/rvs036
• HAUSTEIN, Stefanie, LARIVIÈRE, Vincent. The use of bibliometric for assessing research: possibilities, limitations, and adverse effects. In: WELPE, Isabell; WOLLERSHEIM, Jutta; RINGELHAN, Stefanie; OSTERLOH, Margit (eds.). Incentives and Performance: Governance of knowledge-intensive organizations. Cham: Springer, 2015. p. 121-139. Disponível em: https://doi.org/10.1007/978-3-319-09785-5_8 Acesso em: 23 ago. 2021.
  » https://doi.org/10.1007/978-3-319-09785-5_8
• HOPKINS Will G. Measures of reliability in sports medicine and science. Sports Medicine, v. 30, n. 1, p. 1-15, 2000. DOI: 10.2165/00007256-200030010-00001.
  » https://doi.org/10.2165/00007256-200030010-00001.
• KOKUBUN, Eduardo. Pós-graduação em educação física. Revista Brasileira de Educação Física e Esporte, v. 20, supl. n. 5, p. 31-33, 2006.
• KOKUBUN, Eduardo. Pós-graduação em educação física no Brasil: indicadores objetivos dos desafios e das perspectivas. Revista Brasileira de Ciências do Esporte, v. 24, n. 2, p. 9-26, 2003.
• MANOEL, Edison de Jesus. A cultura do livro e a pós-graduação em Educação Física. Movimento (Porto Alegre), v. 26, e26026, 2020. Disponível em: https://doi.org/10.22456/1982-8918.99638 Acesso em: 23 ago. 2021.
  » https://doi.org/10.22456/1982-8918.99638
• MOREIRA, Wagner Wey; NISTA-PICCOLO, Vilma L. Educação física e esporte no século XXI. Campinas: Papirus, 2016.
• PASSOS, Solange Cássia Elias. Educação física e esportes na universidade. Brasília: Editora UnB, 1988.
• TANI, Go. 20 anos de ciências do esporte: um transatlântico sem rumo? Revista Brasileira de Ciências do Esporte, Número Especial Comemorativo dos 20 Anos de Fundação, p. 19-31, 1998.
• TANI, Go. Educação física: por uma política de publicação visando à qualidade dos periódicos. Revista Brasileira de Ciências do Esporte, v. 29, n. 1, p. 9-22, 2007.
• TANI, Go. Os desafios da pós-graduação em educação física. Revista Brasileira de Ciências do Esporte, v. 22, n. 1, p. 79-90, 2000.
• TANI, Go. Pós-graduação em educação física: crescimento e correção da rota. In: MOREIRA, Wagner Wey; NISTA-PICCOLO, Vilma L. Educação física e esporte no século XXI. Campinas: Papirus, 2016. p. 153-171.
• THOMAS, Jerry R.; NELSON, Jack K.; SILVERMAN, Stephen J. Métodos de Pesquisa em Atividade Física. 5. ed. Porto Alegre: Artmed, 2007.

• 1
  https://www.gov.br/capes/pt-br/centrais-de-conteudo/12062019-proposta-de-classificacao-de-livros-gt-qualislivro-pdf

• FINANCIAMENTO

  O presente trabalho foi realizado sem o apoio de fontes financiadoras.

Editado por

RESPONSABILIDADE EDITORIAL

Alex Branco Fraga *, Elisandro Schultz Wittizorecki *, Ivone Job *, Mauro Myskiw *, Raquel da Silveira *

* Universidade Federal do Rio Grande do Sul, Escola de Educação Física, Fisioterapia e Dança, Porto Alegre, RS, Brasil.

Datas de Publicação

• Publicação nesta coleção
  07 Jan 2022
• Data do Fascículo
  2021

Histórico

• Recebido
  15 Mar 2021
• Aceito
  16 Ago 2021