DESENVOLVIMENTO DE MÉTRICAS PARA O QUALIS DE PRODUÇÃO TÉCNICA DE LIVROS E CAPÍTULOS DE LIVROS

Resumos

Objetivo:

Propor a métrica para qualificar a produção veiculada através de livros e capítulos e, a partir daí, estabelecer orientação para a avaliação dos programas de pós-graduação da Medicina III.

Método:

Análise dos documentos de área de 2013 dos programas de pós-graduação senso estrito das áreas: Ciência da Computação; Biotecnologia; Ciências Biológicas I; Saúde Coletiva; Medicina I.

Resultados:

Excetuando-se o programa da Medicina I, que não adotou a métrica para classificação de livros e capítulos, todos os demais estabeleceram-na dentro da sua produção intelectual, embora com percentuais desiguais.

Conclusão:

É desejável inserir a métrica de livros e capitulos de livros na produção intelectual do Documento de Área dos programas, ortorgando a ela percentual de 5% das publicações qualificadas dos programas da Medicina III.

Livros; Classificação de livro; Educação de pós-graduação em medicina

Objective:

To propose metrics to qualify the publication in books and chapters, and from there, establish guidance for the evaluation of the Medicine III programs.

Method:

Analysis of some of the 2013 area documents focusing this issue. Were analyzed the following areas: Computer Science; Biotechnology; Biological Sciences I; Public Health; Medicine I.

Results:

Except for the Medicine I, which has not adopted the metric for books and chapters, all other programs established metrics within the intellectual production, although with unequal percentages.

Conclusion:

It´s desirable to include metrics for books and book chapters in the intellectual production of post-graduate programs in Area Document with percentage-value of 5% in publications of Medicine III programs.

Books; Book classification; Education, medical, graduate

INTRODUÇÃO

Conforme definição aceita pela própria CAPES, compreende-se que o livro retrata produto impresso ou eletrônico com ISBN ou ISSN (para obras seriadas) contendo no mínimo 50 páginas, e publicado por editora pública ou privada, associação científica e/ou cultural, instituição de pesquisa ou órgão oficial¹.

Todos sabem que em várias áreas de conhecimento os livros e seus capítulos constituem referências para a construção de campos de conhecimento, definindo estilos e escolas de pensamento. Sendo assim, avaliar a produção na forma de livros e capítulos trata-se de exercício peculiar uma vez que não existem exemplos de países que os classifiquem. A sua avaliação comporta singularidades face aos periódicos. Nestes, a qualidade da produção pode ser inferida, a priori, a partir de indicadores de circulação e impacto consolidados em bases e indexadores reconhecidos. No caso dos livros e capítulos, esses princípios estão ausentes. Como se sabe o "Institute Scientific Information" - ISI - o qual foi introduzido por Eugene Garfield², em 1960, registra citação de livros nos artigos publicados em sua base, porém, tais registros não recebem tratamento cienciométrico próprio e adequado.

O ISI deixa à margem as citações entre livros, tanto quanto as citações de artigos em livros; daí, avaliar a produção intelectual de programas por meio de livros requer o desenvolvimento de critérios próprios¹. Portanto trata-se de um grande desafio tornar estes procedimentos mais uniformes entre as áreas, mais objetivo para as instâncias de avaliação da CAPES e mais transparentes para a comunidade científica e acadêmica da pós-graduação brasileira. A avaliação por parte dos programas de pós-graduação da CAPES em relação à produção de livros e capítulos requer processo em construção tal como aconteceu com o "Qualis Periódicos", o qual despendeu mais de uma década para que alcançasse o estágio atual de reconhecimento.

O objetivo deste trabalho é propor métrica para qualificar a produção veiculada através de livros e capítulos e, assim, estabelecer orientação para a avaliação dos programas de pós-graduação da Medicina III nestes tópicos.

MÉTODO

Esse estudo foi realizado no Programa de Pós-Graduação em Principios da Cirurgia da Faculdade Evangélica do Paraná e Hospital Universitário Evangélico de Curitiba pelos membros do seu colegiado em novembro de 2014.

Esta pesquisa obedeceu os princípios do Roteiro para Classificação de Livros aprovado da avaliação dos programas de Pós-Graduação pelo CTC da CAPES de 2009.

A estrutura obedeceu o documento "A construção do trabalho científico: um guia para projetos, pesquisas e relatorios científicos"³ e "Metodologia científica: como tornar mais agradável a elaboração de trabalhos acadêmicos"⁴.

Esta publicação é resultado de apresentação realizada durante o V Encontro da Pós-Graduação da Medicina III entre 8 e 9 de dezembro de 2014 em São Paulo, Brasil. O material baseou-se na análise dos documentos de área de 2013 de vários programas de pós-graduação senso estrito que tinham como objetivo estabelecer a métrica de livros e capítulos de livros. Os programas analisados foram os das seguintes áreas: Ciência da Computação⁵; Biotecnologia⁶; Ciências Biológicas I⁷; Saúde Coletiva⁸; Medicina I⁹.

Como instrumento de avaliação para classificação de livros e capítulos observou-se os seguintes itens:1) dados de identificação da obra; 2) aspectos formais da obra, onde verificou-se a presença de docentes e discentes, publicação em idiomas estrangeiros, obtenção de prêmios nacionais e internacionais e, ainda, a vinculação à linha de pesquisa do programa; 3) avaliação qualitativa do conteúdo, onde foi observada a relevância temática, inovação onde destaca-se a originalidade do conteúdo, com a contribuição inovadora para o campo da cirurgia e, ainda, a potencialidade de impacto da obra.

Para a métrica de livros e capítulos a proposta elaborada por estes autores está demonstrada nas Figuras 1, 2 e 3. Convencionou-se ainda que a soma de capítulos não deve ultrapassar a pontuação do livro, assim como um mesmo autor poderá pontuar no máximo dois capítulos da mesma obra.

FIGURA 1
- Critérios de pontuação de livro

FIGURA 2
- Extrato de pontuação de livro

FIGURA 3
- Extrato de pontuação de capítulo de livro

RESULTADOS

A pesquisa demonstrou os seguintes resultados:

Área de avaliação: Ciência da Computação

Os livros e capítulos foram avaliados na produção intelecual do programa (Item 4 do Documento de Área de 2013) sem utilizar roteiro específico de avaliação, conforme percentuais demonstrado na Figura 4.

FIGURA 4
- Item 4 do Documento de Área da Ciência da Computação de 2013

Área de avaliação: Biotecnologia

Os livros e capítulos de livros foram avaliados na produção intelecual (Item 4 do Documento de Área de 2013) do programa conforme demonstrado na Figura 5.

FIGURA 5
- Item 4 do Documento de Área da Biotecnologia de 2013

Área de avaliação: Ciências Biológicas I

Os livros e capítulos de livros foram avaliados na produção intelecual (Item 4 do Documento de Área de 2013) do programa conforme percentuais demonstrado na Figura 6.

FIGURA 6
- Item 4 do Documento de Área da Ciências Biológicas I de 2013

Área de avaliação: Saúde Coletiva

Os livros e capítulos de livros foram avaliados na produção intelecual (Item 4 do Documento de Área de 2013) do programa conforme percentuais demonstrado na Figura 7.

FIGURA 7
- Item 4 do Documento de Área da Saúde Coletiva de 2013

Área de avaliação: Medicina I

A área de avaliação da Medicina I não adotou a métrica para classificação de livros e capítulos, pois utiliza de modo pouco expressivo essa modalidade de publicação.

Área de avaliação: Medicina III

A proposta elaborada pelos autores deste artigo é de considerar a avaliação de livros e capítulos de livros dentro da produção bibliográfica do programa conforme Figura 8.

FIGURA 8
- Proposta de inclusão para valoração de livros e capítulos de livros no item 4 do Documento de Área da Medicina III

DISCUSSÃO

A avaliação da produção de periódicos é distinta da avaliação de livros e capítulos, porque ela apresenta singularidades face aos periódicos. Os indicadores para os periódicos expressam a qualidade usando métodos bem definidos e aplicados imparcialmente por pares. Têm eles caracteristicas universais; já nos livros e capítulos essas caracteristicas não estão presentes¹.

Sabe-se também que ao contrário dos programas de pós-graduação da área médica (Medicinas I, II e III) - onde os livros e capítulos não constituem produção significativa e relevante -, em várias outras, tais como Ciência da Computação⁵, Biotecnologia⁶, Ciências Biológicas I⁷ e Saúde Coletiva⁸, estas obras são muito representativas na produção científica. Inspiradas ou não nos procedimentos de classificação de periódicos, estes programas buscaram na última avaliação qualificá-los dentro da produção bibliográfica do Documento de Área com os valores apresentados nas figuras.

Embora reconhecido no âmbito da área médica que estas obras não constituem produção bibliografica importante, estes autores entendem que se deva valorizar essas publicações, se não com a mesma intensidade como nos programas referidos^5,6,7,8,9, porém pontuá-las. Para contarem na avaliação dos programas da área da Medicina III devem eles ter conteúdo programático original e com bom potencial de proporcionar contribuição relevante para a área cirúrgica nacional.

Entendem ainda estes autores que a métrica de livros e seus capítulos ainda encontra-se em processo embrionário de construção, à semelhança do que ocorreu com o Qualis Periódicos a mais de uma década atrás, e que somente agora alcançou reconhecimento expressivo, embora ainda necessitando de contínuas alterações. Motivados pela compreensão que muitas destas obras contribuem para o engrandecimento da cirurgia brasileira, é importante metrificar-se as publicações dos livros e capítulos dentro da produção inteletual (Item 4) contida no Documento de Área, como fazem outros programas da CAPES^5,6,7,8,9.

Convém salientar que o item 4 inclui, além da produção científica, a produção técnica e a artística. Assim, fica pertinente colocar aí a avaliação destes tópicos, mas com percentual menor (5%) que nas outras áreas. Sugere-se avaliar neste quesito, ao contrário do que foi realizado pela Medicina I, que desconsiderou no último triênio a publicação de livros como veículo de divulgação de conhecimento novo⁹.

Os autores propõem ainda que a produção de livros e capítulos poderá ter avaliação mais representiva nos programas de Mestrado Profissional, onde, por certo, a veiculação destas obras pelo corpo docente e discente apresenta maior relevância.

Independente das inúmeras discussões, estabelecer as métricas destas obras, trata-se de grande e necessário desafio. Também é importante tornar os procedimentos de avaliação mais uniformes e transparentes entre as áreas.

CONCLUSÃO

Propõe-se inserir métrica de livros e capítulos de livros na produção intelectual do Documento de Área da Medicina III, ortorgando a ela percentual de 5% dentre as publicações qualificáveis na área.

REFERENCES

• ¹
  CAPES. Roteiro para classificação de livros - avaliação dos Programas de Pós-Graduação. 24 de agosto 2009. Disponível em: < https://www.capes.gov.br/images/stories/download/avaliacao/Roteiro_livros_Trienio2007_2009.pdf>. Acesso em: 14/11/2014.
  » https://www.capes.gov.br/images/stories/download/avaliacao/Roteiro_livros_Trienio2007_2009.pdf
• ²
  Eugene Garfild. Disponível em: < http://en.wikipedia.org/wiki/Eugene_Garfield>. Acessado em: 26/11/2014
  » http://en.wikipedia.org/wiki/Eugene_Garfield
• ³
  Alexandre MJO. A construção do trabalho científico: um guia para projetos, pesquisas e relatórios científicos. Rio de Janeiro: Forense Universitária, 2003.
• ⁴
  Martins RB. Metodologia científica: como tornar mais agradável a elaboração de trabalhos acadêmicos. Curitiba: Juruá; 2004.
• ⁵
  Relatório de Avaliação 2010-2012 - Trienal 2013. Área de avaliação: Ciência da Computação. Disponivel em: < https://drive.google.com/viewerng/viewer?a=v&pid=sites&srcid=Y2FwZXMuZ292LmJyfHRyaWVuYWwtMjAxM3xneDoxMTdkMTgxYjVjN2M4OTk0> Acesso em: 20/11/2014.
  » https://drive.google.com/viewerng/viewer?a=v&pid=sites&srcid=Y2FwZXMuZ292LmJyfHRyaWVuYWwtMjAxM3xneDoxMTdkMTgxYjVjN2M4OTk0
• ⁶
  Relatório de Avaliação 2010-2012 - Trienal 2013. Área de avaliação: Biotecnologia. Disponivel em: < https://drive.google.com/viewerng/viewer?a=v&pid=sites&srcid=Y2FwZXMuZ292LmJyfHRyaWVuYWwtMjAxM3xneDo2NjQwNDI1YWExNTg2OWZi> Acesso em: 20/11/2014.
  » https://drive.google.com/viewerng/viewer?a=v&pid=sites&srcid=Y2FwZXMuZ292LmJyfHRyaWVuYWwtMjAxM3xneDo2NjQwNDI1YWExNTg2OWZi
• ⁷
  Relatório de Avaliação 2010-2012 - Trienal 2013. Área de avaliação: Ciências Biológicas I. Disponivel em: < https://drive.google.com/viewerng/viewer?a=v&pid=sites&srcid=Y2FwZXMuZ292LmJyfHRyaWVuYWwtMjAxM3xneDo1YWQzYjdhM2YxODFhZWMx> Acesso em: 20/11/2014.
  » https://drive.google.com/viewerng/viewer?a=v&pid=sites&srcid=Y2FwZXMuZ292LmJyfHRyaWVuYWwtMjAxM3xneDo1YWQzYjdhM2YxODFhZWMx
• ⁸
  Relatório de Avaliação 2010-2012 - Trienal 2013. Área de avaliação: Saúde Coletiva. Disponivel em: < https://drive.google.com/viewerng/viewer?a=v&pid=sites&srcid=Y2FwZXMuZ292LmJyfHRyaWVuYWwtMjAxM3xneDo3ZWRlMmUwNzBhOGJlMWNl> Acesso em: 20/11/2014.
  » https://drive.google.com/viewerng/viewer?a=v&pid=sites&srcid=Y2FwZXMuZ292LmJyfHRyaWVuYWwtMjAxM3xneDo3ZWRlMmUwNzBhOGJlMWNl
• ⁹
  Relatório de Avaliação 2010-2012 - Trienal 2013. Área de avaliação: Medicina I. Disponivel em: < https://drive.google.com/viewerng/viewer?a=v&pid=sites&srcid=Y2FwZXMuZ292LmJyfHRyaWVuYWwtMjAxM3xneDoyNjNjZmQ3OWQ5ZjE5ZTEw> Acesso em: 20/11/2014.
  » https://drive.google.com/viewerng/viewer?a=v&pid=sites&srcid=Y2FwZXMuZ292LmJyfHRyaWVuYWwtMjAxM3xneDoyNjNjZmQ3OWQ5ZjE5ZTEw

Datas de Publicação

• Publicação nesta coleção
  2015

Histórico

• Recebido
  19 Fev 2015
• Aceito
  12 Set 2015