Resumos
Trata da metodologia desenvolvida para avaliação conjunta de mérito (conteúdo) e desempenho (forma) de periódicos científicos e técnicos correntes brasileiros. A metodologia para avaliação de mérito, seguindo procedimentos preestabelecidos, foi aplicada por pesquisadores das diferentes áreas do conhecimento (avaliação pelos pares), e permitiu a classificação das revistas em três níveis de relevância: prioritária, importante e de importância relativa. A avaliação de forma aplicada pelas autoras é baseada no modelo de Braga e Oberhofer, que estabelece critérios de pontuação, determinando o nível de desempenho alcançado pelos periódicos (Muito Bom, Bom, Mediano e Fraco). Os resultados alcançados demonstram a necessidade da avaliação conjunta do mérito e do desempenho para que se possa ter uma visão global da qualidade das publicações.
Metodologia para avaliação de periódicos; Periódicos científicos brasileiros.
This paper presents an evaluation methodology for Brazilian current scientific periodicals based both on merit (content) and performance (form). The methodology for merit evaluation was employed by researchers from different fields of knowledge (evaluation made by fellows), enabling the periodicals classification in three levels of relevance: prior, important and of relative importance. The form evaluation was applied by the authors, and is based on the Braga & Oberhofer model, which establishes criteria of measuring points, and determines performance levels for the periodical (Very Good, Good, Median and Weak). The results point out the need of applying both evaluations (merit and performance) to reach a global view of the publications quality.
Methodology for periodicals evaluation; Brazilian scientific periodicals
Avaliação de periódicos científicos e técnicos brasileiros* * Trabalho apresentado no Seminário sobre Avaliação da Produção Científica, realizado em São Paulo pelo Projeto SciELO, de 4 a 6 de março de 1998.
Rosaly Favero Krzyzanowski
Maria Cecília Gonzaga Ferreira
Resumo
Trata da metodologia desenvolvida para avaliação conjunta de mérito (conteúdo) e desempenho (forma) de periódicos científicos e técnicos correntes brasileiros. A metodologia para avaliação de mérito, seguindo procedimentos preestabelecidos, foi aplicada por pesquisadores das diferentes áreas do conhecimento (avaliação pelos pares), e permitiu a classificação das revistas em três níveis de relevância: prioritária, importante e de importância relativa. A avaliação de forma aplicada pelas autoras é baseada no modelo de Braga e Oberhofer, que estabelece critérios de pontuação, determinando o nível de desempenho alcançado pelos periódicos (Muito Bom, Bom, Mediano e Fraco). Os resultados alcançados demonstram a necessidade da avaliação conjunta do mérito e do desempenho para que se possa ter uma visão global da qualidade das publicações.
Palavras-chave
Metodologia para avaliação de periódicos; Periódicos científicos brasileiros.
INTRODUÇÃO
A proliferação de títulos de periódicos nas diversas áreas do conhecimento tem sido preocupação dos profissionais que se interessam pela qualidade da informação científica, sejam autores, editores, publicadores, serviços de indexação, centros de documentação, bibliotecas e, especialmente, pesquisadores (usuários da informação). Isso porque sérias críticas vêm sendo formuladas, em âmbito internacional, quanto à publicação de revistas "sem critérios de qualidade e para as quais vêm se perdendo esforços, material publicado, recursos financeiros e até prestígio de organizações científicas ou instituições". Entre essas críticas, podemos destacar:
-
Irregularidade na publicação e distribuição da revista;
-
Falta de normalização dos artigos científicos e da revista como um todo;
-
Falta do corpo editorial e de
referees (autoridade da revista).
No panorama nacional acrescem-se os aspectos de:
-
Pouca penetração da língua portuguesa no exterior;
-
Baixo grau de originalidade e novidade dos artigos científicos publicados.
Como conseqüência direta desses fatores negativos, que prejudicam o padrão de qualidade das revistas científicas brasileiras, encontramos a pouca aceitabilidade das revistas no meio técnico e científico internacional e a sua restrita indexação nos índices e bibliografias internacionais, os quais também utilizam "filtros de qualidade", como o Science Citation Abstracts, do ISI (Institute for Scientific Information).
A falta de recursos financeiros é, no entanto, uma das maiores preocupações nacionais na área, visto que impossibilita os editores de manter a independência econômica de suas revistas científicas, levando-os a buscar subsídios junto às agências financiadoras do país, cuja ajuda é praticamente impossível para todas as publicações que existem na atualidade (Krzyzanowski et al.)1.
As agências preocupadas com essa situação vêm definindo políticas de apoio às revistas científicas, com a finalidade principal de contribuir para que as publicações de boa qualidade não venham a perecer e, junto com elas, a divulgação de pesquisas realizadas, muitas vezes com o auxílio das próprias agências.
Em vista disso, este trabalho propõe a avaliação conjunta de mérito (conteúdo) e desempenho (forma) de periódicos científicos e técnicos correntes brasileiros, a partir das listas básicas de revistas científicas relevantes já avaliadas pela FAPESP (Fundação de Amparo à Pesquisa do Estado de São Paulo), pelo CNPq (Conselho Nacional de Desenvolvimento Científico e Tecnológico) e pela FINEP (Financiadora de Estudos e Projetos), utilizando critérios de avaliação adotados internacionalmente. Seu objetivo é subsidiar os programas de apoio a publicações científicas dessas agências, visando o seu aprimoramento.
REVISÃO DE LITERATURA
A partir da década de 1960, encontram-se na literatura estudos sobre avaliação de revistas científicas e técnicas que demonstram a necessidade de se definir parâmetros mensuráveis, que possam refletir a qualidade da informação registrada. Em artigo publicado por Arends2 em 1968, é relatada uma avaliação dos periódicos médicos venezuelanos, baseada em modelo criado pelo grupo de trabalho da UNESCO3, em 1964, para a seleção de revistas técnicas latino-americanas. O modelo estabelece alguns critérios de mensuração das revistas como apresentação do material, duração, regularidade, periodicidade, aceitação de colaboradores de outras instituições, nível de especialização, indexação etc.
Em 1982, Braga e Oberhofer4 apresentam proposta modificando o modelo da UNESCO para ser utilizada na avaliação de periódicos brasileiros científicos e técnicos. O modelo procura refletir aspectos de forma dos periódicos dentro de parâmetros mensuráveis. A cada critério corresponde um número de variáveis e condições para que o periódico obtenha uma pontuação. O número total de pontos que o periódico atinge determina o seu nível de desempenho Muito Bom, Bom, Mediano e Fraco. Segundo as autoras, "a escolha dos critérios foi norteada por sua aplicabilidade (existência de ferramentas para coleta e análise), pelas características peculiares aos periódicos nacionais restrições econômicas, tipográficas etc. e, principalmente, pela validade que conferem ao julgamento de qualidade de duas funções básicas das publicações periódicas, isto é, a função memória arquivo do conhecimento e a função disseminação transmissão ampla de idéias".
Em 1991, Krzyzanowski et al.1 deram seqüência ao projeto de avaliação de periódicos científicos brasileiros correntes desenvolvido em 1988, visando refinar e atualizar o núcleo básico de revistas científicas correntes nacionais nas diferentes áreas do conhecimento definido no primeiro estudo, com o objetivo de subsidiar o programa de apoio financeiro a revistas científicas da FAPESP. A metodologia adotada nos dois estudos (1988 e 1991) teve como princípio a avaliação de mérito das revistas pelos seus pares, através de parâmetros predefinidos pelos autores, e a sua classificação em três níveis de relevância: prioritária, importante e de importância relativa.
Em 1995, Castro e Ferreira5, da BIREME (Centro Latino-Americano e do Caribe de Informação em Ciências da Saúde), realizaram, a pedido da OPAS (Organização Pan-Americana da Saúde), um estudo dos periódicos latino-americanos indexados no Medline (Medlars Online) e na Lilacs (Literatura Latino-Americana e do Caribe em Ciências da Saúde), visando estabelecer um modelo de avaliação a ser utilizado para as revistas que pleiteiam sua indexação nesta última e para reavaliação dos títulos já constantes da Lilacs. O estudo utilizou o modelo de avaliação de Braga4, com modificações. Com o estudo, foi possível verificar aspectos da apresentação dos periódicos que podem prejudicar a qualidade das revistas científicas e sua conseqüente indexação em índices internacionais.
METODOLOGIA
Procedimentos gerais
A partir da Lista de Periódicos Científicos Brasileiros Financiados pelo CNPq / FINEP (130 títulos), de 1995/1996, e do Núcleo Básico de Periódicos Científicos Brasileiros Correntes (372 títulos provenientes da avaliação de mérito realizada pela FAPESP em 1991)1, foi possível proceder a uma reavaliação das revistas, visando à sua atualização e refinamento crítico, no aspecto de conteúdo (mérito), para compor um "núcleo básico único de títulos científicos e técnicos correntes brasileiros". Acrescentou-se ao estudo a avaliação de forma (desempenho) para averiguar a sua situação perante os aspectos de normalização e periodicidade, entre outros.
Procedimentos específicos para avaliação de mérito
Para a avaliação de mérito, contou-se com a colaboração de especialistas das coordenadorias de áreas da FAPESP, que levaram em consideração o Roteiro para análise de mérito de revistas científicas (Anexo 1 ANEXO 1 ). Cada especialista ou grupo de especialistas teve como atividade analisar todos os títulos relacionados na listagem de 1991, acima citada, com pequenas modificações em razão dos títulos encerrados ou novos, totalizando 407 títulos. Nesse momento, os avaliadores tiveram como orientação:
a) extrair os títulos considerados não relevantes para a respectiva área na atualidade;
b) reeleger o nível de relevância dos títulos que já constassem da edição preliminar de 1988, com grau de relevância inadequado;
c) incluir novos títulos não relacionados na listagem, se considerados relevantes para a atualização e a melhoria do núcleo básico. Nessa etapa, os 130 títulos da lista do CNPq/FINEP foram cotejados com os 407 da lista da FAPESP, e aqueles que ainda não constavam dessa listagem foram incluídos.
Por fim, todos os títulos foram classificados segundo o seu grau de relevância, anotando-se as suas respectivas prioridades (PR, IM, IR) em planilhas pré-elaboradas para cada área e sub-área do conhecimento (Anexo 2 Anexo 2 ).
Após realizada a avaliação de mérito, a Coordenadoria de Publicações da FAPESP pôde organizar o Núcleo Básico das Revistas Científicas Correntes Nacionais - 1996, eleito por seus pares.
Procedimentos específicos para avaliação de forma
Para realizar a avaliação de forma (desempenho), foi utilizado o modelo de Braga e Oberhofer4, adaptado à proposta deste estudo (Anexos 3 Anexo 3 Modelo para avaliação de periódicos científicos - Áreas de Exatas / Biológicas e 4 Anexo 4 Modelo para avaliação de periódicos científicos Áreas de Humanas ). Foram examinados os três últimos fascículos de cada título oriundos da lista conjunta FAPESP e CNPq/FINEP, e atribuídos valores alcançados para cada variável.
A seguir, encontram-se alguns procedimentos adotados com relação à análise das variáveis:
a) Normalização: Os periódicos foram avaliados seguindo-se as variáveis estabelecidas no formulário, recebendo pontuação de acordo com a sua normalização nos três fascículos analisados. Como parâmetro para medir a normalização, foram utilizadas as normas da ABNT (Associação Brasileira de Normas Técnicas). No caso das referências bibliográficas, verificou-se, primeiramente, qual a norma adotada ABNT, ISO (International Organization for Standardization) etc. e, a seguir, foi analisado se a revista estava de acordo com a norma declarada. Quanto às demais variáveis, o periódico foi recebendo pontuação de acordo com o atendimento às condições estabelecidas no formulário.
b) Duração: Foram considerados a data de início e o tempo ininterrupto de existência do periódico. Os dados referentes aos títulos foram pesquisados no Catálogo Coletivo Nacional de Publicações Seriadas, do Instituto Brasileiro de Informação em Ciência e Tecnologia (CCN/IBICT).
c) Periodicidade: A indicação da periodicidade foi verificada no periódico e/ou confirmada no CCN/IBICT. Os periódicos com periodicidade regular receberam pontuação de acordo com o número de fascículos publicados no ano. Receberam 1 ponto a menos as revistas atrasadas (data anterior a 1995) e/ou aquelas que, freqüentemente, apresentaram números acumulados. As revistas com periodicidade "irregular" também perderam 1 ponto.
d) Indexação de títulos em bases de dados internacionais: Os periódicos receberam pontuação nessa variável quando as fontes de indexação ou as bases de dados internacionais encontravam-se registradas nos fascículos examinados. Foram consideradas até três fontes internacionais. Para cada fonte, foram atribuídos cinco pontos.
e) Difusão (formas de distribuição): Foram consideradas de "distribuição gratuita" e receberam 1 ponto nessa variável, as publicações que não registram a forma de distribuição nos fascículos e/ou só fazem difusão através de doação e permuta. As publicações que indicam preço de assinatura receberam 3 pontos nessa variável.
f) Existência de coleção nas bibliotecas-base do Sistema COMUTI I Comut é um programa de comutação bibliográfica criado no Brasil em 1980 pelo Ministério da Educação e Cultura, visando dotar o País de mecanismo eficiente de acesso à informação existente nas principais bibliotecas brasileiras (denominadas pelo programa como bibliotecas-base). : Para verificação da existência em coleções das bibliotecas-base do Sistema COMUT, foi utilizado o CCN/IBICT. Foi atribuído 1 ponto por biblioteca-base que possui 75% da coleção do periódico, com data posterior a 1993 (inclusive).
g) Colaboração de autores: A publicação de trabalhos de autores de várias instituições do país ou de autores estrangeiros, em colaboração ou não, foi analisada e também pontuada, conforme o Anexo 3 Anexo 3 Modelo para avaliação de periódicos científicos - Áreas de Exatas / Biológicas .
h) Divisão de conteúdo: Algumas dificuldades foram encontradas para o estabelecimento da pontuação nessa variável, uma vez que nem sempre o tipo de artigo está explícito no periódico. O modelo de avaliação com referência à análise de conteúdo utilizou duas classificações diferentes para os artigos: uma para as áreas de exatas e biológicas e outra para a área de humanas, sendo que esta última foi adaptada, consultando-se especialista da área.
i) Desempenho geral: A pontuação para cada variável e o total geral alcançado permitiram uma classificação geral de desempenho de cada periódico analisado. Os periódicos avaliados receberam, de acordo com o grau de suas pontuações, os seguintes desempenhos:
MUITO BOM (81 pontos ou mais)
BOM (56 a 80 pontos)
MEDIANO (31 a 55 pontos)
FRACO (até 30 pontos)
j) Convenções utilizadas nas tabelas e resultados:
-
SC (Sem Característica) = utilizada para os títulos de periódicos, cujas características não permitem a utilização do modelo para avaliação de periódicos científicos (inclui série, anuários, documentos).
-
SD (Sem Desempenho) = utilizada para títulos avaliados quanto ao mérito, que tiveram a classificação "importância relativa". Esses títulos não sofreram análise quanto à forma (desempenho).
-
NL (Não Localizados) = utilizada para títulos não localizados nas bibliotecas.
RESULTADOS ALCANÇADOS
O universo estudado foi de 407 títulos da lista da FAPESP e 130 títulos da lista do CNPq/FINEP. Dos 407 títulos da FAPESP avaliados quanto ao mérito, 340 (84%) foram considerados relevantes e 67 (16%), não relevantes.
Dos 130 títulos do CNPq/FINEP, 79 (61%) foram considerados relevantes (e já constantes da lista dos 340 relevantes da FAPESP). Os 51 (39%) títulos restantes foram considerados não relevantes.
Do total de 340 títulos relevantes da FAPESP (inclusos os 79 relevantes do CNPq/FINEP), obteve-se o seguinte resultado quanto ao mérito: 108 títulos prioritários (32%); 120 (35%) importantes; e 112 (33%) de importância relativa. Com relação ao desempenho dos 340 títulos relevantes, os resultados foram: 54 (16%) Muito Bom; 31 (9%) Bom; 57 (17%) Mediano; 52 (15%) Fraco; 19 (6%) Não Localizados; 15 (4%) Sem Característica; e 112 (33%) Sem Desempenho (títulos de importância relativa).
Dos 108 títulos prioritários, os resultados com relação ao desempenho (MB, B, M, F) foram: Muito Bom 32 (30%); Bom 19 (18%); Mediano 25 (23%); Fraco 20 (18%); Não Localizados 4 (4%) e Sem Característica 8 (7%).
Com relação aos 120 títulos importantes, o resultado com relação ao desempenho foi: Muito Bom 22 (18%); Bom 12 (10%); Mediano 32 (27%); Fraco 32 (27%); Não Localizados 11 (9%) e Sem Característica 11 (9%).
Observando-se o universo de 340 títulos relevantes quanto às áreas do conhecimento, de acordo com a classificação por área do CNPq, pode-se verificar, no Tabela I, a distribuição de títulos avaliados.
CONSIDERAÇÕES
A partir das avaliações realizadas, podemos tecer as seguintes considerações:
-
Para cada título analisado, é possível verificar classificações gerais de desempenho e levantar para cada um, além desses resultados, totais obtidos em variáveis isoladas (por exemplo, quantos pontos o periódico obteve em normalização, duração, indexação, conteúdo etc.), ou reunir os resultados de um conjunto de variáveis. Dessa forma, é possível também, a critério do avaliador, retirar variáveis ou modificá-las, em conformidade com o propósito da avaliação. No entanto, deve-se ficar alerta, pois se ocorrerem alterações no modelo, será necessário reorganizar a escala de pontuação para a obtenção do resultado final de desempenho.
-
Observa-se, ainda, que os periódicos que atingiram
altos índices
de desempenho foram influenciados principalmente por duas variáveis do modelo (duração e indexação). Apesar dessas variáveis não invalidarem por si só a classificação de mérito dos periódicos (por exemplo, os prioritários com menos de cinco anos de existência), elas podem comprometer seu desempenho, considerando-se que as bases de dados internacionais demoram para aceitar a indexação de novos títulos.
-
Apesar disso, considera-se que o
modelo de avaliação de desempenho é importante para levantar as características de forma do periódico, permitindo detectar aspectos técnicos que necessitam de ajustes.
-
Os periódicos que obtiveram avaliação de mérito como
prioritários e desempenho
Muito
Bom e
Bom constituem o
núcleo das revistas mais refinadas do estudo.
-
Da mesma forma, os periódicos avaliados no mérito como
importantes e que obtiveram um desempenho
Muito
Bom e
Bom
devem ser considerados de boa qualidade.
Classificação dos periódicos por área do conhecimento
-
A análise dos resultados alcançados permite, como em estudos anteriores, concluir que é necessária uma avaliação conjunta do
mérito (
conteúdo) e da forma (
desempenho) para que se possa ter uma visão global da qualidade das publicações.
-
Os modelos utilizados para
avaliação de mérito e de forma, neste estudo, poderiam ser a base para o estabelecimento de critérios pelas agências financiadoras, com vistas a facilitar o trabalho de apoio financeiro a revistas científicas correntes brasileiras, nas diferentes áreas do conhecimento. Assim sendo, sugere-se que as agências de fomento venham a desenvolver, em conjunto, um estudo de critérios de avaliação de periódicos que permita um julgamento mais amplo e uniforme das revistas científicas.
-
Sugere-se, também, às agências financiadoras, como FAPESP e CNPq/FINEP, alertar os editores para que intensifiquem os controles de qualidade de suas revistas, assim como evitem a proliferação de revistas na mesma especialidade, dispersando fundos, esforços e informação do próprio órgão publicador, ou das próprias agências financiadoras, para as quais vêm solicitando recursos. Cabe destacar, ainda, que esse trabalho de conscientização já vem sendo realizado no país pela Associação Brasileira de Editores Científicos (ABEC) desde 1985.
-
Por fim, sugere-se aos órgãos financiadores avaliar a possibilidade de manter, segundo suas normas, auxílio financeiro constante àquelas revistas consideradas prioritárias e que pertençam a instituições de
pesquisa,
ensino e
sociedades científicas.
Criteria for merit evaluation of Brazilian current periodicals
Abstract
This paper presents an evaluation methodology for Brazilian current scientific periodicals based both on merit (content) and performance (form). The methodology for merit evaluation was employed by researchers from different fields of knowledge (evaluation made by fellows), enabling the periodicals classification in three levels of relevance: prior, important and of relative importance. The form evaluation was applied by the authors, and is based on the Braga & Oberhofer model, which establishes criteria of measuring points, and determines performance levels for the periodical (Very Good, Good, Median and Weak). The results point out the need of applying both evaluations (merit and performance) to reach a global view of the publications quality.
Keywords
Methodology for periodicals evaluation; Brazilian scientific periodicals.
Rosaly Favero Krzyzanowski
Diretora do Departamento Técnico do Sistema Integrado de Bibliotecas da
Universidade de São Paulo - SIBi/USP
Maria Cecília Gonzaga Ferreira
Bibliotecária
Roteiro para análise de mérito das revistas científicas
1. Analisar cada título relacionado na listagem, classificando-o segundo o seu grau de relevância perante a área e a sub-área a que pertence.
1.1 Todos os títulos deverão ser classificados segundo sua importância maior ou menor dentro da área. Dessa forma, cada área terá o seu núcleo de revistas prioritárias, importantes e de importância relativa, conforme conceituação abaixo.
1.2 Para definição do grau de relevância de cada título, deverá ser levado em consideração:
1.2.1 Qualidade da publicação
qualidade dos artigos (nível científico: originalidade; atualidade; identificação com a orientação temática da revista; percentual de artigos originais).
qualidade do corpo editorial e dos consultores (participação de membros da comunidade nacional e estrangeira).
critérios de arbitragem dos textos (comparando-os aos adotados nas publicações nacionais e internacionais de maior prestígio na área).
1.2.2 Natureza do órgão publicador
os periódicos devem ser editados de preferência por instituição de ensino, pesquisa e sociedade científica.
1.2.3 Abrangência
quanto à origem dos trabalhos (abertura da revista): nível institucional, estadual, nacional e internacional.
quanto à difusão da revista (alcance da distribuição proposta em função do público a ser atingido): nível institucional, estadual, nacional e internacional.
1.2.4 Indexação
quanto maior o número de bases de dados nacionais e internacionais em que figurar a revista, maior será a sua valorização de qualidade, produtividade e, inclusa, sua difusão indireta.
1.2.5 Avaliação global: comparação com outras revistas da área (tradição, regularidade e importância relativa na área)
1.3 Poderá ocorrer a ausência de algum título na listagem. Caso seja título relevante, indicá-lo, independentemente de não estar relacionado.
Revistas prioritárias: revistas consideradas de alta relevância para a área ou sub-área, portadoras de todas as características especificadas no item 1.2.
Revistas importantes: revistas consideradas relevantes para a área ou sub-área, portadoras de grande parte das características definidas no item 1.2.
Revistas de importância relativa: revistas consideradas de interesse, porém, não essenciais para a área ou sub-área, portadoras de algumas características definidas no item 1.2.
Revistas não relevantes: revistas consideradas sem importância relativa na área ou sub-área, além de não possuírem as características definidas no item 1.2.
Área: Engenharias
Sub-Área: Engenharia (Geral)
ISSN
Relevância
0103-7757
( )
( )
( )
0100-7246
( )
( )
( )
0101-5001
São Paulo, Associação Bras. Ensino
de Engenharia, 1981-
( )
( )
( )
Sub-Área: Engenharia Biomédica
0102-2644
Rio de Janeiro, Sociedade Bras. de Engenharia Biomédica, 1983-
( )
( )
( )
Sub-Área: Engenharia Civil
0010-6631
São Paulo, Pini Ltda., 1948-
( )
( )
( )
-
Rio de Janeiro, Editora Estrutura Ltda., 1957-
( )
( )
( )
0102-2652
Rio de Janeiro, Assoc. Bras. Hidrologia e Rec. Hídr., 1983-
( )
( )
( )
0102-2695
Rio de Janeiro, Assoc. Bras. de Pontes e Estrutura, 1983-
( )
( )
( )
02
01
02
01
01
01
01
01
02
01
02
01
03
02
02
04
02
01
01
01
00
01
02
03
04
05
05
03
01
01
03
05
03
04
02
02
02
01
01
02
01
02
01
01
01
01
02
01
02
01
02
01
03
02
02
04
02
01
01
01
00
01
02
03
04
05
05
03
01
01
03
05
05
03
02
02
02
01
01
-
1KRZYZANOWSKI, R.F. et al. Programa de apoio às revistas científicas para a FAPESP. Ci. Inf., Brasília, v. 20, n. 2, p. 137-50, jul./dez. 1991.
-
2ARENDS, L. Las revistas medicas venezolanas: evaluación de sua calidad. Acta Cient. Venezolana, v. 19, p.148-51, 1968.
-
3GRUPO DE TRABAJO PARA LA SELECIÓN DE REVISTAS CIENTÍFICAS LATINO-AMERICANAS, 1964, Rio Pedras, Puerto Rico. Montevideo: Centro de Cooperación Científica de la UNESCO para la América Latina, 1964.
-
4BRAGA, G.M, OBHERHOFER, A. Diretrizes para a avaliação de periódicos científicos e técnicos brasileiros. Rev. Lat. , n. 1, p. 27-31, ene./jun. 1982.
-
5CASTRO, R.C.F., FERREIRA, M.C.G. Periódicos latino-americanos: avaliação das características formais e sua relação com a qualidade científica. Ci. Inf., Brasília, v. 25, n. 3, p. 357-67, set./dez. 1996.
ANEXO 1
Anexo 2
Datas de Publicação
-
Publicação nesta coleção
20 Out 1998 -
Data do Fascículo
1998
