Acessibilidade / Reportar erro

Comentários sobre as Avaliações Realizadas pelas Comissões CAPES/ ANPEPP para avaliação dos Periódicos da Área de Psicologia

EM DEBATE

Comentários sobre as Avaliações Realizadas pelas Comissões CAPES/ ANPEPP para avaliação dos Perióicos da Área de Psicologia

Ana Maria Loffredo; Helena Maria Sampaio Bicalho; Maria Inês Assumpção Fernandes; Niélsy Helena Puglia Bergamasco

Comissão Executiva - Psicologia USP1 1 Agradecemos a Érico Bruno Viana Campos, mestrando do Instituto de Psicologia da Universidade de São Paulo, pela colaboração na coleta de dados e na confecção dos gráficos.

Foi com espanto que recebemos as duas últimas avaliações de Psicologia USP (Nacional C), que, segundo nosso critério, tem respondido com excelência aos componentes fundamentais que devem orientar um processo de avaliação.

Também verificamos que, infelizmente, as reflexões presentes no debate sobre a questão da endogenia, efetuado no IX Encontro Nacional da ABEC (Associação Brasileira de Editores Científicos), realizado em Caxambu, em novembro de 2003, não tiveram repercussão nos parâmetros norteadores da última avaliação, que continuaram os mesmos em relação à anterior, embora estivessem presentes no evento membros da Comissão de Avaliação.

Entendemos que a avaliação de periódicos científicos deve oferecer subsídios para o aprimoramento dos vários itens implicados nas produções editoriais, que, em seu conjunto, convergem para o objetivo principal de estimular e garantir a qualidade da produção acadêmica e a agilidade de sua circulação.

Na área da Psicologia, esse trabalho produziu um instrumento de medida que tem sido utilizado para a adequação dos periódicos brasileiros a um certo perfil, cujos delineamentos pretendem promover a valorização, a indexação em bases de dados e a disseminação das publicações.

A revista Psicologia USP reconhece o empenho das Comissões de Avaliação dos periódicos da área, no sentido de dimensionar o aperfeiçoamento das gestões editoriais a partir da análise da qualidade e circulação das revistas, instrumentalizando-as, desta forma, para o exercício da atenção aos vários aspectos que qualificam uma publicação.

Nesse contexto, a Comissão Executiva de Psicologia USP solicitou, em maio de 2004, esclarecimentos da Comissão Conjunta de Avaliação CAPES/ANPEPP2 2 Profs. Anna Carolina Lo Bianco (Universidade Federal do Rio de Janeiro); Marco Aurélio Máximo Prado (Universidade Federal de Minas Gerais); Maria Juracy Filgueiras Toneli (Universidade Federal de Santa Catarina); Oswaldo Hajime Yamamoto (Universidade Federal do Rio Grande do Norte); Paulo Rogério Meira Menandro (Universidade Federal do Espírito Santo); Sílvia Helena Koller (Universidade Federal do Rio Grande do Sul) , em relação às questões apresentadas no texto que se segue.3 3 Este texto reproduz, na íntegra, o documento enviado para a Comissão, acrescido de quatro notas de rodapé, sobre as quais informaremos o leitor. É nosso objetivo, ao publicar o material enviado para essa Comissão, contribuir para o debate, que se faz necessário, envolvendo a avaliação dos periódicos da área da Psicologia. Também queremos esclarecer os leitores e os autores que nos honram com suas contribuições, em relação às avaliações recebidas pela revista.

O texto consta de quatro tópicos e de oito anexos. Inicialmente, é apresentado um panorama geral das avaliações recebidas por Psicologia USP; em seguida, a análise da terceira avaliação, realizada em 2003, demonstra como a drástica mudança ocorrida nos pesos dos critérios produziu graves deficiências no instrumento de medida; na terceira parte, o exame do relatório da Comissão CAPES/ANPEPP, de abril de 2004, permitiu observar que não foram seguidos os mesmos referenciais para todos os periódicos e que há incorreções em algumas avaliações, sendo que Psicologia USP deveria ter sido classificada como Nacional B, e não como Nacional C; finalmente, enfatizamos a dupla perspectiva do texto: assinalar insuficiências nas avaliações de Psicologia USP e levantar questões relativas aos processos de avaliação dos periódicos da área.

I. Pontuações recebidas por Psicologia USP nas quatro etapas de avaliação realizadas pelas Comissões CAPES / ANPEPP para Avaliação dos Periódicos da Área de Psicologia

Na primeira avaliação, realizada em 1999, na qual foram avaliados os números referentes aos anos de 1997 e 1998, a revista recebeu a classificação Nacional A, tendo passado para Nacional B na segunda avaliação, realizada no ano 2000, relativa aos números de 1999 e 2000.

A Comissão Executiva de Psicologia USP, consciente da queda dos pontos da revista na segunda avaliação e acreditando na proposta da Comissão de Avaliação de adequar e valorizar os periódicos da área, pautou-se pelos critérios apresentados na "Ficha de Avaliação CAPES/ANPEPP", nos itens em que havia perdido nota e nos quais era necessário um aprimoramento.

O Quadro 14 4 Na quarta Avaliação foi divulgada, apenas, a classificação final das revistas. Como não tivemos acesso aos escores por item, efetuamos estas pontuações seguindo os critérios explicitados pela Comissão. permite observar os resultados desse esforço, desde que houve um aumento significativo, da segunda para a terceira avaliação, no escore qualidade (passou de 59 para 82 pontos) e no escore circulação (passou de 13 para 43 pontos). Ou seja, a revista ficou muito melhor, tomando como referência ela própria, em relação à avaliação anterior.


Entretanto, para nosso espanto, quando da pulgação oficial do resultado final da terceira "Avaliação dos Periódicos Científicos Brasileiros em Psicologia", em junho de 2003, quase um ano após a realização da Avaliação, a revista aparece classificada com "C" em qualidade, no âmbito nacional (veja Anexos 1 ANEXO 1 e 2 ANEXO 2 ).

Finalmente, na quarta avaliação, realizada em abril de 2004, referente aos números de 2002 e 2003, Psicologia USP subiu de 82 para 86 no escore qualidade e de 43 para 46 no escore circulação, mas foi mantida sua classificação "C" (veja Anexos 3 ANEXO 3 e 4 ANEXO 4 ).

II. Observações referentes à terceira Avaliação (junho de 2003)

Ano Base de Avaliação: 2001

1. Após análise criteriosa dos resultados finais da terceira avaliação, notamos que houve uma drástica mudança nos pesos dos critérios. Não só a porcentagem da categoria "Autoria e Conteúdo" passou de 20% para 40% em relação à pontuação final, como a menor nota obtida em uma categoria passou a definir a classificação da revista.

Nas quatro categorias selecionadas para a classificação dos periódicos (Circulação, Gestão Editorial, Total de Pontos e Autoria), a revista Psicologia USP recebeu a classificação "A" em três itens (Circulação - 12 pontos, pontuação máxima; Gestão Editorial – 20 pontos, pontuação máxima; Total de Pontos: 82 pontos de um total de 100) e a classificação "C" no item Autoria (25 pontos de um total de 40). Ou seja, somente esta última categoria determinou a classificação final de nossa revista, como se pode observar no Quadro 2.5 5 ANPEPP. "Tabela 1 - Valores Determinados para cada Item e Respectiva Classificação dos Periódicos, de acordo com a Classificação de Âmbito (Nacional/Local) e Qualidade (A, B, C)." (Disponível em: < http://www.anpepp.org.br/index-aval.htm>. Data de acesso: 13 maio de 2004).


Ficamos perplexos diante dessa situação, pois não fomos informados que os pesos dos critérios iriam mudar radicalmente.

Estranha aritmética, segundo a qual a partir de 3 notas A e 1 nota C, obtém-se uma nota final C! Além disso, um periódico que receber C! em todas as categorias deve ser classificado, também, como Nacional C, o que só reforça a estranheza do critério.

Fica evidente que o instrumento de medida deve ser questionado, pois não está medindo variações importantes dos itens a que se propõe examinar, isto é, sua unidade de medida não está discriminando o que deveria discriminar, de modo adequado. Sob este ponto de vista, pode-se considerar que o instrumento criado para a avaliação teve uma queda de qualidade da segunda para a terceira Avaliação.

Por exemplo, uma revista que teve 61 pontos no escore Qualidade Total atingiu a classificação Nacional C; Psicologia USP atingiu 21 pontos a mais e recebeu a mesma classificação.

A análise das classificações de outras revistas, apresentadas na Tabela 4 do Site da ANPEPP6 6 Associação Nacional de Pesquisa e Pós-Graduação em Psicologia. Avaliação 2001: Escores - Ano base 2001 - Tabela 4: Escores totais e por item obtidos por cada periódico científico brasileiro nacional em Psicologia. Disponível em: < http://www.anpepp.org.br/index-aval.htm>. Data de acesso: 13 de maio de 2004. (veja Anexo 2 ANEXO 2 ), permite-nos constatar alguns pontos discrepantes:

a) Uma revista obteve dois A, um B e um C no critério Autoria, recebendo 25 pontos (a mesma pontuação de Psicologia USP) e foi classificada como "Nacional B", mas deveria ser "Nacional C"; uma outra revista recebeu três A e um C no critério Autoria, no qual obteve 27 pontos e sua classificação foi "Nacional B", embora a classificação correta deveria ser "Nacional C", se a tabela fosse seguida de modo rigoroso (veja Anexo 2 ANEXO 2 ). É razoável supor que a opção para classificá-la como "B" se deve à proximidade com a pontuação para este item (28). O problema não está nesta decisão, mas na falta de explicitação por parte da Comissão do intervalo de flexibilidade dos pontos de corte para a classificação final.

b) Em contrapartida, uma revista que recebeu 82 pontos em Qualidade Total (a mesma pontuação de Psicologia USP), 10 pontos em circulação, 13 pontos em Gestão Editorial e 36 pontos em Autoria, ou seja, trêsclassificações A e uma C, ficou classificada como "Nacional C", prevalecendo a nota C do critério Gestão Editorial, que tem peso menor que autoria (veja Anexo 2 ANEXO 2 ). Interessa observar que os 13 pontos em Gestão Editorial situam-se exatamente entre as pontuações para B e C, e como a revista obteve a pontuação máxima numa categoria supervalorizada (Autoria), a opção poderia ter sido classificá-la como "B". Nesse caso, valem os comentários feitos anteriormente, relativos aos pontos de corte e à deficiência do instrumento de medida para medir nuances importantes.

Diante dos dois exemplos citados anteriormente, fica a questão: a que se deve essa discrepância de critérios para avaliação das revistas?

2. Finalmente, importa analisar o critério "Autoria e Conteúdo", desde que ele foi decisivo para classificar Psicologia USP como "Nacional C".

Este item corresponde a 40% da pontuação final e, deste total, 30% referem-se à procedência geográfica do autor nacional (passando para 37,5% com a inclusão de autores estrangeiros).

No item autoria nacional, a maior pontuação (12 pontos) só é obtida se houver um mínimo de 75% de artigos/ensaios originais de duas ou mais UFs (que não a UF de origem do periódico). Ou seja, cada revista só pode ter, no máximo, 25% de artigos de autores do estado a que pertence.

É possível obter uma pontuação 50% mais baixa (8 pontos), se houver entre 50% e 74% de artigos de autores de duas ou mais UFs (desde que não seja a UF de origem da revista). Isto é, a partir de 51% de artigos de autores do estado de origem da revista, a pontuação é zero (num total de 12 pontos).

Para um critério que ocupa 40% do total de pontos, a mensuração do item não é gradual, como seria adequado, destacando uma observação já feita anteriormente: o instrumento de medida carece de uma melhor calibragem.

Psicologia USP obteve pontuação máxima em todos os critérios e em todos os itens do critério "Autoria e Conteúdo", exceto nos itens autoria nacional e estrangeira desta categoria, de modo que é no endereço dos autores que se recorta o espaço específico determinante de sua classificação "Nacional C".

Além disso, em contraponto à porcentagem mínima exigida para se obter a pontuação máxima (75% de autores nacionais de outras UFs que não a UF de origem da revista), proposta pela Comissão de Avaliação, situa-se, por exemplo, o modelo para Avaliação de Periódicos Científicos e Técnicos Brasileiros, desenvolvido por Krzyzanowski e Ferreira (1998, p. 175). No item "Colaboração de Autores", estas autoras tomam como referência a porcentagem de 10% de artigos de autores de várias instituições do país e de 10% de artigos de autores estrangeiros e/ou em colaboração, como suficientes para a pontuação máxima do item.

O que está subjacente à pontuação desse item é, evidentemente, a perspectiva de estimular intercâmbios no âmbito nacional e, especialmente, o princípio (salutar) de que a endogenia seja evitada pelas gestões editoriais. Não há como discordar deste propósito.

Nesse caso, é crucial que se defina endogenia, pois sua aferição por meio da procedência geográfica do autor é um critério que simplifica uma questão difícil, pois atende apenas a um eventual componente de um fenômeno muito complexo, a partir de uma abordagem redutora.

Sabemos que, no meio acadêmico, as intrincadas redes de conexões intra e interinstitucionais - envolvendo grupos de pesquisa, interesses afins entre profissionais, filiações teórico-metodológicas, núcleos de trabalho de orientadores, seus mestrandos e doutorandos, bem como mestres e doutores a eles vinculados etc - deixam evidente que as fronteiras geográficas, tomadas como referência autônoma, são um parâmetro inadequado para se abordar a questão da endogenia.

Essa temática foi objeto de debate no IX Encontro Brasileiro de Editores Científicos (ABEC), realizado em 2003, tendo ocupado um lugar proeminente no grupo de discussão das Ciências Humanas. Entretanto, as reflexões produzidas nesse evento não foram consideradas, pois a Comissão de Avaliação manteve os mesmos critérios para as revistas que foram avaliadas na quarta avaliação, que nortearam a avaliação anterior.

A deficiência do instrumento de medida pode ser observada, também, nas porcentagens das classificações "A", "B" e "C" (no âmbito Nacional), nas duas últimas avaliações.

Na terceira avaliação, foram classificadas 34 revistas no âmbito Nacional, sendo 14 A (41,18%), 5 B (14,71%) e 15 C (44,12%). Na quarta avaliação (abril de 2004), foram classificadas 41 revistas no âmbito Nacional, sendo 19 A (46,34%), 5 B (12,20%) e 17 C (41,46%). A concentração de classificações "A" e "C" e a baixa porcentagem de classificações "B" deixam evidente que não estão sendo medidas gradações na faixa intermediária de rendimento das revistas, como se pode observar, a seguir, na Figura 1.


Podemos concluir que, infelizmente, as mudanças efetuadas na Ficha de Avaliação, da segunda para a terceira Avaliação, não levaram a um aperfeiçoamento do instrumento de medida, como supomos que era o objetivo da Comissão. Nesse caso, continuam válidos os comentários de Sampaio e Sabadini, efetuados em 2000:

O instrumento necessita de aprimoramento, tanto em relação a alguns critérios, quanto ao sistema de pesos atribuídos. Acreditamos que um reestudo do formulário poderá levar à produção de um ranking mais condizente com a realidade das publicações periódicas nacionais. (Avaliação dos periódicos brasileiros em psicologia, 2000, p. 473)

3. Se considerarmos a distribuição dos cursos de graduação e de pós-graduação em Psicologia pelas regiões e estados do país, certos assinalamentos são fundamentais, quando o prisma da geografia é utilizado em um item tão importante como este.

Os cursos de graduação concentram-se na região Sudeste (51,84%) e Sul (24,49%) e, nos programas de pós-graduação, a diferença da região Sudeste (65,57 %) é ainda maior em relação ao segundo colocado no ranking, que é a região Nordeste (13,11%), como se pode observar, a seguir, nas Figuras 2 e 3.



O estado de São Paulo ocupa uma posição peculiar tanto em relação à graduação quanto à pós-graduação, como se vê nas Figuras 4 e 5.



A porcentagem de cursos de graduação no estado de São Paulo (28,57%) é maior que o dobro do segundo no ranking (MG, 10,61%).

Na distribuição dos cursos de pós-graduação, São Paulo responde por 40,98% dos cursos do país, seguido pelo Rio de Janeiro (19,67%) e Rio Grande do Sul (8,20%). Em média, os outros 11 estados contribuem com 2,83% da pós-graduação do país. Além disso, concentram-se na Universidade de São Paulo 56% dos cursos de pós-graduação do estado, como mostra a Figura 6.


Os dados pertinentes à pós-graduação, de especial relevância para esta análise, explicitam que a produção acadêmica do estado de São Paulo deve ser maior que a da maioria dos outros estados (como podemos observar, abaixo, nas Figuras 7 e 8), estando mais perto do segundo no ranking, em relação ao qual, mesmo assim, apresenta pouco mais que o dobro dos cursos de pós-graduação. Mesmo que, obviamente, estes dados não sejam garantia de qualidade, estamos trabalhando com o referencial quantitativo, que está norteando o processo de avaliação da categoria que nos interessa analisar.



Não demora muito para perceber que a exigência de, no máximo, 25% de artigos de autores do estado ao qual pertence o periódico, como condição para se obter a maior pontuação, pode significar (embora não necessariamente) um prejuízo para os periódicos dos estado de São Paulo, embora não o seja (até muito pelo contrário) para os periódicos da grande maioria dos outros estados.7 7 Essa exigência também discrimina os autores do estado de São Paulo, no sentido de obrigá-los a se afastarem dos periódicos paulistas. (Esclarecemos que esta nota, bem como as duas subseqüentes, não constavam do texto original)

Mesmo que se considere que há uma pontuação para até 50% de artigos do estado de origem, este critério ainda é insuficiente para abordar a produção paulista, pois, como já foi comentado, a mensuração não está se adequando às gradações.8 8 O Dossiê Wilhem Reich, que fez parte do último número de Psicologia USP (volume 14, número 2, 2003), exemplifica com clareza a deficiência desse critério. O levantamento da produção nacional de dissertações e teses relacionadas ao pensamento reichiano, até o ano de 2001, efetuado por Matthiesen (2001), permite-nos observar o seguinte: de 11 Mestrados e 7 Doutorados, 10 Mestrados e 5 Doutorados foram defendidos no estado de São Paulo (respectivamente 90,9% e 71.4%). Ou seja, de um total de 18 trabalhos, 13 foram defendidos nesse estado (83.3%). Portanto, é muito provável que haja, prioritariamente, artigos provenientes do estado de São Paulo, em um número da revista dedicado ao pensamento de Reich. Isto de fato ocorreu e a porcentagem dos autores paulistas ultrapassou 50%, ou seja, no item "Autoria Nacional", esse número da revista obteve nota zero (0).

Esperamos ter deixado claro que a homogeneização da porcentagem para todos os estados, sem considerar as discrepâncias de produção acadêmica entre eles, além de um eventual prejuízo para periódicos de certos estados, revela uma falha significativa em uma parte do processo de avaliação, com conseqüências relevantes para a classificação final dos periódicos.9 9 Também deve ser assinalado que o apoio da Fundação de Amparo à Pesquisa do Estado de São Paulo (FAPESP) para a publicação de periódicos é proporcional à contribuição dos pesquisadores do Estado de São Paulo (grifo nosso). Disponível em: < http://www.fapesp.br/materia.php?data[id_materia]=333>. Data de acesso: 8.10.2004.

III - Observações referentes ao relatório da reunião da Comissão Conjunta CAPES / ANPEPP para Avaliação dos Periódicos da Área de Psicologia (Abril de 2004)

Ano Base de Avaliação: 2002/2003

Na quarta Avaliação, realizada em abril de 2004 e pulgada no início de maio no Site da ANPEPP10 10 Reunião de Avaliação - Abr./2004 - Relatório da Reunião da Comissão Conjunta CAPES / ANPEPP para Avaliação dos Periódicos da Área da Psicologia (Abril de 2004). Disponível em: < http://www.anpepp.org.br/index-aval.htm>. Data de acesso: 13 maio de 2004. , Psicologia USP recebeu novamente a classificação "Nacional C" (veja Anexo 3 ANEXO 3 ).

Diante da nova avaliação e frente às questões formuladas anteriormente, a Comissão Executiva fez uma análise criteriosa dos fatores que levaram a revista a manter a classificação "Nacional C", como também observou o desempenho de algumas revistas, que foram avaliadas ou dispensadas da Avaliação pela Comissão, no critério "Autoria e Conteúdo". Finalmente, consultou a SciELO (Scientific Electronic Library On Line), para observar os índices de citações, acessos e o fator de impacto das revistas da área indexadas nesta Biblioteca Eletrônica.

Apresentamos, a seguir, os procedimentos efetuados na realização deste processo.

1. O primeiro passo foi fazer a avaliação dos três últimos números publicados da Revista, de acordo com a "Ficha de Avaliação CAPES / ANPEPP", de 2001, a partir dos critérios propostos na terceira avaliação (veja Anexo 4 ANEXO 4 ).11 11 Na quarta Avaliação foi pulgada, apenas, a classificação final das revistas. Como não tivemos acesso aos escores por item, efetuamos estas pontuações seguindo os critérios explicitados pela Comissão. Verificamos o seguinte:

Item 1: Normalização - a revista manteve a nota da terceira avaliação.

Item 2: Publicação - aumentamos um ponto no item proposta de periodicidade, pois a revista passou a ser quadrimestral, no início de 2003.

Item 3: Circulação - a revista manteve a nota da terceira avaliação.

Item 4: Autoria e Conteúdo - pontuamos o item Autoria estrangeira, pois a revista publicou um artigo de autoria internacional em cada número avaliado. Entendemos que a indicação "no período", presente na Ficha de Avaliação, compreende o conjunto dos fascículos avaliados.

Item 5: Gestão Editorial - a revista manteve a nota da terceira avaliação, já que manteve o mesmo desempenho da avaliação anterior.

O preenchimento da "Tabela 1" (ANPEPP)12 12 "Tabela 1 - Valores Determinados para cada Item e Respectiva Classificação dos Periódicos, de acordo com a Classificação de Âmbito (Nacional/Local) e Qualidade (A, B, C)." (Disponível em: < http://www.anpepp.org.br/index-aval.htm>. Data de acesso: 13 maio de 2004). com os dados apresentados anteriormente nos permite observar que obtivemos "A" em três itens (Circulação, Gestão Editorial e Total de Pontos) e "B" em um item (Autoria e Conteúdo). Portanto, podemos concluir que a classificação da revista Psicologia USP, na quarta Avaliação, deve ser Nacional B.

2. Na segunda etapa, analisamos 10 títulos de revistas que, por terem sido classificadas como Nacional A na terceira Avaliação, foram dispensadas da quarta Avaliação, com a manutenção de sua nota anterior. Foi possível observar que, entre elas, há duas revistas que, caso tivessem sido avaliadas, teriam sido classificadas como "Nacional C" ou "Nacional B" (já que, em autoria nacional, aproximam-se de 50%, o que significa que teriam perdido pontuação no critério "Autoria e Conteúdo").13 13 Se houver interesse por parte da Comissão de Avaliação, poderemos enviar as Fichas de Avaliação referentes aos periódicos analisados.

Acreditamos que as revistas não tenham perdido "qualidade", muito pelo contrário; o que queremos destacar é que o instrumento de avaliação precisa ser reformulado.

Nesse sentido, devem ser questionadas as observações da Comissão Conjunta de Avaliação CAPES/ANPEPP14 14 Reunião de Avaliação - Abr./2004 - Relatório da Reunião da Comissão Conjunta CAPES / ANPEPP para Avaliação dos Periódicos da Área da Psicologia (Abril de 2004). Disponível em: < http://www.anpepp.org.br/index-aval.htm>. Data de acesso: 13 maio de 2004. , que reproduziremos a seguir, desde que elas explicitam um processo de Avaliação que não seguiu os mesmos referenciais para todos os periódicos:

1) Foram utilizados os mesmos critérios aplicados na avaliação anterior; 2) Nenhum periódico teve sua classificação rebaixada, uma vez que o objetivo do processo de atualização da avaliação ficou limitado ao reconhecimento do esforço daquelas publicações que implementaram medidas de gestão editorial que resultaram em substancial melhoria de circulação e de qualidade; 3) Periódicos com conceito Nacional A ou Internacional A não foram reavaliados, mantendo-se a avaliação anterior; 4) Foram considerados em atraso: a) periódicos semestrais que ainda não tivessem publicados o primeiro número de 2003; b) periódicos quadrimestrais e trimestrais que ainda não tivessem publicado os dois primeiros números de 2003 (...).

Além disso, a primeira observação é invalidada pelo argumento presente na segunda e pela decisão envolvida na terceira.

3. O terceiro passo foi verificar o índice de citações (Anexos 5 ANEXO 5 e 6 ANEXO 6 ), as consultas (Anexo 7 ANEXO 7 ) e o fator de impacto (Anexo 8 ANEXO 8 ) da revista Psicologia USP na SciELO15 15 Scientific Electronic Library On Line. Disponível em: < http://www.scielo.br>. Acesso em: 13 de maio de 2004. , comparando-a com outras revistas indexadas na base.

A SciElo conta, atualmente, com 123 títulos de periódicos científicos e, apesar de indexar somente seis títulos na área de Psicologia, a base nos fornece alguns dados que permitem avaliar a importância relativa de uma determinada revista em relação a outras do mesmo campo.

Lembremos que, para a SciELO16 16 Scientific Electronic Library On Line. Disponível em: < http://www.scielo.br>. Acesso em: 13 de maio de 2004. , o índice de fator de impacto de um periódico é decisivo para sua permanência na base:

O indicador de impacto de cada título de periódico, medido com base nas citações que o periódico recebeu, deve ser avaliado em conjunto com os títulos de periódicos da mesma área. O aumento no fator de impacto ou a sua estabilização no valor médio dos periódicos da mesma área são considerados resultados de desempenho positivo e, portanto, garantia de permanência do título na coleção SciELO.

Trzesniak (2001), ressaltando a complexidade de uma publicação, salienta a importância das citações:

(...) A qualidade (...) deve ser medida pelo mercado e pela produção. A qualidade de mercado está relacionada aos índices de aceitação do periódico, à quantidade de vezes em que é citado e o acesso às citações. A qualidade de produção diz respeito à forma, às normas observadas na apresentação da publicação.

Embora este critério não tenha sido utilizado pela Comissão de Avaliação em nenhuma das etapas de avaliação, desde que apenas seis periódicos da área estão indexados nesta base, entendemos que é relevante situar a revista Psicologia USP, do ponto de vista de seu fator de impacto.

De acordo com levantamento efetuado na SciELO, foi possível observar que os números de Psicologia USP apresentam um padrão regular de citações, cujo total situa a revista numa posição intermediária nesta Coleção Eletrônica. Relacionamos, abaixo, o número de citações que cada revista da área de Psicologia recebeu das revistas indexadas na SciELO (veja mais informações nos Anexos 6 ANEXO 6 e 7 ANEXO 7 ).

IV. Considerações Finais

Esperamos que as questões formuladas no decorrer desse texto sejam recebidas tendo como perspectiva sua dupla motivação: esclarecer demandas específicas relativas à Psicologia USP e, principalmente, oferecer uma contribuição concreta ao debate em torno dos princípios que devem nortear a construção e aprimoramento de instrumentos para a avaliação dos periódicos da área de Psicologia.

Referências

Associação Nacional de Pesquisa e Pós-Graduação em Psicologia - ANPEPP. Avaliação de revistas. Disponível em: <http://www.anpepp.org.br>. Data de acesso: 13 de maio de 2004.

Avaliação dos periódicos brasileiros em psicologia [Especial]. (2000). Estudos de Psicologia, Universidade Federal do Rio Grande do Norte, Natal, 5(2), 471-487.

Fundação de Amparo à Pesquisa do Estado de São Paulo (FAPESP). Manual de auxílio à publicação. Disponível em: <fttp://www.fapesp.br/>. Data de acesso: 8 de outubro de 2004.

Krzyzanowski, R. F., & Ferreira, M. C. G. (1998). Avaliação de periódicos científicos e técnicos brasileiros. Ciência da Informação, 27(2), 165-175.

Mattiesem, S.Q. (2001). A educação em Wilhelm Reich: da psicanálise à pedagogia econômico-sexual. Tese de doutorado, Faculdade de Filosofia e Ciências, Universidade Estadual Paulista "Julio de Mesquita Filho", Marília, SP.

Ministério da Educação (MEC) / Instituto Nacional de Estudos e Pesquisas Educacionais (INEP). Disponível em: <http://www.mec.gov.br>. Data de acesso: março de 2004.

Scientific Electronic Library On Line - SciELO. Uso do site - Citações de revistas. Disponível em: <http://www.scielo.br>. Data de acesso em: 13 de maio de 2004.

Trzesniak, P. (2001). Relatos de experiências: periódicos científicos em áreas afins. Trabalho apresentado no XVI Encontro Nacional da ANPOLL, Porto Alegre, RS, 03 a 05 de julho de 2001. Disponível em: <http://www.ufrgs.br/iletras/anpoll/anterior.htm>. Data de acesso: 19 de maio de 2004.

Endereço para correspondência

Instituto de Psicologia da USP

Revista "Psicologia USP"

Av. Prof. Lúcio Martins Rodrigues

Travessa 4, 399 - Bloco 23

CEP: 05508-900 - São Paulo, SP

Endereço eletrônico: revpsico@edu.usp.br

FICHA DE AVALIAÇÃO CAPES / ANPEPP

(PERÍODO 2001)

Psicologia USP

Avaliação dos Periódicos Científicos Brasileiros em Psicologia

Avaliação 2001

Escores - ano base 2001

Tabela 4: Escores totais e por item obtidos por cada periódico científico brasileiro nacional em Psicologia

Tabela 5: Escores totais e por item obtidos por cada periódico científico brasileiro local em Psicologia

Disponível em: <http://www.anpepp.org.br/index-aval.htm>

RELATÓRIO DA REUNIÃO DA COMISSÃO CONJUNTA CAPES / ANPEPP PARA AVALIAÇÃO DOS PERIÓDICOS DA ÁREA DE PSICOLOGIA

(Abril de 2004)

Disponível em: http://www.anpepp.org.br/

RELATÓRIO DA REUNIÃO DA COMISSÃO CONJUNTA CAPES / ANPEPP PARA AVALIAÇÃO DOS PERIÓDICOS DA ÁREA DE PSICOLOGIA (Abril de 2004)

Reunião realizada nos dias 29 e 30 de abril de 2004, na Biblioteca do Instituto de Psicologia da Universidade de São Paulo (IPUSP)

O trabalho da comissão envolveu avaliação de periódicos que ainda não haviam sido avaliados e reavaliação de alguns periódicos que já haviam sido avaliados anteriormente. Para clareza da informação a planilha em anexo registra a avaliação anterior na primeira coluna e a nova classificação do periódico na segunda coluna. Essa classificação atualizada é que será utilizada para a avaliação da produção de artigos científicos dos Programas de Pós-Graduação no triênio 2001-2003. Estão incluídos apenas periódicos que foram mencionados nos relatórios anuais dos 44 Programas de Pós-Graduação em funcionamento na área, e que são reconhecidos pela Capes.

É importante observar que:

1) Foram utilizados os mesmos critérios aplicados na avaliação anterior.

2) Nenhum periódico teve sua classificação rebaixada, uma vez que o objetivo do processo de atualização da avaliação ficou limitado ao reconhecimento do esforço daquelas publicações que implementaram medidas de gestão editorial que resultaram em substancial melhoria de circulação e de qualidade.

3) Periódicos com conceito Nacional A ou Internacional A não foram reavaliados, mantendo-se a avaliação anterior.

4) Alguns periódicos classificados como Nacional A ou B, ou ainda como Local A, B ou C, também não foram reavaliados por estarem com suas edições atrasadas, mantendo-se a avaliação anterior.

5) Foram considerados em atraso: a) periódicos semestrais que ainda não tivessem publicados o primeiro número de 2003; b) periódicos quadrimestrais e trimestrais que ainda não tivessem publicado os dois primeiros números de 2003.

6) A reunião foi realizada na Biblioteca do IPUSP pelo fato dela reunir todos os periódicos listados no Index-Psi. Lembramos aos editores da importância de enviar regularmente exemplares de cada edição dos periódicos para a referida Biblioteca.

Periódicos que não foram avaliados ou reavaliados ainda podem enviar os números de 2003, até o dia 07 de maio (data de recebimento e não de postagem), para Paulo Menandro, no seguinte endereço:

Rua Constante Sodré, 869, Aptº 201

Praia do Canto – Vitória, ES – 29055-420

Comentários, sugestões e outras informações são bem-vindos e devem ser enviados para Anna Carolina Lo Bianco no endereço eletrônico: aclobianco@uol.com.br

Participaram da reunião os professores Anna Carolina Lo Bianco (UFRJ), Marco Aurélio Máximo Prado (UFMG), Maria Juracy Filgueiras Toneli (UFSC), Oswaldo Hajime Yamamoto (UFRN), Paulo Rogério Meira Menandro (UFES), e Sílvia Helena Koller (UFRGS).

Os avaliadores agradecem a colaboração do bibliotecário André Serradas, do IPUSP e BVS-Psicologia, no levantamento de informações preparatórias para o trabalho da comissão.

FICHA DE AVALIAÇÃO CAPES / ANPEPP

[PERÍODO 2002-2003]

Psicologia USP

Avaliação realizada pela Comissão Executiva da revista Psicologia USP

Informações retiradas da SciELO

Disponíveis em: http://www.scielo.br

Data de acesso em: 13 de maio de 2004

RESUMOS

CITAÇÕES RECEBIDAS DAS REVISTAS INDEXADAS NA SciELO

Citações recebidas em todos os anos por artigos das revistas da área de Psicologia publicadas em todos os anos

Área Psicologia = 6 títulos

Informações retiradas da SciELO

Disponíveis em: http://www.scielo.br

Data de acesso em: 13 de maio de 2004

CITAÇÕES RECEBIDAS DAS REVISTAS INDEXADAS NA SciELO 20 20 Fonte: SciELO (Scientific Electronic Library On Line). Disponível em: < http://www.scielo.br>. Acesso em: 13 de maio de 2004.

Citações recebidas em todos os anos por artigos das revistas da área de Psicologia publicadas em todos os anos

Informações retiradas da SciELO

Disponíveis em: http://www.scielo.br

Data de acesso em: 13 de maio de 2004

Informações retiradas da SciELO

Disponíveis em: http://www.scielo.br

Data de acesso em: 13 de maio de 2004

ANEXO 1 

ANEXO 2 

ANEXO 3 

ANEXO 4 

ANEXO 5 

ANEXO 6 

ANEXO 7 

ANEXO 8 

  • 1
    Agradecemos a Érico Bruno Viana Campos, mestrando do Instituto de Psicologia da Universidade de São Paulo, pela colaboração na coleta de dados e na confecção dos gráficos.
  • 2
    Profs. Anna Carolina Lo Bianco (Universidade Federal do Rio de Janeiro); Marco Aurélio Máximo Prado (Universidade Federal de Minas Gerais); Maria Juracy Filgueiras Toneli (Universidade Federal de Santa Catarina); Oswaldo Hajime Yamamoto (Universidade Federal do Rio Grande do Norte); Paulo Rogério Meira Menandro (Universidade Federal do Espírito Santo); Sílvia Helena Koller (Universidade Federal do Rio Grande do Sul)
  • 3
    Este texto reproduz, na íntegra, o documento enviado para a Comissão, acrescido de quatro notas de rodapé, sobre as quais informaremos o leitor.
  • 4
    Na quarta Avaliação foi divulgada, apenas, a classificação final das revistas. Como não tivemos acesso aos escores por item, efetuamos estas pontuações seguindo os critérios explicitados pela Comissão.
  • 5
    ANPEPP. "Tabela 1 - Valores Determinados para cada Item e Respectiva Classificação dos Periódicos, de acordo com a Classificação de Âmbito (Nacional/Local) e Qualidade (A, B, C)." (Disponível em: <
    http://www.anpepp.org.br/index-aval.htm>. Data de acesso: 13 maio de 2004).
  • 6
    Associação Nacional de Pesquisa e Pós-Graduação em Psicologia.
    Avaliação 2001: Escores - Ano base 2001 - Tabela 4: Escores totais e por item obtidos por cada
    periódico científico brasileiro nacional em Psicologia. Disponível em: <
    http://www.anpepp.org.br/index-aval.htm>. Data de acesso: 13 de maio de 2004.
  • 7
    Essa exigência também discrimina os autores do estado de São Paulo, no sentido de obrigá-los a se afastarem dos periódicos paulistas. (Esclarecemos que esta nota, bem como as duas subseqüentes, não constavam do texto original)
  • 8
    O Dossiê Wilhem Reich, que fez parte do último número de
    Psicologia USP (volume 14, número 2, 2003), exemplifica com clareza a deficiência desse critério. O levantamento da produção nacional de dissertações e teses relacionadas ao pensamento reichiano, até o ano de 2001, efetuado por Matthiesen (2001), permite-nos observar o seguinte: de 11 Mestrados e 7 Doutorados, 10 Mestrados e 5 Doutorados foram defendidos no estado de São Paulo (respectivamente 90,9% e 71.4%). Ou seja, de um total de 18 trabalhos, 13 foram defendidos nesse estado (83.3%). Portanto, é muito provável que haja, prioritariamente, artigos provenientes do estado de São Paulo, em um número da revista dedicado ao pensamento de Reich. Isto de fato ocorreu e a porcentagem dos autores paulistas ultrapassou 50%, ou seja, no item "Autoria Nacional", esse número da revista obteve nota zero (0).
  • 9
    Também deve ser assinalado que o apoio da Fundação de Amparo à Pesquisa do Estado de São Paulo (FAPESP) para a publicação de periódicos é
    proporcional à contribuição dos pesquisadores do Estado de São Paulo (grifo nosso). Disponível em: <
  • 10
    Reunião de Avaliação - Abr./2004 - Relatório da Reunião da Comissão Conjunta CAPES / ANPEPP para Avaliação dos Periódicos da Área da Psicologia (Abril de 2004). Disponível em: <
    http://www.anpepp.org.br/index-aval.htm>. Data de acesso: 13 maio de 2004.
  • 11
    Na quarta Avaliação foi pulgada, apenas, a classificação final das revistas. Como não tivemos acesso aos escores por item, efetuamos estas pontuações seguindo os critérios explicitados pela Comissão.
  • 12
    "Tabela 1 - Valores Determinados para cada Item e Respectiva Classificação dos Periódicos, de acordo com a Classificação de Âmbito (Nacional/Local) e Qualidade (A, B, C)." (Disponível em: <
    http://www.anpepp.org.br/index-aval.htm>. Data de acesso: 13 maio de 2004).
  • 13
    Se houver interesse por parte da Comissão de Avaliação, poderemos enviar as Fichas de Avaliação referentes aos periódicos analisados.
  • 14
    Reunião de Avaliação - Abr./2004 - Relatório da Reunião da Comissão Conjunta CAPES / ANPEPP para Avaliação dos Periódicos da Área da Psicologia (Abril de 2004). Disponível em: <
    http://www.anpepp.org.br/index-aval.htm>. Data de acesso: 13 maio de 2004.
  • 15
    Scientific Electronic Library On Line. Disponível em: <
    http://www.scielo.br>. Acesso em: 13 de maio de 2004.
  • 16
    Scientific Electronic Library On Line. Disponível em: <
    http://www.scielo.br>. Acesso em: 13 de maio de 2004.
  • 17
    Não foram identificados critérios de classificação dos periódicos na categoria "Internacional", em nenhuma das fontes consultadas. (Esclarecemos que esta informação não faz parte do documento original).
  • 18
    Fonte: SciELO (Scientific Electronic Library On Line). Disponível em: <
    http://www.scielo.br>. Acesso em: 13 de maio de 2004.
  • 19
    Citações recebidas em todos os anos por artigos das revistas indexadas na SciELO.
  • 20
    Fonte: SciELO (Scientific Electronic Library On Line). Disponível em: <
    http://www.scielo.br>. Acesso em: 13 de maio de 2004.
  • 21
    Fonte: SciELO (Scientific Electronic Library On Line). Disponível em: <
    http://www.scielo.br>. Acesso em: 13 de maio de 2004.
  • 22
    Inclui números de acessos em: home page, sumários, artigos e outros.
  • 23
    Fonte: SciELO (Scientific Electronic Library On Line). Disponível em: <
    http://www.scielo.br>. Acesso em: 13 de maio de 2004.
  • 2004

    24 (artigos publicados em: 2003/02/01);
    2003 (artigos publicados em: 2002/01/00);
    2002 (artigos publicados em: 2001/00/99);
    2001 (artigos publicados em: 2000/99/98);
    2000 (artigos publicados em: 1999/98/97).
  • Datas de Publicação

    • Publicação nesta coleção
      05 Maio 2005
    • Data do Fascículo
      2003
    Instituto de Psicologia da Universidade de São Paulo Av. Prof. Mello Moraes, 1721 - Bloco A, sala 202, Cidade Universitária Armando de Salles Oliveira, 05508-900 São Paulo SP - Brazil - São Paulo - SP - Brazil
    E-mail: revpsico@usp.br