Perfil, avaliação e metas de produção intelectual dos Programas de Pós-Graduação em Psicologia

Profile, evaluation and intellectual production goals of Graduate Programs in Psychology

Perfil, avaliação e metas de produção intelectual dos Programas de pós-graduação em Psicologia

Profile, evaluation and intellectual production goals of graduate programs in Psychology

Claudio Simon Hutz^I; Marisa Lopes da Rocha^II; Mary Jane Paris Spink^III; Paulo Rogério Meira Menandro^IV

^IUniversidade Federal do Rio Grande do Sul

^IIUniversidade do Estado do Rio de Janeiro

^IIIPontifícia Universidade Católica de São Paulo

^IVUniversidade Federal do Espírito Santo

^{Endereço para correspondência}

Resumo

Este trabalho apresenta e discute diferentes aspectos da realidade da Pós-Graduação brasileira, relevantes para a discussão de sua produção intelectual. Também são descritas e discutidas as estratégias adotadas para a avaliação dessa produção.

Palavras-chave: Pós-Graduação em Psicologia; Psicologia no Brasil; Avaliação da Produção Científica; Avaliação da Pós-Graduação

Abstract

The present paper presents and discusses different aspects of the reality of the Brazilian graduate programs in psychology that are relevant for the discussion of their intellectual production. The strategies adopted to evaluate such production are also described and analyzed.

Keywords: Graduate Program in Psychology; Psychology in Brazil; Evaluation of Scientific Production; Evaluation of Graduate Program.

Esclarecimentos e Questões Preliminares

No presente texto pretende-se sinalizar pontos que foram considerados interessantes para a discussão da produção intelectual dos Programas de Pós-Graduação em Psicologia e da avaliação de tal produção. Não houve preocupação de apresentar propostas ou moções, mas sim a de registrar indagações. Entende-se que eventuais propostas poderão resultar de discussões que o texto venha a suscitar. Acrescenta-se que a possibilidade de fixar metas em relação à produção dos Programas não constitui empreendimento simples. Buscou-se apenas indicar trajetos vislumbrados como capazes de conduzir ao aperfeiçoamento na quantidade e na qualidade da produção na área, o que talvez já configure metas.

A produção publicada decorrente dos estudos e pesquisas desenvolvidos no âmbito dos Programas de Pós-Graduação não representa toda a produção da área no país. Embora não se tenha informação sobre o percentual que representa a produção gerada a partir da Pós-Graduação em relação à produção total, o exame das publicações da área permite estimar que a participação da Pós-Graduação (não apenas o que é produto direto das atividades dos cursos, mas também aquilo que decorre dos desdobramentos das pesquisas e da formação que resultaram desses cursos) é absolutamente majoritária.

Vale ressaltar ainda que também pode ser contabilizada produção passível de ser enquadrada como pertinente à área, parte da produção da Pós-Graduação em áreas afins. Há Programas de várias outras áreas que mantém linhas de pesquisa atinentes ou tangenciais à Psicologia e têm em seus quadros pesquisadores da área.

Outro ponto a destacar refere-se ao próprio termo produção publicada. Já foi mais simples lidar com o conceito de publicação. A idéia de que texto publicado é aquele que foi tornado édito por ter sido impresso em veículo ou editora autorizados já não se sustenta. Novas formas de tornar textos ou imagens disponíveis são cada vez mais comuns, inclusive incorporando possibilidades de interação impensáveis até pouco tempo atrás. Hoje, as próprias teses e dissertações de muitos Programas estão disponíveis na íntegra para acesso on line. Alguns usam a palavra publicizar como alternativa à palavra publicar, considerada gasta, mas seu uso não está respaldado pela comunidade que poderia fazê-lo.

Este preâmbulo procurou caracterizar a produção com a qual estamos lidando. Trata-se da produção relatada anualmente pelos Programas de Pós-Graduação que estão abrigados na área "Psicologia" na Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES). Nos relatórios, essa produção aparece em dois campos: (a) Produção Intelectual; (b) Teses e Dissertações.

A Produção Intelectual comporta três modalidades: (a) Produção Bibliográfica: Livros, Capítulos, Organização de Livros, Artigos em Periódicos, Trabalhos completos publicados em Anais de Eventos, Trabalhos completos publicados em periódicos ou em Anais de Eventos, Resenhas, Notas técnicas, Traduções, Prefácios, Verbetes, Artigos de Divulgação, Partitura Musical. (b) Produção Técnica: Serviços técnicos; Apresentação de Trabalho; Cartas, Mapas ou similares; Curso de curta duração; Desenvolvimento de Aplicativo; Desenvolvimento de Material Didático ou Instrucional; Desenvolvimento de Produto; Desenvolvimento de Técnica; Editoria; Manutenção de Obra Artística; Maquete; Organização de Evento; Programa de Rádio ou TV; Relatório de Pesquisa. (c) Produção Artística (até o presente considerada sem interesse para a área).

Apresentada tal caracterização é importante destacar que a avaliação da área, há vários triênios, vem considerando que os itens de produção mais relevantes para a avaliação são (em ordem alfabética): Artigos (ponderação a partir do Qualis); Capítulos (ponderação a partir do Qualis); Livros (ponderação a partir do Qualis); Teses e dissertações; Trabalhos completos em anais de eventos (peso muito pequeno).

Os demais itens são considerados de forma acessória, globalmente, sem merecer qualquer forma de cômputo item a item.

Isso significa que a avaliação da produção intelectual vale-se até aqui de uma tipologia de produção que respondeu bem às necessidades da área (bibliográfica e técnica). Nos últimos triênios a diversificação no âmbito de cada tipo expandiu-se, e alguns subtipos ganharam proeminência, como, por exemplo: produções audiovisuais; livros eletrônicos; artigos em portais que utilizam avaliação por pares sem ter compromisso com periodicidade; softwares; manuais universitários produzidos a partir da realidade brasileira com potencial de competição com os manuais traduzidos. Ainda que esse ponto, por enquanto, não afete a área de forma expressiva, ele precisa ser sinalizado como demandante de reflexão que não deve tardar.

É possível sugerir algumas das questões que requerem discussão e decisão em curto ou médio prazo:

Que produtos devem efetivamente ser levados em consideração na avaliação?

Como estabelecer pesos diferenciados?

É possível ou desejável trabalhar com perfis para algumas áreas da Psicologia?

Nos últimos três triênios (1998/2000; 2001/2003; 2004/2006) a realidade da produção dos Programas revelada pelos relatórios pode ser apresentada como se segue (os dados são provenientes do último relatório da avaliação trienal da área):

Deve ficar entendido que esses números consideram todas as publicações relatadas pelo Programa, inclusive algumas nas quais não consta qualquer docente como co-autor, partindo do princípio de que se trata de produção originada no Programa e que, de alguma forma, foi beneficiada com a formação e a orientação proporcionada pelos docentes. É evidente que tal tipo de produção, que tem peso importante para alguns Programas, também precisa ser discutido, considerando que aí o papel gerador dos Programas não se revela com indiscutível nitidez.

Tais dados revelam que nos últimos nove anos cada docente permanente dos Programas de Pós-Graduação da área produziu, em média, 13,23 artigos, 8,79 capítulos, 1,2 livros com texto integral, organizou 0,72 coletâneas, além de 5,16 trabalhos completos publicados em anais de eventos. É certo que tais números não espelham a realidade da maior parte dos docentes (são médias, muito afetadas pelos indivíduos com produtividade extremamente alta), mas fornece um retrato da realidade da área que enseja reflexões.

Como se vê, a produção de livros e capítulos é parte significativa da produção da área, mas os artigos representam o tipo de produção mais incidente. Assim, a maior parte da produção pode ser considerada, grosso modo, como constituída por publicações arbitradas. Tal realidade dá à área feição um pouco distinta das demais que integram a Grande Área de Ciências Humanas, nas quais o equilíbrio entre artigos e livros/capítulos é maior, ocorrendo até mesmo predominância destes itens sobre aqueles.

Mesmo com a valorização dos livros e capítulos, o crescimento percentual de artigos, entre os dois últimos triênios, é maior do que o de livros com texto integral e o de capítulos. Provavelmente, a elevação da qualidade dos periódicos brasileiros e a internacionalização crescente da produção da área têm papel importante em tal quadro.

Apresentadas as informações necessárias para caracterizar quantitativamente a produção dos Programas de Pós-Graduação em Psicologia, passa-se aos demais temas relevantes para a discussão que o texto tem como objetivo fomentar.

Diversidades Relativas à Produção da Área

Uma marca da área da Psicologia, devidamente espelhada na pós-graduação, é a diversidade temática, teórica, metodológica e política. Como não poderia deixar de ser, isso se traduz em perfis diferenciados de produção conforme a subárea considerada. Pelas dificuldades envolvidas na obtenção de dados que permitissem identificar tais perfis de forma a incorporar séries históricas de dados, e não apenas flagrar um momento isolado, essa diversidade não é considerada como parâmetro balizador na avaliação da produção dos Programas da área.

É possível que existam diferenças regulares entre subáreas quanto à proporção publicações no Brasil x publicações no exterior, ou quanto à proporção de artigos x livros/capítulos, por exemplo. É também possível que existam diferenças regulares no volume da produção determinadas por exigências distintas para cada subárea: tempo necessário para se obter dados válidos, dificuldades de acesso às condições ou contextos indispensáveis à obtenção dos dados, recursos exigidos, modalidades de análise de dados que implicam diferentes velocidades de preparação e processamento. Por outro lado, vale a indagação, é possível atestar que levar em conta os diferentes perfis traria benefícios seguros para a avaliação, considerando que a maior parte dos Programas tem características multi-áreas? Valeria a pena tentar produzir um perfil genérico para cursos amplos e alguns perfis específicos para cursos altamente focados?

Embora tenha ocorrido aumento de publicações de pesquisadores brasileiros em periódicos editados fora do país, o volume de publicações desse tipo ainda é muito modesto na área. Dos 49 Programas avaliados em 2007, e que funcionaram durante todo o triênio 2004/2006, 39 (ou seja, 79,6%) relataram que menos de 20% dos artigos que produziram foram publicados em periódicos estrangeiros (nem sempre bem avaliados, acrescente-se). Apenas 6 Programas (12,6%) relataram percentual superior a 30% de artigos em periódicos estrangeiros. Esses seis Programas, todos, funcionam com linhas de pesquisa relacionadas aos processos psicológicos e psicobiológicos básicos, revelando forte associação entre estas subáreas e internacionalização da produção.

O aumento da visibilidade internacional da produção científica brasileira em Psicologia é desejável, mas exige ações apropriadas para ser concretizado, não sendo o bastante aguardar que ocorra apenas em decorrência do esforço interno de cada Programa. Além do incremento dos Programas de Cooperação Internacional e das bolsas de estágios no exterior durante o Doutorado, a Direção da CAPES tem acenado com a possibilidade de colaboração concreta na produção de periódico referência na área em língua inglesa. Existem exemplos de iniciativas bem sucedidas, como a realizada na então União Soviética, na qual foi criado um periódico em língua inglesa que apresentava uma seleção de artigos publicados nas revistas soviéticas. Na realidade atual, seria possível pensar em uma edição anual, eletrônica, volumosa. Não é um empreendimento simples, uma vez que pressupõe uma instituição responsável pela seleção dos artigos, além do custo das traduções. Uma alternativa, talvez mais democrática, embora bastante dispendiosa, seria uma linha de financiamento para que periódicos bem qualificados pudessem bancar edições eletrônicas em língua estrangeira. A discussão dessas alternativas de ação interessa à área? Vale lembrar que em diversas áreas da ciência brasileira existem periódicos nacionais publicados na íntegra em língua estrangeira (em verdade, sempre em inglês).

A disponibilidade de periódicos brasileiros não é equivalente em todas as subáreas, como se pode ver no conjunto de 70 periódicos brasileiros da área classificados no sistema Qualis em 2007, mas a característica predominante de periódico generalista da maior parte deles, associada ao fato de que exatamente esses são os que publicam a maior quantidade de artigos por fascículo, contribui para que nenhuma área fique em condição muito desprivilegiada. A perspectiva psicanalítica mostra-se muito bem aquinhoada, lembrando que todos os periódicos generalistas também acolhem textos produzidos sob tal perspectiva (Tabela 2).

A maior parte dos periódicos, em sua linha editorial, explicita ter característica generalista, aceitando contribuições de todos os campos da Psicologia e de todas as vertentes teóricas que a compõem. Diferentemente do que ocorre em outras áreas da ciência brasileira (e também do que ocorre em outros países), a quantidade de periódicos editados por sociedades científicas de âmbito nacional é muito pequena. É alta a concentração de periódicos editados por instituições de ensino superior (IES), e o reflexo de tal configuração na avaliação dos Programas e da produção individual de pesquisadores não é desprezível. Esta é, portanto, mais uma questão trazida à discussão.

O assunto mencionado traz consigo a delicada questão dos pareceres, tanto no caso dos periódicos como na avaliação de projetos apresentados à agência de fomentos. Editores e membros de Comitês não têm conhecimento para decidir a respeito de toda e qualquer demanda sem apoio de especialistas. A diversidade que a área comporta acrescenta complicações a tal quadro. Os docentes pesquisadores recebem um volume de solicitações de pareceres cada vez maior. Bolsistas de produtividade, por exemplo, estão obrigados a formularem pareceres para o Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq) e a partir de agora também para a CAPES, além das solicitações de outras agências e dos periódicos.

Como criar condições de inclusão de mais pareceristas no sistema, de forma a manter a avaliação por pares em funcionamento sem esgotar alguns indivíduos, buscando condições propícias para pareceres mais circunstanciados, produzidos com mais elementos que auxiliem a decisão final de comitês e editores? É provável que muitos autores de projetos e de artigos submetidos tenham sido prejudicados por pareceres sem substância, feitos com características que sugerem que o parecerista pretendia apenas livrar-se de uma obrigação com a maior rapidez possível. A área não dispõe de um banco nacional de pareceristas cujo uso poderia ser compartilhado por CAPES, CNPq, Fundações Estaduais de Pesquisa e editores.

Valeria à pena implantar um sistema a partir do qual agências e editores possam verificar quantos pareceres foram solicitados a uma pessoa nos últimos meses, de forma a limitarem as solicitações a algum teto acordado?

Poderia ser interessante produzir um texto com orientações para pareceristas ou com discussões sobre aspectos técnicos, formais e éticos que um parecer envolve? Se a resposta for sim para uma ou para ambas as questões acima, quem assumiria a responsabilidade por essa tarefa?

No último triênio, a área passou a considerar de forma diferenciada a produção em forma de livros e capítulos de livros. As produções dessas modalidades cuja qualidade (indiretamente aferida) revelou-se alta passaram a ser consideradas com peso maior. Especificamente em relação às coletâneas houve o ganho adicional de incentivo às produções que envolvem cooperação entre diferentes Programas.

É prudente que a área inicie a discussão sobre adoção de uma política em relação ao livro eletrônico, modalidade de presença crescente na realidade editorial do país. Assim como ocorreu com os periódicos, é possível que livros acadêmicos eletrônicos tornem-se predominantes em prazo médio. Voltando a um tema já mencionado: o livro eletrônico não pode ser um veículo adicional para a internacionalização brasileira, com edições bilíngües?

Teses e Dissertações constituem os produtos oficiais da atividade formativa da Pós-Graduação e são requisito indispensável à obtenção dos títulos. Ocupam espaço importante no modelo de avaliação da CAPES, embora não seja viável seu exame direto. Sua avaliação é feita com certa fragilidade, considerando indicadores externos de qualidade que são discutíveis (composição das bancas examinadoras, quantidade de dissertações e teses por docente orientador, concentração de orientação de dissertações e teses em alguns orientadores, tempo de conclusão, vinculação às linhas de pesquisa). Também tem sido levada em conta a relação entre volume de dissertações e teses e volume de publicações. Em alguns Programas o volume de dissertações e teses é muito superior ao de publicações, evidenciando que parte expressiva da produção não é submetida à publicação ou não é aprovada para tal finalidade. O volume de publicações decorrentes de dissertações e teses e a qualificação atribuída a tais publicações podem ser tomados como elementos suficientes para a avaliação desses trabalhos de conclusão dentro do processo da avaliação dos Programas?

Modalidades de trabalhos de conclusão que não se enquadram no modelo tradicional de dissertações e teses têm sido discutidas em várias áreas (e implementadas em algumas). As informações disponíveis mostram que na área de Psicologia o modelo tradicional de dissertações e teses prevalece largamente. Trabalhar com alternativas ao modelo tradicional é possibilidade que deve ser estimulada? É importante lembrar que a abertura a modalidades inovadoras de trabalhos de conclusão é uma das pedras de toque do conceito de Mestrado Profissional, conceito que ainda não foi discutido em todos os seus desdobramentos pela área.

Consultados sobre o formato de trabalhos de conclusão que aceitam, 37 Programas responderam. Aproximadamente metade dos Programas adota o formato tradicional das dissertações e teses, sem exigência de publicação ou pelo menos submissão de artigos. Quase todos os demais adotam o mesmo formato tradicional, mas exigem pelo menos um artigo publicado, ou submetido, relacionado à dissertação ou tese. Alguns poucos programas já permitem que dissertações e teses sejam elaboradas sob a forma de artigos.

Um exame não sistemático revelou que quase todos os Programas que exigem artigos estão com conceito 5 ou superior. Os Programas mais produtivos da área solicitam pelo menos um artigo para mestrado e dois para doutorado. Tal estratégia, portanto, parece ser eficiente para aumentar a produtividade dos egressos em muitos Programas e pode ser interessante recomendar que os programas estudem a possibilidade de adotá-la. Mesmo que em algumas instituições não seja possível substituir o modelo tradicional de dissertações e teses, certamente não haveria impedimento para a exigência de que pelo menos um artigo seja submetido para que se dê a homologação da defesa.

Existe outro curioso aspecto em que a diversidade da produção da área também se manifesta: a co-autoria. Na psicologia brasileira a questão da co-autoria entre docentes e discentes não obedece qualquer tradição ou regra. Existem subáreas ou Programas em que o orientador é sempre co-autor de produções discentes derivadas de sua orientação, existem casos opostos em que o orientador jamais figura como co-autor, e existem subáreas ou Programas em que o orientador às vezes é co-autor, outras não, refletindo preferências e acordos de natureza mais individual do que institucional. As concepções distintas podem definir diferentes perfis de Programas sob comparação, além de, em alguns casos, afetar fortemente a produção publicada individual, com reflexos prejudiciais em cotejos de produtividade entre áreas. Embora respeitando peculiaridades e tradições locais, seria importante uma recomendação formal da área sobre critérios de co-autoria envolvendo a participação do orientador de tal forma que alguns Programas possam rever práticas aparentemente idiossincráticas e que não são utilizadas em nenhum grande centro internacional?

Alguns Programas brasileiros desenvolveram normas e regras para lidar com a questão da co-autoria. O Conselho de Professores do Programa de Pós-Graduação em Psicologia do Desenvolvimento da Universidade Federal do Rio Grande do Sul (UFRGS), por exemplo, produziu em 2005 uma resolução específica sobre essa questão que poderia subsidiar uma discussão mais ampla sobre o assunto. Essa resolução, baseada em ampla literatura internacional a respeito de questões éticas envolvendo co-autorias está disponível em http://www.msmidia.com/pospsico/legislacao.asp.

Um aspecto adicional que também tem implicações relacionadas à diversidade da área é a da histórica desigualdade regional observada no país, que resulta em alta concentração de Programas de Pós-Graduação e de concessões de financiamento na região sudeste. No CNPq os financiamentos diretos via editais (Universal e de Ciências Humanas) garantem percentual de 30% para as regiões norte, nordeste e centro-oeste, evidenciando a preocupação com a redução do desequilíbrio. O mesmo se aplica para o CT-Infra (Fundo de Infra-Estrutura), na Financiadora de Estudos e Projetos (FINEP). Acrescente-se que os quatro estados da região sudeste têm fundações de apoio à pesquisa ativas.

Foram utilizados aqui dados sobre os bolsistas de produtividade em pesquisa da área da Psicologia com o objetivo de mostrar uma faceta da questão da distribuição regional, pressupondo que ela se apresenta no caso das bolsas de produtividade, de forma similar à verificada nos demais itens de financiamento (mesmo considerando que a concessão de bolsas de produtividade não está restringida por cotas regionais). Inicialmente, mostra-se que o percentual de docentes permanentes da pós-graduação na área que recebem bolsa de produtividade vem declinando ao longo dos últimos dez anos (Figura 1).

O percentual relativo a 2007 se traduz no seguinte número absoluto: cerca de 540 docentes permanentes da pós-graduação (em um universo de 760) não são bolsistas de produtividade. Como se vê, são números bastante expressivos.

Do ponto de vista da distribuição regional dos bolsistas de produtividade em pesquisa do CNPq o quadro assim se apresenta nos últimos dez anos (Figura 2).

Ainda é bastante grande a concentração de bolsas de produtividade de pesquisadores sediados no sudeste, mas é visível uma lenta redução percentual ao longo dos dez anos considerados, redução que corresponde a pequenos aumentos percentuais de bolsistas nas regiões norte, nordeste e sul. Há quase estabilidade (pequena redução no período todo) no percentual de bolsistas da região centro-oeste. O quadro geral acompanha a distribuição regional que se verifica quanto aos Programas da área.

Assim como as bolsas de produtividade, também as bolsas de mestrado e de doutorado são fundamentais para assegurar que os alunos possam se dedicar à formação pós-graduada em condições de poder contribuir de forma adequada para a produção dos Programas. Como o sistema de bolsas de estudo não é submetido a qualquer revisão substantiva há décadas, a distribuição vigente comporta distorções decorrentes do fato de que Programas que iniciaram seu funcionamento em determinadas épocas (coincidentes com maior disponibilidade de bolsas) foram contemplados com mais unidades em comparação com Programas implantados em outros momentos, e tal descompasso histórico nunca foi submetido a ajustes. O grande crescimento do sistema de pós-graduação do país não é acompanhado por taxa de crescimento equivalente no conjunto de bolsas de estudo. O resultado é uma distribuição injusta pois o número de bolsas não é proporcional ao número de alunos ou à avaliação do Programa.

Os Programas de Pós-Graduação da área são diversos quanto à natureza da instituição sede, do que resultam diferentes realidades de funcionamento. Uma das diferenças mais marcantes, que impacta a produção, é o recebimento de um número de alunos por docente-orientador bastante superior ao que se constata nas instituições públicas (algumas universidades definem o contrato docente com base no número de alunos em orientação). Receber mais alunos resulta, mesmo com taxas expressivas de desistências, em mais dissertações e teses defendidas, ainda que em nenhum caso esse maior volume de trabalhos de conclusão se traduza em volume proporcional de publicações. O tema abordado acima remete à questão das bolsas de estudo, a ser discutido, agora, considerando a natureza pública ou privada da instituição.

Sobre a Avaliação da Produção dos Programas

A área adotou, tanto na CAPES como no CNPq, o procedimento de fixar um teto de produção a ser considerado para efeito de avaliação. Atingido o limite (de média de itens de produção por docente permanente do Programa no triênio; de quantidade de itens de produção por docente no qüinqüênio, no caso do CNPq) os itens de produção excedentes são descartados, mantendo-se sempre, para efeito de avaliação, os itens de maior peso de acordo com a qualificação estabelecida pela área. A idéia é sinalizar que a publicação de trabalhos com maior densidade (em periódicos mais qualificados, em coletâneas que não sejam simples ajuntamentos, em livros bem cuidados) é estratégia que trará melhores resultados do que publicar muitas coisas fragmentadas de forma não criteriosa, apenas para aumentar o número de itens lançados no currículo. Com isso evita-se a desenfreada competição na qual a exigência é constantemente elevada, criando um contexto nada saudável. Ainda não é possível aferir se tal medida já produziu efeitos nos padrões de publicação dos pesquisadores. Em princípio, considera-se que tal procedimento deve ser mantido e seus resultados analisados.

O teto fixado pela Coordenação da Área na CAPES é superior à produção média da área, e não poderia ser diferente. Fixou-se o teto em 12 itens de publicação por docente do Programa no triênio (deve ficar esclarecido que não há qualquer impedimento de que alguns docentes ultrapassem tal teto, uma vez que se trabalha com dados médios considerando o conjunto de docentes do Programa). Uma constatação é preocupante: mantido o ritmo de crescimento verificado entre os triênios 2001/2003 e 2004/2006, o teto seria superado, como se pode constatar na simulação apresentada na Tabela 3.

Com cada docente apresentando, em média, 4 itens de produção por ano (perceba-se que não estão sendo considerados os trabalhos completos em anais de eventos), configura-se situação na qual o teto de 12 itens de produção no triênio será inferior à produção média da área. Esse crescimento potencial estimado reforça a idéia de que é realmente necessário estabelecer teto, mesmo que tal teto precise ser revisto, em algum momento, em função de evidências que a realidade da área venha a fornecer.

Embora não se conheçam dados que confirmem a manutenção da taxa de crescimento, existem fatores sugestivos de que a produção da área pode ser elevada no triênio em curso: (a) aumento do número de periódicos; (b) pressão sobre os Programas com muitas teses e dissertações que não vem resultando em publicação, o que deverá ser corrigido; (c) aumento das facilidades de publicação de livros; (d) crescimento do financiamento à pesquisa no país; (e) crescimento do número de Programas com Doutorado; (f) maior disponibilidade de financiamento para programas de cooperação de várias modalidades.

Uma questão relacionada ao crescimento da produção que merece ser abordada, ainda que pareça uma questão menor, é a do explosivo crescimento do item de produção "trabalhos completos publicados em anais de eventos" no último triênio, tendo ocorrido, em média, triplicação. Trata-se de um tipo de publicação que, na área, sequer é considerado terminal, não havendo qualquer restrição à republicação como artigo ou como capítulo.

Pergunta-se, então:

Esse tipo de publicação deveria continuar a ser considerado para efeitos da avaliação dos Programas, quando se conhece a inexistência de avaliação na maior parte dos eventos, assim como a facilidade atual de produzir anais eletrônicos que se caracterizam como simples arquivo de ajuntamento de textos?

Há razão para temer que o risco de que não considerar esse tipo de publicação no processo avaliativo possa desestimular a participação em congressos relevantes mesmo lembrando que os principais eventos nacionais e internacionais não publicam anais de textos completos?

Talvez a participação nos principais congressos nacionais e internacionais possa ser considerada, não pela quantidade, mas pela configuração que assume no Programa. Em outras palavras, o Programa ganharia em sua avaliação caso seus docentes participem com alguma regularidade dos principais eventos científicos da área desestimulando isolamento em relação à comunidade científica nacional e internacional.

Desde o início do funcionamento do Qualis existe a expectativa por parte da CAPES de que todas as áreas estabeleçam um Qualis de Eventos, o que as coordenações de área evitaram realizar até o presente momento. Seria interessante desenvolver um Qualis Congressos em área com tanta diversificação? É importante lembrar que um Qualis Congressos poderia contribuir para engessamento da agenda atual dos eventos no país, dificultando novas iniciativas.

Antes de passar ao próximo ponto é pertinente destacar que um tema que também tem ligação com a produção em Psicologia é o da qualidade das informações fornecidas nos relatórios Coleta e nos currículos Lattes. São muitos os problemas com os quais os avaliadores se defrontam ao realizarem avaliações, impondo-se a necessidade de expurgos e verificações. Caso seja promovida alguma comparação entre áreas, a Psicologia poderá ficar mal situada. Como garantir qualidade adequada das informações? O Aplicativo Coleta aberto permanentemente foi um avanço importante, mas sua estrutura pode sofrer simplificações que não afetariam a qualidade do processo avaliativo. O CNPq tem promovido auditorias na Plataforma Lattes, mas elas deveriam ser sistemáticas. Iniciativas de produção de instruções sobre como preencher o currículo Lattes são bem vindas e deveriam ser amplamente disponibilizadas.

A principal questão sempre renovada nos debates sobre a avaliação da produção dos Programas de Pós-Graduação da área de Psicologia é a da necessidade de não se fazer uma avaliação limitada aos indicadores indiretos de qualidade, predominantemente de natureza quantitativa, com o que, então, a quantidade de produtos acaba sendo privilegiada em detrimento da qualidade de cada um deles. A questão gera debate especialmente acirrado quando é vislumbrada a possibilidade de uso do índice "fator de impacto" - consagrado e bem absorvido em diversas outras áreas de conhecimento. A aferição de impacto como feita até aqui não apura citações em livros, mas apenas em artigos de determinado grupo de periódicos, e só essa informação é suficiente para mostrar sua fragilidade em áreas nas quais a publicação em livro tem peso substancial. A própria lógica pela qual um trabalho é citado não é a mesma em qualquer área (em algumas áreas só resultados são citados; em outras são citadas concepções e até mesmo trechos escritos com muita propriedade, de forma que não vale a pena parafrasear).

A cobrança de exame direto da qualidade de todos os itens de produção é pleito pouco razoável. No extremo, significa refazer avaliações a que as produções já foram submetidas (artigos, dissertações e teses), procedimento que, de resto, representaria desconfiança e duplicidade de esforço. Dizendo de outra forma, não há razão para supor que uma comissão designada pela CAPES faça melhor trabalho do que os membros de bancas de mestrado e doutorado, os pareceristas e editores de revistas, as comissões editoriais de livros, entre outros atores.

A opção tem sido eleger indicadores de desempenho que sintetizem a qualidade das diversificadas e complexas atividades, seja dos Programas, seja dos pesquisadores, com todos os riscos implicados. Tal opção ajusta-se confortavelmente ao fato de que as categorias de classificação em que a avaliação é expressa são comuns às diversas áreas de conhecimento. Convém ressaltar que essa perspectiva de comparabilidade entre áreas, intensamente buscada por muitos avaliadores, é mais do que discutível talvez seja inexeqüível.

No presente estágio em que se encontra a avaliação da Pós-Graduação na área, e nas condições em que ela se realiza, não há alternativas conhecidas que possam ser aplicadas de forma a alterar completamente a lógica de privilegiar volume de produção em articulação com indicadores indiretos de qualidade. Essa é mais uma questão que fica aberta à espera de sugestões.

Existem sugestões, entretanto, de agregação de novos indicadores ao modelo adotado e até mesmo de formas inovadoras de aferição de impacto. Algumas dessas formas já estão incorporadas ao processo avaliativo, embora marcadas por imprecisões e ambigüidades, como, por exemplo: o impacto social do Programa ou a distribuição e inserção dos egressos.

A última avaliação trienal incluiu como experiência a consideração de um quesito de avaliação denominado inserção social do Programa. Tal quesito está mantido para a próxima avaliação.

Como estipular indicadores relevantes de inserção social e de transferência de conhecimento para a sociedade, levando em conta a diversidade interna da área de Psicologia? Uma possibilidade a ser considerada, que diz respeito tanto à qualidade da produção como à inserção social, envolveria uma compreensão mais próxima a redes de colaboração, uma vez que estas servem como marcador da capacidade de agregar pesquisadores de diversas partes do país e de instituições internacionais. A pesquisa sobre redes sociais de pesquisa apresentada por Elaine Neiva e Ariane Corradi no Simpósio da Associação Nacional de Pesquisa e Pós-Graduação em Psicologia (ANPEPP) realizado em 2008 é um exemplo desta noção ampliada e refinada de grupo de pesquisa que busca dar visibilidade às redes de pesquisadores e assim gerar mapas que possibilitam analisar o desenvolvimento das várias áreas de conhecimento. A pesquisa teve por objetivo: (a) identificar as características estruturais, relacionais e posicionais das redes sociais de pesquisadores em Psicologia no Brasil; (b) identificar os conteúdos transacionais trocados entre os pesquisadores; e (c) apresentar possíveis sugestões de ações que fomentem atuação mais efetiva da rede social de pesquisadores como estratégia de desenvolvimento da Psicologia brasileira. Não se trata de propor que redes desse tipo sejam incorporadas como parâmetros de avaliação de Programas, mas seu acompanhamento, caso sejam revistas e atualizadas, pode servir para decisões gerenciais sobre investimentos visando o fortalecimento da área como um todo. O estudo foi mencionado como exemplo de uma metodologia que pode trazer contribuições importantes, sem que isso signifique que esteja sendo avalizado in totum, uma vez que suscitou diversos pontos controversos que precisariam ser discutidos.

Destaca-se ainda que a bibliografia adotada nos cursos de graduação da área e de áreas afins pode ser tomada como valiosa indicação de impacto (bibliométrico e social) da produção dos Programas de Pós-Graduação em Psicologia. Os programas das disciplinas dos cursos de graduação estão hoje disponíveis, pois constituem insumos para a avaliação que o Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira/Ministério da Educação (INEP/MEC) faz dos cursos de graduação. Referências em teses e dissertações também sinalizam indiretamente a qualidade e a atualidade dos textos citados, e como muitos deles são produtos dos Programas de Pós-Graduação, está aí mais um dado que poderia ser considerado. De acordo com essa mesma lógica, a bibliografia de concursos públicos na área de Ciências Humanas seria mais uma arena de avaliação de impacto, pouco explorada e extremamente rica, não mais no âmbito da formação de pesquisadores, mas das ressonâncias dos conhecimentos produzidos na esfera profissional. Todas as possibilidades mencionadas envolvem acesso a informações que não estão imediata e organizadamente disponíveis, mas trata-se de dificuldade que pode ser superada com a participação de algumas instituições às quais tais informações também interessam. Sobre as referências em teses e dissertações a Biblioteca do Instituto de Psicologia da Universidade de São Paulo (USP) está desenvolvendo experiência de grande interesse.

Sobre o assunto, em resumo, vale destacar as questões essenciais: Queremos levar em conta nas avaliações alguma forma de impacto? Como seria definido esse impacto? Como se avaliaria esse impacto, conforme tenha sido definido? Quem faria a avaliação?

Outra providência que pode ser útil é a de criar um campo no relatório para que o Programa saliente em que aspecto ele promove ações que o tornam inovador ou diferenciado no cenário regional, nacional ou internacional. No mínimo, seria constituído um interessante conjunto de informações disponível para estudos sobre a área.

Os produtos mais duradouros e mais sofisticados dos Programas são os Mestres e Doutores que titulam. O objetivo dos Programas de Pós-Graduação é formar quadros capacitados para a pesquisa, seja esta o foco principal da futura inserção profissional, ou elemento imprescindível para a docência. Sendo assim, seria grande equívoco deixar de analisar as trajetórias dos egressos. É interessante lembrar que a capacidade de nucleação dos Programas também está sendo considerada na avaliação, e isso exige informações sobre egressos. A área de Psicologia não dispõe de um mapa dos destinos dos titulados, nem mesmo no âmbito exclusivo do ensino superior (existem apenas algumas iniciativas isoladas). É viável que cada Programa acompanhe e analise a trajetória de seus egressos? A partir de qual data e por quanto tempo? O acompanhamento de egressos parece ser um problema sério a partir de informações fornecidas pelos Programas em resposta à consulta feita pelos autores do presente texto. Praticamente todos (são três exceções) fazem (ou planejam fazer) algum tipo de acompanhamento por um período que varia de 1 a 5 anos. Poucos Programas têm sistemáticas permanentes de acompanhamento. As formas de acompanhamento são variadas: (a) solicitação de que egressos visitem a página do Programa e forneçam informação a seu respeito; (b) solicitação via e-mail de que egressos preencham formulários sobre sua situação; (c) coleta de informações na Plataforma Lattes (estratégia da maioria dos Programas); (d) todas as formas possíveis (sic). Em resumo, hoje há grande diversidade de métodos de coleta de informação, por períodos muito variáveis. As estratégias adotadas não são confiáveis, sendo impossível, na situação atual, avaliar a qualidade das informações.

A situação profissional dos egressos, sem dúvida, é ponto muito importante, mas sua utilização em avaliação comparativa exige alguns cuidados. É preciso desenhar panoramas que permitam entender as diversidades regionais, além de considerar a inviabilidade de comparar, quanto a este quesito, Programas novos com aqueles que já estão consolidados há muitos anos.

Grande quantidade de indicadores é usada na avaliação; alguns desses indicadores são altamente correlacionados entre si; outros não apresentam níveis de discriminação adequados; outros ainda são problemáticos por várias razões. Há evidências disponíveis de que um pequeno número de indicadores é altamente preditivo do conceito que os Programas recebem. Não está na hora de simplificar a avaliação e sofisticar a análise dos itens? É razoável seguir solicitando mais e mais informações no relatório Coleta? O que realmente seria importante avaliar?

Talvez uma questão que mereça discussão seja a seguinte: por que existem Programas de Pós-Graduação? Quais produtos desses programas efetivamente interessam? As respostas a essas questões aparentemente simples podem orientar a seleção e a priorização de itens ou quesitos para a avaliação.

Recebido: 04/05/2010

Revisão: 14/07/2010

Aceite: 16/07/2010

Texto apresentado para discussão no Seminário "Horizontes da Pós-Graduação em Psicologia no Brasil", realizado em novembro de 2008.

• Conselho de Professores do Programa de Pós-Graduação em Psicologia do Desenvolvimento da Universidade Federal do Rio Grande do Sul. (2005). Resolução 006/2005. Normas de co-autoria Porto Alegre, RS: Autor. Retrieved from http://www.msmidia.com/pospsico/legislacao.asp
• Neiva, E., & Corradi, A. (2008). Sobre a pesquisa de redes sociais XII Simpósio de Pesquisa e Intercâmbio Científico em Psicologia: "Conhecimento em Psicologia no Brasil: Expansão e avaliação". Natal, RN: Associação Nacional de Pesquisa e Pós-Graduação em Psicologia. Retrieved from http://www.anpepp.org.br/projeto.asp

Datas de Publicação

• Publicação nesta coleção
  30 Set 2010
• Data do Fascículo
  2010