Monitoramento e avaliação da pós-graduação: algumas reflexões sobre requisitos e critérios

Monitoring and evaluating graduate courses: some thoughts about requirements and criteria

MONITORAMENTO E AVALIAÇÃO DA PÓS-GRADUAÇÃO: ALGUMAS REFLEXÕES SOBRE REQUISITOS E CRITÉRIOS¹

Ana M. A. Carvalho²

Instituto de Psicologia - USP

A partir dos resultados de um levantamento sobre os primeiros 25 anos de funcionamento do programa de pós-graduação em Psicologia Experimental do IPUSP (1974-1990), este trabalho discute algumas questões que emergiram como relevantes para a reflexão sobre o monitoramento e avaliação de cursos de pós-graduação. A identidade do curso é discutida em termos de temática, enfoque epistemológico e natureza da formação oferecida; a dinâmica do curso é abordada através da consideração da diversidade de fatores reguladores que a constituem, desde a disponibilidade de docentes, evolução de áreas de orientação e pesquisa, demanda de alunos e outros, que se refletem nos ciclos de produção do programa, objeto principal dos procedimentos vigentes de avaliação. É apontada a necessidade de auto-monitoramento do curso como instrumento para a validação ou o questionamento de avaliações externas, e sugerem-se alguns critérios de avaliação atualmente pouco contemplados, especialmente participação de alunos na produção científica do programa, avaliação do programa pelos alunos, e destino profissional dos titulados.

Descritores: Pós-graduação. Avaliação. Cursos. Formação de professores. Pesquisadores.

O trabalho no qual se baseia este texto examinou a evolução do programa de pós-graduação em Psicologia Experimental do IPUSP ao longo de seus primeiros 25 anos de funcionamento (1970-1994), tendo em vista três objetivos principais: documentar a história do programa; oferecer subsídios para decisões a respeito do programa por parte dos colegiados competentes; e elaborar um modelo para monitoramento periódico do programa. Para isso, foram realizadas entrevistas com docentes, questionários para alunos e ex-alunos e levantamento de dados de arquivo sobre produção científica e produção de dissertações/teses. Para fins de análise da evolução temporal, o programa foi subdividido em quatro fases: Implantação (1970-1973); Expansão Inicial (1974-1985); Expansão Secundária (1986-1990) e Situação atual (1991-1994), utilizando como critério principal o ingresso de orientadores (Carvalho, 1999b).

Entre os resultados produzidos por esse trabalho, privilegiamos neste artigo aqueles que nos pareceram ter implicações mais significativas sobre a questão da avaliação dos programas de pós-graduação, e que serão abordados aqui em três tópicos interrelacionados: a identidade do programa, sua dinâmica, e condições de monitoramento e avaliação. Embora os dados se refiram a um programa em particular, acreditamos que as reflexões decorrentes possam aplicar-se a outros programas dentro da Psicologia ou mesmo em outras áreas.

A identidade do curso

O que define a identidade de um curso de pós-graduação? Ao longo da história da pós-graduação em nosso meio, esta questão muitas vezes foi alvo de controvérsias, tanto internas como entre este programa em particular e as agências externas de fomento e de avaliação, que em diversos momentos criticaram o curso com argumentos relativos a inconsistência temática ou de referencial teórico e excesso de diversificação com suposto prejuízo de especialização. Em nossa experiência, dependendo de contingências históricas varia o critério pelo qual se define a identidade de um curso: temática, abordagem teórica, interesse em determinada área de aplicação etc. Parece-nos que o aspecto fundamental é que haja flexibilidade por parte das agências de avaliação em relação a esses critérios, que tipicamente refletem a história de cada programa.

A título de exemplo, desde seu início, este programa nunca se caracterizou por homogeneidade temática. O próprio nome - Psicologia Experimental - indica antes uma homogeneidade em termos de postura epistemológica e de tradição histórica de pesquisa em Psicologia, definida principalmente pela opção por ciência empírica e experimental. De fato, as cinco áreas em que o programa veio a ser estruturado mantêm claras relações de origem com as disciplinas de graduação que coube ao Departamento de Psicologia Experimental ministrar a partir da criação do Instituto de Psicologia. A diversidade temática, originada da tradição da "Psicologia Experimental" - Aprendizagem, Motivação, Sensação, Percepção, Memória, Cognição, Comportamento Social - não privilegiou sujeitos ou processos psicológicos, e não se prendeu a distinções rígidas entre pesquisa básica e aplicada.

Esta condição resultou, principalmente nas primeiras fases, em uma formação geral em Psicologia dentro dessa orientação epistemológica. Conforme sua própria avaliação, os alunos formados nas duas primeiras fases, e mesmo em parte da Fase 3, não eram especialistas em sub-áreas da Psicologia Experimental, e sim portadores de uma cultura psicológica que incluía essas sub-áreas, ainda que sua orientação pessoal e experiência de pesquisa privilegiassem uma delas. Este tipo de formação foi favorecido pela exigência de um número elevado de disciplinas no formato original do curso. A ênfase dada às disciplinas, expressa no número de créditos exigidos - e na contingência resultante de exposição do aluno a diversas áreas, já que cada área isoladamente não oferecia mais do que uma fração dos créditos necessários - subentendia o pressuposto de que as disciplinas tivessem um papel fundamental na atualização e aperfeiçoamento da formação geral do aluno, preparando-o, fosse através de conteúdos ou de modelos, para o exercício docente em uma certa diversidade de tópicos; ao mesmo tempo, a ênfase em disciplinas de concentração com laboratório ou trabalho de campo, que sempre caracterizou este programa, envolvia uma estratégia de exposição do aluno a experiências de pesquisa em diversas áreas, complementares à formação teórica e preparatórias para sua imersão em uma área específica. Nas últimas fases, como veremos, há indícios de uma tendência diferente: com a redução de prazos de conclusão do curso e conseqüentemente da exposição a disciplinas, o programa parece estar se movendo na direção de formação de especialistas em sub-áreas.

Como avaliar a conveniência de uma formação geral versus uma formação especializada, ou da heterogeneidade versus a homogeneidade temática em um programa de pós-graduação? A nosso ver, há critérios distintos cuja aplicação requer a consideração tanto de fatores contextuais como das especificidades da dinâmica interna dos programas. No limite, a heterogeneidade temática pode representar incoerência ou descontinuidade na formação; no entanto, pode também representar abertura para novos temas e enfoques, desde que esteja escorada em uma postura epistemológica coerente. Por sua vez, a homogeneidade pode se refletir em uma produção mais rápida, mas também mais focalizada e menos inovadora.

A utilização desses diferentes critérios resulta em modelos diferentes a respeito do que deve ser um programa de ensino pós-graduado, afetados também pela identificação da vocação e da função social do programa. Os resultados deste trabalho evidenciaram que a vocação principal deste programa, ao longo dos primeiros 25 anos, foi a qualificação de docentes para o ensino superior: entre 198 ex-alunos cujo destino profissional foi identificado, 80% atuavam em ensino superior, majoritariamente em instituições públicas estaduais ou federais; este número inclui 75% dos mestres (excluídos 20% que cursavam o doutorado por ocasião da coleta de dados); 90% dos que cursaram apenas o doutorado no programa, e 100% dos que cursaram tanto o mestrado quanto o doutorado (Carvalho, 1999a). Uma vez que não é fácil pré-determinar áreas específicas de atuação desses docentes nas instituições de ensino a que se dirigiram, mesmo em casos em que havia vínculo anterior à titulação, a formação geral em pesquisa aparece como mais compatível com o atendimento dessa demanda do que a formação especializada por sub-área. De fato, em vários casos de ex-alunos docentes de universidades federais, com quem mantivemos contato posterior à titulação, houve exigência de flexibilidade nas áreas de atuação tanto na graduação como na pós-graduação devido às condições próprias de cada instituição; simetricamente, docentes formados em áreas muito especializadas, principalmente no exterior, não raro encontram dificuldades de adaptação às áreas de atuação disponíveis em suas instituições de origem.

Embora não tenhamos dados a respeito de outros programas, parece razoável supor que, nestes primeiros 25 anos de existência de programas de pós-graduação, a consequência principal tenha sido a qualificação de docentes para o ensino superior em todas as áreas. Essa não é, no entanto, a única possibilidade. Especialmente em áreas que têm potencial de aplicação, pode-se pensar em qualificação de pessoal para outras formas de atuação - por exemplo, no caso da Psicologia, para elaboração e assessoramento de projetos comunitários, de saúde pública, de educação básica ou complementar, de condições de trabalho e outros. Em qualquer dessas situações, a questão da formação geral versus especialização está em aberto, já que se trata de áreas novas em nosso meio, desprovidas de modelos de análise de formas de atuação, e portanto dependentes da iniciativa e criatividade dos profissionais.

Parece-me que as condições próprias da história da educação brasileira requerem uma análise cuidadosa de prioridades no ítem formação geral versus especialização. Os altos custos da alocação de alunos em cursos distantes de suas instituições e locais de origem dificultam a opção pelo modelo de especialização temática em diferentes centros de formação, comum em países desenvolvidos; da mesma forma, talvez não se justifiquem investimentos em formação no exterior, a não ser em casos excepcionais, à medida que a oferta de cursos pós-graduados aumenta em diversas regiões do país, em grande parte como resultado de programas pioneiros como o que foi analisado aqui.

Por outro lado, todas as pressões institucionais atuais parecem ser na direção inspirada por modelos de países de primeiro mundo: cursos rápidos, especialização e alta produção quantitativa. Como veremos no próximo ítem, no caso do curso analisado aqui há sinais evidentes dos efeitos desse tipo de pressão na tendência crescente à restrição temática e a menor exposição dos alunos individualmente à diversidade e à inovação, uma tendência cujos resultados só poderão ser avaliados a médio prazo.

Em termos de dinâmica interna do curso em questão, é interessante apontar que a diversificação original foi mantida e até expandida pela atuação de novos docentes formados pelo próprio programa, que constituem a maciça maioria do corpo docente. Este fato ilustra a flexibilidade possível dos resultados da endogenia, um tema que pede uma discussão mais detalhada. A endogenia também foi com freqüência alvo de crítica em relação ao programa por parte de agências de avaliação, com o argumento de que poderia reduzir a tendência a renovação e atualização do curso. No caso deste programa, no entanto, observa-se um efeito oposto. Alguns docentes formados em Análise Experimental do Comportamento desenvolveram novas temáticas (por exemplo, comportamento social) e/ou áreas com interesse em aplicação (por exemplo, modificação do comportamento); docentes formados em Bases Neurobiológicas do Comportamento orientaram-se para o estudo de outros sistemas sensoriais além da visão, especialmente em seres humanos (audição, olfato e gustação) e mais recentemente para áreas de aplicação (por exemplo, ergonomia); docentes formados em Comportamento Animal criaram e desenvolveram linhas de pesquisa em Etologia Humana, com interfaces temáticas com percepção/ cognição, desenvolvimento e comportamento social. Em todos os casos, preservou-se a característica definidora do programa: a perspectiva de ciência empírica e experimental em sentido amplo.

A nosso ver, este efeito decorreu principalmente de condições internas geradas pela história do Departamento de Psicologia Social e Experimental, origem dos atuais Departamentos de Psicologia Social e do Trabalho e Departamento de Psicologia Experimental. Esta história, documentada em parte na publicação Psicologia e Ciência no Brasil (Matos, 1998) evidencia a participação pioneira desse Departamento na construção de uma universidade democrática e renovada, em oposição à tradição autocrática das "cadeiras" e dos "catedráticos." Esta oposição perpetuou-se na liberdade concedida a novos docentes dos departamentos desdobrados na Reforma Universitária no sentido de definirem seus próprios interesses de pesquisa, ao invés de manterem-se vinculados à linha de pesquisa em que se formaram, definida pelo orientador.

O processo de diversificação de linhas de pesquisa tem início com certa freqüência a partir de projetos independentes, outra categoria que foi alvo freqüente de crítica por parte de agências externas com base no argumento da inconsistência temática. A história deste programa evidencia que, a depender da produtividade e do andamento desses projetos, pode configurar-se a conveniência de proposição de uma nova linha, que requer um mínimo de três projetos. Esse foi o caso da linha de pesquisa Ergonomia, que até 1994 era representada por projetos independentes. O projeto independente, portanto, não sinaliza necessariamente uma inconsistência temática em relação ao núcleo do programa: representa, antes, um espaço de expansão e inovação.

A diversificação de linhas de pesquisa, evidentemente, também envolve riscos, especialmente o de descaracterização do programa, especialmente pelo fato de não ser planejada ou controlada de cima para baixo, isto é, a partir dos colegiados que regulam o programa (Comissões de Pós-graduação do Instituto e da Universidade). Um certo grau de controle indireto é exercido através do processo de aprovação de novas disciplinas, que em geral apresentam relações estreitas com as linhas de pesquisa. O principal mecanismo de controle, no entanto, é a própria dinâmica dos projetos e das linhas de pesquisa: examinando-se sua descrição ao longo dos vários relatórios, verifica-se, principalmente na fase de expansão inicial (Fase 2), uma certa incidência de projetos desativados, o que indica a existência de um mecanismo de controle interno de qualidade e produtividade, exercido pelos próprios docentes responsáveis pelos projetos e pelos demais pesquisadores envolvidos (freqüentemente alunos). Não se observam, por outro lado, ocorrências de desativação de linhas de pesquisa, o que sugere que os mecanismos envolvidos na proposição de novas linhas sejam eficientes.

Pensamos, em síntese, que as controvérsias a respeito das questões de unidade / heterogeneidade de um programa freqüentemente expressam uma concepção limitada e pouco histórica a respeito do que constitui, de fato, a prática da educação em qualquer de seus níveis, que não é exclusivamente pré-determinada por decisões de indivíduos ou de grupos, e sim multi-determinada por fatores de diversos níveis, desde a conjuntura geral da educação no país, a composição particular e a história de cada grupo, os recursos disponíveis, a demanda de alunos, e n outros, cujos efeitos interagem e se transformam no decorrer do tempo, como argumentaremos no próximo ítem. Nessa perspectiva, um dos resultados que me parecem mais relevantes deste trabalho é a repetida constatação de que um curso é um sistema com uma dinâmica complexa, cujos produtos devem ser avaliados a partir de um referencial que considere essa dinâmica - inclusive seus aspectos temporais, seus ritmos e ciclos e seus mecanismos auto-reguladores.

A dinâmica do curso

A descrição em separado da produção de dissertações e teses nas cinco áreas que constituem o programa de pós-graduação em Psicologia Experimental do IPUSP evidenciou a importância da consideração das especificidades de cada área em sua análise e avaliação, bem como na análise do programa como um todo. Juntamente com outros aspectos deste trabalho, esta descrição levantou algumas questões de interesse para a reflexão sobre o ensino em pós-graduação, tais como a questão do fluxo de produção de dissertações/teses como indicador de qualidade. Observamos, por exemplo, que a produção aumentou ao longo das quatro fases, com um acréscimo abrupto na Fase 3, especialmente em Análise Experimental do Comportamento (ACO) e um retorno aos níveis anteriores de crescimento na Fase 4 (figura 1).

Esse pico é multi-determinado:

- Aumento abrupto do corpo docente na Fase 2, liberando os orientadores anteriores para tarefas de orientação.

- Mudanças na demanda, muito alta na Fase 1 e início da Fase 2, especialmente em Análise Experimental do Comportamento, e progressivamente ajustada na fases seguintes.

- Mudança nos prazos regulamentares e na duração das bolsas (1985), resultando em pressão sobre alunos ingressos anteriormente cujos prazos estavam se esgotando.

Excetuando-se esse pico, o crescimento da produção é lento e constante. Pode-se esperar uma nova fase de reajustamento a partir de 1994, já que nesse período ocorreram novas mudanças no corpo docente (saídas e ingressos).

As diferenças de fluxo são portanto devidas a uma conjunção de fatores, desde a produtividade individual e experiência dos orientadores até fatores cíclicos de demanda de alunos e seus interesses e possibilidades de atuação posterior em cada região do país, ritmo de ingresso e de credenciamento de novos orientadores, implantação de novas linhas de pesquisa, além de pressões externas que se refletem em modificação de normas relativas a prazos e outras exigências. A análise da produção por fases indica que a dimensão temporal da avaliação é muito relativa: uma mesma área pode apresentar picos de produtividade e quedas de produtividade em intervalos temporais equivalentes (como ilustra a produção de Análise Experimental do Comportamento nas Fases 3 e 4), sem que estejam evidentes os determinantes dessas diferenças ou suas interações. Resulta disso que a avaliação periódica dos programas deveria levar em conta a ocorrência desses ciclos e a complexidade desses determinantes, através de uma análise de tendências ao longo da história do programa, antes que de uma análise pontual em determinados momentos de avaliação.

Um dos exemplos principais desta proposição refere-se aos prazos de credenciamento de orientadores. No programa em questão, requer-se atualmente a ministração de disciplina antes de iniciar o processo de credenciamento, ainda que o docente já esteja titulado há algum tempo e tenha experiência de ensino e pesquisa na graduação. Uma vez credenciado, o docente passa a ser incluído como divisor nos índices de produção, inclusive de teses - embora, na prática, pelo menos mais três anos sejam necessários para que produza sua primeira dissertação, e quatro ou mais para a primeira tese. Dessa forma, o ingresso de novos orientadores tende a reduzir os índices de produção do curso durante um período bastante significativo em comparação com os intervalos de avaliação.

Depois de 20 ou 25 anos, há boa probabilidade de substituição de orientadores, por aposentadoria ou outros motivos. Em conjunto com a condição anterior, relativa a prazos de credenciamento (sem considerar a tendência à redução de reposição de docentes aposentados ou afastados por qualquer motivo), é de esperar que os cursos passem por ciclos que reflitam sua dinâmica interna em termos de disponibilidade de orientadores.

Outro aspecto importante da dinâmica do corpo docente é a diversificação de linhas de pesquisa. Como foi apontado anteriormente, no curso em questão novos orientadores freqüentemente tenderam a introduzir novos projetos e linhas de pesquisa. O tempo de consolidação dessas linhas novas também se reflete no desempenho do curso de Análise Experimental do Comportamento (ACO)rdo com os critérios usuais de avaliação.

Deve-se considerar ainda a interação entre a dinâmica temporal do curso e o modelo de pós-graduação que ela possibilita ou implica. Esta questão é particularmente clara quando se retoma a questão do papel das disciplinas na formação do aluno. Considerando-se que no período abrangido por este estudo o aluno devia integralizar 80 unidades de crédito para Mestrado e 120 para Doutorado, e que cada disciplina valia em geral 10 créditos, esse quadro relativo à oferta por área implica que os alunos tipicamente foram expostos a disciplinas de várias áreas, já que nenhuma área isoladamente ofereceu disciplinas suficientes para a integralização dos créditos no prazo disponível. De fato, embora o programa não tenha adotado a norma de disciplinas obrigatórias, nas duas primeiras fases a maioria dos alunos cursou disciplinas de todas as áreas, entre as quais algumas chegaram a caracterizar-se na prática como disciplinas obrigatórias (por exemplo, Observação do comportamento, cf. Carvalho, 1995). Obtinha-se, desta maneira, uma certa homogeneidade na formação do titulado pelo Programa.

Este fato, que exemplifica mais uma vez os mecanismos de auto-regulação implícitos na dinâmica do programa, vem sendo modificado progressivamente nas últimas duas fases pelas mudanças nos prazos e conseqüentes mudanças nas exigências de créditos. O encurtamento dos prazos, decorrente de normas internas da Universidade em função de pressão das agências financiadoras e de avaliação, tem duas conseqüências principais em relação ao currículo de disciplinas: (1) a tendência à seleção preferencial de alunos que já têm uma orientação definida de pesquisa e, portanto de área no momento do ingresso, o que aumenta a probabilidade de uma conclusão rápida do curso mas resulta também em menor disponibilidade do aluno para cursar disciplinas de outras áreas; e (2), a redução no número de créditos exigidos, como forma de viabilizar os prazos vigentes, o que possibilita a exposição do aluno a uma menor diversidade de disciplinas. É evidente que estas tendências têm implicações importantes em termos de modelos de programa de pós-graduação e de sua consistência com os objetivos e papéis de cada programa na realidade brasileira, como já foi apontado anteriormente: implicam, em última instância, uma mudança da própria filosofia original da pós-graduação, representada, neste programa, pela ênfase em formação geral e qualificação de docentes para o ensino superior, para uma filosofia de formação especializada por sub-áreas e com ênfase na habilitação em pesquisa na área específica. Esta é uma questão muito atual em termos dos rumos do ensino superior no país, envolvendo aspectos tais como o papel de formação geral versus formação especializada na capacitação docente, o papel da exposição a modelos de atuação docente nessa capacitação, o modelo de profissional de ensino superior que se requer no atual estágio de desenvolvimento educacional do país, o lugar da pesquisa na capacitação e na qualidade do desempenho docente e muitos outros - o que por sua vez reflete a natureza dinâmica do sistema educacional como um todo.

Ainda um outro aspecto a ser considerado é o papel da evolução da infraestrutura. A informatização e a disponibilidade de outros recursos técnicos (por exemplo, de registro e análise de vídeo), especialmente perceptíveis a partir da Fase 3, evidentemente afetaram a produção do programa, não apenas em termos de quantidade mas também de natureza: por exemplo, tornando possíveis novos tipos de coleta de dados e de análise, mas também tendendo a canalizar a produção, em termos de procedimentos e de temas, em função dos recursos existentes, e portanto potencialmente reduzindo sua diversidade e novidade. A evolução da infraestrutura de pesquisa interage com as transformações no modelo de curso praticado: por exemplo, responde às exigências e expectativas de redução de prazos e ao mesmo tempo as encoraja, por torná-las mais viáveis. É interessante apontar ainda a ausência de sincronia entre a evolução de recursos e a produção, refletindo mais uma vez a existência de ciclos cuja duração é multideterminada: a produção da Fase 4 não reflete ainda as importantes transformações na infraestrutura de pesquisa que ocorreram nesse período. A infraestrutura de pesquisa é mais um dos fatores que participam da complexa dinâmica do programa, afetada por injunções internas e externas de diversas ordens, desde as relações interpessoais e as políticas locais até a conjuntura geral da educação e do desenvolvimento no país.

A análise por fases evidencia portanto, que o curso é um processo dinâmico e multideterminado: aumento ou redução de corpo docente, de demanda de alunos, mudanças no perfil de alunos etc. modificam seus resultados e desempenho geral. Até mesmo fatores circunstanciais podem modificar significativamente o perfil da produção, como se verificou na Fase 4, onde houve um aumento abrupto de participação em congressos internacionais por ter o Departamento sediado um evento desse tipo.

Esta análise mostra que o curso em questão consolidou-se progressivamente ao longo de 20 anos (até a Fase 3), quando alcançou uma condição relativamente estável em termos de composição do corpo docente e de demanda, e de produção das várias áreas. Este período de tempo é bastante longo em comparação com os critérios usuais de avaliação (a cada dois anos). O recorte utilizado neste trabalho sugere que cinco anos é um intervalo razoável de avaliação tendo em vista os ciclos temporais que caracterizam o programa. Avaliações em intervalos mais curtos produzem um quadro obscurecido por fatores cujos efeitos só se concretizam a mais longo prazo, tais como alterações no corpo docente, prazos de credenciamento, prazos de bolsa, prazos de conclusão de etapas do curso e mudanças no tipo de demanda de alunos.

Monitoramento e avaliação

Como qualquer fenômeno social, um curso desenvolve portanto, uma dinâmica própria, que reflete a integração entre o que é oferecido e o tipo de aluno que compõe a demanda (por sua vez dependente dos resultados do curso, entre outros fatores), a produtividade de novas linhas de pesquisa, as relações internas entre docentes, entre alunos, entre docentes e alunos, a infraestrutura disponível e suas modificações. Todos esses fatos parecem ser amplamente ignorados pelos critérios de avaliação por agências oficiais. O pressuposto da avaliação parece ser o de que um curso é um fenômeno estabilizado e estático, um pressuposto que não se aplica nem mesmo à produção de uma máquina.

Os critérios atuais de avaliação priorizam a produção de dissertações/teses e a produção científica. Ora, em primeiro lugar, a produção, seja de dissertações/teses ou científica, é um indicador indireto da qualidade e do desempenho de um curso. O indicador direto é o produto, ou seja, o aluno formado. É relevante desenvolver procedimentos que permitam a obtenção de indicadores quantitativos e qualitativos sobre o impacto do curso na sociedade através do desempenho de seus alunos, além de suas avaliações a respeito do curso.

A experiência do presente trabalho evidenciou que esse tipo de dado não é fácil de obter retrospectivamente. Dados de arquivo - por exemplo, a respeito de origem dos alunos, desempenho individual no decorrer do curso, vinculação profissional por ocasião do ingresso e outros que poderiam ser relevantes para monitorar o desempenho do curso - em grande parte não se encontravam informatizados, constando apenas de arquivos mortos de difícil acesso e manuseio, e pouco sistematizados. As tentativas de obtenção de dados diretamente com alunos e ex-alunos através de questionários também esbarraram em dificuldades, desde a localização dos respondentes até a devolução dos questionários respondidos.

Apesar disso, os poucos resultados obtidos evidenciam a relevância potencial dessas informações para uma avaliação do curso em termos de seu impacto social, como já foi ilustrado acima pelos dados a respeito de destino profissional dos ex-alunos. Esta experiência aponta para a conveniência de um monitoramento periódico e sistemático do curso, alimentado com informações provenientes dos alunos e ex-alunos através de procedimentos aplicados com regularidade.³

Um dos aspectos mais importantes da informação fornecida pelo aluno, a nosso ver, se refere à sua produção no decorrer do curso, um indicador bastante direto a respeito do tipo de formação que o aluno está recebendo. A análise da produção do curso foi realizada sobre o banco de dados sobre produção do Departamento disponível na biblioteca, no qual não são contempladas informações sobre o status dos autores: docentes, orientadores, alunos de graduação ou de pós-graduação, e não é incluída a produção assinada apenas por alunos. Complementando-se os dados de produção com essas informações, produz-se um quadro bastante significativo sobre a participação de alunos na produção do programa, um aspecto que, embora questionado no relatório CAPES, não parece ser alvo de uma avaliação detalhada.

Excluídos os trabalhos de autoria única (todos de orientadores/docentes, já que a produção de alunos não é incluída no banco de dados), encontram-se 62% de trabalhos assinados por orientador e orientando, e mais 21% de trabalhos assinados por docentes e alunos (não-orientandos e/ou alunos de graduação, mais freqüentes em trabalhos com mais de três autores). Estes dados indicam portanto, uma participação bastante significativa dos alunos em termos de comunicação de sua produção, inclusive nas fases iniciais de sua formação (desde a graduação, e durante a realização de disciplinas). Além disso, entre os alunos e ex-alunos que informaram ter tido a oportunidade de comunicar trabalhos relacionados ao curso, há uma incidência significativa de comunicações: mais de 60% dos alunos e mais de 80% dos ex-alunos. Neste último caso, a maioria das comunicações decorreu do trabalho de dissertação/tese (85% sob a forma de comunicações em congressos e 70% em publicações).

Ao lado do destino profissional de ex-alunos, dados sobre sua produção científica durante e após o curso parecem-nos ser as medidas mais diretas da qualidade e impacto social dos programas de pós-graduação, se se tomar como seu objetivo central a qualificação de docentes/ pesquisadores para o ensino superior.

Mesmo quando se consideram apenas os critérios atuais de avaliação. no entanto, a análise detalhada da produção do programa exemplifica, de forma bastante nítida, o fato de que esses critérios homogeneízam áreas qualitativamente diferentes do ponto de vista de tipo e ritmo de produção. De fato, verifica-se que, dentro do mesmo curso, orientado por uma postura metodológica e epistemológica bastante homogênea, encontram-se diferenças significativas entre as sub-áreas nesses aspectos. A figura 2 ilustra comparativamente a produção das sub-áreas do programa nas duas últimas fases (1985-1994) em diferentes modalidades de produção científica.

Excetuando-se as participações em congressos nacionais, que são altas em todas as áreas, cada área apresenta um perfil de produção diferente: Problemas Teóricos da Psicologia (PTP) veicula comparativamente mais através de artigos nacionais e livros/ capítulos de livros; Bases Neurobiológicas do Comportamento (BNC) destaca-se em artigos internacionais; Problemas Cognitivos, Afetivos e Sociais (PCAS) e Bases Neurobiológicas do Comportamento (BNC) produzem proporcionalmente mais material de divulgação do que outras áreas; enquanto Análise Experimental do Comportamento(ACO) e Comportamento Animal (CA) apresentam um perfil semelhante, distribuído entre as várias modalidades de produção. Apesar desses perfis qualitativamente diferentes, o volume quantitativo de produção não difere muito entre as áreas: com exceção de PTP, cuja produção é menor e cujos docentes publicam também em outras áreas, as demais apresentam uma média de produção por docente entre 25 e 45 ítens ao longo dos 10 anos em que a produção do programa foi examinada (1985-1994). PTP, por outro lado, tem o maior índice de publicações por participação em congressos: 100%, contra 10 a 30% nas demais áreas.

É interessante refletir sobre essas diferenças qualitativas, já que os critérios de avaliação usuais costumam ser bastante rígidos na atribuição de valor a tipos de produção: por exemplo, um livro ou um capítulo de livro são em geral menos valorizados do que artigos em periódicos com referee, independentemente de sua adequação como veículos para determinados conteúdos e de seu impacto potencial. Desconsidera-se também o fato, bastante reconhecido, de que corpos editoriais e consultores de periódicos tradicionais tendem a assumir posturas conservadoras, principalmente em relação a novos paradigmas e a procedimentos metodológicos ainda não consagrados pelo uso. Esse viés desfavorece áreas que estão explorando novas abordagens e modelos, e favorece aquelas em que paradigmas e problemas já estão consagrados. A ciência, como instituição, não é menos conservadora do que outras instituições.

Acreditamos que o aperfeiçoamento do processo de avaliação requer o desenvolvimento de critérios que respeitem a heterogeneidade e ofereçam espaço para a inovação - não só pelo valor intrínseco da inovação, como simplesmente por ser uma condição própria da natureza dinâmica e histórica dos cursos; requer ainda a inclusão de critérios que avaliem o produto final do curso, o aluno formado, pelo menos se se partir de uma premissa que acreditamos ser compartilhada pela comunidade acadêmica: o Estado existe para seus cidadãos; qualquer instituição sustentada pelo Estado deveria existir para seus usuários - neste caso, seus alunos e os futuros beneficiários do aperfeiçoamento educacional que aqueles podem vir a lhes proporcionar. A medida desses benefícios não pode excluir os beneficiários e não deve ser insensível à dinâmica de transformações que informa todo o sistema, de sua estrutura básica às características desses mesmos usuários.

A reflexão, por parte dos participantes dos programas de pós-graduação - professores e alunos, a respeito da medida em que os processos de avaliação efetivamente correspondem a essa premissa - é uma condição para o aperfeiçoamento desses processos e conseqüente-mente para que os cursos cumpram sua função primordial no sistema educacional do país.

Carvalho, A. M. A. (2001). Monitoring and Evaluating Graduate Courses: Some Thoughts About Requirements and Criteria. Psicologia USP, 12 (1), 203-221.

Abstract: On the basis of the results of a survey of the first 25 years of the graduate course on Experimental Psychology of the IPUSP (1974-1990), this paper discusses some issues which emerged as relevant for the consideration of monitoring and evaluation procedures regarding graduate courses. The identity of the course is discussed in terms of main themes, epistemologic approach and nature of the formation provided to the students; the dynamics of the course is dealt with through the consideration of the diversity of regulating factors - such as teachers availability, evolution of research areas, students’ demand - which affect the course’s production, the main target of the current evaluation procedures. Self-monitoring is pointed out as a necessary tool for the validation or for the questioning of external evaluations. Some currently neglected evaluation criteria such as students’ participation in the scientific production of the course, its evaluation by the students, and the professional performance of graduated students, are suggested.

Index terms: Postgraduate training. Evaluation. Courses. Teacher education. Researchers.

Recebido em 24.09.1999

Aceito em 01.02.2001

• Carvalho, A. M. A. (Ed. convidada) (1995). Psicologia e etologia [Número especial]. Psicologia USP, 6 (1).
• Carvalho, A. M. A. (1999a). Onde estăo e o que fazem nossos mestres e doutores?: Uma reflexăo sobre critérios de avaliaçăo da pós-graduaçăo. Psicologia: Cięncia e Profissăo, 19 (2), 54-63.
• Carvalho, A. M. A. (1999b). 25 anos de pós-graduaçăo em Psicologia: PSE-IPUSP: 1970-1994 (Vols. 1-2). Săo Paulo: Departamento de Psicologia Experimental do Instituto de Psicologia da Universidade de Săo Paulo / CNPq. Relatório de pesquisa.
• Matos, M. A. (Ed. convidada) (1998). Psicologia e cięncia no Brasil [Número especial]. Psicologia USP, 9 (1).

1

Este texto baseia-se nos resultados do projeto de pesquisa “25 anos de pós-graduação em Psicologia: PSE-IPUSP: 1970-1994,” desenvolvido pela autora entre 1994 e 1998. O relatório integral do projeto está disponível na Biblioteca do IPUSP.

3

Duas sugestões nesse sentido são: 1) a criação de um formulário a ser preenchido pelo aluno na ocasião de defesa de tese, no qual seriam atualizados os dados mais relevantes para um banco de dados sobre alunos formados, sobre sua produção científica durante o curso, e sobre sua avaliação do curso; 2) A criação de um banco de dados de produção científica de ex-lunos, alimentado com informações a serem obtidas com a colaboração da SBP e de outras entidades nacionais de Psicologia, com base nas fichas de inscrição de trabalhos em congressos nacionais (Carvalho, 1999b).

Datas de Publicação

• Publicação nesta coleção
  10 Ago 2001
• Data do Fascículo
  2001