Análise do processo de exame de grau na pós-graduação stricto sensu

Analysis of the process of viva voce in graduate programs of degree by research

ARTIGOS

Análise do processo de exame de grau na pós-graduação stricto sensu

Analysis of the process of viva voce in graduate programs of degree by research

Silvana Pezzi^I; Andrea Valéria Steil^II

^IInstituto de Ensino Superior Santo Antonio

^IIUniversidade Federal Santa Catarina

^{Correspondência}

RESUMO

O artigo tem por objetivo contribuir para o aprofundamento das discussões acerca da qualidade da pós-graduação stricto sensu no âmbito nacional, a partir de um de seus elementos constituintes: o exame de grau. O exame de grau é discutido de forma teórica, por meio da análise sistematizada de pesquisas nacionais e internacionais relacionadas com o tema. Primeiramente, são discutidos os propósitos de mestrados e doutorados, analisados os objetivos dos exames de grau, investigados os procedimentos e os critérios adotados na avaliação dos exames de grau, apontando seus pontos de vulnerabilidade. A seguir, sistematizam-se e analisam-se as variáveis relacionadas à subjetividade dos elementos decisórios de cada examinador e as influências externas às quais a banca está envolta. Em sua conclusão, ressalta-se o alto nível de heterogeneidade associado ao conhecimento e à percepção dos padrões esperados para a formação de um mestre e um doutor, que influencia sistemicamente no processo de exame de grau. Por fim, os temas sugeridos para a continuação da pesquisa visam buscar maior consistência nos procedimentos de avaliação dos exames de grau e uma avaliação mais equitativa do pós-graduando, contribuindo para a qualidade da pós-graduação stricto sensu.

Palavras-chave: Exame de grau — Mestrado — Doutorado — Pós-graduação — Qualidade.

ABSTRACT

The article aims at contributing to further the discussion about the quality of graduate programs of degree by research in this country, taking into account one of its constitutive elements: the viva voce. The viva is discussed in a theoretical manner through the systematized analysis of national and international studies related to the theme. Firstly, the article discusses the purposes of master and doctorate programs, the objectives of the viva, its procedures and criteria, and then it points out its vulnerable aspects. The variables related to the subjectivity of the decision elements of each examiner are then analyzed, as well as the external influences surrounding the work of the examiners. In its conclusion the article indicates the high degree of heterogeneity associated to the knowledge and perception of the standards expected for the formation of a master or doctor, which influences systemically the process of the viva. Lastly, the themes suggested for the continuity of this line of work aim at improving the consistency of the viva procedures, and at a more equitable assessment of the candidate, thereby contributing to improve the quality of graduate programs of degree by research.

Keywords: Viva voce — Master program — Doctorate program — Graduate programs — Quality.

Os cursos de pós-graduação stricto sensu (mestrado e doutorado) têm como principal objetivo a formação de pesquisadores em pesquisa científica e treinamento avançado (Brasil, 1965). Sua realização compreende a aprovação em um conjunto de disciplinas e culmina com a elaboração e a defesa da monografia de conclusão, a dissertação e a tese, respectivamente.

O exame de grau é o processo que avalia os graus de mestrado e doutorado e se configura no julgamento final dos anos de esforço investidos pelo aluno em conduzir e registrar a pesquisa desenvolvida. O exame de grau compreende um conjunto de ações composto por dois momentos: a) a leitura prévia do trabalho escrito; e b) o exame oral ou a defesa pública. Apesar de se constituir em dois momentos distintos, é no exame oral que se concretiza a avaliação de grau, momento no qual os examinadores ouvem os candidatos, realizam sua arguição e expressam as suas considerações acerca do trabalho escrito e de sua apresentação.

A prática do exame oral é remanescente da disputa pública formal que ocorria na Idade Média durante a apresentação de uma tese. Sua prática institucionalizava o método filosófico da época, no qual o candidato deveria " defender uma tese contra as opiniões contrárias ou objeções de seus examinadores (antítese)" (Salomon, 2001, p. 267). A partir dessa defesa, a audiência votava se premiaria ou não o novo filósofo ou teólogo, o doutor, admitindo-o como um membro de sua faculdade (Phillips; Pugh, 2000; Salomon, 2001). Os exames orais hoje, na maioria dos países, incluindo o Brasil, constituem-se de discussões geradas a partir de perguntas e comentários de dois ou mais examinadores, dependendo da instituição. Nesse processo, os examinadores balizam a sua arguição e os seus comentários acerca do trabalho sob avaliação a partir de sua visão a respeito dos propósitos dos cursos de mestrado e de doutorado e do grau de exigência que atribuem às dissertações e às teses.

Os propósitos do doutorado e mestrado têm sido tema de discussões de governos, por intermédio de órgãos reguladores e de instituições acadêmicas e de financiamento, e de indústrias e pesquisadores, principalmente em âmbito internacional (Denicolo, 2003; Velho, 2003; Lovat et al., 2002; Mullins; Kiley, 2002; Severino, 2002; Latona; Browne; 2001; Velloso; Velho, 2001; Wright; Cochrane, 2000; Pole, 2000; Winter et al., 2000; Johnston, 1999; Liljegren, 1998; Gazola, 1996; Clark, 1993). Consensualmente, esses estudos relatam a expansão da pós-graduação e a preocupação com o aumento de sua demanda, associada à garantia de manutenção da qualidade dos programas e dos alunos formados.

Apesar da crescente preocupação com a qualidade da pós-graduação, a falta de um sentido unívoco para o conceito de qualidade reflete um tema cuja compreensão, envolta em subjetividades, é ainda incipiente. Como consequência, observa-se usualmente nos exames de grau uma não indicação clara de critérios a serem utilizados na avaliação. Quando existem, estão sujeitos a interpretações acerca de seu significado, o que tende a resultar em um quadro de avaliação heterogêneo e desordenado (Phillips; Pugh, 2000; Pole, 2000; Madsen, 1992; Powell; Green, 2003; Tinkler; Jackson, 2001; Johnston, 1997; Denicolo, 2003; Powell; McCauley, 2002; 2003; Holbrook et al., 2002; Lovat et al., 2001).

Em busca da garantia da qualidade, órgãos certificadores e financiadores têm procurado estabelecer procedimentos normativos relativos à avaliação. No Brasil, é de competência da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior – CAPES – a avaliação de programas de mestrado e doutorado em todas as áreas do conhecimento (Art. 18, Decreto 3.860/01, Brasil, 2004). Os objetivos do Sistema de Avaliação da Pós-Graduação da CAPES envolvem: a) o estabelecimento do padrão de qualidade para o mestrado e o doutorado e a identificação dos cursos que atendam a esse padrão; e b) a contribuição para o aprimoramento de cada programa de pós-graduação por meio da realização de um parecer acerca dos pontos fracos e fortes do projeto do programa e de seu desempenho. Essa avaliação é realizada a cada três anos pelas comissões de áreas do conhecimento da CAPES, com acompanhamento anual, e abrange todos os programas e cursos que integram o Sistema Nacional de Pós-Graduação – SNPG (CAPES, 2008).

Para a realização da avaliação, todas as comissões de áreas utilizam uma mesma ficha, elaborada pela CAPES, com a especificação dos critérios de avaliação. Esse processo busca a " garantia de uma base de uniformidade e de padronização do processo de avaliação, o que pressupõe a observância, por todas as Áreas, dos pontos básicos para esse fim definidos pelo CTC [Conselho Técnico Científico]" (CAPES, 2008). Os quesitos de avaliação constantes da ficha atual (apresentada em 2006) são: Proposta do Programa; Corpo Docente; Corpo Discente, Teses e Dissertações; Produção Intelectual; e Inserção Social. O primeiro item é avaliado com os atributos muito bom, bom, regular, fraco ou deficiente. Os demais quesitos possuem um peso inicial proposto pelo CTC de 30% para cada um deles, podendo cada área alterar os pesos individuais destes dentro da faixa de 25% a 35%, desde que a soma deles seja 90%. Apenas o quesito Inserção Social tem seu peso definido pelo CTC como 10%, o qual não pode ser alterado pelas áreas. Cada área pode, também, detalhar os indicadores relacionados a cada item e, ainda, incluir em sua proposta um novo item, caso haja a necessidade de especificar algum aspecto de seu desempenho. Por fim, cada área pode indicar o peso a ser atribuído aos itens de cada quesito e, desde que devidamente justificado, sugerir um novo item ou, ainda, que algum item proposto pela CAPES seja zerado (CAPES, 2008).

O SNPG juntamente com as diretrizes e os procedimentos que a CAPES vem imprimindo ao processo de avaliação são esforços importantes na consolidação da pós-graduação brasileira no cenário internacional e em seu processo de melhoramento contínuo. Entretanto, ainda cabe aos programas de pós-graduação e aos seus examinadores de teses e dissertações a interpretação dos itens dos quesitos de avaliação constantes nas fichas de avaliação. A dificuldade em se apresentar procedimentos normativos unívocos pode ser considerada um reflexo da impossibilidade de se definir de forma burocrática o que se constitui um doutorado ou mestrado, uma tese ou uma dissertação (Moura Castro, 2002; Phillips; Pugh, 2000; Madsen, 1992). Velloso e Velho (2001) observaram, a partir de sua pesquisa com coordenadores de mestrado no Brasil, a dificuldade de se estabelecer o que deve ser exigido das dissertações em função das diferentes interpretações dos propósitos de tais cursos. Seguindo uma tendência internacional, a comunidade acadêmica nacional questiona a exigência de dissertação como trabalho de conclusão para o mestrado. Alternativas têm sido sugeridas e utilizadas, porém sendo recente a discussão, o consenso ainda não foi alcançado.

O delineamento de uma avaliação de grau responsável, transparente, equiparável e que reconheça a diversidade do processo de formação dos graus de mestrado e doutorado indelevelmente precisará se confrontar com questões ideológicas, radicadas nas interpretações dos conceitos polissêmicos atribuídos à pós-graduação stricto sensu. Entre estas está a questão referente ao que é e ao que deve ser avaliado: o processo ou o produto; a tese ou a dissertação, unicamente; ou o candidato. Embora teses e dissertações sejam consideradas prioritárias como fonte de evidência para a qualidade (Denicolo, 2003; Mullins; Kiley, 2002; Velloso; Velho, 2001), questiona-se que outras evidências poderiam agregar valor à avaliação e quais seriam os critérios realmente utilizados pelos examinadores. A despeito da relevância dessas questões e mesmo com as investigações mais recentes, o exame de grau tem sido negligenciado como objeto de pesquisa (Johnston, 1997; Holbrook et al., 2002; Mullins; Kiley, 2002; Powell; Green, 2003; Denicolo, 2003; Wallace, 2003; Trafford, 2003; Joyner, 2003; Powell; McCauley, 2000; 2003; Morley, 2003).

A partir desse quadro de referências, este artigo tem por objetivo geral contribuir para o aprofundamento das discussões referentes à qualidade da pós-graduação stricto sensu no âmbito nacional, a partir da análise sistematizada de um de seus elementos constituintes: o exame de grau. Para o alcance desse propósito, o artigo procura: a) resgatar e sistematizar os principais estudos realizados na área; b) discutir os propósitos de mestrados e doutorados; c) analisar os objetivos dos exames de grau; e, por fim, d) investigar os procedimentos e os critérios adotados na avaliação dos exames de grau e apontar os seus pontos de vulnerabilidade.

O artigo está organizado em cinco seções. Os propósitos da pós-graduação stricto sensu são discutidos na segunda seção. A seguir, são apresentadas as principais pesquisas atuais sobre o processo de avaliação de mestrados e de doutorados. Nas subseções seguintes, discutem-se: a) o que é avaliado no exame desses graus, destacando o dilema existente entre se avaliar o processo e/ou o produto dos cursos de mestrado e doutorado; b) a relevância e a finalidade do exame oral ou da defesa pública; c) a existência ou não de consenso nas avaliações expressas pelos examinadores para um mesmo trabalho; d) as características e os critérios que os examinadores buscam ao avaliar; e) como os examinadores realizam a avaliação; e f) o procedimento e a influência da composição da banca na avaliação. A seção quatro analisa conjuntamente esses elementos e apresenta a conclusão do artigo. Por fim, a seção cinco apresenta as referências bibliográficas utilizadas.

A discussão desenvolvida neste artigo não tem o propósito de se constituir em uma análise final da questão, uma vez que esse debate é multifacetado e envolto em variáveis não abordadas aqui. Pelo contrário, tem-se a ciência de que o artigo levanta mais questões do que as responde, porém se parte do pressuposto de que teorizar sobre os aspectos envolvidos no processo de avaliação do exame de grau ajuda a aumentar a consciência acerca dos critérios com os quais pesquisadores e examinadores podem medir, criticar e melhorar as suas próprias práticas.

Os propósitos da pós-graduação

A questão dos propósitos da pós-graduação stricto sensu tem se configurado em tema de pesquisa, especialmente na literatura internacional. Para além da academia, agências governamentais, indústrias e instituições sem fins lucrativos também têm debatido a questão, na medida em que o conhecimento tem sido compreendido cada vez mais como capital e o processo de se fazer pesquisa não tem se restringido mais à academia (Clark, 1993; Severino, 2000). Além desse aspecto, muitas pesquisas têm demonstrado que a academia não se configura mais no destino profissional exclusivo de mestres e de doutores, que têm atuado também na iniciativa privada ou em serviços de governo. Essa nova configuração tem compelido o mercado de trabalho a pressionar a academia no sentido de esta repensar seu papel como formadora de pesquisadores e desenvolvedora de conhecimento (Sampaio; Velloso, 2002). É nesse contexto que tomam vulto os debates acerca dos propósitos dos mestrados e doutorados (Pole, 2000).

No Brasil, os propósitos da pós-graduação stricto sensu podem ser sumarizados a partir de duas visões opostas. A primeira considera a existência da pós-graduação unicamente atrelada à produção de conhecimento, mediante a condução de pesquisa articulada à formação de novos pesquisadores. Outra corrente alerta para a rigidez dos modelos e paradigmas da pós-graduação brasileira, na qual se evidencia uma não clareza quanto aos objetivos e propósitos para cada um dos seus níveis de formação. Os que suportam essa corrente argumentam acerca de um superdimensionamento do mestrado, exigido por alguns programas, no qual consideram a existência de um excessivo número de créditos a serem cumpridos, muitas disciplinas obrigatórias e exames de qualificação muito abrangentes (Velho, 2003; Velloso; Velho, 2001; Gazolla, 1996).

Internacionalmente, apesar das tendências para a busca de uma maior confluência da pós-graduação com o mercado de trabalho, observa-se também essa dicotomia de perspectivas. Com relação a esse aspecto, Liljegren (1998) destaca que alguns setores da sociedade, em especial da indústria, têm questionado a utilidade dos programas atuais de doutorado para propósitos não acadêmicos e propõem doutorados profissionais como um grau distinto dos doutorados de pesquisa. No entanto, a autora ressalta que há um temor de que formas alternativas para o doutorado podem ser um risco à sua qualidade, principalmente se forem feitas muitas modificações nos seus propósitos.

Nacional ou internacionalmente, pode-se concluir que essas duas correntes revelam a necessidade de estudos mais detidos que busquem, à luz da multiplicidade de mudanças e desenvolvimentos que estão ocorrendo atualmente na pós-graduação, clarificar as ambiguidades e aprofundar o grau de entendimento dos propósitos da pós-graduação stricto sensu. Esses estudos teriam o potencial para aumentar a transparência em relação ao processo de formação, às qualificações e habilidades esperadas e à relevância do conhecimento produzido (Denicolo, 2003; Warde, 2002; Pole, 2000).

As pesquisas atuais sobre o processo de avaliação

É escasso o número de pesquisas sobre o processo de avaliação de teses e dissertações. Dentre os existentes, destacam-se alguns estudos realizados na Austrália, Nova Zelândia e Grã-Bretanha. Esses estudos investigaram como os examinadores avaliam o 'pensamento crítico', expresso nas teses, por meio da análise do estilo de escrita dos candidatos (Simpkins, 1987); dos procedimentos adotados pelos examinadores ao realizar seu trabalho de avaliação (Nelson, 1991; Mullins; Kiley, 2002); do processo de avaliação de dissertações (Hansford; Maxwell, 1993); dos procedimentos de escolha de examinadores (Parry; Hayden, 1994; Tinkler; Jackson, 2000; Powell; McCauley, 2002; 2003); dos relatórios redigidos por examinadores; dos conflitos e das posições adotados pelos examinadores ao avaliar as teses (Holbrook et al., 2002; Lovat et al., 2001; Powell; McCauley, 2002); das eventuais diferenças no estilo e conteúdo expressos nos comentários dos examinadores de diferentes áreas de conhecimento (Lovat et al., 2001); da natureza e do propósito do exame oral e da participação ou não dos orientadores nesse exame (Powell; McCauley, 2002); da necessidade de treinamento e qualificação para os examinadores (Powell; McCauley, 2002; 2003); da tensão existente entre avaliar o processo de treinamento em pesquisa e o produto final — a tese ou a dissertação (Powell; McCauley, 2002; 2003; Denicolo, 2003); e dos critérios usados para distinguir teses " aprováveis" de teses " excepcionais" (Denicolo, 2003).

Observa-se que vários aspectos do processo de avaliação do exame de grau têm sido investigados em profundidade. Dentro do escopo deste artigo, alguns desses tópicos serão abordados mais detalhadamente na sequência.

O dilema entre avaliar o processo ou o produto

Na medida em que a academia não é mais o destino exclusivo de doutores e mestres, emergem questionamentos acerca do que deve ser avaliado como resultado desses cursos.

Com relação a esse aspecto, a Ficha de Avaliação atual de programas da CAPES, no quesito Corpo Discente, Teses e Dissertações, especifica dois itens relacionados explicitamente à qualidade das teses e dissertações: a) Qualidade das Teses e Dissertações: Teses e Dissertações Vinculadas a Publicações; e b) Qualidade das Teses e Dissertações. Outros Indicadores.

Uma análise nos documentos da avaliação trienal 2007 (triênio 2004-2006) das áreas de conhecimento revela que o item A tem sido avaliado pelas diferentes áreas de conhecimento pela proporção de teses e dissertações que geram publicações referenciadas no sistema Qualis em um período específico após a defesa. Já para a avaliação do item B, tem sido utilizado um conjunto maior de indicadores, com especificidades nas áreas de conhecimento. Exemplos de outros indicadores utilizados por diferentes áreas do conhecimento incluem: participação de examinadores externos ao programa; titulação dos examinadores; atuação dos examinadores como docentes em programas de pós-graduação credenciados pela CAPES ou em Institutos de Pesquisa da área da tese ou dissertação; alinhamento das teses e dissertações com as linhas de pesquisa do programa; prêmios recebidos pelas teses ou dissertações de entidades de fomento, de associações científicas ou outras entidades.

A partir da análise dos itens relacionados à qualidade das teses e dissertações da Ficha de Avaliação da CAPES e como estes tem sido operacionalizados pelas áreas do conhecimento, não chega a ser surpresa o fato de a prática usual dos programas de pós-graduação enfatizar quase que unicamente a avaliação da tese ou da dissertação. Esse procedimento, embora legitimado pelo sistema de avaliação vigente atualmente no Brasil, pode gerar uma tensão referente ao objetivo último de uma avaliação de grau: avaliar o processo de formação do pesquisador ou avaliar exclusivamente o 'produto', o trabalho de conclusão.

Para uma avaliação orientada ao produto, seria suficiente que a tese ou a dissertação revelasse, em sua forma tipicamente tradicional e sequencial, o modelo metodológico: origem do problema, revisão de literatura, refinamento das perguntas, metodologia do estudo, implementação do estudo, resultados, análise, implicações e conclusões (Denicolo, 2003). Já para uma avaliação focada no desenvolvimento do pesquisador, questiona-se que outras dimensões da formação poderiam ser consideradas. As discussões abordadas na literatura, embora destaquem a importância de outras dimensões, enfatizam ainda a tese (ou a dissertação) como elemento-chave no qual estas podem ser averiguadas. Para Denicolo (2003), por exemplo, o desenvolvimento do conhecimento do aprendiz e como as dificuldades metodológicas foram tratadas deveriam estar refletidos na tese. De forma complementar, Haguette (2002) sugere que a competência adquirida como pesquisador deve estar revelada na tese ou dissertação.

Há divergências entre os examinadores acerca da utilização de dimensões adicionais na avaliação de grau, tais como a qualidade do treinamento e o ambiente onde a pesquisa foi desenvolvida, segundo a pesquisa realizada por Powell e McCauley (2002). Não obstante, a maioria dos examinadores prioriza a tese como elemento de avaliação, ponderando que os referidos itens não devem ser considerados na avaliação. Apesar desse aspecto, esses mesmos examinadores exprimem outros atributos como " competência do candidato" , " padrões de aprovação" e " julgamento do candidato" como dimensões a serem consideradas, mas não explicitam claramente a tese como reveladora dessas dimensões. Assim, questiona-se onde e de que forma elas poderiam ser analisadas. Uma hipótese é considerar que os examinadores utilizem o exame oral para esse fim. No entanto, a prioridade máxima que tem sido atribuída ao trabalho escrito tem também suscitado dúvidas quanto à necessidade e à importância do exame oral.

O exame oral - a defesa pública

No Brasil, o exame oral se equaciona com a defesa pública de um mestrado ou doutorado. Embora cada programa de pós-graduação tenha sua própria regra, geralmente para o mestrado fazem parte da banca examinadora pelo menos dois doutores e, para o doutorado, além de um moderador, a compõe mais três doutores, dois deles externos ao programa. Via de regra, o orientador participa da defesa. Após a apresentação do candidato e da arguição da banca examinadora, abre-se o questionamento ao público presente. Cada país possui sua própria política para a definição do exame oral. Há países onde o exame oral não é público e cuja participação do orientador nem sempre é permitida ou é limitada.

A análise da literatura referente ao exame de grau revela a coexistência de três posicionamentos acerca de seu objetivo maior. O primeiro questiona se o exame oral deve ser tomado em um sentido mais amplo, no qual seja possível verificar se o candidato adquiriu as habilidades pressupostas a um pesquisador e se compreendeu a metodologia como resultado de seu treinamento. O segundo aponta para a hipótese de que a função do exame oral é fundamentalmente averiguar a autenticidade da autoria. Por fim, o terceiro identifica o exame oral como um ritual de passagem para o futuro colega da academia (Madsen, 1992; Powell; McCauley, 2002; Phillips; Pugh, 2000).

Diante dessas perspectivas, Mullins e Kiley (2002) aprofundaram a investigação sobre importância do exame oral para o processo de avaliação de grau. Os pesquisadores constataram dois pontos de vista distintos expressos pelos examinadores: a) a única evidência que deve ser usada para avaliação é a tese e, portanto, somente por meio dela é que o aluno deve ser avaliado; e b) a formação do aluno como pesquisador em potencial deve ser também considerada para que ambiguidades e incertezas averiguadas na leitura da tese possam ser discutidas com o candidato. De acordo com Phillips e Pugh (2000), decidir que somente a tese deva justificar a aprovação do título, antes que ela tenha sido defendida em uma defesa oral, é inapropriado. Outra argumentação em favor do exame oral compreende a possibilidade de os examinadores concluírem que a tese é adequada, mas a defesa não foi (Phillips; Pugh, 2000). Esse argumento referenda a importância atribuída à formação do pesquisador, na medida em que, além de relatar a pesquisa que conduziu, o candidato deve ser capaz de defender seus posicionamentos diante dos questionamentos da comunidade científica, representada pelos examinadores.

Apesar da existência de uma dicotomia relativa ao objetivo do exame de grau, há consenso referente ao exame como um momento potencial para aprendizagem de todos os envolvidos no processo de avaliação, mas isso raramente ocorre. A defesa tem se tornado mais um momento para se " polir" o trabalho escrito, aperfeiçoando-se as suas qualidades literárias e clarificando-se a contribuição do conhecimento expressa no texto (Powell; McCauley, 2002). A análise realizada nesta seção remete à inferência de que a defesa oral não tem alcançado todo o seu potencial como processo de avaliação, principalmente no que se refere aos aspectos relacionados à formação do pesquisador.

Homogeneidade no julgamento final

Não é comum nas universidades brasileiras a existência de documentos que indiquem quais padrões devam ser seguidos na avaliação pelos examinadores das bancas de defesa. Também não há, na maioria das instituições, a exigência de elaboração por escrito dessas avaliações. A exigência formal é a de que a avaliação geral da banca seja registrada na ata da defesa. Esse registro especifica se o aluno foi ou não aprovado, se foi aprovado com ou sem restrições ou, ainda, se o trabalho foi aprovado com louvor (há variações entre as instituições).

Com relação a esse aspecto, Johnston (1997) analisou os procedimentos adotados pelas universidades europeias e australianas. Nestas, ao final da avaliação de grau, cada examinador realiza uma das seguintes recomendações: a) tese aprovada; b) tese aprovada, desde que as correções e/ou complementações especificadas no relatório satisfaçam à universidade; c) ressubmissão da tese para reavaliação depois da revisão ter sido feita; ou d) tese reprovada. A pesquisa revelou variações bastante significativas nos resultados finais da avaliação de um mesmo trabalho, desde aquelas nas quais dois examinadores recomendavam aprovação direta e um recomendava reprovação, até aquelas com duas recomendações para ressubmissão e uma recomendação para aprovação direta. Mesmo não sendo possível averiguar os motivos reais de tais inconsistências, Johnston (1997) aponta como hipótese plausível a inadequação da escolha dos examinadores: examinadores sem conhecimento adequado do método, ferramental ou assunto; e examinadores que não são simpáticos à abordagem adotada pelo estudo (incompatibilidade ideológica).

Além da discrepância observada no veredicto final das recomendações, Johnston (1997) ainda identificou inconsistências referentes à interpretação atribuída pelos examinadores a cada uma das quatro recomendações propostas para decidir o julgamento final da tese. As referidas inconsistências podem ser observadas quando os examinadores propõem uma recomendação para " aprovação direta" , mas sugerem " algumas considerações" , o que poderia ser interpretado como a segunda opção de recomendação: " aprovada, com algumas restrições" , mas sem a necessidade de submeter o trabalho a novo julgamento. Tal confusão se repete entre as duas alternativas que sugerem correções, porém não há informação que auxilie os examinadores a determinar em que grau a extensão das correções muda de uma recomendação para outra. Portanto, decidir o quanto é 'pouco ou muito', 'profunda ou superficial', para definir a extensão da correção, vai depender exclusivamente da interpretação de cada examinador.

Essa seção demonstrou que, além de uma possível inadequação na escolha dos examinadores, que pode resultar em avaliações super ou subestimadas, a heterogeneidade no julgamento final pode estar relacionada à diversidade de interpretações dos critérios formais de avaliação por parte dos examinadores.

Características e critérios que os examinadores buscam ao avaliar

As pesquisas relatadas nesta seção referem-se às características e aos critérios utilizados especificamente para avaliação de teses. A despeito dessa restrição, considera-se que estas se configuram em um importante indicador acerca do comportamento dos examinadores também em sua tarefa de avaliar dissertações.

De modo geral, ao realizarem suas avaliações, os examinadores analisam a tese como um todo. Em função desse aspecto, tendem a apresentar dificuldades para pontuar claramente e de forma objetiva os critérios que utilizam. De acordo com Johnston (1997), os registros da avaliação presentes nos relatórios elaborados pelos examinadores podem ser aglutinados em dois grupos. No primeiro, estão os atributos relacionados com o desafio intelectual, incluindo o julgamento da significância do estudo, a contribuição à área, o rigor do projeto da pesquisa, a originalidade e a formação adquirida. Dizem respeito aos critérios formais associados comumente às teses e às dissertações, tanto na literatura acadêmica quanto nos " manuais" de metodologia científica. No segundo, evidenciam-se os registros acerca do caráter mais redacional da tese, compreendido como a editoração, a gramática, o estilo de escrita, a clareza, lógica de construção do texto e a capacidade de sintetizar. Esses elementos, embora não estejam diretamente relacionados ao objetivo central de uma tese, configuram-se no grupo predominante dos registros dos examinadores.

As pesquisas de Hansford e Maxwell (1993) e Lovat et al. (2001) confirmam a predominância dos registros referentes ao caráter redacional da tese. Em torno da metade dos relatórios investigados por Lovat et al. (2001) apresentavam registros relacionados a erros ortográficos e tipográficos. Conquanto as limitações na redação não sejam suficientes para reprovar uma tese, as pesquisas revelam que um trabalho deficitário em sua apresentação, com erros tipográficos, ortográficos, gramaticais ou de referências, tende a aborrecer e distrair o examinador. Quando isso ocorre, alguns examinadores tendem a perder a confiança no candidato e a considerar a existência de problemas mais profundos de inadequação e de conceitualização no trabalho (Johnston, 1997). Com relação a esse aspecto, pesquisadores identificaram uma forte correlação entre as teses cujas avaliações receberam recomendação de " tese aprovada" e a ausência de erros de caráter redacional. Apesar desse aspecto, não foram raras as situações em que, para uma mesma tese, alguns examinadores apontassem uma lista de tais erros, ao mesmo tempo em que outros praticamente não os apontavam (Johnston, 1997; Lovat et al., 2001). O fato de os examinadores focarem suas considerações prioritariamente nos aspectos redacionais sugere que esses se comportam, a princípio, como qualquer leitor, com um senso de expectativa, curiosidade e desejo de ser estimulado. A atitude de especialista do examinador tende a ser assumida apenas em um segundo momento (Johnston, 1997).

O segundo grupo de elementos de avaliação registrados pelos examinadores diz respeito aos aspectos relacionados com o desafio intelectual da formação de doutor. Hansford e Maxwell (1993) identificaram e quantificaram esses registros, agrupando-os em revisão de literatura, conclusões, estrutura teórica e método empregado. Por sua vez, averiguaram que raramente ha comentários acerca da amostra, da pergunta de pesquisa, da coleta de dados e da concepção da pesquisa (Hansford; Maxwell; 1993; Lovat et al., 2001).

Considerando-se que os examinadores não percam o interesse inicial da leitura da tese em função de erros redacionais muito evidentes, eles passam a verificar outros aspectos de avaliação da tese. Seguindo suas próprias idiossincrasias, buscam e respondem, peculiarmente, ao que consideram ser os pontos fortes e fracos em uma tese. Há evidências que indicam que os examinadores tendem a aprovar teses que se ajustam melhor às suas ideologias, mantendo, assim, o processo de avaliação de um modo conservador (Johnston, 1997; Powell; McCauley, 2002). No entanto, mesmo ao assumirem posições conservadoras, os examinadores relutam em reprovar as teses. As duas principais razões são que a tese é vista como o resultado de três a quatros anos de esforço e dedicação e porque um doutorado é um processo caro em termos de recursos financeiros e em consumo de tempo (Johnston, 1997; Mullins; Kiley, 2002; Lovat et al., 2001).

Apesar da existência dos aspectos relacionados ao desafio intelectual e do caráter redacional da tese, operacionalizar quais critérios específicos uma tese deva possuir para que seja aprovada sem maiores restrições é considerado um dos pontos mais complexos do processo de avaliação (Denicolo; 2003). Na busca por uma sistematização das características apontadas pelos examinadores, Mullins e Kiley (2002) identificaram quatro grupos: 1) scholarship, como originalidade, coerência, autonomia e independência; 2) construção de um argumento bem estruturado; 3) possibilidade de publicação – gerar dois a quatro artigos para publicação em revistas científicas conceituadas; e 4) reflexão – avaliação crítica do próprio trabalho, como o aluno reconhece e trata as contradições e o entendimento do que significa pesquisa.

Com relação a esses aspectos, Moura Castro (2002) sugere ser às vezes mais claro apontar " o que não é uma tese" (p.113), do que expressar claramente o que ela é. Nesse contexto, os examinadores apontam uma tese " sofrível" como aquela que apresenta características como falta de coerência, falta de entendimento da teoria, falta de confiança e problema de pesquisa inadequado (Mullins; Kiley, 2002). Por outro lado, as teses consideradas excepcionais e que merecem 'menção honrosa' são aquelas cujos autores foram capazes de " fazer uma metáfora artística" , envolvendo o leitor com elegância, segurança e criatividade (Mullins; Kiley, 2002).

Ressalta-se que, embora o critério 'contribuição ao conhecimento' seja um elemento caracterizador essencial de uma tese, há pouca indicação de que os examinadores extraiam conhecimento, aprendam algo novo ou mesmo questionem seu próprio conhecimento a partir da leitura das teses que avaliam (Lovat et al., 2001). Uma das possíveis razões para isso talvez seja a intolerância de que o estudante possa saber mais que o examinador em algum ponto (Lovat et al., 2001; Holbrook et al., 2002). De forma complementar, também não há indicações de que sejam esperadas publicações durante o curso. Os examinadores, às vezes, mencionam artigos dos candidatos publicados em revistas e conferências que utilizem a 'revisão por pares' ou que tenham sido publicados internacionalmente. No entanto, os examinadores expressam a importância de se produzirem publicações a partir do trabalho final, após a avaliação ter ocorrido e o trabalho ter sido aprovado (Lovat et al., 2001; Denicolo, 2003).

Como os examinadores realizam a tarefa de avaliar

Como os examinadores chegam às suas decisões individuais para realizar a avaliação e quais são os padrões requeridos para uma tese (e dissertação) têm sido considerados um " mistério" (Nelson, 1991). Ao iniciarem suas atividades, os examinadores apresentam pouca preparação, uma vez que não existem procedimentos formais que os orientem ou os preparem para essa atividade. A despeito de seu despreparo inicial, os examinadores tendem a se sentir mais confiantes e seguros a partir da avaliação de duas ou três teses e se tornam mais flexíveis à medida que sua experiência como examinadores se solidifica (Mullins; Kiley, 2002).

Os examinadores consideram a tarefa de avaliar complexa e trabalhosa. Por exemplo, para os examinadores entrevistados por Mullins e Kiley (2002), realizar essa atividade demanda o equivalente a três ou quatro dias inteiros de trabalho, fora de seu horário normal de expediente devido à atenção exigida. No entanto, eles aceitam a tarefa principalmente pelo seu senso de responsabilidade para com a comunidade acadêmica, que se manifesta sob três diferentes aspectos: para manter os padrões da área de conhecimento; porque avaliar teses é uma função da academia; e para demonstrar reciprocidade na participação em bancas de avaliação para com os seu colegas acadêmicos. Os autores identificaram, ainda, diferentes estilos de leitura utilizados na avaliação do trabalho escrito. A maioria dos entrevistados revelou uma sequência de trabalho que se inicia com a leitura do resumo, seguida da introdução e finalizada com a conclusão. Esse procedimento busca identificar a visão do 'todo' da tese. A seguir, o examinador realiza uma leitura sequencial. A primeira impressão causada pela leitura inicial é a que fica mais marcada. É como se os examinadores já 'soubessem' do resultado de sua avaliação a partir da leitura dos primeiros capítulos do trabalho. Nesse processo, o engajamento no início da leitura é considerado fundamental. Ele é que vai determinar o " humor" do examinador durante todo o resto da avaliação (Lovat et al., 2001; Mullins; Kiley, 2002).

O engajamento inicial também é o reflexo do posicionamento adotado pelo examinador ao avaliar. Inicialmente, ao posicionar-se como leitor, o examinador age como um " editor" (Johnston, 1997). Entretanto, conforme Holbrook et al. (2002) ressaltam, esse posicionamento está submetido a outro: o de " orientador" . A partir do momento em que o examinador interage mais profundamente com o conteúdo, ele pode experenciar um conflito a respeito de que papel deva assumir, vivenciando-os de forma não necessariamente exclusiva.

Os papéis assumidos pelo examinador também estão relacionados com a sua percepção acerca do que seja o conhecimento. A partir da utilização da teoria habermasiana (1972) sobre as formas de conhecer, Lovat et al. (2001) sugerem que essa percepção deriva dos interesses cognitivos dos examinadores, os quais podem ser genericamente agrupados em três tipos. No primeiro tipo, há um interesse no controle técnico, que gera uma forma de conhecer denominada de " empírico-analítica" . No segundo, identifica-se um interesse em compreender significados, o que faz aflorar uma forma de conhecer chamada de " histórico-hermenêutica" . Por fim, existe um interesse em se emancipar, em se tornar um agente mais livre. Esse interesse conduz a uma forma de conhecer denominada de " crítica" ou " autorreflexiva" . Esses três interesses cognitivos geram, como consequência, três posicionamentos do examinador frente à tese ou à dissertação sob avaliação.

Quando opera o interesse no controle técnico, o examinador age como um " especialista" . Ele quer " saber" todos os fatos sobre o objeto que está sendo investigado, pois sua atenção está mais voltada ao " controle técnico" do conhecimento que está sendo avaliado. É um posicionamento mais hierárquico, com a qual o examinador quer verificar se o aluno pode " reproduzir seu conhecimento" . Já quando opera o interesse na compreensão dos significados, o examinador age como " parceiro" . Ele procura compreender as relações entre os fatos expressos no trabalho e busca por um entendimento interpretativo. Ele quer explorar as dimensões mais profundas, agindo de uma forma mais colaborativa (dialética) com o estudante. Por fim, quando opera o interesse na emancipação, o examinador age como " ouvinte" . Nesse caso, os papéis de mestre e aprendiz são potencialmente invertidos. O examinador quer " aprender" o que o estudante aprendeu, desde que o último seja considerado em pleno domínio de seu conhecimento e, portanto, capacitado a " ensinar" algo novo (Lovat et al., 2001).

Pode-se perceber uma semelhança entre o posicionamento do examinador diante da forma como concebe o conhecimento e o seu engajamento inicial com a leitura do trabalho que avaliará. Ao agir como árbitro, o examinador busca descobrir se o estudante 'aprendeu' sua 'lição', pois está mais interessado em averiguar a 'correção' dos resultados revelados no trabalho. Ao assumir um papel de conselheiro, ele " interagirá" com o estudante, buscando compreendê-lo e auxiliá-lo em seu desenvolvimento e suas descobertas. Por último, ao desempenhar o papel de ouvinte, o examinador busca 'aprender' o que estudante aprendeu.

Os papéis assumidos pelos examinadores estão, ainda, sujeitos a influências internas (por exemplo, seu estilo metodológico) e externas (como submissão aos critérios estabelecidos pela instituição, as opiniões dos outros examinadores e até mesmo a adequação da orientação à qual o aluno foi submetido) (Phillips; Pugh, 2000; Mullins; Kiley, 2002). No que diz respeito às influências internas, Mullins e Kiley (2002) verificaram que os examinadores buscam avaliar teses dentro de sua disciplina e consideram que provavelmente não seriam convidados a avaliar trabalhos cujos paradigmas estivessem distantes de sua práxis.

As influências externas podem ser identificadas por meio de diferentes elementos. Por exemplo, a pressão sofrida pelas universidades para apresentarem números " satisfatórios" de trabalhos aprovados é repassada aos examinadores, que podem se sentir compelidos a aprovar trabalhos no " limiar" dos padrões mínimos de exigência (Phillips; Pugh, 2000). Associada a esse aspecto, está a questão de alunos que experenciaram dificuldades em sua orientação, uma vez que o estudante pode ficar " a mercê da competência ou incompetência do seu orientador" (Haguette, 2002). Nesse caso, o examinador defronta-se com o dilema de ser ou não justo penalizar o candidato pela " falha" em sua orientação e o requisito da manutenção de exigências mínimas para permitir que receba o título. Na visão de Phillips e Pugh (2000), nesses casos, os examinadores deveriam ser tão complacentes com o aluno quanto possível, buscando preservar as exigências mínimas. De forma complementar a essa abordagem, Mullins e Kiley (2002) observaram que o conhecimento prévio do orientador, do departamento ou da instituição tem forte influência sobre a avaliação dos examinadores. Tal pode ser essa influência que Denicolo (2003) concluiu em sua pesquisa que " os candidatos receberem mais ou menos recomendações à tese depende muito mais da instituição onde estão matriculados e de quem são os demais examinadores" , associado ao apoio e à preparação que receberam de seus orientadores, " do que da qualidade absoluta do trabalho submetido" (p. 90).

Composição da banca examinadora

Conforme identificado, o procedimento adotado para compor as bancas de defesa também se configura em um importante elemento no processo de avaliação de grau. Segundo Powell e McCauley (2002), ele é determinante quando se busca uma avaliação justa e independente. Diferentes interpretações do que deve ser avaliado e como deve ocorrer a avaliação conduzirá a diferentes procedimentos para a composição da banca examinadora. Várias pesquisas têm sido realizadas sobre como compor essas bancas (Johnston, 1997; Powell; McCauley, 2002; 2003; Parry; Hayden, 1994; Tinkler; Jackson, 2000; Mullins; Kiley, 2002).

Questões relacionadas à exigência ou não de um examinador externo, ao número de componentes, à participação ou não do orientador e, ainda, acerca de quem pode ou deve sugerir possíveis examinadores foram discutidas por Johnston (1997); Powell e McCauley (2002; 2003) e Mullins e Kiley (2002). Os critérios mais citados para a escolha de examinadores foram relatados por Powell e McCauley (2003): ser especialista no assunto ou na área, demonstrada por publicações ou atividades de pesquisas; ter experiência em bancas de avaliação; ter experiência em orientação; e ser doutor ou um líder inquestionável da área. Do ponto de vista dos examinadores, as razões pelas quais eles são escolhidos envolvem: ser especialista na área e, por isso, ter clareza dos padrões estabelecidos; ser uma das poucas pessoas qualificadas naquela área; e ser compreensivo com a situação do estudante (Mullins; Kiley, 2002).

No processo de escolha dos examinadores, a experiência em avaliação tem sido considerada um componente de peso. Com relação a esse aspecto, foram identificadas duas possíveis razões pelas quais examinadores inexperientes têm sido negligenciados. A primeira enfatiza suas atitudes como muito críticas, resultante de sua incipiente compreensão dos desafios que recaem sobre o aluno, do processo de " fazer o curso" e de sua inexperiência em ter alunos próprios em situação de avaliação. A segunda razão ressalta o pequeno escopo de comparação dos padrões e critérios exigidos para avaliação de trabalhos de doutorado, uma vez que normalmente o único que possuem como parâmetro é o seu próprio (Mullins; Kiley, 2002).

Além desses aspectos, há também discussões acerca de quem deve participar da escolha dos examinadores. As visões se dividem desde as mais " conservadoras" até as mais " liberais" . Na visão conservadora, a participação do orientador e do aluno na tomada de decisão não são permitidas e, na visão mais liberal, ambos participam da escolha, uma vez que esses últimos estariam mais aptos a sugerir pessoas experientes no tema do trabalho (Phillips; Pugh, 2001; Powell; McCauley, 2002; 2003).

Sistematização da análise e considerações finais

A sistematização e análise das pesquisas acerca do exame dos referidos graus nos permite concluir que este se configura em um processo multifacetado e envolto em idiossincrasias. São muitas as variáveis que, concomitantemente, influenciam dinamicamente nesse processo. As principais dizem respeito à concepção do que se espera de um mestrado ou de um doutorado; à dificuldade em se estabelecer critérios formais para a avaliação e à variedade de interpretações a eles atribuídas; à concepção de quais devam ser as evidencias a serem consideradas na avaliação, se exclusivamente o trabalho de conclusão ou também o desenvolvimento do futuro pesquisador; à concepção do que é conhecimento para o examinador; e, por fim, a importância da composição da banca como elemento de equanimidade e agregador de qualidade ao processo. O Quadro 1 apresenta um sumário dessas questões.

A questão dos propósitos atribuídos aos mestrados e doutorados é central para a análise do exame de grau. Com relação a esse aspecto, verificou-se que, tanto no cenário nacional quanto no internacional, não há consenso acerca desses propósitos. As visões oposicionais existentes decorrem da configuração societal atual, que demanda aprendizagem continuada, projetos interdisciplinares e que tem encaminhado os pós-graduados a carreiras para além da academia. Na medida em que se questionam os propósitos de mestrados e de doutorados, questionam-se também os objetivos e os processos envoltos na avaliação do exame de seus respectivos graus, principalmente no que se refere ao que deve ser o foco da avaliação e a que critérios utilizar.

Em uma das visões acerca do foco de avaliação, todas as evidências a serem analisadas para que o estudante receba seu título devem estar expressas exclusivamente na tese ou na dissertação. Nessa visão, o trabalho de conclusão precisa refletir os preceitos metodológicos formais. Uma segunda visão compreende que a tese ou a dissertação podem se apresentar de um modo menos formal e com um estilo mais artístico, como também refletir outras evidências relacionadas ao desenvolvimento do estudante como pesquisador. Essas duas visões remetem à questão da utilidade ou necessidade do exame oral para as avaliações de grau. Para os que consideram a tese como única evidência a ser considerada, o exame oral se torna potencialmente dispensável, na medida em que a realização de um doutorado ou de um mestrado se equacionaria com o desenvolvimento de uma tese ou de uma dissertação. Já na segunda visão, seria por meio do exame oral que poderiam ser verificadas outras dimensões da formação do pós-graduando. Apesar desse aspecto, os que consideram o exame oral como oportunidade para se analisar outras dimensões da formação do pesquisador ainda apontam a tese ou a dissertação como elemento de prioridade máxima nas evidências para a avaliação do exame de grau.

Na medida em que a tese e a dissertação são compreendidas como evidências prioritárias, investigou-se se havia consenso na avaliação final desses trabalhos por parte dos examinadores e, ainda, quais eram os critérios levados em consideração. A partir de pesquisas que analisaram os relatórios individuais de avaliação para um mesmo candidato, verificou-se que há uma grande heterogeneidade nos pareceres dos examinadores. Apesar dessa não consensualidade nos resultados, identificou-se um padrão de comportamento comum por parte dos examinadores. No início de suas carreiras, na medida em que possuem como parâmetro apenas a avaliação de sua própria formação como doutor, os examinadores podem se sentir inseguros e relativamente despreparados para a tarefa de avaliar e tendem a se comportar de forma mais rigorosa. À medida que adquirem maior experiência, tendem a se tornar mais flexíveis.

Na busca pela compreensão desses comportamentos, questionou-se se essa rigorosidade conduziria os examinadores inexperientes a se fixarem em critérios considerados mais formais e diretamente relacionados ao desafio intelectual, como a originalidade, a metodologia e a contribuição ao conhecimento demonstradas no trabalho. Essa proposição não é confirmada pela literatura da área, que indica que o foco da avaliação, de examinadores experientes ou não, direciona-se grandemente aos aspectos redacionais do trabalho. Surpreendentemente, o examinador atua inicialmente não como um especialista, mas exclusivamente como um leitor. Nesse processo, um trabalho inadequadamente redigido com erros ortográficos e gramaticais excessivos tende a aborrecer o examinador e o conduzir a suspeitar de que a tese possa ser fraca em termos de desafio intelectual. Portanto, um trabalho bem redigido é pré-condição para que o examinador atue como o especialista e se envolva com os aspectos formais do trabalho.

Como leitor ou especialista, o examinador elabora sua visão do trabalho como um todo a partir da leitura de uns poucos capítulos. Uma pré-avaliação da qualidade geral da tese ou dissertação é realizada por meio desse processo. Os examinadores 'sabem' quando uma tese ou dissertação deve ser aprovada ou não, na medida em que julgam a capacidade geral do estudante para o desenvolvimento de uma pesquisa independente. Esses aspectos dificultam o estabelecimento de critérios claros e objetivos e a consequente atribuição de pesos para a avaliação que resultem em uma 'nota final' para o trabalho. Mesmo nos casos em que são atribuídos critérios, existe uma complexidade intrínseca relacionada à polissemia dos critérios e, portanto, de suas interpretações. Esses aspectos dificultam a compreensão unânime dos critérios de avaliação por parte dos examinadores, orientadores e estudantes e, por conseguinte, a sua efetiva utilização.

Associado aos fatores indicados, há outras influências internas e externas ao processo de avaliação de grau. As internas incluem a ideologia do examinador, seu estilo metodológico e os diferentes papéis assumidos por este durante a avaliação. À medida que o examinador interage com o conteúdo do trabalho e a partir de sua concepção acerca do que seja o conhecimento, ele pode agir como especialista/árbitro, como parceiro/conselheiro e/ou como ouvinte/aprendiz. Fazem parte das externas a submissão aos critérios estabelecidos pela instituição que outorgará o grau, os critérios definidos pela CAPES, a argumentação dos outros examinadores e a adequação da orientação a qual o aluno foi submetido. As externas podem afetar sobremaneira sua decisão final, a ponto de o resultado de sua avaliação final depender mais da instituição onde o trabalho foi desenvolvido, dos demais examinadores e de quem foi o orientador do que da qualidade efetiva do trabalho. A soma desses fatores internos e externos tende a levar o examinador a tornar-se reticente em reprovar, compelindo-o a aprovar teses que estejam no limiar de seus padrões mínimos de exigência.

Todas essas questões acerca dos elementos constituintes da avaliação influenciam cada examinador. No entanto, o julgamento final de um mestrado e de um doutorado se configura no resultado do julgamento de um grupo de examinadores. É nesse contexto que a escolha dos membros para compor a banca examinadora adiciona complexidade ao processo e se torna relevante para uma avaliação justa e independente.

À guisa de uma conclusão, destaca-se a complexidade do processo de avaliação dos graus de mestrado e de doutorado. O PNPG vigente (Brasil, 2004) assim como os quesitos e itens de avaliação presentes na Ficha de Avaliação da CAPES apresentam uma visão mais estratégica e não discutem detalhadamente a questão específica do exame de grau. Adicionalmente às diretrizes gerais estabelecidas pelo PNPG e às especificações da Ficha de Avaliação, verifica-se que a avaliação dos graus de mestrado e de doutorado nos cursos também está intrinsecamente relacionada à subjetividade dos elementos decisórios individuais de cada examinador e às influências externas às quais a banca está indelevelmente envolva. Em consonância com o identificado por Denicolo (2003), verifica-se um alto nível de insegurança associado ao conhecimento dos padrões gerais esperados para a formação de um mestre e de um doutor. Essa realidade demanda mais estudos e debates, como os realizados neste artigo no cenário nacional, a fim de se obter maior consistência nos procedimentos de avaliação dos exames de grau, contribuindo, dessa forma, para uma avaliação mais justa e coerente do pós-graduando e para a qualidade da pós-graduação stricto sensu.

Recebido em 30.01.08

Aprovado em 11.11.08

Silvana Pezzi, mestre e doutora em Engenharia de Produção, é docente do Instituto de Ensino Superior Santo Antonio/Inesa. E-mail: [e-mail]

Andrea Valéria Steil, psicóloga, mestre em Administração e Doutora em Engenharia de Produção, com estágio doutoral na Universidade do Sul da Flórida, é professora do Programa de Pós-Graduação em Engenharia e Gestão do Conhecimento da UFSC e Pesquisadora do Instituto Stela.

• BRASIL. Ministério da Educação. Coordenação de Aperfeiçoamento de Pessoal de Nível Superior. Parecer n. 977/65, CESu Disponível em: < http://www.capes.gov.br/sobre-a-capes/legislacao/2339-pareceres> Acesso em: 15 out. 2008.
• ______. Plano Nacional de Pós-Graduação (PNPG): 2005-2010. Brasília: Capes, 2004. Disponível em: <http://www.capes.gov.br/servicos/plano-nacional-de-pos-graduacao>. Acesso em: 15 out. 2008.
• CAPES. Coordenação de Aperfeiçoamento de Pessoal de Nível Superior. Avaliação da pós-graduação Disponível em: <http://www.capes.gov.br/avaliacao/avaliacao-da-pos-graduacao>. Acesso em: 15 out. 2008.
• CLARK, B. (Ed.). The research foundation for graduate education Los Angeles: University of California Press, 1993.
• DENICOLO, P. Assenging the PhD: a constructive view of criteria. Quality assurance in education, v. 11, n. 2, p. 84-91, 2003.
• GAZOLLA, A. L. A. Evolução das formas de organização da pós-graduação brasileira. In: CAPES Discussão da pós-graduação Brasileira - 1996. Brasília, 1996. p. 93-100.
• HABERMAS, J. Knowledge and human interests London: Heinemann, 1972.
• HAGUETTE, T. M. F. Universidade: nos bastidores da produção do conhecimento. In: BIANCHETTI, L.; MACHADO, A. M. N. (Orgs.). A bússola do escrever: desafios e estratégias na orientação de teses e dissertações. Florianópolis; São Paulo: UFSC; Cortez, 2002. p. 371-382.
• HANSFORD, B.; MAXWELL, T. A masters degree program: structural components and examiners' comments. Higher educations research and development, v. 12, p. 171-187, 1993.
• HOLBROOK, A. P. et al Examining the quality of doctoral research, 2002. Disponível em: <http://edtech.connect.msu.edu/Serchaera2002/viewproposaltext.asp?propID=2165> Acesso em: 27 ago. 2003.
• JOHNSTON, S. Examining the examiners: an analysis of examiners' reports on doctoral theses. Studies in higher education, v. 22, n. 3, p. 333-348, Oct. 1997.
• ______. Postgraduate supervision in education: an overview of the literature. In: HOLBROOK, A.; JOHNSTON, S. (Eds.). Supervision of postgraduate research in education Victoria: AARE, 1999.
• LATONA, K.; BROWNE, M. Factors associated with completion of research higher degrees. Higher education series, Report n. 37, p. 8, Maio 2001.
• LILJEGREN, D. The PhD in 2005 and ensuring the quality of the postgraduate experience Quality in postgraduate research: managing the new agenda. Adelaide: The University of Adelaide, 1998. p. 53-56. Disponível em <http://www.canberra.edu.au/celts/QPR/1998/Liljegren1998.pdf>. Acesso em: 04 out. 2003.
• LOVAT, T. J. 'Ways of knowing': how examiners position themselves in relation to the doctoral theses. In: Aera Annual Metting, New Orleans. 2002. Disponível em <http://edtech.connect.msu.edu/Searchaera2002/searchsessions.asp?sessID=878>. Acesso em: 27 ago. 2003.
  » link
• LOVAT, T., HOLBROOK, A.; HAZEL, G. What qualities are rare in examiners reports? 2001. Disponível em: <www.aare.edu.au/01pap/lov01589.htm> Acesso em: 27 ago. 2003.
• MADSEN, D. Successful dissertations and theses 2nd ed. San Francisco: Jossey-Bass, 1992.
• MORLEY, L. L.; DAVID, M. Quality and equality in British PhD assessment. Quality assurance in education, v. 11, n. 2, p. 63-71, 2003.
• MOURA CASTRO, C. Memórias de um orientador de tese: um autor relê sua obra depois de um quarto de século? In: BIANCHETTI, L.; MACHADO, A. M. N. (Orgs.). A bússola do escrever: desafios e estratégias na orientação de teses e dissertações. Florianópolis; São Paulo: UFSC; Cortez, 2002. p. 109-134.
• MULLINS, G.; KILEY, M. 'It's a PhD, not a Nobel prize': how experienced examiners assess research theses. Studies in higher education, v. 27, n. 4, p. 369-386, 2002.
• NELSON, H. The gatekeepers: examining the examiners. Australian historical association bulletin, n. 68, p. 12-27, 1991.
• PARRY, D.; HAYDE, M. Supervising higher degree research students Canberra: Australian Government Publishing Services, 1994.
• PHILLIPS, E. M.; PUGH, D. S. How to get a PhD 3rd. ed. Buckingham: Open University Press, 2000.
• POLE, C. Technicians and scholars in pursuit of the PhD: some reflections on doctoral study. Research papers in education, v. 15, n. 1, p. 95-111, 2000.
• POWELL, S.; GREEN, H. Research degree examining: quality issues of principle and practice. Quality assurance in education, v. 11, n. 2, p. 55-63, 2003.
• POWELL, S.; MCCAULEY, C. Research degree examining - common principles and divergent practices. Quality assurance in education, v. 12, n. 2, p. 104-115, 2002.
• ______. The process of examining research degrees: some issues of quality. Quality assurance in education, v. 11, n. 2, p. 10, p. 73-83, 2003.
• SALOMON, D. V. Como fazer uma monografia São Paulo: Martins Fontes, 2001.
• SAMPAIO, H.; VELLOSO, J. Formação de mestres (e doutores): contribuições para as atividades profissionais. In: VELLOSO, J. (Org.). A pós-graduação no Brasil: formação e trabalho de mestres e doutores no país. Brasília: CAPES, 2002. p. 419-437.
• SEVERINO, A. J. Metodologia do trabalho científico São Paulo: Cortez, 2000.
• ______. Pós-graduação e pesquisa: o processo de produção e de sistematização do conhecimento no campo educacional. In: BIANCHETTI, L.; MACHADO, A. M. N. (Orgs.). A bússola do escrever: desafios e estratégias na orientação de teses e dissertações. Florianópolis; São Paulo: UFSC; Cortez, 2002. p. 67-87.
• SIMPKINS, W. S. The way examiners assess critical thinking in educational administration theses. Journal of educational administration, v. 25, n. 2, p. 248-268, 1987.
• TINKLER, P.; JACKSON, C. Examining the doctorate: institutional policy and the PhD examination process in the UK. Studies in higher education, v. 25, n. 2, p. 167-180, 2000.
• ______. Learning to be examined: the British PhD examination process. 8th International Literacy and Education Research Network Conference on Learning, 4-8 July, 2001.
• TRAFFORD, V. Questions in doctoral vivas: views from the inside. Quality assurance in education, v. 11, n. 2, p. 114-122, 2003.
• VELHO, L. Uma nova visão para a pós-graduação? O debate nos Estados Unidos e Europa. Disponível em: <http://www.comciencia.br/reportagens/universidade/uni11.shtml> Acesso em: 12 maio 2003.
• VELLOSO, J.; VELHO, L. Mestrandos e doutorandos no país: trajetórias de formação. Brasília: CAPES, 2001.
• WALLACE, S. Figuratively speaking: six accounts of the PhD viva. Quality assurance in education, v. 11, n. 2, p. 99-107, 2003.
• WARDE, M. Sobre orientar pesquisa em tempos de pesquisa administrada. In: BIANCHETTI, L.; MACHADO, A. M. N. (Orgs.). A bússola do escrever: desafios e estratégias na orientação de teses e dissertações. Florianópolis; São Paulo: UFSC; Cortez, 2002. p. 235-254.
• WINTER, R.; GRIFFITHS, M.; GREEN, K. The 'academic' qualities of practice: what are the criteria for a practice-based PhD? Studies in higher education, v. 25, n. 1, p. 25-37, 2000.
• WRIGHT, T.; COCHRANE, R. Factors influencing successful submission of PhD theses. Studies in higher education, v. 25, n. 2, p. 182-195, 2000.

Datas de Publicação

• Publicação nesta coleção
  18 Maio 2009
• Data do Fascículo
  Abr 2009

Histórico

• Aceito
  11 Nov 2008
• Recebido
  30 Jan 2008