PROGRAMA INSTITUCIONAL DE BOLSA DE INICIAÇÃO À DOCÊNCIA (PIBID): DESEMPENHO DE BOLSISTAS VERSUS NÃO BOLSISTAS ¹

Resumo:

Relatam-se resultados de estudo com o objetivo de comparar o desempenho acadêmico de bolsistas do Programa Institucional de Bolsa de Iniciação à Docência (PIBID) com não bolsistas, considerando-se (a) o conceito dos cursos no Exame Nacional de Desempenho de Estudantes (ENADE) e (b) o turno de funcionamento destes cursos. A população pesquisada foi composta por 2.193 egressos das licenciaturas da Universidade Federal do Ceará (UFC), referente ao período 2009.2 a 2015.1, dos quais 1.924 não foram bolsistas do PIBID (87,7%) e 209 foram bolsistas do PIBID (12,3%). Constatou-se que as maiores médias de rendimento acadêmico estiveram associadas aos licenciados ex-bolsistas do PIBID, independentemente do conceito do curso no ENADE, bem como do turno de funcionamento deste. Os resultados demonstraram a relevância do PIBID para a formação dos universitários, posto que foram identificadas diferenças substantivas na qualidade do aprendizado dos ex-bolsistas, expressas pelas maiores médias de desempenho, em comparação aos licenciados que não foram bolsistas do PIBID.

Palavras-chave:
Avaliação Educacional; Ensino Superior; Avaliação de Programas

Abstract:

We report the results of a study with the objective of comparing the academic performance of fellows from the Institutional Program of Teaching Initiation (PIBID) with non-fellows, considering (a) the concept of the courses in the National Student Performance Examination (ENADE) and (b) the turn of operation of these courses. The studied population consisted of 2,193 graduates of the Federal University of Ceará (UFC), referring to the period 2009.2 to 2015.1, of which 1,924 were not PIBID holders (87.7%) and 209 were PIBID scholarship holders (12.3 %). It was verified that the higher averages of academic performance were associated to the alumni graduates of PIBID, regardless of the concept of the course in the ENADE, as well as the turn of operation of this. The results demonstrated the relevance of the PIBID to the training of university students, since substantial differences were identified in the quality of the alumni’s learning, expressed by the higher performance averages, compared to the graduates who were not PIBID scholars.

Keywords:
Educational Assessment; Higher Education; Program Evaluation.

INTRODUÇÃO

Consoante Sousa, Andriola e Lima (2016), a avaliação é temática relevante para a educação superior, pois está circunscrita na esfera das políticas públicas de educação, efetivando-se como atividade estratégica da administração pública no que tange aos processos de fiscalização e promoção da qualidade educacional. Nessa mesma direção, Andriola (2008) realça que a literatura especializada tem focalizado discussões em torno de aspectos recorrentes acerca da temática supramencionada, dentre as quais se destacam: a autonomia universitária, a vinculação expansão-avaliação-financiamento, a universalização do ensino superior, a avaliação institucional, a qualidade da educação, a avaliação de desempenho docente e a avaliação do aprendizado discente como suporte para aprimoramento educacional.

No que tange à avaliação do aprendizado, importa destacar que a concepção cognitivista assevera que o aprendizado pode ser caracterizado como sendo mudança comportamental qualitativa e estável, ocorrida nos processos mentais de memorização, compreensão, aplicação, análise, síntese e julgamento, dentre outras (ANDRIOLA, 2012). Cabe destacar, ainda, que as capacidades cognitivas características do aprendizado estão associadas aos conteúdos ou objetivos curriculares abordados no processo de formação do alunado (PÉREZ GÓMEZ, 2009). Assim, por exemplo, o professor de Língua Portuguesa, através do uso de um texto literário qualquer, poderá medir o grau de consecução de objetivos curriculares, tais como os abaixo especificados:

• Compreender um texto literário, no qual se exige a capacidade cognitiva de compreensão;

• Analisar os elementos explícitos de uma mensagem, no qual se avalia a capacidade cognitiva de análise;

• Sintetizar uma mensagem original em uma segunda forma paralela e mais simples, no qual se requer a capacidade cognitiva de síntese;

• Julgar o valor literário de uma obra, com base em critérios preestabelecidos, no qual se demanda a capacidade cognitiva de julgamento e de aplicação.

No mencionado exemplo, o professor estará avaliando o grau no qual os seus aprendizes alcançaram quatro objetivos educativos ou curriculares associados às mais distintas capacidades cognitivas, todas elas componentes do aprendizado (ANDRIOLA, 2004a).

Sob esta ótica, na Universidade Federal do Ceará (UFC) a avaliação do aprendizado discente está normatizada pelo Regimento Geral², especificamente no Capítulo VI que trata da Avaliação de Rendimento Escolar. No artigo 109 do referido documento está estabelecido que a avaliação do rendimento “será feita por disciplina e, quando se fizer necessário, na perspectiva de todo o curso, abrangendo sempre a assiduidade e a eficiência, ambas eliminatórias por si mesmas” (p. 28). No parágrafo 1º do referido artigo está conceituado que a assiduidade é compreendida como sendo “a frequência às atividades correspondentes a cada disciplina”. No que tange à eficiência, referida no parágrafo 2º do artigo 109, faz menção ao “grau de aproveitamento do aluno nos estudos desenvolvidos em cada disciplina”. Mais adiante, no artigo 111, é referido que “os resultados das verificações do rendimento serão expressos em notas na escala de zero a dez, com, no máximo, uma casa decimal” (p. 29).

Resultante das avaliações de rendimento escolar realizadas no âmbito de cada disciplina cursada pelo aprendiz a UFC calcula o Índice de Rendimento Acadêmico (IRA), que é um indicador institucional sintetizador dessas informações, visto que se trata da média das notas obtidas por um aluno ao cursar as disciplinas do seu curso de graduação³, cuja amplitude de valores varia de zero a dez.

Numa perspectiva mais ampla, o Ministério da Educação (MEC) adota, atualmente, o Exame Nacional de Desempenho de Estudantes (ENADE), que tem como objetivo central avaliar o rendimento dos concluintes dos cursos de graduação, em relação aos conteúdos programáticos, habilidades e competências adquiridas em sua formação. Posteriormente os resultados são transformados em um indicador nacional rotulado de Conceito ENADE, que expressa a qualidade do curso a partir dos resultados dos alunos em provas averiguadoras do nível de aprendizado, no que tange aos conhecimentos técnicos e próprios da carreira superior (fator específico), bem como no que se refere ao conjunto de informações acerca da cultura geral e da sociedade contemporânea (fator geral). ⁴

Vê-se, assim, que nas duas sistemáticas acima descritas, tem-se a avaliação do aprendizado como indicador de relevo para expressar a qualidade da formação discente (no caso do uso do IRA pela UFC) e da qualidade do curso no qual o aluno está inserido (no caso do emprego do Conceito do ENADE pelo MEC). Convém destacar, ademais, que o uso dessas informações é algo vital para os gestores educacionais, posto que o propósito de toda e qualquer sistemática avaliativa é fornecer subsídios para que os responsáveis pela coordenação e planejamento de ações educativas possam tomar decisões, visando o seu aperfeiçoamento (ANDRIOLA, 1999; PÉREZ JUSTE; GARCÍA RAMOS, 1989).

Portanto, para os gestores da Educação Superior importa saber as transformações ocorridas nos comportamentos dos estudantes quanto à aquisição de novas aprendizagens, de novos conhecimentos úteis ao exercício profissional e à inserção numa sociedade democrática, submetida às transformações oriundas da revolução tecnológica e laboral (ANDRIOLA, 2004b; ANDRIOLA, 2014; ANDRIOLA, 2015). Esses ideais referidos são agregados ao aprendizado do alunado através de várias sistemáticas empregadas pelas Instituições de Ensino Superior (IES), dentre as quais podem ser citadas: o ensino, a pesquisa científica, a aplicação dos conhecimentos científicos (extensão), a monitoria docente e os estágios voltados à prática docente. Nesse âmbito, convém salientar os propósitos do Programa Institucional de Bolsa de Iniciação à Docência (PIBID).

O PROGRAMA INSTITUCIONAL DE BOLSA DE INICIAÇÃO À DOCÊNCIA (PIBID): HISTÓRICO E REPERCUSSÕES

O PIBID é a concretização de uma exigência legal, instituída pelo principal documento de ordenamento jurídico educacional do País, a Lei de Diretrizes e Bases da Educação (LDB), em seu artigo 62, §5º:

A União, o Distrito Federal, os Estados e os Municípios incentivarão a formação de profissionais do magistério para atuar na educação básica pública mediante programa institucional de bolsa de iniciação à docência a estudantes matriculados em cursos de licenciatura, de graduação plena, nas instituições de educação superior (BRASIL, 1996).

No intuito de valorizar o magistério, incentivar o ingresso da carreira docente para a educação básica pública e atender diversas exigências legais acerca da formação de professores para esse nível de ensino, o então ministro da educação, Fernando Haddad, assinou a Portaria nº 38 (BRASIL, 2007), deliberando normas para regulamentar e instituir os objetivos e demais critérios do programa.

No decorrer dos anos, o PIBID expandiu-se consideravelmente no âmbito nacional. O programa, que atendia cerca de três mil bolsistas no ano de 2007, chegou a quase 30 mil em 2011 e atualmente conta com mais de 90 mil (BRASIL, 2010). De acordo com André (2012), embora não tenha sido feita uma avaliação mais abrangente acerca dos impactos do PIBID, nem comparações entre profissionais egressos, as avaliações pontuais têm servido para demonstrar efeitos profícuos tanto relativos à motivação dos estudantes para ingressarem na profissão docente quanto à melhoria da formação continuada dos profissionais que atuam como supervisores dos licenciandos.

Langer, Ribeiro e Schroeder (2013) relataram experiências de trabalhos desenvolvidos na Unioeste entre 2010 e 2012, divulgando situações não só acerca de práticas pedagógicas e interdisciplinares como de interação entre docentes da universidade, professores das escolas e bolsistas acadêmicos que fazem parte do PIBID.

A pesquisa levada a cabo por Araújo, Andriola, Rodrigues e Coelho (2016) na Universidade Federal do Ceará (UFC), empregando uma amostra de 84 egressos do PIBID do período 2009 a 2014, destacou que o PIBID contribuiu para que parte considerável dos bolsistas se sentisse mais segura para atuar profissionalmente, melhorasse o rendimento acadêmico, superasse certas dificuldades e desenvolvesse o gosto pela docência. Conforme os autores, tais indícios dão realce positivo e significativo às experiências decorrentes das atividades desenvolvidas no âmbito do PIBID.

A partir dos relatos percebemos que a cooperação entre escola e universidade, propiciada pelo PIBID, vem contribuindo para o desenvolvimento de habilidades e para o aprofundamento teórico e metodológico das práticas docentes, incrementando as ações no âmbito das licenciaturas e colaborando para uma nova perspectiva e concepção de formação inicial com foco na prática profissional (CIANI et al, 2013). Ademais, observou-se mudança na concepção de ensino por parte dos docentes universitários, fazendo-os entender que o exercício do magistério exige muito mais do que o domínio de conteúdos (SILVEIRA, 2013).

Tais aspectos atinentes aos benefícios do PIBID para formação dos alunos das licenciaturas também podem ser constatados na pesquisa feita por Darroz e Wannmacher (2015) que objetivou identificar focos de aprendizagem docentes nos licenciandos da física, participantes de subprojetos do programa no Rio Grande do Sul. Os referidos autores verificaram, com base nos relatos de 32 licenciandos, que os bolsistas adquirem diversas habilidades, sentem-se mais seguros, são levados a pesquisar e estudar mais para conseguir resolver problemas que detectam em sala de aula durante as atividades do programa, além de desenvolverem competências atinentes ao exercício da docência.

O PIBID também tem mostrado êxito no auxílio à formação continuada dos professores das escolas participantes dos subprojetos. Mediante estudo de Fetzner e Souza (2012) acerca da interculturalidade e seus desafios contemporâneos e da perspectiva conservadora e emancipatória do conhecimento escolar, descobriu-se que, a partir de uma análise da percepção dos profissionais das escolas de educação básica onde são desenvolvidos os subprojetos do PIBID da Universidade Federal do Estado do Rio de Janeiro (UNIRIO), não raro as escolas consideram seus saberes únicos, excluindo-se, assim, os demais. Destarte, por meio das ações realizadas pelos bolsistas de iniciação à docência e seus supervisores, o programa vem contribuindo para intensificar perspectivas interculturais normalmente esquecidas pelas escolas, embora importantíssimas.

Contudo, embora o PIBID esteja apresentando bons resultados, sobretudo no que diz respeito à qualificação da formação docente, combatendo a baixa profissionalização e atratividade da carreira docente, constituindo-se como um grande aliado da escola pública, os problemas existentes na educação básica do País atrapalham a captação dos docentes mais qualificados (ARANTES, 2013).

Percebe-se que o sucesso do PIBID depende de um conjunto de fatores que influenciam os futuros docentes, sobretudo no contexto escolar. Além disso, convém dar destaque, por relevante, que a forma como os bolsistas do PIBID se relacionam com a escola pública, com os professores supervisores, com a equipe pedagógica e até com outros docentes parece fazer muita diferença no processo de formação, podendo influenciar positiva ou negativamente na escolha da profissão e do ambiente de trabalho (LANGER; RIBEIRO; SCHROEDER, 2013).

O PIBID NA UNIVERSIDADE FEDERAL DO CEARÁ (UFC)

Conforme Araújo (2015), o primeiro projeto da UFC contemplava as licenciaturas tipificadas como prioridades pelo próprio edital da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES), quais sejam as Ciências Biológicas, a Física, a Química e a Matemática; além de mais duas que foram consideradas necessárias: a Filosofia, cuja Lei nº 11.684 (BRASIL, 2008) tornou-a disciplina obrigatória no currículo das escolas, havendo, portanto, a necessidade de qualificar e incentivar futuros docentes para atuarem nessas escolas; e a Letras-Português, que deveria contribuir para outras áreas disciplinares, melhorando a capacidade de compreensão, leitura e escrita dos alunos.

Há que se realçar, por oportuno, que, no ínterim correspondente ao início do projeto na UFC até o ano de 2014, alguns impactos foram observados e relatados nos projetos institucionais subsequentes ao primeiro. Destarte, diversas contribuições significativas foram consideradas, por exemplo: a efetivação da relação entre teoria e prática na formação inicial docente, a melhoria do desempenho acadêmico dos bolsistas nas várias disciplinas cursadas, o desenvolvimento de ferramentas que auxiliam na dinamização de práticas pedagógicas centradas na exposição de conteúdos, a melhoria da oralidade dos licenciandos, a melhoria da compreensão dos conteúdos por parte dos alunos do ensino médio, a motivação desses estudantes em participar das atividades propostas e, por fim, maior interação entre os professores coordenadores atuantes nos subprojetos do PIBID.

Com base no exposto, delineou-se estudo com o objetivo geral de efetivar estudo avaliativo para permitir comparações quanto ao desempenho acadêmico dos universitários bolsistas do PIBID com os não bolsistas, considerando-se (a) o conceito dos cursos no Exame Nacional de Desempenho de Estudantes (ENADE) e (b) o turno de funcionamento destes cursos. Para o presente estudo adotou-se como medida do desempenho acadêmico o Índice de Rendimento Acadêmico (IRA), que, como já referido anteriormente, é a média das notas obtidas por um aluno ao cursar as disciplinas do seu curso de graduação na UFC, cuja escala de valores situa-se entre zero e dez. A partir deste ponto, discorre-se acerca das tipologias de estudos voltados à avaliação educacional e de políticas públicas.

ESTUDOS AVALIATIVOS: PROPOSTA DE TAXONOMIA

Na vasta literatura acerca da avaliação educacional e de políticas públicas, há inúmeros intentos de classificação das investigações de cunho avaliativo (SHADISH, Jr.; COOK; LEVITON, 1991). Conforme a opinião de Capucha, Almeida, Pedroso e Vieira da Silva (1996), tais investigações podem ser organizadas em pelo menos quatro tipos, a saber:

1. Avaliação ex ante: consiste na identificação de necessidades e na realização de estudos de factibilidade quanto à execução de uma atividade qualquer. Referidas ações devem orientar a formulação e o desenvolvimento de uma atividade, um programa ou uma política. Inclui a definição de objetivos, o âmbito ou locus de aplicação, a caracterização dos beneficiários e o atendimento de necessidades (Bourguignon; Ferreira; Leite, 2003).

2. Avaliação formativa ou processual: tem por objetivo identificar o grau de coerência e de perfeição das atividades (ou dos processos) que estão sendo executadas, com base nos objetivos que foram determinados a priori (ROSALES, 1984). Trata-se de uma atividade que determinará qual o melhor caminho a seguir, quais as melhores estratégias ou processos a serem implementados, com vistas ao alcance dos objetivos e das metas estabelecidas. A essência do trabalho do avaliador é acompanhar, observar e diagnosticar os processos inerentes ao alcance dos objetivos do programa, com vistas ao aprimoramento destes, em muitos casos, concomitantemente à sua execução. Este acompanhamento inclui o diagnóstico das eventuais falhas dos instrumentos, procedimentos, conteúdos e métodos, bem como da adequação da atividade, do programa ou da política, ao público-alvo (SCRIVEN, 1994).

3. Acompanhamento e monitoramento: em geral, busca identificar o grau de adequação entre o planejado e o executado (Blankenberg, 1995). Trata-se, assim, de ação que visa avaliar a eficiência de algo, a partir dos objetivos e das metas estabelecidas a priori. Nesse âmbito, as atividades de monitoramento permitem intervir no processo de execução da atividade, programa ou política, corrigindo os rumos cada vez que desvios são detectados. Na maior parte das vezes, referida intervenção exige iniciativa, criatividade e soluções alternativas aos entraves surgidos durante o processo executivo (Carvalho; White, 1995).

4. Avaliação somativa, de resultado ou ex post: envolve estudos focados nos resultados de uma ação, atividade, programa, curso, política, ou algo similar. O objeto é o produto ou a consequência tangível de uma ação planejada, conforme asseverou Scriven (1994). Nesse âmbito, cumpre destacar que a análise comparativa das repercussões do PIBID entre bolsistas e não bolsistas possibilitará obter dados diagnósticos, que, por seu turno, possibilitarão o planejamento de ações de aprimoramento e a tomada de decisões por parte dos gestores e dos formuladores de programas e de políticas públicas, com vistas à adequação destas últimas ao público usuário, consoante às ideias de Andriola (1999).

Desse modo, e para finalizar esse tópico, cabe recorrer a Therrien e Sobrinho (1983/1984), para quem a avaliação deverá possibilitar o planejamento eficiente de ações, com vistas a assegurar a credibilidade (da atividade, do programa ou da política) frente aos olhos dos usuários e perante a sociedade na qual se insere. Para tal, ressaltam:

“A avaliação deve mostrar não apenas o somatório de realizações, mas, sobretudo, o efeito ou impacto de sua presença e atuação no contexto social que lhe dá razão de ser. (...) Ao mesmo tempo em que contribui para a unificação efetiva das partes num todo coerente e atuante, a avaliação consolida os empenhos de participação, porque reconhece os princípios da democracia e da responsabilidade conjunta” (THERRIEN; SOBRINHO, 1983/1984: p. 19).

AVALIAÇÃO DE POLÍTICAS PÚBLICAS: BREVE REVISÃO TEÓRICA

Considerando a proposta da presente pesquisa, faz-se necessário discutirmos brevemente acerca da avaliação de políticas públicas, bem como apresentar o que vem sendo feito nesse sentido na área educacional. Ao dar ênfase sobre o ciclo de uma política pública, Frey (2000) o apresenta em quatro etapas, quais sejam: (i) a percepção e definição de problemas, (ii) a elaboração de programas e decisão, (iii) a implementação, e, por fim, (iv) a avaliação para a correção e melhoria da ação.

Com efeito, considerando que é esta última etapa a que nos interessa, no âmbito da presente proposta, devemos entender o que significa avaliar uma política pública. Inicialmente, convém destacar, por oportuno, que, segundo Andriola (1999), a avaliação é uma atividade científica que tem a pretensão de obter informações úteis acerca do objeto analisado com duplo propósito: permitir sua valoração e possibilitar seu aprimoramento.

Nesse sentido, Faria (2005) corrobora essa visão, ao destacar que a avaliação representa a etapa do ciclo das políticas que objetiva aperfeiçoar ações além de fornecer subsídios para intervenções, prestação de contas e responsabilização de agentes envolvidos. Souza (2009) arremata esse posicionamento teórico ao destacar a avaliação como processo de acompanhamento e análise da implementação de políticas, que auxilia todas as etapas do planejamento e orienta as tomadas de decisão.

É ainda na fase da avaliação que se constata quais objetivos foram alcançados, de modo a fomentar decisões sobre a continuidade do ciclo político, sobre a iniciação de um novo ciclo, a elaboração de um novo programa ou até modificação do anterior (FREY, 2000). Nesse sentido, Souza (2003) afirma que as pesquisas devem dar atenção especial para as variáveis que impactam sobre os resultados das políticas públicas, com o fito de entender melhor os resultados destas.

Destarte, a avaliação, que pode ser feita durante ou após a execução de um programa, faz parte do ciclo da política pública e é inexorável para analisar e verificar suas repercussões, além de contribuir para o desenvolvimento contínuo das ações do governo. Vale ressaltar que desde o início da avaliação de políticas púbicas, na década de 1960, sua função sofreu mudança de foco.

Segundo Trevisan e Bellen (2008), inicialmente a avaliação dava ênfase ao fornecimento de informação, garantindo o feedback; posteriormente, na década de 1980, quando se buscava mais eficiência na alocação de recursos, o foco foi direcionado para a (re)alocação fundamentada em critérios orçamentários; já na década de 1990, última constatada na literatura, sua função passou a ser de legitimação por meio do questionamento do papel do Estado, atendendo à exigência de se verificar os resultados dos investimentos da administração pública.

Cabe ressaltar que nos últimos anos observa-se movimento global no âmbito dos poderes legislativos em diversos continentes como Ásia, África e América Latina acerca da necessidade de se criar políticas nacionais de avaliação, com o fito de se analisar a relevância, eficácia, eficiência e efetividade de programas públicos. Na realidade, trata-se de um movimento cujo nascedouro remonta-se às ideias de Scriven (1969) sobre os conceitos de meta-avaliação e de accountability.

Quando se focaliza a accountability fundamentada numa perspectiva mais ampla, com base não apenas nas suas formas e processos, mas em uma visão na qual surja como um instrumento a serviço dos ideais democráticos de um país, as posições daqueles que a veem como mero instrumento de controle de resultados, ou daqueles que a supõem como mero controle de processos garantidores da prestação de serviços públicos eficientes, podem ser facilmente criticadas sob o argumento do desconhecimento e da desconsideração pela complexidade das funções desempenhadas pelos administradores públicos nas sociedades contemporâneas, nas quais mais do que governar, os administradores públicos têm o dever de buscar aquilo que Platão, Aristóteles e Cícero trataram de “o bem comum” (ROCHA, 2011). Portanto, desde a nossa perspectiva teórica, a accountability permite impor transparência e controle da coisa pública, através de sistemáticas de avaliação que visam gerar informações relevantes acerca da adequação dos recursos públicos empregados na execução dos programas e das atividades componentes das políticas públicas⁵.

Dessa forma, o presente estudo justifica-se com base na ideia de que a sociedade contemporânea exige a prestação de contas (accountability) dos entes financiadores (governos, organismos multilaterais, órgão de fomento à pesquisa, dentre outros) das políticas públicas e dos seus respectivos programas ou projetos sociais, de modo a deixar claro os custos e os impactos implicados nos resultados obtidos destes, empregando-se, para tal, sistemáticas de avaliação.

PROCEDIMENTOS METODOLÓGICOS

Para se alcançar o objetivo geral realizou-se pesquisa de campo do tipo ex-post facto, de natureza descritiva (KERLINGER; LEE, 2000) com o universo de 2.193 egressos das licenciaturas da UFC do período 2009.2 a 2015.1, comparando o grupo de ex-bolsistas do PIBID (n = 209 ou 12,3%) com os licenciados não bolsistas do programa (n = 1.924 ou 87,7%). Estes alunos foram segmentados conforme (a) o conceito ENADE do respectivo curso e (b) o turno de funcionamento do curso. Posteriormente, foram obtidas informações acerca do IRA desses alunos de modo a se efetivar comparações, conforme os resultados explicitados na seção seguinte.

APRESENTAÇÃO E DISCUSSÃO DOS RESULTADOS

A Tabela 1 contém informações acerca do conceito ENADE dos cursos, do tamanho das amostras, dos valores médios e dos desvios-padrões do IRA dos alunos, dos valores do Teste t de Student⁶, bem como do nível de significância (p-value).

Tabela 1
Resultados do Teste t de Student para a comparação entre as médias dos IRA dos alunos (bolsistas e não bolsistas), conforme o conceito ENADE do curso ao qual pertenceram.

Conceito ENADE	Amostras (n)		Média do IRA		Desvio padrão		Teste t	p
	Sem bolsa	Com bolsa	Sem bolsa	Com bolsa	Sem bolsa	Com bolsa
2	65	12	7,243	7,891	1,670	0,8570	-2,009	0,05
3	270	24	7,185	8,070	1,600	0,9141	-4,202	0,00
4	1268	164	6,669	7,100	1,169	0,7179	-6,636	0,00
5	310	56	6,622	7,093	1,099	0,5474	-4,905	0,00

• Fonte: Os autores (2016).

Conforme os dados da Tabela 1 observa-se que os quantitativos das amostras de egressos não bolsistas do PIBID são sempre superiores às amostras de ex-bolsistas do PIBID. Há que destacar que em duas situações específicas as amostras são inferiores a 30 sujeitos: ex-bolsistas do PIBID pertencentes aos cursos com Conceitos 2 e 3 no ENADE. Não obstante, o Teste t de Student é robusto o suficiente para ser usado nessas situações em que o tamanho amostral é menor que 30.

Ainda considerando-se a Tabela 1, convém salientar que os valores observados para os desvios-padrões são sempre inferiores nas subamostras dos bolsistas do PIBID, indicando maior homogeneidade no desempenho acadêmico desses licenciados, em contraste com as subamostras dos não bolsistas do PIBID. Ademais, é conveniente destacar o fato de que quanto mais qualificado é o curso, por exemplo, no caso dos cursos com conceito 3, 4 e 5, menor o desvio-padrão do IRA dos licenciados, independentemente de terem sido bolsista ou não do PIBID. Em ambos os casos, tal aspecto indica maior homogeneidade no desempenho acadêmico dos licenciados quanto mais qualificado é o curso, expresso pelo conceito ENADE atribuído pelo MEC.

Na Figura 1, apresentada adiante, verifica-se claramente que os valores médios do IRA dos bolsistas do PIBID são superiores aos valores médios dos não bolsistas, independentemente do conceito ENADE do curso ao qual pertenceram. Portanto, parece ser que o aprendizado dos bolsistas do PIBID é qualitativamente superior ao aprendizado dos alunos não partícipes, independentemente da qualidade do curso medida pelo MEC através do ENADE.

Figura 1
Gráfico de linhas com os valores médios dos IRA, conforme o conceito ENADE do curso.

Para finalizar, há que se comentar que os valores observados para o Teste t de Student apontam para a existência de diferenças estatísticas significativas entre as médias do IRA dos bolsistas PIBID em comparação com as médias do IRA dos não bolsistas do PIBID. Em outras palavras, os valores médios do IRA dos bolsistas do PIBID são superiores aos valores médios dos não bolsistas, independentemente do conceito ENADE do curso ao qual pertenceram, e estas diferenças são estatisticamente significativas adotando-se o nível de 5% de confiança (conforme os valores observados de p-value).

Como referido anteriormente, o IRA é um indicador de relevo que expressa a qualidade da aprendizagem discente. Assim sendo, as diferenças observadas em prol dos bolsistas do PIBID permitem-nos asseverar que seus aprendizados revelam o desenvolvimento de capacidades cognitivas, bem como de assimilação dos conteúdos curriculares de modo superior ao desenvolvimento desses mesmos aspectos dentre os licenciados que não foram bolsistas do PIBID. Pode-se inferir ser significativa a diferença na qualidade da formação discente entre o grupo de ex-bolsistas do PIBID e o grupo de licenciados não bolsistas, independentemente do conceito do curso no ENADE.

Na Tabela 2, a seguir apresentada, constam informações para averiguar a suposta existência de diferenças estatisticamente significativas entre as médias do IRA dos bolsistas PIBID e não bolsistas PIBID, nos cursos de graduação que funcionam em diferentes turnos.

Tabela 2
Resultados do Teste t de Student para a comparação entre as médias dos IRA dos egressos (bolsistas e não bolsistas), conforme o turno de funcionamento do curso ao qual pertenceram.

Turno do Curso	Amostras (n)		Média do IRA		Desvio padrão		Teste t	p
	Sem bolsa	Com bolsa	Sem bolsa	Com bolsa	Sem bolsa	Com bolsa
Diurno	499	93	6,806	7,168	1,1151	0,6674	-4,243	0,00
Misto	1007	117	6,569	7,140	1,1647	0,6683	-7,939	0,00
Noturno	418	58	7,143	7,548	1,5288	1,0157	-0,709	0,00

• Fonte: Os autores (2016).

De acordo com os dados presentes na Tabela 2, observa-se, inicialmente, que os quantitativos das amostras de egressos não bolsistas do PIBID são sempre superiores às amostras de egressos bolsistas do PIBID. Todas as amostras são superiores a 30 indivíduos.

Prosseguindo na análise da Tabela 2, convém salientar, ainda, que os valores observados para os desvios-padrões são sempre inferiores nas subamostras dos bolsistas do PIBID, indicando maior homogeneidade no desempenho acadêmico desses egressos, em contraste com as subamostras dos não bolsistas do PIBID. Ademais, é conveniente destacar o fato de que nos cursos do turno diurno, o valor do desvio-padrão do IRA dos licenciados foi sempre menor que os licenciados dos cursos noturnos, independentemente de ser ou não bolsista do PIBID. Em ambos os casos, tal aspecto indica maior homogeneidade no desempenho acadêmico dos licenciados dos cursos diurnos.

Conforme a Figura 2, apresentada adiante, os valores médios do IRA dos bolsistas do PIBID são superiores aos valores médios dos não bolsistas do PIBID, independentemente do turno de funcionamento do curso ao qual pertenceram.

Figura 2
Gráfico de linhas contendo os valores médios dos IRA, conforme o turno de funcionamento do curso.

Depreende-se da análise da Figura 2, que o aprendizado dos bolsistas PIBID é qualitativamente superior ao dos não bolsistas, independentemente do turno de funcionamento do curso de graduação. Portanto, igualmente como nas análises anteriormente efetivadas, as diferenças observadas em prol dos bolsistas do PIBID permitem-nos asseverar que seus aprendizados revelam o desenvolvimento de capacidades cognitivas, bem como de assimilação dos conteúdos curriculares de modo muito superior aos não bolsistas do PIBID. Pode-se inferir que é significativa a diferença na qualidade da formação discente entre bolsistas do PIBID e não bolsistas do PIBID, em prol dos primeiros, independentemente do turno de funcionamento do curso de pertença.

Para finalizar, há que se comentar que os valores observados para o Teste t de Student apontam para a existência de diferenças estatisticamente significativas entre as médias do IRA dos ex-bolsistas PIBID, em comparação com as médias do IRA dos não foram bolsistas do PIBID. Em outras palavras, os valores médios do IRA dos ex-bolsistas do PIBID são superiores aos valores médios dos não bolsistas do PIBID, independentemente do turno de funcionamento do curso ao qual pertenceram, e estas diferenças são estatisticamente significativas adotando-se o nível de 1% de confiança (conforme os valores observados de p-value).

CONCLUSÕES

Partindo-se da premissa que a formação universitária se dá através de atividades de ensino, de pesquisa científica e da aplicação efetiva de conhecimentos científicos (extensão), o presente estudo buscou identificar se haveria diferenças significativas no rendimento acadêmico de licenciados que foram bolsistas do PIBID em comparação com outros licenciados que não tiveram a mesma experiência, executando-se avaliação do tipo ex post-fato. Desse modo, delineou-se estudo considerando-se a inserção desses egressos em cursos de graduação (i) com distintos conceitos no Exame Nacional de Desempenho de Estudantes (ENADE) e (ii) com distintos turnos de funcionamento.

A partir dos dados obtidos atinentes ao rendimento acadêmico desses licenciados, pode-se constatar que as maiores médias de rendimento acadêmico, medido através do Índice de Rendimento Acadêmico (IRA) adotado pela Universidade Federal do Ceará (UFC), estiveram associadas aos egressos que foram bolsistas do PIBID. Assim, os resultados oriundos do estudo avaliativo do tipo ex post-facto demonstraram a relevância do PIBID para a formação dos universitários, posto que foram identificadas diferenças substantivas na qualidade do aprendizado dos bolsistas, quando comparados a outros aprendizes que não tiveram a mesma fortuna de se submeterem às experiências brindadas pelo referido programa institucional.

Depreende-se, portanto, que o aprendizado dos bolsistas PIBID é qualitativamente superior ao dos não bolsistas, independentemente do conceito do curso de pertença no ENADE e do turno de funcionamento. Portanto, as diferenças observadas em prol dos ex-bolsistas do PIBID permitem-nos asseverar que seus aprendizados revelam o desenvolvimento de capacidades cognitivas, bem como de assimilação dos conteúdos curriculares de modo muito superior aos demais licenciados não bolsistas do PIBID.

Tais constatações corroboram com os achados de outras pesquisas constantes na literatura quais sejam Langer, Ribeiro e Schroeder (2013), Araújo, Andriola, Rodrigues e Coelho (2016), Darroz e Wannmacher (2015), cujos resultados apontam para os benefícios proporcionados pelo PIBID no aquilatamento da formação dos licenciandos que participam do referido programa.

É importante considerar que o PIBID possui como principal objetivo atrair os melhores profissionais para atuarem nas escolas públicas, contribuindo assim para a melhoria da educação básica pública. Destarte, para além da melhoria na qualidade da formação dos futuros licenciados, é imprescindível descobrir se os egressos do PIBID, após concluírem sua formação, estão exercendo a profissão docente, e, caso estejam, onde estão atuando: na escola pública ou na privada?

Com efeito, há que se realçar ainda, que, atualmente, a sociedade exige que as políticas públicas e os programas que as compõem rendam contas à sociedade, por meio de sistemáticas de avaliação. De certo modo, foi esse o aspecto que justificou a presente pesquisa. A partir dessa noção pode-se asseverar que o PIBID demonstrou ser um programa bem planejado, elaborado e articulado, que agrega valor à formação dos discentes participantes, porquanto potencializa e enriquece experiências de futuros profissionais, estreitando a relação entre escola e universidade. Contudo, existe uma carência de pesquisas envolvendo o acompanhamento de egressos do PIBID, além da falta de dados comparativos entre os licenciados que identifiquem os percentuais de ingresso destes nas escolas de educação básica pública.

Ademais, é importante ressaltar que uma das principais críticas do governo federal atinentes ao PIBID é exatamente o baixo percentual de retorno do que está sendo investido no programa, em decorrência do baixo quantitativo de profissionais egressos do PIBID que se tornam professores das escolas públicas.

A despeito das considerações supracitadas, convém destacar, mais uma vez, que os excelentes resultados obtidos nessa pesquisa, em consonância com outros estudos, corroboram a ideia que o PIBID promove o desenvolvimento de competências substantivas ao exercício da docência. Em outros termos: o PIBID tem se constituído em política proporcionadora de oportunidades para o enriquecimento do aprendizado, cujo reflexo mais visível consubstancia-se no elevado IRA dos bolsistas.

Aclare-se que o PIBID é uma política pública de formação de professores, sem pretensão alguma de ser compensatória, como é o caso do Sistema de Cotas para o Ensino Superior (Lei n° 12.711/2012) e do Programa Universidade para Todos (PROUNI - Lei n° 11.096/2005). Assim, o PIBID não vislumbra oportunizar estudantes trabalhadores, mulheres com filhos e estudantes de baixa renda que, em IES desprovidas de adequadas ações de assistência estudantil, possam estar a exercer outras atividades durante a graduação, inviabilizando sua inserção no referido programa. Estes últimos aprendizes deverão, portanto, ser alvo coberto por outra política pública, de natureza compensatória.

Um aspecto a ser mencionado que, de certo modo, impõe limitações ao estudo, porém não subtrai seu mérito, tampouco sua relevância, diz respeito a adoção das variáveis de segmentação (IRA e conceito no ENADE). Tais variáveis, como indicadores que são, têm alcances limitados. No campo educacional, indicador é um artifício proporcionador de informação relevante e sintética acerca de aspectos significativos da realidade observada, que, habitualmente, resulta de algum tipo de informação quantitativa (ANDRIOLA, ARAÚJO, 2016; JANUZZI, 2003). Sem embargo, não devemos atribuir o seu êxito ou aceitação somente à sua capacidade explicativa, posto que especialistas e cientistas sociais utilizam muitos outros recursos para conhecer e interpretar a realidade que abordam. Sendo assim, os indicadores devem ser encarados como o que na realidade são: artefatos de alcance limitado, ou seja, de eficácia relativa (VAN RAAN, 2005).

Por que, então, a relevância e a acentuada difusão dos indicadores, verificadas atualmente no campo educacional? Sem dúvida, o motivo principal se encontra em duas características intrínsecas aos indicadores: caráter sintético e capacidade para orientar a tomada de decisões. Ambos os indicadores permitem tomar decisões com base nas informações que geram. O IRA permite que os alunos da UFC possam progredir seus estudos e concluir seus cursos, amparando-se no critério mínimo estabelecido para denotar qualidade de aprendizado, qual seja, nota sete (em um intervalo que pode variar de zero a dez). No que diz respeito ao ENADE, este possibilita que o guardião da qualidade dos cursos e, portanto, da formação do alunado de nível superior, o Ministério da Educação (MEC), regule o sistema de Educação Superior e os seus cursos, tomando decisões a respeito da manutenção, da abertura e da extinção de cursos, a partir do critério mínimo estabelecido para caracterizar a qualidade destes, quais seja, o conceito três (numa escala que pode variar de um a cinco).

Para concluir, convém realçar que a qualidade da Educação Superior ampara-se em três pilastras quais sejam o ensino, a pesquisa científica e a extensão. No entanto, o ensino é uma das atividades mais nobres e antigas da humanidade. A esse respeito, convém destacar o que, em certa ocasião, foi referido pelo maior de todos os cientistas do século XX, o físico alemão Albert Einstein: não ensino aos meus alunos. Crio as condições para que aprendam. Esse parece ser o princípio essencial do PIBID. Sendo assim: longa vida ao PIBID.

Referências

• ANDRÉ, M. Políticas e programas de apoio aos professores iniciantes no Brasil. Cadernos de Pesquisa, São Paulo, v. 42, n. 145, p.112-129, 2012.
• ANDRIOLA, W. B. Evaluación: La vía para la calidad educativa. Ensaio. Avaliação e Políticas Públicas em Educação, Rio de Janeiro, v. 7, n.25, p. 355-368, 1999.
• ANDRIOLA, W. B. Avaliação da aprendizagem: conceitos, dados, problemas e perspectivas. Psicologia Argumento, Curitiba, v. 22, n. 39, p. 45-55, 2004a.
• ANDRIOLA, W. B. Avaliação institucional na Universidade Federal do Ceará (UFC): organização de sistema de dados e indicadores da qualidade institucional. Avaliação: Revista da Avaliação da Educação Superior, Campinas, v. 9, n.4, p. 33-54, 2004b.
• ANDRIOLA, W. B. Propostas Estatais Voltadas à Avaliação do Ensino Superior Brasileiro: Breve Retrospectiva Histórica do Período 1983-2008. Revista Iberoamericana sobre Calidad, Eficacia y Cambio en Educación, v. 6, n. 4, p. 127-148, 2008. Texto disponível em <http://www.rinace.net/reice/numeros/arts/vol6num4/art7.pdf>. Acesso em: 08 ago. 2016.
  » http://www.rinace.net/reice/numeros/arts/vol6num4/art7.pdf
• ANDRIOLA, W. B. Avaliação do aprendizado discente: estudo com professores de Escolas Públicas. Educar em Revista, Curitiba, n. 46, p. 141-158, 2012.
• ANDRIOLA, W. B. Estudo de egressos de cursos de graduação: subsídios para a autoavaliação e o planejamento institucionais. Educar em Revista, Curitiba, p. 203-220, 2014.
• ANDRIOLA, W. B.; ARAÚJO, A. de C. Relevância do uso de indicadores de gestão para a autoavaliação e o planejamento estratégico de Instituições de Ensino Superior (IES). Revista Meta-avaliação, Rio de Janeiro, v. 8, n. 24, p. 515-533, 2016.
• ANDRIOLA, W. B.; OLIVEIRA, K. R. B. Autoavaliação institucional na Universidade Federal do Ceará (UFC): meio século de história. Avaliação: Revista da Avaliação da Educação Superior, Campinas, v. 20, p. 489-512, 2015.
• ARANTES, M. A. A prática docente e o ensino de sociologia, p. 27-46. In: LANGER, Arleni Elise Sella; RIBEIRO, Dulcyene Maria; SCHROEDER, Tânia Maria Rechia (org.). PIBID: incentivo à formação de professores. Porto Alegre: Evangraf/UNIOESTE, 2013.
• ARAÚJO, A. C. Avaliação do Programa Institucional de Bolsa de Iniciação à Docência da Universidade Federal do Ceará na perspectiva dos egressos (98 pág.). Dissertação de Mestradoapresentada ao Mestrado Profissional em Políticas Públicas e Gestão da Educação Superior (POLEDUC). Fortaleza: Universidade Federal do Ceará (UFC), 2015.
• ARAÚJO, A. C.; ANDRIOLA, W. B.; RODRIGUES, M. do S. de S.; COELHO, A. de A. Avaliação do Programa Institucional de Bolsa de Iniciação à Docência (PIBID): estudo de caso na Universidade Federal do Ceará (UFC). Revista Foro Educacional, Chile, n. 27, p. 33-56, 2016.
• Blankenberg, F. The Role of planning, monitoring and evaluation. The Hague: Novib, 1995.
• Bourguignon, F.; FERREIRA, F.; LEITE, P. Conditional Cash Transfers, Schooling, and Child Labor : Micro-Simulating Brazil’s Bolsa Escola Program. The World Bank Economic Review, v. 17, n. 2, p. 229-254, 2003.
• BRASIL. Decreto nº 7.219, de 24 de junho de 2010. Dispõe sobre o Programa Institucional de Bolsa de Iniciação à Docência - PIBID e dá outras providências. Brasília, DF, 2010. Disponível em: <Disponível em: http://goo.gl/U3SqzP >. Acesso em: 22 fev. 2015.
  » http://goo.gl/U3SqzP
• BRASIL. Lei nº 9.394, de 20 de dezembro de 1996. Estabelece as diretrizes e bases da educação nacional. Brasília, DF, 1996. Disponível em: <Disponível em: http://goo.gl/3YQoF >. Acesso em:25 jun. 2015.
  » http://goo.gl/3YQoF
• BRASIL. Lei nº 11.684, de 11 de junho de 2008. Altera o art. 36 da Lei n^o 9.394, de 20 de dezembro de 1996, que estabelece as diretrizes e bases da educação nacional, para incluir a Filosofia e a Sociologia como disciplinas obrigatórias nos currículos do ensino médio. Brasília, DF, 2008.
• BRASIL. Portaria nº 096, de 18 de julho de 2013. Coordenação de Aperfeiçoamento de Pessoal de Nível Superior - CAPES. Brasília, DF, 2013. Disponível em: <Disponível em: http://goo.gl/6YO9vh >. Acesso em:27 jun. 2015.
  » http://goo.gl/6YO9vh
• BRASIL. Portaria nº 38, de 12 de dezembro de 2007. Ministério da Educação. Dispõe sobre o Programa de Bolsa Institucional de Iniciação à Docência - PIBID. Brasília, DF, 2007. Disponível em:<Disponível em:http://goo.gl/PxTFMf >. Acesso em:27 jun. 2015.
  » http://goo.gl/PxTFMf
• BRUNNER, J. J. El proceso de Bolonia en el horizonte latinoamericano: límites y posibilidades. Revista de Educación, número extraordinario, p. 119-145, 2008.
• CAPUCHA, L.; ALMEIDA, J. F.; PEDROSO, P.; SILVA, J. V. Metodologias de avaliação: o estado da arte em Portugal. Sociologia: problemas e práticas, Lisboa, v. 22, p. 9-27, 1996.
• CARVALHO, G. P.; WHITE, H. Performance indicators to monitor poverty reduction. Washington, DC: World Bank, 1995.
• CIANI, A. B.; LANGER, A. E. S.; RIBEIRO, D. M.; ANTUNES, F. C. A.; BASSOI, T. S. A experiência do PIBID na licenciatura de matemática da Unioeste - campus de Cascavel, p. 61-75. In: LANGER, A. E. S.; RIBEIRO, D. M.; SCHROEDER, T. M. R. (org.). PIBID: incentivo à formação de professores. Porto Alegre: Evangraf/UNIOESTE, 2013.
• DARROZ, L M.; WANNMACHER, C. M. D. Aprendizagem docente no âmbito do PIBID/física: a visão dos bolsistas de iniciação à docência. Revista Ensaio: Pesquisa em Educação em Ciências, v. 17, p. 727-748, 2015. Disponível em Disponível em http://www.scielo.br/scielo.php?pid=S1983-21172015000300727&script=sci_abstract&tlng=pt Acesso em: 24 mai. 2017.
  » http://www.scielo.br/scielo.php?pid=S1983-21172015000300727&script=sci_abstract&tlng=pt
• FARIA, C. A. P. de. A política da avaliação de políticas públicas. Revista Brasileira de Ciências Sociais, São Paulo, v. 20, n. 59, p. 97-109, 2005.
• FETZNER, A. R.; SOUZA, M. E. V. Concepções de conhecimento escolar: potencialidades do Programa Institucional de Bolsa de Iniciação à Docência. Educação e Pesquisa, São Paulo, v. 38, n. 3, p. 683-694, 2012.
• FREY, K. Políticas públicas: um debate conceitual e reflexões referentes à prática da análise de políticas públicas no Brasil. Planejamento e Políticas Públicas, Brasília, n. 21, p. 211-259, 2000.
• FRIGOTTO, G. Os circuitos da história e o balanço da educação no Brasil na primeira década do século XXI. Revista Brasileira de Educação, Rio de Janeiro, v. 16, n. 46, p. 235-274, 2011.
• GENTILI, P.; FRIGOTTO, G.; LEHER, R; STUBRIN, F. (org.). Políticas de privatización, espacio público y educación en América Latina. Rosario: Homo Sapiens/CLACSO, 2009.
• JANUZZI, P. de M. Indicadores sociais no Brasil. Conceitos, fontes de dados e implicações. Campinas: Alínea, 2003.
• KERLINGER, F. N.; LEE, H. Foundations of behavioral research. Orlando: Harcourt College Publishers, 2000.
• LANGER, A. E. S.; RIBEIRO, D. M.; SCHROEDER, T. M. R.(org.). PIBID: incentivo à formação de professores. Porto Alegre: Evangraf/UNIOESTE , 2013.
• LEHER. R. Educação no Governo Lula da Silva: a ruptura que não aconteceu (p. 369-412). In: Os anos Lula: contribuições para um balanço crítico 1993-2010. Rio de Janeiro: Garamond, 2010.
• LIBÂNEO, J. C.. Adeus Professor, adeus professora? Novas exigências educacionais e profissão docente - Coleção Questões da Nossa Época; v. 67. 7ª ed. - São Paulo: Cortez, 2003.
• LIMA, K. R. de S. O Banco Mundial e a educação superior brasileira na primeira década do novo século. Revista Katál, Florianópolis, v. 14, n.1, jan./jun. p. 86-94, 2011.
• MAURIEL, A. P O. Fundamentos do combate à pobreza na contemporaneidade: Amartya Sen e a perspectiva do desenvolvimento humano (p. 87-128). In: SERAINE, A. B. dos S.; S JUNIOR, R. B. dos; MIYAMOTO, S. Estado, desenvolvimento e políticas públicas. Ijuí: Unijuí; Teresina: Ed. Universitária da UFPI, 2008.
• NÓVOA, A. Para una formación de profesores construida dentro de la profesión. Revista Educación, n. 350, septiembre-diciembre, 2009.
• PÉREZ GÓMEZ, A. I. La evaluación como aprendizaje. Madrid: Ediciones AKAL, 2009.
• PÉREZ JUSTE, R.; GARCÍA RAMOS, J. M. Diagnóstico, evaluación y tomada de decisiones. Madrid: Ediciones Rialp, 1989.
• PERRENOUD, P. A prática reflexiva no ofício do professor: profissionalização e razão pedagógica. Porto Alegre: Artmed Editora, 2002.
• PIMENTA, S. G. Formação dos Professores - Saberes da Docência e Identidade do Professor. Nuances- Vol. III- Setembro, 1997.
• ROCHA, A. C. Accountability na Administração Pública: modelos teóricos e abordagens. Contabilidade, Gestão e Governança, Brasília, v. 14, n. 2, p. 82-97, 2011.
• ROSALES, C. Criterios para una evaluación formativa. Madrid: Narcea, 1984.
• SCRIVEN, M. Evaluation as a discipline. Studies in Educational Evaluation, v. 20, p. 147-166, 1994.
• SCRIVEN, M. An introduction to meta-evaluation. Educational Products Report, 2, p. 36-38, 1969.
• SHADISH, Jr., W.; COOK, T.; LEVITON, L. Foundations of program evaluation: theories of practice. Londres: SAGE, 1991.
• SILVA, T. M. Teste t de Student. Teste de igualdade de variâncias. Belém: Universidade Federal do Pará (UFPA), 2014. Disponível em <Disponível em http://www.ufpa.br/heliton/arquivos/aplicada/seminarios/M1_01_Teste_t_Tais.pdf >. Acesso em: 09 jul. 2016.
  » http://www.ufpa.br/heliton/arquivos/aplicada/seminarios/M1_01_Teste_t_Tais.pdf
• SILVEIRA, J. A.P. da. Ensaio: confissões de um observador sem método das impressões em segunda mão das escolas de ensino médio do Paraná, p. 97-107. In: LANGER, A. E. S.; RIBEIRO, D. M.; SCHROEDER, T. M. R. (org.). PIBID: incentivo à formação de professores. Porto Alegre: Evangraf/UNIOESTE, 2013.
• SOUSA, A. C. G.; ANDRIOLA, W. B.; LIMA, A. S. Expectativas da Avaliação Docente na Educação Superior Brasileira. Um Estudo com os Envolvidos em uma Instituição de Ensino Pública. Revista Iberoamericana de Evaluación Educativa, Santiago do Chile, v. 9, n. 2, p. 81-105, 2016.
• SOUZA, C. “Estado do campo” da pesquisa em políticas públicas no Brasil. Revista Brasileira de Ciências Sociais, São Paulo, v. 18, n. 51, p. 15-20, 2003.
• THERRIEN, J., H SOBRINHO, J.. Avaliação institucional em Universidades: considerações metodológicas. Educação em Debate, Fortaleza, v. 6/7, n. 2/1, p. 17-27, 1983/1984.
• TREVISAN, A. P.; BELLEN, H. M. van. Avaliação de políticas públicas: uma revisão teórica de um campo em construção. Revista de Administração Pública, Rio de Janeiro, v. 42, n. 3, p. 529-550, 2008.
• VAN RAAN, A. Fatal attraction: conceptual and methodological problems in the ranking of universities by bibliometric methods. Scientometrics, Budapest, v. 62, n. 1, p. 133-143, 2005.

• 1
  Investigação financiada pelo Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq), através da concessão de bolsa de Produtividade em Pesquisa para o segundo autor. Resultados parciais desse estudo foram apresentados no XVI Colóquio Internacional em Gestão Universitária (CIGU), realizado em novembro de 2016, em Arequipa, no Peru. Os autores expressam o seu agradecimento aos servidores da Pró-Reitoria de Graduação (PROGRAD) da Universidade Federal do Ceará (UFC) pela extrema boa vontade e disponibilidade em proporcionar os dados empregados na presente pesquisa.

• 2
  Documento disponível em <http://www.ufc.br/images/_files/a_universidade/regimento_geral_ufc/regimento_geral_ufc.pdf>. Acesso em 08/08/2016.

• 5
  Na seara científica, sobretudo dentre as ciências humanas e sociais, não há posicionamento teórico sustentado sobre a aceitação unânime dos pesquisadores. Sendo assim, com respeito à noção de accountability aqui empregada, há diversos autores com posições distintas e/ou contrárias, como é o caso de Mauriel (2008); Lima (2011); Brunner (2007); Frigotto (2011); Leher (2010); Gentili, Frigotto, Leher, Stubrin (2009), dentre outros. Não é objetivo desse artigo discorrer acerca dessas diferenças teóricas, de concepção de mundo e de Estado. Assim sendo, deixamos aos leitores interessados na temática, as obras mencionadas, como sugestão de leitura.

• 6
  A estatística t foi introduzida em 1908 por William Sealy Gosset (student era seu pseudônimo), químico da cervejaria Guinness em Dublin (Irlanda). W. S. Gosset havia sido contratado devido à política inovadora implantada por Claude Guinness de recrutar os melhores graduados de Oxford e Cambridge para os cargos de bioquímico e estatístico da indústria Guinness. W. S. Gosset desenvolveu o Teste t como um modo barato de monitorar a qualidade da cerveja tipo stout. Ele publicou o Teste t na revista acadêmica Biometrika em 1908, mas foi forçado a usar seu pseudônimo pelo seu empregador, que acreditava que o fato de usar estatística era um segredo industrial. O Teste t de Student é empregado para se testar hipóteses, baseando-se em conceitos estatísticos para corroborar uma hipótese nula quando a estatística de teste (t) segue uma distribuição t - Student. Essa premissa é normalmente usada quando a estatística de teste, na verdade, segue uma distribuição normal, mas a variância da população é desconhecida. Nesse caso, é usada a variância amostral, e com esse ajuste a estatística de teste passa a seguir a distribuição t - Student (SILVA, 2014)

• 3
  Informações adicionais acerca do Índice de Rendimento Acadêmico (IRA) adotado pela Universidade Federal do Ceará (UFC) podem ser consultadas em <http://www.prograd.ufc.br/perguntas-frequentes/384-perguntas-frequentes-ira>. Acesso em 01/07/2016.

• 4
  Informações adicionais no sítio do MEC <http://portal.inep.gov.br/enade>. Acesso em 01/07/2016.

Datas de Publicação

• Publicação nesta coleção
  2018

Histórico

• Recebido
  30 Nov 2016
• Aceito
  16 Set 2017