Acessibilidade / Reportar erro

Efeitos da formação docente sobre resultados escolares do ensino médio Este trabalho é derivado da dissertação de mestrado “A área de formação docente importa para a qualidade do aprendizado dos alunos? Uma análise com dados em painel do Censo Escolar” (Costa 2018). Os autores agradecem os comentários dos membros da banca, Paula Louzano e Romero Rocha, dos participantes do congresso Meeting of the Economics of Education Association (AEDE, 2018) e dos pareceristas anônimos desta revista. As sugestões contribuíram significativamente para o apri moramento do artigo. Roberta Costa é grata ao Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq) e à Fundação Carlos Chagas Filho de Amparo à Pesquisa do Estado do Rio de Janeiro (FAPERJ) pelo apoio financeiro recebido.

Resumo

Resultados escolares do ensino médio estão estagnados no Brasil. Em 2016, dados do Censo Escolar da Educação Básica mostravam que 21% dos professores do ensino médio brasileiro não possuíam formação superior compatível com nenhuma das disciplinas que lecionavam. Em que medida estes fenômenos se relacionam? É necessário que o professor tenha formação estritamente compatível com a disciplina lecionada para melhorar o resultado de alunos do ensino médio? Com base em um painel construído com o Censo Escolar da Educação Básica para os anos de 2007 a 2016, estima-se o impacto da proporção de docências sem formação superior compatível com as disciplinas lecionadas sobre resultados escolares. O principal resultado indica uma relação positiva e significativa com as taxas de abandono e de distorção idade-série. Problemas sistemáticos como abandono e atraso escolar no ensino médio parecem acentuar-se quando professores ministram disciplinas com as quais não possuem formação compatível.

Palavra-Chave:
Formação docente; Formação específica; Resultados escolares; Ensino Médio; Efeitos fixos de escola.

Abstract

High school outcomes are stagnant in Brazil. In 2016, the School Census of Basic Education showed that 21% of Brazilian high school teachers were only teaching out-of-field assignments. To what extent are these phenomena related? Is it necessary for a teacher to have a formal education strictly compatible with the subject taught to improve the results of secondary education students? Based on a panel built with the School Census of Basic Education ranging from 2007 to 2016, we estimate the impact of out-of-field teaching in school outcomes. The main result points to a positive and significant relation with dropout rate and age-series distortion. Systematic issues such as dropout and age-grade distortion in secondary school seem to be accentuated with out-of-field teaching.

Keywords:
Teacher training; Out-of-field teaching; School outcomes; Secondary School; School fixed effects.

1. Introdução

O ensino médio brasileiro tem apresentado indicadores insatisfatórios, principalmente quando comparado a outras etapas educacionais. O Índice de Desenvolvimento da Educação Básica (IDEB), por exemplo, manteve-se estagnado em torno de 3,7 na última década.1 1 Inep. Cenário Educacional. Disponível em: https://goo.gl/WvmS2L. Acesso em: 06 jan. 2017. Além disso, o ensino médio apresenta um pior desempenho em relação às outras etapas educacionais em indicadores, como a taxa de abandono e a taxa de distorção idade-série.2 2 Inep. Indicadores Educacionais. Disponível em: https://goo.gl/FeCAKc. Acesso em: 16 jun 2017. Evidências indicam que o professor tem impacto na qualidade da educação: alunos aprendem mais com professores no topo da distribuição de qualidade (Hanushek and Rivkin 2006Hanushek, Eric A.; Rivkin, Steven G. Teacher Quality. In: Hanushek, Eric A.; Welch, F. (eds). Handbook of the Economics of Education, v. 2, p. 1051-1078. [S.l.]: Elsevier, 2006.; Rockoff 2004Rockoff, Jonah E. The impact of individual teachers on student achievement: Evidence from panel data. The American Economic Review, v. 94, no. 2: 247-252, 2004.; Ladd 2008Ladd, Helen F. Teacher effects: what do we know? Teacher Quality: Broadening and Deepening the Debate, Northwestern University Evanston, IL, p. 3-26, 2008.). Entretanto, não existe consenso sobre quais atributos afetam o desempenho e a literatura continua investigando o que caracteriza um bom professor. Com base em uma série de estudos conduzidos nos Estados Unidos (EUA), Ingersoll (1999Ingersoll, Richard M. The Problem of Underqualified Teachers in American Secondary Schools. Journal Article. Educational Researcher, v. 28, no. 2: 26-37, 1999.) sustenta que ensinar uma disciplina na qual o professor não é formado é prejudicial ao aprendizado do aluno e à motivação do professor para o exercício de seu ofício.

Em 2016, 21% dos professores do ensino médio brasileiro não possuíam formação superior compatível com nenhuma das disciplinas lecionadas (Costa 2018Costa, Roberta Mendes e. 2018. A área de formação docente importa para a qualidade do aprendizado dos alunos? Uma análise com dados em painel do Censo Escolar. Dissertação (Mestrado) - Universidade Federal Fluminense, 2018.). A literatura brasileira tem procurado compreender o fenômeno de estagnação dos resultados do ensino médio, mas o impacto resultante da atuação de professores sem formação superior compatível com as disciplinas lecionadas ainda não foi bem explorado. Somente um, dentre os poucos trabalhos encontrados na literatura brasileira que examinam o impacto de conhecimentos específicos de professores no desempenho escolar, investigam o ensino médio (Carmo et al. 2015Carmo, Erinaldo Ferreira do; Rocha, Enivaldo Carvalho da; Figueiredo Filho, Dalson Britto; Silva, Lucas Emanuel de Oliveira; Ferreira, Giovana. Como a Ampliação Do Indicador de Formação Docente Pode Melhorar O Desempenho Escolar? Cadernos de Estudos E Pesquisa Na Educação Básica, v. 1, no. 1, p. 11-32, 2015.). Suprir essa lacuna é justamente o objetivo deste artigo.

Supõe-se que professores qualificados devam receber alguma formação na área lecionada, mesmo que a formação não garanta, por si só, um profissional qualificado a ensinar (Ingersoll 2002Ingersoll, R. Measuring Out-of-Field Teaching. Manuscrito não publicado, Graduate School of Education, University of Pennsylvania, Philadelphia, PA., 2002.). Inclusive, essa linha de investigação dialoga com a política educacional brasileira, refletida em uma das metas do Plano Nacional de Educação (PNE), cujo objetivo é assegurar que os professores da educação básica tenham formação específica de nível superior, obtida em curso de licenciatura na área de conhecimento em que atuam (Brasil2014).

A metodologia empregada no presente trabalho apoia-se na construção de um painel de escolas com o Censo Escolar da Educação Básica de 2007 a 2016 e a estimação de um modelo de efeitos fixos de escola. O Censo Escolar registra três resultados escolares importantes - reprovação, abandono e distorção idade-série - utilizados aqui como variáveis dependentes.

Tanto a literatura acadêmica quanto formuladores de políticas educacionais têm focado seu interesse em resultados de alunos em testes padronizados de avaliações em larga escala para estudar a efetividade das escolas. Entretanto, bom desempenho em testes pode não ser o único objetivo almejado por uma escola ou sistema educacional. Rumberger e Palardy (2005Rumberger, Russell W.; Palardy, Gregory J. Test scores, dropout rates, and transfer rates as alternative indicators of high school performance. American educational research journal, v. 42, no. 1: 3-42, 2005.) argumentam que usar somente testes padronizados fornece uma visão incompleta do desempenho escolar e pode resultar em conclusões errôneas sobre quais escolas são efetivas e quais características promovem a eficácia. Por exemplo, garantir que os alunos do ensino médio concluam seus estudos, de preferência na faixa etária recomendada, pode ser tão importante quanto melhorar seu desempenho acadêmico.

Testes padronizados são vistos com simpatia por econometristas, porque são dados que provêm de avaliações externas à escola, não influenciados pelos profissionais escolares diretamente responsáveis pela instrução dos alunos. O mesmo não pode ser dito da reprovação, o que dificulta a análise, mas não justifica que tais temas sejam ignorados, visto que a reprovação continua sendo uma questão relevante no sistema educacional brasileiro (Oliveira e Soares 2012Oliveira, Luı́s Felipe Batista de; Soares, Sergei SD. Determinantes da repetência escolar no Brasil: Uma análise de painel dos censos escolares entre 2007 e 2010. Instituto de Pesquisa Econômica Aplicada (Ipea), 2012.). Apesar de serem afetados pelas escolas, a distorção idade-série e o abandono são resultados mais exógenos aos profissionais escolares, o que os torna atrativos também de um ponto de vista econométrico.

A variável de interesse é a proporção de docências sem formação específica. Docência é a atuação de cada professor em cada disciplina e em cada turma. Quando se diz que “uma docência não possui formação específica”, o que se quer dizer é que o professor responsável por ela não possui formação superior em área compatível com a disciplina. Procura-se distinguir também conteúdo e técnicas de ensino dentro do processo de aprendizado (Ingersoll 1999Ingersoll, Richard M. The Problem of Underqualified Teachers in American Secondary Schools. Journal Article. Educational Researcher, v. 28, no. 2: 26-37, 1999.). Essas duas capacidades necessárias a um bom professor, saber o que ensinar e saber como ensinar, são afetadas pela sua formação superior. Em tese, a área da formação superior afetaria o conhecimento do conteúdo, enquanto as habilidades de ensino seriam mais impactadas pelo tipo de formação - isto é, se possui ou não formação pedagógica, como a licenciatura ou a complementação pedagógica aos bacharéis. Essa distinção refletiria, segundo Gatti (2010Gatti, Bernardete A. Formação de professores no Brasil: características e problemas. ” Educação & Sociedade, v. 31, n. 113, 2010.), uma estrutura de cursos de formação docente que não promove articulação entre conhecimentos de conteúdo específico e aqueles destinados à docência.

O principal resultado indica uma relação positiva e significativa entre a proporção de docências sem formação específica e as taxas de abandono e de distorção idade-série. Os resultados são robustos à adição gradual de controles, e persistentes nas estimações com uma definição mais restrita da variável de interesse e nas subamostras de escolas estaduais e urbanas. Tais resultados sugerem que um dos mecanismos para entender o desinteresse dos jovens pela escola pode estar no papel do professor dentro da sala de aula. A combinação da falta de interesse dos alunos a professores sem formação específica pode configurar terreno fértil para o atraso escolar e, ainda pior, para o abandono de alunos, e possivelmente também de professores.

O artigo contém seis seções, além desta introdução. A seção 2 apresenta uma breve revisão da literatura, com maior foco na literatura brasileira. A seção 3 relaciona adequação da formação às disciplinas ofertadas e o conteúdo a ser ministrado em sala de aula. A metodologia encontra-se na seção 4. A seção 5 apresenta a análise descritiva da base de dados, enquanto os resultados das regressões são expostos e discutidos na seção 6. As considerações finais figuram na seção 7.

2. Revisão da literatura

Supõe-se que professores qualificados devam receber alguma formação na área lecionada, mesmo que a formação não garanta, por si só, um profissional qualificado a ensinar (Ingersoll 2002Ingersoll, R. Measuring Out-of-Field Teaching. Manuscrito não publicado, Graduate School of Education, University of Pennsylvania, Philadelphia, PA., 2002.). Possuir conhecimento de conteúdo específico sobre a disciplina lecionada seria essencial para acompanhar o processo de aprendizado, permitindo ao professor compreender as dificuldades enfrentadas pelos alunos. O domínio do conteúdo também possibilitaria ao professor ser criativo na elaboração de oportunidades de aprendizado que contemplem as experiências, os interesses e as necessidades de cada aluno. Não importa o quão comprometido um professor seja, nenhuma de suas atividades poderia ser conduzida adequadamente sem a compreensão de conteúdo específico. Mesmo se o professor tivesse diretrizes curriculares a seguir e auxílio de um bom material didático, a compreensão de conteúdo específico ainda seria importante para extrair todo o potencial que uma explicação, exercício ou tarefa podem ofertar em termos de ensinamento aos alunos (Ball 2000Ball, Deborah Loewenberg. Bridging Practices: Intertwining Content and Pedagogy in Teaching and Learning to Teach. Journal of Teacher Education , v. 51. no. 3: 241-247, 2000.).

Pode-se questionar, no entanto, se é mesmo necessário exigir que o professor tenha formação estritamente compatível com a disciplina ministrada, ou se bons professores são capazes de ensinar qualquer disciplina, ou ao menos disciplinas afins. Os resultados empíricos são divergentes. Das disciplinas contempladas nos diferentes estudos, matemática é a que apresenta resultados mais consistentes. Monk (1994)Monk, David H. Subject area preparation of secondary mathematics and science teachers and student achievement. Economics of Education Review, v. 13, no. 2: 125-145, 1994. e Goldhaber e Brewer (1996)Goldhaber, Dan D.; Brewer, Dominic J. Evaluating the effect of teacher degree level on educational performance. Department of Education, National Center for Education Statistics, Washington, 1996. encontram efeito positivo e significativo do professor possuir major3 3 Major é a área na qual os alunos se especializam, sendo um terço ou metade das cadeiras cursadas relacionada à área. Minor, por sua vez, é uma especialização que exige um número menor de cadeiras do que o major. Fonte: College Board. The College Major: What It Is and How to Choose One. Disponível em: <https://goo.gl/vQbKbD>. Acesso em: 23 jan. 2018. na disciplina no desempenho em matemática e ciências, e Darling-Hammond (2000)Darling-Hammond, Linda. Teacher Quality and Student Achievement. Education Policy Analysis Archives, v. 8, p. 1, 2000. também verifica isso em matemática.4 4 A estimação abrange alunos da 10ª e 11ª série, analisa alunos da 4ª e 8ª série e acompanha alunos ao longo de três anos: 1988 (8ª série), 1990 (10ª) e 1992 (12ª). Em contrapartida, Dee e Cohodes (2008)Dee, Thomas S.; Cohodes, Sarah R. Out-of-field teachers and student achievement: Evidence from matched-pairs comparisons. Public Finance Review, v. 36, no. 1: 7-32, 2008. , Zuzovsky (2009)Zuzovsky, Ruth. Teachers’ qualifications and their impact on student achievement: Findings from timss 2003 data for Israel. IERI Monograph Series. Issues and Methodologies in Large-Scale Assessments, v. 2, p. 37-62, 2009. e Harris e Sass (2011Harris, Douglas N.; Sass, Tim R. Teacher training, teacher quality and student achievement. Journal of Public Economics, v. 95, no. 7: 798-812, 2011.) não encontram efeitos significativos.

Na literatura brasileira foram encontrados poucos trabalhos que examinam o impacto de conhecimentos específicos de professores no desempenho escolar. Dois artigos analisam a formação inicial e outros dois examinam notas em testes padronizados aplicados aos professores.

Fernandes (2013)Fernandes, Maurício Machado. Medindo os efeitos do professor na sala de aula: Evidências a partir de promoção para professores em São Paulo. Dissertação (Mestrado) - Pontifícia Universidade Católica do Rio de Janeiro, 2013 estima o impacto de conhecimento específico e práticas pedagógicas sobre a aprendizagem de alunos em matemática e língua portuguesa do 8º ano do ensino fundamental da rede pública estadual paulista. O autor usa as notas da prova objetiva do Sistema de Promoção da Secretaria de Educação do Estado de São Paulo de 2010 como variável de interesse.5 5 Considerando que esse era o primeiro ano de vigência do programa e que os professores só tiveram três meses para se preparar para as provas, Fernandes (2013) argumenta que essa é uma medida adequada do conhecimento específico dos professores em 2009. Estima um modelo de valor adicionado, utilizando as notas de 2009 do Sistema de Avaliação do Rendimento Escolar do Estado de São Paulo (SARESP) como variável dependente e as notas de 2007 como controle para o desempenho passado. Os controles contemplam características médias de professores, de escolas, qualidade da gestão escolar, tamanho da turma e características socioeconômicas e culturais dos alunos.

Os resultados mostram que conhecimento específico e práticas pedagógicas impactam positiva e significativamente no desempenho de matemática e língua portuguesa. Um aumento de um desvio-padrão na nota dos professores (equivalente a passar de um professor do percentil 30 para o percentil 70 na distribuição de notas), eleva em 1% de um desvio-padrão o desempenho dos alunos. Ainda assim, o efeito das práticas pedagógicas foi sistematicamente maior do que o efeito de conhecimento específico e os resultados indicam que os efeitos da maioria das práticas pedagógicas são independentes do conhecimento específico dos professores. Por isso, o autor conclui que práticas pedagógicas eficazes são mais relevantes para o desempenho dos alunos.

Guimarães et al. (2013)Guimarães, Raquel. The effect of teacher content knowledge on student achievement: a quantitative case analysis of six brazilian states. Reuniões da ABAVE, no. 7: 265-278, 2013. também utilizam nota de teste padronizado para avaliar os conhecimentos específicos de professores de matemática. A base de dados utilizada é um levantamento do Plano de Desenvolvimento da Escola que cobre seis estados: Rondônia, Pará, Pernambuco, Sergipe, Mato Grosso do Sul e Goiás. A amostra só contém escolas públicas com, pelo menos, 200 alunos e que só tinham aulas do ensino fundamental durante o dia. Em 1999, o programa avaliou os alunos e professores da 4ª série no início e no final do ano letivo, além de coletar informações socioeconômicas dos alunos, professores e escolas. No total são 6.619 alunos de 126 escolas.

Os autores empregam um modelo de valor adicionado com efeitos fixos de escola, a fim de controlar para a distribuição não aleatória de professores entre as diferentes escolas, mas consideram desprezíveis os possíveis efeitos da atribuição dentro das escolas. Os outros controles são o desempenho médio da turma, características dos alunos, como a nota do início do ano e situação socioeconômica, e dos professores, inclusive se o professor possui graduação. A nota de matemática dos professores tem um efeito positivo e significativo, implicando que alunos alocados a professores com maior nível de conhecimento específico tiveram um desempenho melhor em matemática. Frente aos resultados encontrados, os autores argumentam que o domínio de conhecimentos específicos é uma característica importante a ser cultivada no corpo docente, pelo menos no caso de matemática.

Carmo et al. (2015)Carmo, Erinaldo Ferreira do; Rocha, Enivaldo Carvalho da; Figueiredo Filho, Dalson Britto; Silva, Lucas Emanuel de Oliveira; Ferreira, Giovana. Como a Ampliação Do Indicador de Formação Docente Pode Melhorar O Desempenho Escolar? Cadernos de Estudos E Pesquisa Na Educação Básica, v. 1, no. 1, p. 11-32, 2015. investigam como o indicador de adequação da formação do docente calculado pelo Inep (discutido em detalhes na Seção 3) afeta o desempenho dos alunos do ensino médio por escola. Os autores utilizam a média geral do ENEM como variável de resultado e três variáveis de controle na estimação: área da escola, dependência administrativa e um indicador de nível socioeconômico. A média dos valores de 2013 e 2014 foi imputada em todas as variáveis.6 6 Informação obtida em comunicação direta com os autores em abril de 2017. Apesar da pequena magnitude do coeficiente, eles encontram impacto positivo e significativo do indicador de adequação da formação do docente sobre o desempenho escolar.

Silva Filho (2019)Silva Filho, Geraldo Andrade. 2019. “Efeito da formação docente sobre proficiência no início do ensino fundamental. ” Revista Brasileira de Economia 73 (3): 385-411. estima o efeito da formação específica de matemática e português nas notas da Prova Brasil de 2015 para alunos do 5º ano do ensino fundamental. A fim de contemplar a natureza cumulativa do processo educacional o autor inclui ambas as variáveis de interesse para o professor do 4º e do 5º ano, e emprega a metodologia do valor adicionado incluindo uma variável explicativa que controla para o conhecimento prévio dos alunos: a nota da Avaliação Nacional de Alfabetização (ANA) realizada no 3º ano do ensino fundamental. Como a ANA é amostral, a amostra final utilizada pelo autor só contém alunos que fizeram a ANA. Ainda, só são considerados alunos que tiveram somente um professor de matemática no 4º e 5º anos.

O autor inclui como controles características do professor e da escola, situação socioeconômica do aluno e efeito fixo de escola.7 7 Ele também estima o modelo completo substituindo os efeitos fixos de escola por dummies de região geográfica ou efeito fixo de rede. Comparados a docentes sem ensino superior, professores com formação específica em matemática proporcionam aumentos significativos na proficiência dos alunos - cerca de 4 pontos na escala SAEB (Silva Filho 2019Silva Filho, Geraldo Andrade. 2019. “Efeito da formação docente sobre proficiência no início do ensino fundamental. ” Revista Brasileira de Economia 73 (3): 385-411.). Não obstante, professores com formação específica em Letras também proporcionam aumentos significativos na proficiência dos alunos (cerca de 1,4 ponto). Apesar disso, o autor não encontra efeitos significativos da formação específica sobre a nota de língua portuguesa.

3. Questões conceituais e institucionais

A partir de 2014, o Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep) passou a calcular o indicador de adequação da formação do docente utilizando o Censo Escolar (Inep 2014). A unidade de análise do indicador é a docência, conceito definido como a atuação de cada professor em cada disciplina e em cada turma. O uso do conceito de docência é necessário para agregar os dados, porque um professor pode lecionar mais de uma disciplina e atuar em mais de uma turma. Por exemplo, se um professor leciona duas disciplinas diferentes na mesma turma, o indicador contabiliza essa situação como duas docências.

O indicador relaciona as docências com a formação superior do professor, identificando se a formação é adequada ou não àquela disciplina. A partir de uma revisão da legislação educacional, foram definidos cinco grupos de adequação da formação dos docentes às disciplinas lecionadas. O Inep (2014) argumenta que o uso de cinco categorias esclarece quais ações devem ser tomadas para alcançar a adequação da formação de cada perfil de professores. A Tabela 1 apresenta os cinco grupos e suas respectivas proporções de docências para o ensino médio em 2016.

Tabela 1
Proporção de docências por grupo de adequação da formação docente para o ensino médio - Brasil, 2016

Segundo os dispositivos legais, o Grupo 1 é a relação apropriada entre docência e formação superior. Por exemplo, de acordo com o Grupo 1, a formação adequada para lecionar matemática seria licenciatura em matemática ou bacharelado com complementação pedagógica em matemática. O indicador é calculado de forma agregada para cada etapa de ensino e inclui os professores responsáveis pela regência de classe, bem como os professores responsáveis pela regência de módulo ou disciplina na modalidade de educação à distância. Para o ensino médio, o indicador compreende doze disciplinas: língua portuguesa, língua estrangeira, artes, educação física, matemática, biologia, física, química, história, geografia, filosofia e sociologia.

A área de formação do professor torna-se ainda mais relevante para o desempenho escolar quando observamos a realidade dos documentos curriculares brasileiros. De acordo com a Lei de Diretrizes e Bases da Educação Nacional (LDB), o currículo do ensino médio deve ser formado por uma base nacional comum e uma parte variável que deve contemplar particularidades regionais e locais (Brasil 1996). Os principais documentos governamentais sobre currículo do ensino médio são as Diretrizes Curriculares Nacionais para o Ensino Médio de 2012 (Diretrizes) e os Parâmetros Curriculares Nacionais do Ensino Médio de 2000 (Parâmetros).

Tanto as Diretrizes quanto os Parâmetros orientam o planejamento curricular, mas em tese, as Diretrizes definiriam obrigações, enquanto os Parâmetros funcionariam como recomendações às escolas (Todos pela educação 2012).

A partir de uma pesquisa sobre as estruturas curriculares de diversos países, Louzano (2014)Louzano, Paula. Análise Internacional Comparada de Políticas Curriculares. In: União Nacional dos Dirigentes Municipais de Educação. Base Nacional Comum Em Debate: Desafios, Perspectivas E Expectativas. Brasília, 2014. Disponível em: https://goo.gl/2vEmeC. Acesso em: 17 jan. 2018.
https://goo.gl/2vEmeC...
afirma que as Diretrizes Curriculares Nacionais Gerais para a Educação Básica são genéricas quando comparadas às de outros países. Elas somente definem as áreas de conhecimento que o ensino deve englobar, sem abordar diretamente os conteúdos que devem ser lecionados dentro de cada área e as habilidades que devem ser desenvolvidas pelos alunos em cada etapa educacional (Louzano 2014; Todos pela educação 2014). A falta de especificação do currículo tem levado escolas a recorrer aos livros didáticos e às avaliações externas para preencher essa lacuna, instrumentos cuja função não é orientar a elaboração do currículo escolar (Louzano 2014).

As Diretrizes do Ensino Médio de 2012 apresentam essas mesmas limitações (Conselho Nacional de Educação 2012). Não está claro ainda em que medida a BNCC (Base Nacional Comum Curricular) voltada para o ensino médio, cujo documento foi homologado pelo MEC em dezembro de 2018, preencherá esta lacuna.

Existem três aspectos que norteiam o conteúdo a ser lecionado: a escolha, a profundidade e o fluxo dos conteúdos. Em todos os aspectos os documentos curriculares do ensino médio deixam a desejar, principalmente nos últimos dois quesitos. Em última instância, a responsabilidade de decisão sobre o currículo fica na alçada dos professores, os quais nem sempre têm conhecimento e capacidade técnica para tomar essa decisão de modo acertado. Menos ainda se sua formação inicial for distinta da disciplina que lecionam. É razoável pensar que, atuando nessas condições, as dificuldades de um professor serão tanto maiores quanto menos detalhado for o currículo, levando-o a recorrer aos livros didáticos e avaliações externas como fonte de orientação.

4. Metodologia da análise econométrica

4.1. Dados

A única base de dados nacional que oferece informação detalhada sobre o curso de formação dos professores e sobre as disciplinas que cada um leciona é o Censo Escolar da Educação Básica. Com o Censo Escolar, construiu-se um painel de escolas, abrangendo um período de uma década, de 2007 a 2016. O Censo Escolar também reúne dados sobre estabelecimentos de ensino, turmas, alunos e profissionais escolares em sala de aula, além de três variáveis de resultados escolares: taxa de reprovação, taxa de abandono e taxa de distorção idade-série. Essas três taxas foram utilizadas como variáveis dependentes.8 8 Uma análise complementar de grande interesse consistiria em definir o aluno como unidade observacional e usar algum indicador de desempenho em testes padronizados como variável dependente. Entretanto, o Censo Escolar não contém dados de desempenho individual de alunos em testes padronizados. E como não é possível identificar o mesmo aluno em diferentes bases, não há como fundir o Censo Escolar com outras bases de dados. A taxa de distorção idade-série é a proporção de alunos com idade superior à idade recomendada. As taxas de reprovação e abandono, denominadas taxas de rendimento escolar, representam um percentual da matrícula total, considerando as transferências, admissões e reclassificações (remanejamento de alunos entre séries).9 9 Inep. Dicionário de Indicadores Educacionais: Fórmulas de cálculo. 2004. Disponível em: <https://goo.gl/XyMz1G>. Acesso em: 17 fev 2018.

Foram excluídas da base as escolas com matrículas de ensino profissionalizante (técnico e magistério), matrículas de ensino médio não seriado e escolas com ensino médio de duração de quatro anos, pois estas possuem perfis e funcionamento diferentes do restante das escolas. Essencialmente, só foram mantidas as escolas de ensino propedêutico. Pelo mesmo motivo, foram excluídas escolas federais e municipais. As escolas que mudaram de localização ou dependência administrativa entre 2007 e 2016 foram excluídas porque não é possível garantir a compatibilidade dos dados.

Só foram considerados os profissionais escolares em sala de aula com função de docente. Docentes são classificados como os profissionais responsáveis por regência de classe e somente eles informam quais disciplinas lecionam (Inep 2016). O objetivo é verificar se os resultados escolares são afetados por docentes lecionando disciplinas nas quais não possuem formação específica, e não por seu nível de escolaridade. Por isso, foram excluídos docentes sem formação superior, pois mantê-los na base de dados poderia acarretar uma confusão entre área e nível de formação, com possível sobrestimação da variável de interesse. Em todo o caso, os docentes com formação superior são a maior parte da amostra em todos os anos, sendo mais de 90% dos docentes.10 10 Existe uma diferença nas opções de resposta para a escolaridade. A partir de 2011, os docentes podem informar até três cursos de formação superior e em que situação eles se encontram, em andamento ou concluído. Logo, nos dados a partir deste ano estão presentes docentes com, pelo menos, um curso de ensino superior concluído. Até 2010, não existe essa distinção e todos os três cursos de ensino superior informados devem estar concluídos.

O resultado após os cortes é um painel não balanceado com 230.571 observações (29.723 escolas). Este conjunto de dados engloba cerca de 86% de todas as escolas do ensino médio, 75% dos docentes e 81% dos alunos em cada ano.

A construção da variável de interesse, proporção de docências sem formação superior específica, foi baseada na metodologia utilizada pelo Inep (2014) na definição do indicador de adequação da formação do docente. Não possuir formação específica significa que o docente não concluiu curso de graduação compatível com a disciplina, independente do grau acadêmico do diploma. Isto é, ter formação específica à disciplina lecionada não distingue entre bacharéis e licenciados, nem discrimina se os portadores de diploma superior sem licenciatura têm complementação pedagógica ou não - e nem seria possível fazê-lo, pois antes de 2011 não existe informação no Censo Escolar sobre complementação pedagógica. Além disso, a formação só é considerada compatível com a disciplina se o curso de ensino superior na área tiver sido concluído.

A partir de 2011, foi utilizada a compatibilidade entre curso superior e disciplina lecionada usada pelo Inep na construção do Grupo 1 do indicador de adequação da formação do docente (Inep 2014, Tabela 2). Para os anos anteriores foi necessário adaptar a informação, pois o Censo Escolar codificava a informação de forma diferente.

Tabela 2
Estatísticas descritivas

Nos anos de 2008 a 2010, a informação sobre área do curso superior apresenta alguma similaridade com a estrutura adotada a partir de 2011, mas em alguns casos os códigos ou nomes dos cursos são diferentes. Além disso, alguns cursos só passaram a existir a partir de 2011 e outros deixaram de existir em 2010. No caso de 2007, os códigos de curso superior são mais abrangentes. Partindo da compatibilidade entre curso superior e disciplina lecionada (Inep 2014), buscou-se garantir que todos os cursos superiores adequados para cada disciplina fossem considerados na construção da variável de interesse. A Tabela 11 no Apêndice A apresenta a compatibilidade entre curso superior e disciplina lecionada utilizada ao longo dos anos.

A proporção de docências sem formação específica abrange doze disciplinas obrigatórias do currículo do ensino médio: língua portuguesa, língua estrangeira, artes, educação física, matemática, biologia, física, química, história, geografia, filosofia e estudos sociais/sociologia.11 11 Uma particularidade ocorreu com a disciplina sociologia. Até 2011, só existe informação se o docente leciona estudos sociais ou sociologia de forma conjunta. Esta variável também existe no restante dos anos e foi utilizada dessa forma para manter a compatibilidade.

4.2. Modelo

Estimar a relação entre docências sem formação adequada e as três variáveis dependentes está sujeito a dificuldades que afetam qualquer estimação, como variáveis omitidas, mas também a vieses advindos da alocação provavelmente não aleatória entre professores e alunos, em dois níveis: entre escolas e dentro da escola (Ladd 2008Ladd, Helen F. Teacher effects: what do we know? Teacher Quality: Broadening and Deepening the Debate, Northwestern University Evanston, IL, p. 3-26, 2008.). No geral, os melhores professores tendem a buscar as melhores escolas e podem ser atribuídos às melhores turmas (Hanushek e Rivkin 2006Hanushek, Eric A.; Rivkin, Steven G. Teacher Quality. In: Hanushek, Eric A.; Welch, F. (eds). Handbook of the Economics of Education, v. 2, p. 1051-1078. [S.l.]: Elsevier, 2006.; Silva Filho 2019Silva Filho, Geraldo Andrade. 2019. “Efeito da formação docente sobre proficiência no início do ensino fundamental. ” Revista Brasileira de Economia 73 (3): 385-411.). Se isso ocorrer, os efeitos do professor podem se confundir com características não observáveis dos alunos, como suas habilidades. Haverá um viés positivo se os melhores professores forem alocados aos melhores alunos, e um viés negativo, caso contrário (Ladd 2008).

Não existem variáveis no Censo Escolar que permitam captar a alocação entre professores e alunos dentro da escola, logo, não é possível controlar a distribuição não aleatória entre turmas. Esta é uma limitação à qual estão sujeitos os resultados encontrados neste trabalho. O outro tipo de viés, referente à distribuição possivelmente não aleatória de professores entre escolas, pode ser combatido, como se explica a seguir.

É possível que escolas com melhores resultados apresentem maior proporção de docências com formação compatível com a disciplina lecionada. Inúmeras características das escolas podem estar afetando esta relação, inclusive características não observáveis. Por exemplo, a habilidade do gestor escolar na alocação dos recursos, a relação entre os docentes e o diretor, a pressão dos alunos ou de seus responsáveis por professores com formação compatível à disciplina lecionada etc. Além disso, essas características não observáveis podem estar correlacionadas com características captadas pelas variáveis de controle. Uma maior pressão por parte dos alunos ou de seus responsáveis pode estar associada com a escola ser privada, por exemplo.

Por isso, de um ponto de vista teórico, o modelo de efeitos fixos de escola parece ser mais adequado por permitir que os regressores sejam correlacionados com a parte fixa do erro. Os modelos estimados têm a estrutura abaixo.

y i , t = β 1 x i , t + β 2 Z i , t + β 3 W i , t + δ t + γ i , onde

yi,t = Taxa de reprovação, taxa de abandono e taxa de distorção idade-série

i = Escola

t = Ano

xi,t = Proporção de docências sem formação superior específica

Zi,t = Controles da escola

Wi,t = Controles dos professores

𝛿t = Efeito fixo de ano

𝛾i = Efeito fixo de escola

Os controles utilizados são aqueles disponíveis no Censo Escolar. Os controles de escola, no geral, refletem a infraestrutura e a presença de equipamentos, enquanto os controles dos professores abarcam características relacionados a qualificação do professor. A lista de controles está disposta na Tabela 2 na Seção 5.

Estimaram-se três tipos de modelo para a amostra completa, para cada uma das três variáveis de resultado: mínimos quadrados ordinários agrupados, efeitos aleatórios e efeitos fixos. Foram realizados testes, descritos mais adiante, a fim de averiguar o modelo mais apropriado.

5. Análise descritiva

Na medida em que a docência sem formação específica parece ser uma desvantagem para quem ensina e para quem aprende, a Figura 1 mostra que um número considerável de professores e quase a totalidade dos alunos brasileiros do ensino médio são afetados em alguma medida pelo fenômeno. Concretamente, após um aumento entre 2007 e 2011, a proporção de docências sem formação específica e de alunos com, pelo menos, uma docência sem formação específica manteve-se relativamente estável.

Figura 1
Evolução das docências sem formação específica - Brasil, 2007 - 2016

Figura 2
Proporção de docências sem formação específica por subamostras - Brasil, 2007 - 2016

A Figura 2 apresenta a variável de interesse para diferentes subamostras. A proporção de docências sem formação específica é mais prevalente em escolas estaduais do que em escolas privadas e é maior nas escolas localizadas em zonas rurais do que em áreas urbanas.

A Figura 3 explora as diferenças regionais ao longo do tempo. Apesar da tendência estável verificada na Figura 1, percebe-se que os estados apresentam grande heterogeneidade entre si e ao longo dos anos. A região Norte é a que apresenta a melhor evolução entre 2007 e 2016, com uma diminuição de 9 pontos percentuais, grande parte da qual capitaneada por Amazonas e Pará. Ela é seguida pelo Nordeste, cuja diminuição foi de 2 pontos percentuais na proporção de docências sem formação específica, queda ocorrida principalmente no Ceará e em Pernambuco. Faz sentido essas duas regiões apresentarem a maior redução, dado que inicialmente possuíam as maiores incidências de docências sem formação específica. Mesmo com as quedas, elas continuam apresentando as maiores incidências em 2016.

Figura 3
Incidência da proporção de docentes sem formação específica por estado Brasil, 2007 e 2016

A região Sudeste permanece relativamente estável entre os dois anos, enquanto a proporção de docências sem formação específica nas regiões Centro-Oeste e Sul diminuiu em 1 e 2 pontos percentuais, puxadas pelo Mato Grosso e Paraná. Ainda assim, existem alguns estados que seguem em direções diferentes do agregado de sua macrorregião. Por exemplo, tanto Goiás quando o Rio Grande do Sul apresentaram aumento na proporção de docências sem formação específica. Por fim, em 2016, o Amapá (16%) e a Bahia (56%) são as unidades federativas com a menor e a maior incidência de docências sem formação específica.

Figura 4
Indicadores de resultado escolar no ensino médio por docências sem formação específica - Brasil, 2007 - 2016

A Figura 4 apresenta a relação entre a proporção de docências sem formação específica e os resultados escolares no ensino médio. Quanto maior a proporção de docências sem formação específica, maiores são as taxas de abandono e de distorção idade-série. A taxa de reprovação apresenta uma relação negativa com a proporção de docências sem formação específica. Isso significa que, quanto maior a proporção de docências sem formação específica, menor é a taxa de reprovação.

À primeira vista, existiria incompatibilidade entre o que estes dados apontam sobre as taxas de reprovação e de distorção idade-série - se a taxa de reprovação cai conforme aumenta a proporção de docências sem formação específica, a distorção idade-série não deveria seguir essa mesma direção? Mesmo considerando que a literatura indique a existência de uma relação entre a reprovação e o atraso escolar (Leon e Menezes-Filho 2002Leon, Fernanda Leite Lopez de; Menezes-Filho, Naércio Aquino. Reprovação, avanço e evasão escolar no Brasil.” Pesquisa E Planejamento Econômico, v. 32, no. 3: 417-452, 2002.; Oliveira e Soares 2012Oliveira, Luı́s Felipe Batista de; Soares, Sergei SD. Determinantes da repetência escolar no Brasil: Uma análise de painel dos censos escolares entre 2007 e 2010. Instituto de Pesquisa Econômica Aplicada (Ipea), 2012.), esta não é única via pela qual ele pode se manifestar. O atraso escolar pode ocorrer devido a reprovações consecutivas, a uma entrada tardia no sistema de ensino ou a uma descontinuidade nos estudos.

É importante esclarecer que as duas taxas expressam fenômenos diferentes. Uma reprovação pode ser uma eventualidade, mas reprovações consecutivas apontam para um problema sistêmico. A distorção idade-série traduz um problema mais sistemático e preocupante do que uma reprovação, ainda que se admita que uma reprovação possa ser o primeiro passo rumo a uma distorção idade-série, ou mesmo a um abandono.

As estatísticas descritivas encontram-se na Tabela 2. A taxa de distorção idade-série é a variável dependente com maior variabilidade, e a taxa de reprovação, com a menor. A maioria das escolas da amostra são estaduais e urbanas. A maior parte das escolas apresentam infraestrutura mínima para funcionamento. Por exemplo, somente 0,1% das escolas não possuem energia elétrica e 90,5% de escolas possuem acesso a água filtrada. A proporção de alunos brancos matriculados na escola foi incluída como proxy para situação socioeconômica da escola.12 12 A informação sobre cor/raça de alunos de até 16 anos incompletos é declarada pelo seu responsável, sendo autodeclarada a partir dos 16 anos, de acordo com as seguintes opções: branca, preta, parda, amarela, indígena ou não declarada (Inep 2016). Esta não é a variável ideal para este propósito, mas o Censo Escolar não possui nenhuma variável mais adequada como renda familiar ou escolaridade dos pais.

6. Resultados e discussão

As Tabelas 3, 4 e 5 apresentam as estimativas dos modelos de efeitos fixos para a amostra completa.13 13 Estimaram-se três tipos de modelo para a amostra completa, para cada uma das três variáveis de rendimento: um MQO agrupado, um modelo de efeitos aleatórios e um modelo de efeitos fixos. O MQO agrupado não é apropriado quando comparado ao modelo de efeitos aleatórios pois a hipótese nula do teste de Breusch-Pagan foi rejeitada em todos os modelos ao nível de significância de 1%. Logo, existe evidência de efeitos não observáveis e o modelo de efeitos aleatórios é mais adequado (Park 2011). O MQO também não é apropriado quando comparado ao modelo de efeitos fixos, pois a hipótese nula de que os efeitos fixos são significativamente iguais a zero foi rejeitada em todos os modelos ao nível de significância de 1% (Park 2011). A comparação entre os modelos de efeitos aleatórios e fixos foi realizada através de um teste de sobreidentificação, cuja hipótese nula é que os estimadores de efeitos aleatórios são consistentes (Wooldridge 2002). A hipótese nula foi rejeitada em todos os modelos a 10% de significância. O modelo de efeitos fixos para a amostra toda também foi estimado para um painel balanceado e observou-se pouca variação nas estimativas e nos erros-padrão, indicando que a perda de informação sobre escolas ao longo do tempo é aleatória e não correlacionada a variáveis observadas ou ao resíduo. Considerando que o modelo de efeitos fixos se mostrou o mais adequado para o banco de dados, somente suas estimativas são reportadas e analisadas. Os efeitos da variável de interesse apresentaram baixa magnitude nos três modelos. Não obstante, os sinais encontrados confirmam a análise descritiva apresentada na seção anterior.

Tabela 3
Efeitos de docências sem compatibilidade entre curso de formação do docente e disciplina no rendimento escolar no ensino médio, 2007 - 2016 Amostra completa - Variável dependente: Taxa de abandono (%)
Tabela 4
Efeitos de docências sem compatibilidade entre curso de formação do docente e disciplina no rendimento escolar no ensino médio, 2007 - 2016 Amostra completa - Variável dependente: Taxa de distorção idade-série (%)
Tabela 5
Efeitos de docências sem compatibilidade entre curso de formação do docente e disciplina no rendimento escolar no ensino médio, 2007 - 2016 Amostra completa - Variável dependente: Taxa de reprovação (%)

Os resultados são robustos à adição gradual de controles na estimação, positivos e significativos a 5% e 1% em todas as especificações nos modelos que têm taxa de abandono e taxa de distorção idade-série como variáveis dependentes (Tabela 3 e Tabela 4). Para uma dada escola, conforme a proporção de docências sem formação específica varia ao longo do tempo em 1 ponto percentual, a taxa de abandono aumenta em 0,0039 ponto percentual, enquanto a taxa de distorção idade-série aumenta em 0,0128 ponto percentual.

A literatura econômica tem investigado as razões da não participação dos jovens na escola. A partir dos suplementos de educação da Pesquisa Nacional por Amostra de Domicílios (PNAD) de 2006, Neri (2009)Neri, M. C. O paradoxo da evasão e as motivações dos sem escola. Educação básica no Brasil: construindo o país do futuro. Rio de Janeiro: Elsevier, 2009. verifica que 18% dos jovens de 15 a 17 anos, idade recomendada ao ensino médio, haviam abandonado a escola. O autor constata que a falta de interesse intrínseco é a principal razão para estes jovens estarem fora da escola. Ao analisar os motivos que compõem essa falta de interesse, observou-se que os jovens simplesmente não queriam frequentar a escola.

Qual o papel do professor no desinteresse dos jovens pela escola? As estimativas apresentadas nas Tabelas 3 e 4 mostram efeitos sistematicamente positivos: quanto maior a proporção de docências sem formação específica, maiores as taxas de abandono e distorção idade-série dos jovens no ensino médio. Tais resultados sugerem que um dos mecanismos para entender o desinteresse dos alunos pode estar no papel do professor dentro da sala de aula.

Um professor que não domina o conhecimento específico da disciplina lecionada pode enfrentar dificuldades em todas as suas atividades, como passar de maneira clara o material, cativar o interesse da turma ou desafiar academicamente seus alunos (Ball 2000Ball, Deborah Loewenberg. Bridging Practices: Intertwining Content and Pedagogy in Teaching and Learning to Teach. Journal of Teacher Education , v. 51. no. 3: 241-247, 2000.). Essas dificuldades podem ser potencializadas por uma estrutura curricular mal definida. A combinação da falta de interesse dos alunos a professores sem formação específica pode se configurar em um terreno fértil para o atraso escolar e, ainda pior, para o abandono da escola.

A relação negativa entre proporção de docências sem formação específica e taxa de reprovação observada na Figura 4 também se manifesta nas estimações. A variável de interesse é negativa e significativa a 1% no modelo com todos os controles (5) com a taxa de reprovação (Tabela 5). Para uma dada escola, conforme a proporção de docências sem formação específica varia ao longo do tempo em 1 ponto percentual, a taxa de reprovação diminui em 0,047 ponto percentual. Este resultado pode refletir uma constatação de Dee e Cohodes (2008Dee, Thomas S.; Cohodes, Sarah R. Out-of-field teachers and student achievement: Evidence from matched-pairs comparisons. Public Finance Review, v. 36, no. 1: 7-32, 2008. ): professores sem formação específica podem ser menos exigentes.

Esse nível de exigência mais baixo pode vir, como argumentam Black et al. (2019Black, Paul; Harrison, Christine; Lee, Clare Susan; Marshall, Bethan; Wiliam, Dylan. Trabalhando por dentro da caixa preta: avaliação para a aprendizagem na sala de aula. Cadernos Cenpec- Nova série, v. 8, no. 2, 2019.), na forma como os professores apresentam devolutivas de notas e desempenho aos seus estudantes. Os autores identificam que quanto mais genéricos os comentários de professores sobre desempenho (em provas, trabalhos, etc.), mais estes são ignorados pelos estudantes. Esse resultado tem como consequência um menor engajamento dos alunos em efetivamente melhorar seu desempenho ou alterar seu comportamento em sala de aula. Para os autores, um comprometimento com uma devolutiva mais completa requer mais trabalho e atenção dos professores. Se considerarmos que docentes com menor domínio do conteúdo se sentem menos confortáveis em mudar sua atitude em relação à forma como avaliam seus alunos, esperar-se-ia uma maior influência da ausência de qualificação sobre resultados educacionais mais endógenos, como reprovação.

Ao mesmo tempo, estudos internacionais que analisam a importância da percepção do professor sobre resultados educacionais reiteram o caráter eminentemente exógeno de variáveis de certos resultados escolares, tais como a taxa de abandono. Knesting-Lund, Reese e Boody (2013Knesting-Lund, Kimberly; Reese, Dustin; Boody, Robert. Teachers’ perceptions of high school dropout and their role in dropout prevention: An initial investigation. Journal of Studies in Education, v. 3, no. 4: 57-70, 2013.) mostram que um quarto dos professores julgava ter influência limitada sobre as decisões de permanência ou abandono de alunos, por entenderem que forças externas como família, drogas e os próprios colegas da escola seriam fontes de influência muito mais fortes que os próprios professores.

Outros trabalhos que estudam professores atuando em áreas distintas de sua formação também encontraram efeitos de baixa magnitude (Monk 1994Monk, David H. Subject area preparation of secondary mathematics and science teachers and student achievement. Economics of Education Review, v. 13, no. 2: 125-145, 1994.; Fernandes 2013Fernandes, Maurício Machado. Medindo os efeitos do professor na sala de aula: Evidências a partir de promoção para professores em São Paulo. Dissertação (Mestrado) - Pontifícia Universidade Católica do Rio de Janeiro, 2013). Uma explicação é que professores podem estudar em seu tempo livre para lecionar uma disciplina na qual não possuem formação, o que é tão mais viável quanto menos exigente for o conteúdo a lecionar. As estimativas podem então se tornar enviesadas para baixo caso os professores lecionem uma mesma disciplina fora de sua área de formação inicial há algum tempo.

O conhecimento de conteúdo específico poderia ser melhor captado através de outras variáveis, como a quantidade de cadeiras cursadas na graduação que fossem compatíveis com a disciplina (Darling-Hammond 2000Darling-Hammond, Linda. Teacher Quality and Student Achievement. Education Policy Analysis Archives, v. 8, p. 1, 2000.). Ou mesmo pelo currículo das instituições de ensino superior frequentadas pelos professores (Harris e Sass 2011Harris, Douglas N.; Sass, Tim R. Teacher training, teacher quality and student achievement. Journal of Public Economics, v. 95, no. 7: 798-812, 2011.). Outra hipótese é que o domínio de conhecimento específico teria efeito positivo até certo nível básico de competência na disciplina, mas não além (Darling-Hammond 2000). Entretanto, nenhuma dessas informações está disponível nos bancos de dados brasileiros.

É importante ressaltar que os alunos atraídos para a carreira docente têm pior desempenho educacional na educação básica Fundação Carlos Chagas 2009; Louzano et al. 2010Louzano, Paula; Rocha, Valéria; Moriconi, Gabriela Miranda; Oliveira, Romualdo Portela de. Quem quer ser professor? Atratividade, seleção e formação do Docente no Brasil. Estudos em avaliação educacional, v. 21, no. 47: 543-568, 2010.; Alves et al. 2016Alves, Raphael; Britto, Ariana de; Costa, Roberta; Machado, Danielle Carusi; Raeder, Francisco; Waltenberg, Fábio. Ser Ou Não Ser Professor Da Educação Básica? Salário Esperado E Outros Fatores Na Escolha Ocupacional de Concluintes de Licenciaturas. ” In ANPEC - 44º Encontro Nacional de Economia. Foz do Iguaçu: 2016.), chegando ao ensino superior com deficiências com as quais os cursos de formação docente devem lidar. Ambas estas questões podem resultar em professores com pouco conhecimento, o que, por sua vez, pode explicar os efeitos de baixa magnitude encontrados. Independente das razões, é necessário reconhecer que as magnitudes são baixas e qualquer tipo de intervenção que considere atuar nas docências sem formação específica se beneficiaria de mais estudos, inclusive análises de custo-benefício.

6.1. Testes de robustez

É possível que os efeitos positivos do conhecimento específico funcionem interagindo com as habilidades didáticas (Darling-Hammond 2000Darling-Hammond, Linda. Teacher Quality and Student Achievement. Education Policy Analysis Archives, v. 8, p. 1, 2000.; Ball 2000Ball, Deborah Loewenberg. Bridging Practices: Intertwining Content and Pedagogy in Teaching and Learning to Teach. Journal of Teacher Education , v. 51. no. 3: 241-247, 2000.). Uma forma de testar essa possibilidade é utilizar uma definição alternativa da variável de interesse, na qual a formação superior só é considerada adequada se o docente possui domínio sobre o conteúdo específico e domínio de técnicas pedagógicas aplicadas à disciplina.

Para construir essa variável alternativa consideramos como formação específica à disciplina somente docentes com licenciatura ou docentes com bacharelado com complementação pedagógica. Como a informação sobre complementação pedagógica só passou a existir a partir de 2011, a análise fica restrita ao período entre 2011 e 2016.

As Tabelas 6, 7 e 8 apresentam as estimativas dos modelos de efeitos fixos para a amostra completa com essa definição alternativa da variável de interesse. Os resultados não apresentam grande variação, nem nos sinais, nem nas magnitudes, daqueles apresentados anteriormente (Tabelas 3, 4 e 5).

Tabela 6
Efeitos de docências sem compatibilidade entre curso de formação do docente e disciplina no rendimento escolar no ensino médio, 2011 - 2016 Amostra completa - Variável dependente: Taxa de abandono (%) Definição alternativa de docências sem formação específica
Tabela 7
Efeitos de docências sem compatibilidade entre curso de formação do docente e disciplina no rendimento escolar no ensino médio, 2011 - 2016 Amostra completa - Variável dependente: Taxa de distorção idade-série (%) Definição alternativa de docências sem formação específica
Tabela 8
Efeitos de docências sem compatibilidade entre curso de formação do docente e disciplina no rendimento escolar no ensino médio, 2011 - 2016 Amostra completa - Variável dependente: Taxa de reprovação (%) Definição alternativa de docências sem formação específica

Gatti (2010)Gatti, Bernardete A. Formação de professores no Brasil: características e problemas. ” Educação & Sociedade, v. 31, n. 113, 2010. verifica que cursos em licenciatura em língua portuguesa, matemática e ciências biológicas não possuem articulação entre os conhecimentos específicos e os destinados à docência. Se os efeitos positivos do conhecimento específico funcionam contanto que interajam com as habilidades didáticas (Darling-Hammond 2000Darling-Hammond, Linda. Teacher Quality and Student Achievement. Education Policy Analysis Archives, v. 8, p. 1, 2000.; Ball 2000Ball, Deborah Loewenberg. Bridging Practices: Intertwining Content and Pedagogy in Teaching and Learning to Teach. Journal of Teacher Education , v. 51. no. 3: 241-247, 2000.), os cursos de formação docente brasileiro não estariam treinando adequadamente os futuros professores. Este fato pode explicar a pouca diferença entre as magnitudes dos resultados principais e dos resultados com a definição alternativa da variável de interesse.

Os resultados de estimações com as duas subamostras mais numerosas - de escolas estaduais e de escolas urbanas (Tabela 9) - reproduzem o padrão verificado com a amostra completa. Quanto aos coeficientes das subamostras privada e rural, eles mantêm os sinais das estimações originais, mas não são estatisticamente significativos - no caso das escolas rurais, talvez em razão do número relativamente pequeno de observações (somente 8% da amostra).

Tabela 9
Efeitos de docências sem compatibilidade entre curso de formação do docente e disciplina no rendimento escolar no ensino médio, 2007 - 2016 Dependência administrativa e localização

A partição da amostra segundo critérios regionais tornou os resultados mais oscilantes (Tabela 10). Não tanto para a taxa de distorção idade-série, que novamente expõe coeficientes com sinais positivos, a maioria dos quais significativos. Reitera-se, portanto, a tendência geral de relação positiva entre proporção de professores sem formação específica e a distorção idade-série. A maioria dos sinais associados à taxa de abandono são positivos, também em linha com a tendência geral identificada nas regressões apresentadas anteriormente, mas um apenas, do Sudeste, região mais populosa, é estatisticamente diferente de zero.

Tabela 10
Efeitos de docências sem compatibilidade entre curso de formação do docente e disciplina no rendimento escolar no ensino médio, 2007 - 2016, Regiões
Tabela 11
Compatibilidade entre curso superior e disciplina lecionada ao longo do painel

A relação menos estável, porém, é entre a proporção de professores sem formação específica e a taxa de reprovação, que alternam coeficientes desde o negativo significativo (Centro-Oeste, como nas estimações anteriores) até positivo significativo (Sudeste e Sul). Coeficientes de baixa magnitude podem ser a resultante de efeitos que atuam em sentido oposto, visto que há razões para a reprovação ser um expediente mais comum aos professores sem formação específica (por exemplo, por não serem capazes de transmitir adequadamente o conhecimento aos alunos), mas também aos professores com formação específica (por exemplo, por serem mais exigentes). Acrescente-se a isto um quadro de estados e municípios com cultura de reprovação mais arraigada, frente a outros com regras de progressão continuada, nem sempre com apoio de professores, e também idiossincrasias locais induzindo maior ou menor repúdio à prática da reprovação, e o efeito agregado aproxima-se de zero.

7. Considerações finais

A literatura de economia da educação apresenta evidências fortes de que promover a qualidade docente é um elemento-chave na melhoria da educação básica. Contudo, não há concordância quanto às características desejáveis a um bom professor. Uma dimensão pertinente à qualidade docente pode ser o domínio sobre o conteúdo ensinado em sala de aula. O presente trabalho contribui para a literatura nacional ao evidenciar que a atuação fora de área, tema pouco estudado, afeta a taxa de abandono e a distorção idade-série no ensino médio.

O impacto da atuação de professores sem formação específica à disciplina lecionada nos resultados escolares foi estimado através de modelos de painel com o Censo Escolar da Educação Básica de 2007 a 2016. Os resultados do nosso modelo preferido (modelo 5) indicam a manutenção de uma tendência clara para os sinais associados aos coeficientes de taxa de abandono e distorção idade-série: são positivos e significativos na maioria das estimações, e não são negativos e significativos em nenhuma. Problemas sistemáticos como abandono e atraso escolar parecem acentuar-se quando professores ministram disciplinas com as quais não possuem formação compatível. Os resultados são robustos à adição gradual de controles e persistentes nas subamostras de escolas estaduais e urbanas. Professores sem formação específica enfrentam diferentes dificuldades nas suas atividades docentes (Ball 2000Ball, Deborah Loewenberg. Bridging Practices: Intertwining Content and Pedagogy in Teaching and Learning to Teach. Journal of Teacher Education , v. 51. no. 3: 241-247, 2000.) e os resultados sugerem que despertar o interesse dos jovens pela escola está entre elas. Contudo, é necessário reconhecer que os efeitos apresentam baixa magnitude.

Os resultados encontrados podem prover informações para debates sobre a relação entre conhecimentos de conteúdo específico à disciplina e domínio de técnicas pedagógicas. Eles podem indicar que o conhecimento do conteúdo, medido pela compatibilidade entre o curso de graduação e a disciplina lecionada, não significa, necessariamente, que a pessoa saiba ensinar o conteúdo. A formação docente aborda o conhecimento específico e pedagógico separadamente, esperando que os professores aprendam a integrar essas duas habilidades no contexto de seu trabalho. Segundo Ball (2000)Ball, Deborah Loewenberg. Bridging Practices: Intertwining Content and Pedagogy in Teaching and Learning to Teach. Journal of Teacher Education , v. 51. no. 3: 241-247, 2000., esta não é uma tarefa simples e a melhor maneira de formar bons professores é integrando essas duas habilidades, pois, no caso de um professor, saber o conteúdo de uma disciplina deve significar saber ensiná-la. Isto tem claras implicações para os cursos de formação docente que não articulam conhecimentos específicos e pedagógicos.

A literatura ainda não explorou como atuar fora de sua área ou com conhecimentos específicos limitados afeta os professores. Um professor qualificado na disciplina na qual é formado pode ser desqualificado quando alocado a uma disciplina para a qual não possui formação acadêmica (Ingersoll 2002Ingersoll, R. Measuring Out-of-Field Teaching. Manuscrito não publicado, Graduate School of Education, University of Pennsylvania, Philadelphia, PA., 2002.). Esta pode ser uma fonte de frustração numa carreira já marcada por inúmeras dificuldades, levando, inclusive, ao abandono da carreira (Ingersoll 1999). Ensinar fora da área de formação influencia o senso de eficácia dos professores em suas atribuições, deixando-os insatisfeitos. Além da maior carga de trabalho pela necessidade de preparar aulas para disciplinas que não dominam, eles temem que seus alunos estejam sendo prejudicados (Johnson, Berg e Donaldson 2005Johnson, Susan Moore; Berg, Jill Harrison; L Donaldson, Morgaen. Who stays in teaching and why? A review of the literature on teacher retention. Cambridge, MA: Project on the Next Generation of Teachers, Harvard Graduate School of Education, 2005.).

A docência é recorrentemente vinculada à ideia de vocação ou dom, ao invés de uma profissão que requer instrução e treinamento (Fundação Carlos Chagas 2009). O baixo prestígio social atribuído à profissão contribui para este pensamento, pois perpetua a noção de que ensinar é algo que necessita de um nível menor de habilidade do que outras profissões (Ingersoll 1999Ingersoll, Richard M. The Problem of Underqualified Teachers in American Secondary Schools. Journal Article. Educational Researcher, v. 28, no. 2: 26-37, 1999.). A ideia de que qualquer um pode ser professor dissemina-se pela falta de exigência de formação específica ou mesmo pela negligência do sistema educacional em reconhecer como um problema a atuação fora de área. Inclusive, a possibilidade de atuar em áreas diferentes de sua formação pode ser prejudicial à atratividade da carreira. Intervenções de política educacional sobre professores não especialistas devem contar com análises de custo-benefício que contemplem os efeitos deste fenômeno sobre os alunos e os professores.

Manter um professor qualificado em cada sala de aula é um objetivo da sociedade brasileira, demonstrado pelas quatro metas do Plano Nacional de Educação (PNE) voltadas para a valorização da carreira docente. Na medida em que a política educacional deseja diminuir a incidência da escassez qualitativa de professores, entender seus efeitos sobre os resultados escolares fornece informações importantes para os debates educacionais.

  • Este trabalho é derivado da dissertação de mestrado “A área de formação docente importa para a qualidade do aprendizado dos alunos? Uma análise com dados em painel do Censo Escolar” (Costa 2018). Os autores agradecem os comentários dos membros da banca, Paula Louzano e Romero Rocha, dos participantes do congresso Meeting of the Economics of Education Association (AEDE, 2018) e dos pareceristas anônimos desta revista. As sugestões contribuíram significativamente para o apri moramento do artigo. Roberta Costa é grata ao Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq) e à Fundação Carlos Chagas Filho de Amparo à Pesquisa do Estado do Rio de Janeiro (FAPERJ) pelo apoio financeiro recebido.
  • 1
    Inep. Cenário Educacional. Disponível em: https://goo.gl/WvmS2L. Acesso em: 06 jan. 2017.
  • 2
    Inep. Indicadores Educacionais. Disponível em: https://goo.gl/FeCAKc. Acesso em: 16 jun 2017.
  • 3
    Major é a área na qual os alunos se especializam, sendo um terço ou metade das cadeiras cursadas relacionada à área. Minor, por sua vez, é uma especialização que exige um número menor de cadeiras do que o major. Fonte: College Board. The College Major: What It Is and How to Choose One. Disponível em: <https://goo.gl/vQbKbD>. Acesso em: 23 jan. 2018.
  • 4
    A estimação abrange alunos da 10ª e 11ª série, analisa alunos da 4ª e 8ª série e acompanha alunos ao longo de três anos: 1988 (8ª série), 1990 (10ª) e 1992 (12ª).
  • 5
    Considerando que esse era o primeiro ano de vigência do programa e que os professores só tiveram três meses para se preparar para as provas, Fernandes (2013) argumenta que essa é uma medida adequada do conhecimento específico dos professores em 2009.
  • 6
    Informação obtida em comunicação direta com os autores em abril de 2017.
  • 7
    Ele também estima o modelo completo substituindo os efeitos fixos de escola por dummies de região geográfica ou efeito fixo de rede.
  • 8
    Uma análise complementar de grande interesse consistiria em definir o aluno como unidade observacional e usar algum indicador de desempenho em testes padronizados como variável dependente. Entretanto, o Censo Escolar não contém dados de desempenho individual de alunos em testes padronizados. E como não é possível identificar o mesmo aluno em diferentes bases, não há como fundir o Censo Escolar com outras bases de dados.
  • 9
    Inep. Dicionário de Indicadores Educacionais: Fórmulas de cálculo. 2004. Disponível em: <https://goo.gl/XyMz1G>. Acesso em: 17 fev 2018.
  • 10
    Existe uma diferença nas opções de resposta para a escolaridade. A partir de 2011, os docentes podem informar até três cursos de formação superior e em que situação eles se encontram, em andamento ou concluído. Logo, nos dados a partir deste ano estão presentes docentes com, pelo menos, um curso de ensino superior concluído. Até 2010, não existe essa distinção e todos os três cursos de ensino superior informados devem estar concluídos.
  • 11
    Uma particularidade ocorreu com a disciplina sociologia. Até 2011, só existe informação se o docente leciona estudos sociais ou sociologia de forma conjunta. Esta variável também existe no restante dos anos e foi utilizada dessa forma para manter a compatibilidade.
  • 12
    A informação sobre cor/raça de alunos de até 16 anos incompletos é declarada pelo seu responsável, sendo autodeclarada a partir dos 16 anos, de acordo com as seguintes opções: branca, preta, parda, amarela, indígena ou não declarada (Inep 2016).
  • 13
    Estimaram-se três tipos de modelo para a amostra completa, para cada uma das três variáveis de rendimento: um MQO agrupado, um modelo de efeitos aleatórios e um modelo de efeitos fixos. O MQO agrupado não é apropriado quando comparado ao modelo de efeitos aleatórios pois a hipótese nula do teste de Breusch-Pagan foi rejeitada em todos os modelos ao nível de significância de 1%. Logo, existe evidência de efeitos não observáveis e o modelo de efeitos aleatórios é mais adequado (Park 2011). O MQO também não é apropriado quando comparado ao modelo de efeitos fixos, pois a hipótese nula de que os efeitos fixos são significativamente iguais a zero foi rejeitada em todos os modelos ao nível de significância de 1% (Park 2011). A comparação entre os modelos de efeitos aleatórios e fixos foi realizada através de um teste de sobreidentificação, cuja hipótese nula é que os estimadores de efeitos aleatórios são consistentes (Wooldridge 2002). A hipótese nula foi rejeitada em todos os modelos a 10% de significância. O modelo de efeitos fixos para a amostra toda também foi estimado para um painel balanceado e observou-se pouca variação nas estimativas e nos erros-padrão, indicando que a perda de informação sobre escolas ao longo do tempo é aleatória e não correlacionada a variáveis observadas ou ao resíduo. Considerando que o modelo de efeitos fixos se mostrou o mais adequado para o banco de dados, somente suas estimativas são reportadas e analisadas.

Apêndice

Referências

  • Alves, Raphael; Britto, Ariana de; Costa, Roberta; Machado, Danielle Carusi; Raeder, Francisco; Waltenberg, Fábio. Ser Ou Não Ser Professor Da Educação Básica? Salário Esperado E Outros Fatores Na Escolha Ocupacional de Concluintes de Licenciaturas. ” In ANPEC - 44º Encontro Nacional de Economia Foz do Iguaçu: 2016.
  • Ball, Deborah Loewenberg. Bridging Practices: Intertwining Content and Pedagogy in Teaching and Learning to Teach. Journal of Teacher Education , v. 51. no. 3: 241-247, 2000.
  • Barreto, Elba Siqueira de Sá. Polı́ticas de Formação Docente Para a Educação Básica No Brasil: Embates Contemporâneos. Revista Brasileira de Educação, v.20, no.62, 2015.
  • Black, Paul; Harrison, Christine; Lee, Clare Susan; Marshall, Bethan; Wiliam, Dylan. Trabalhando por dentro da caixa preta: avaliação para a aprendizagem na sala de aula. Cadernos Cenpec- Nova série, v. 8, no. 2, 2019.
  • Brasil. Lei nº 9.394, de 20 de dezembro de 1996 - Lei de Diretrizes e Bases da Educação Nacional. Estabelece as Diretrizes e Bases Da Educação Nacional Brasília, 1996. Disponível em: http://www.planalto.gov.br/ccivil_03/Leis/L9394.htm Acesso em: 02 jan. 2017.
    » http://www.planalto.gov.br/ccivil_03/Leis/L9394.htm
  • Brasil. Lei nº 13.005, de 25 de junho de 2014. Aprova o Plano Nacional de Educação - PNE e dá outras providências 2014. Brasília, 2014. Disponível em: http://www.planalto.gov.br/CCIVIL_03/_Ato2011-2014/2014/Lei/L13005.htm Acesso em: 11 jan. 2018.
    » http://www.planalto.gov.br/CCIVIL_03/_Ato2011-2014/2014/Lei/L13005.htm
  • Carmo, Erinaldo Ferreira do; Rocha, Enivaldo Carvalho da; Figueiredo Filho, Dalson Britto; Silva, Lucas Emanuel de Oliveira; Ferreira, Giovana. Como a Ampliação Do Indicador de Formação Docente Pode Melhorar O Desempenho Escolar? Cadernos de Estudos E Pesquisa Na Educação Básica, v. 1, no. 1, p. 11-32, 2015.
  • Conselho Nacional de Educação. Resolução CNE/CEB nº 2, de 30 de janeiro de 2012. Define Diretrizes Curriculares Nacionais Para O Ensino Médio Brasília, 2012. Disponível em: https://goo.gl/kSYilr Acesso em: 11 jan. 2018.
    » https://goo.gl/kSYilr
  • Costa, Roberta Mendes e. 2018. A área de formação docente importa para a qualidade do aprendizado dos alunos? Uma análise com dados em painel do Censo Escolar. Dissertação (Mestrado) - Universidade Federal Fluminense, 2018.
  • Darling-Hammond, Linda. Teacher Quality and Student Achievement. Education Policy Analysis Archives, v. 8, p. 1, 2000.
  • Dee, Thomas S.; Cohodes, Sarah R. Out-of-field teachers and student achievement: Evidence from matched-pairs comparisons. Public Finance Review, v. 36, no. 1: 7-32, 2008.
  • Fernandes, Maurício Machado. Medindo os efeitos do professor na sala de aula: Evidências a partir de promoção para professores em São Paulo. Dissertação (Mestrado) - Pontifícia Universidade Católica do Rio de Janeiro, 2013
  • Fundação Carlos Chagas. A atratividade da carreira docente no Brasil: Relatório Final, 2009.
  • Gatti, Bernardete A. Formação de professores no Brasil: características e problemas. ” Educação & Sociedade, v. 31, n. 113, 2010.
  • Goldhaber, Dan D.; Brewer, Dominic J. Evaluating the effect of teacher degree level on educational performance. Department of Education, National Center for Education Statistics, Washington, 1996.
  • Guimarães, Raquel. The effect of teacher content knowledge on student achievement: a quantitative case analysis of six brazilian states. Reuniões da ABAVE, no. 7: 265-278, 2013.
  • Hanushek, Eric A.; Rivkin, Steven G. Teacher Quality. In: Hanushek, Eric A.; Welch, F. (eds). Handbook of the Economics of Education, v. 2, p. 1051-1078. [S.l.]: Elsevier, 2006.
  • Harris, Douglas N.; Sass, Tim R. Teacher training, teacher quality and student achievement. Journal of Public Economics, v. 95, no. 7: 798-812, 2011.
  • INEP. Nota Técnica 020/2014: Indicador de adequação da formação do docente na educação básica 2014. Disponível em: https://goo.gl/bR5uVJ Acesso em: 15 mar. 2017.
    » https://goo.gl/bR5uVJ
  • INEP. Censo Escolar da Educação Básica 2016: Caderno de Instruções 2016. Disponível em: https://goo.gl/shxDq9 Acesso em: 07 jan 2018.
    » https://goo.gl/shxDq9
  • Ingersoll, R. Measuring Out-of-Field Teaching. Manuscrito não publicado, Graduate School of Education, University of Pennsylvania, Philadelphia, PA., 2002.
  • Ingersoll, Richard M. The Problem of Underqualified Teachers in American Secondary Schools. Journal Article. Educational Researcher, v. 28, no. 2: 26-37, 1999.
  • Johnson, Susan Moore; Berg, Jill Harrison; L Donaldson, Morgaen. Who stays in teaching and why? A review of the literature on teacher retention Cambridge, MA: Project on the Next Generation of Teachers, Harvard Graduate School of Education, 2005.
  • Knesting-Lund, Kimberly; Reese, Dustin; Boody, Robert. Teachers’ perceptions of high school dropout and their role in dropout prevention: An initial investigation. Journal of Studies in Education, v. 3, no. 4: 57-70, 2013.
  • Ladd, Helen F. Teacher effects: what do we know? Teacher Quality: Broadening and Deepening the Debate, Northwestern University Evanston, IL, p. 3-26, 2008.
  • Leon, Fernanda Leite Lopez de; Menezes-Filho, Naércio Aquino. Reprovação, avanço e evasão escolar no Brasil.” Pesquisa E Planejamento Econômico, v. 32, no. 3: 417-452, 2002.
  • Louzano, Paula. Análise Internacional Comparada de Políticas Curriculares. In: União Nacional dos Dirigentes Municipais de Educação. Base Nacional Comum Em Debate: Desafios, Perspectivas E Expectativas Brasília, 2014. Disponível em: https://goo.gl/2vEmeC Acesso em: 17 jan. 2018.
    » https://goo.gl/2vEmeC
  • Louzano, Paula; Rocha, Valéria; Moriconi, Gabriela Miranda; Oliveira, Romualdo Portela de. Quem quer ser professor? Atratividade, seleção e formação do Docente no Brasil. Estudos em avaliação educacional, v. 21, no. 47: 543-568, 2010.
  • Monk, David H. Subject area preparation of secondary mathematics and science teachers and student achievement. Economics of Education Review, v. 13, no. 2: 125-145, 1994.
  • Neri, M. C. O paradoxo da evasão e as motivações dos sem escola. Educação básica no Brasil: construindo o país do futuro. Rio de Janeiro: Elsevier, 2009.
  • Oliveira, Luı́s Felipe Batista de; Soares, Sergei SD. Determinantes da repetência escolar no Brasil: Uma análise de painel dos censos escolares entre 2007 e 2010. Instituto de Pesquisa Econômica Aplicada (Ipea), 2012.
  • Park, Hun Myoung. 2011. Practical guides to panel data modeling: A step-by-step analysis using stata. Graduate School of International Relations, International University of Japan Disponível em: https://goo.gl/HNAVJn Acesso em: 17 jun. 2017.
    » https://goo.gl/HNAVJn
  • Rockoff, Jonah E. The impact of individual teachers on student achievement: Evidence from panel data. The American Economic Review, v. 94, no. 2: 247-252, 2004.
  • Rumberger, Russell W.; Palardy, Gregory J. Test scores, dropout rates, and transfer rates as alternative indicators of high school performance. American educational research journal, v. 42, no. 1: 3-42, 2005.
  • Silva Filho, Geraldo Andrade. 2019. “Efeito da formação docente sobre proficiência no início do ensino fundamental. ” Revista Brasileira de Economia 73 (3): 385-411.
  • Todos pela educação. O que são e para que servem as Diretrizes Curriculares? 25 de jun. 2012. Disponível em: https://goo.gl/jNGcsH Acesso em: 06 jan. 2017.
    » https://goo.gl/jNGcsH
  • Todos pela educação. Paula Louzano fala sobre a necessidade de discutir o sistema de ensino brasileiro: Pesquisadora diz que definição de uma base curricular comum para todo o país é tarefa-chave na garantia do direito à educação. 19 de dez. 2014. Disponível em: https://goo.gl/mRk8ohi Acesso em: 06 jan. 2017.
    » https://goo.gl/mRk8ohi
  • Wooldridge, Jeffrey M. 2002. “Econometric Analysis of Cross Section and Panel Data.
  • Zuzovsky, Ruth. Teachers’ qualifications and their impact on student achievement: Findings from timss 2003 data for Israel. IERI Monograph Series. Issues and Methodologies in Large-Scale Assessments, v. 2, p. 37-62, 2009.
Editor Responsável: Marcos Yamada Nakaguma

Datas de Publicação

  • Publicação nesta coleção
    09 Nov 2020
  • Data do Fascículo
    Jul-Sep 2020

Histórico

  • Recebido
    27 Nov 2019
  • Aceito
    08 Mar 2020
Departamento de Economia; Faculdade de Economia, Administração, Contabilidade e Atuária da Universidade de São Paulo (FEA-USP) Av. Prof. Luciano Gualberto, 908 - FEA 01 - Cid. Universitária, CEP: 05508-010 - São Paulo/SP - Brasil, Tel.: (55 11) 3091-5803/5947 - São Paulo - SP - Brazil
E-mail: estudoseconomicos@usp.br