SciELO - Scientific Electronic Library Online

 
vol.24 issue1The University alive in relation to the popular classesProfile of Graduate Programs in Knowledge Management in Brazil and its panorama of scientific production author indexsubject indexarticles search
Home Pagealphabetic serial listing  

Services on Demand

Journal

Article

Indicators

Related links

Share


Avaliação: Revista da Avaliação da Educação Superior (Campinas)

Print version ISSN 1414-4077On-line version ISSN 1982-5765

Avaliação (Campinas) vol.24 no.1 Sorocaba Mar./May 2019  Epub Apr 25, 2019

https://doi.org/10.1590/s1414-407720190001000016 

Articles

Desempenho acadêmico e o sistema de cotas no ensino superior: evidência empírica com dados da Universidade Federal da Bahia

Academic performance and the quota system in higher education: empirical evidence with data of the Federal University of Bahia

Ivanessa Thaiane do Nascimento Cavalcanti1 
http://orcid.org/0000-0002-4925-6301

Cláudia Sá Malbouisson Andrade2 
http://orcid.org/0000-0002-4884-0944

Gisele Ferreira Tiryaki3 
http://orcid.org/0000-0002-2608-5378

Lilia Carolina Carneiro Costa4 
http://orcid.org/0000-0001-5107-2723

1Universidade Federal da Bahia | Faculdade de Economia | Programa de Pós-Graduação em Economia, Salvador | BA | Brasil. Contato: ivanessatnc@gmail.com

2Universidade Federal da Bahia | Faculdade de Economia | Departamento de Economia, Salvador | BA | Brasil. Contato: cmalbo@ufba.br

3Universidade Federal da Bahia | Faculdade de Economia | Departamento de Economia, Salvador | BA | Brasil. Contato: gtiryaki@ufba.br

4Universidade Federal da Bahia | Instituto de Matemática e Estatística | Departamento de Estatística, Salvador | BA | Brasil. Contato: liliacarol@gmail.com


RESUMO

As políticas de ações afirmativas buscam promover a igualdade de oportunidades para grupos sociais historicamente discriminados. No âmbito da educação superior, a política é realizada por meio da reserva de vagas e de outros mecanismos que promovem o acesso e a permanência na universidade. Este trabalho objetiva avaliar se o desempenho acadêmico é relacionado à forma de ingresso na Universidade Federal da Bahia (UFBA), seja pelo sistema de cotas ou pelo sistema de ampla concorrência. Utilizando dados de 8.546 estudantes que ingressaram a partir de 2005 e graduaram até 2013, este artigo apresenta os resultados de estimativas utilizando PSM com diferentes métodos de pareamento em dados e quatro medidas de desempenho acadêmico. Os resultados indicam que, de forma agregada, os estudantes cotistas apresentam um desempenho aparentemente inferior aos não cotistas. No entanto, os modelos estimados por áreas de conhecimento mostram que os diferenciais de desempenho permanecem apenas para a área de Ciências da Saúde, indicando que fatores socioeconômicos são mais relevantes para o desempenho do aluno na universidade do que sua forma de ingresso.

Palavras-chave: Ação afirmativa; Política de cotas; Ensino superior

ABSTRACT

Affirmative actions' initiatives intend to promote the equality of opportunities to social groups historically subject to discrimination. At the higher education level, the policy takes the form of quotas and other mechanisms to facilitate the access of these individuals to the university and to reduce evasion. This paper aims at verifying academic performance differences between quota and non-quota students at Federal University of Bahia (UFBA). Using data from 8,546 students which were accepted by UFBA and concluded their studies in the 2005-2013 period, this article presents the results of PSM estimations using different data matching methods and four performance indicators. The results indicate that quota students present lower academic achievement that non-quota students at the aggregate level. However, when controlling for the areas of study, this performance difference applies only to health sciences' students, a result which indicates that social and economic factors are more relevant for performance than school origin.

Key words: Affirmative actions; Quotas; Higher education

1 Introdução

As ações afirmativas em educação têm o propósito de garantir o acesso e estimular a permanência na escola de indivíduos com reduzidas condições e oportunidades. Vários critérios socioeconômicos são comumente utilizados para identificar esses grupos marginalizados, tais como etnia, raça, religião, gênero e castas. Para Holzer e Neumark (2000) e GEMAA (2013), as ações afirmativas constituem um importante mecanismo capaz de reduzir as diferenças entre os grupos sociais, garantindo acesso a serviços públicos considerados básicos, como saúde e educação, para indivíduos que foram historicamente alvos de discriminação direta.

Dentre os diferentes tipos de medidas de ações afirmativas adotadas, está o sistema de reservas de vagas no ensino superior adotado por várias universidades públicas no Brasil. Conhecido também como sistema de cotas, essa política garante que uma fração das vagas ofertadas por essas instituições seja destinada para grupos sub-representados, normalmente indivíduos de raça negra e de baixa renda.

Diversos autores identificam efeitos positivos decorrentes de políticas de ações afirmativas, como Arcidiacono, Aucejo e Spenner (2012), Alon e Tienda (2007) e Krishna e Tarasov (2013). Esses efeitos referem-se ao aumento das oportunidades de acesso dos grupos sub-representados no ambiente acadêmico, ao aumento das relações intergrupos sociais, à redução da discriminação de renda e raça e à uma melhora na formação educacional de toda a sociedade.

As críticas às ações afirmativas, por outro lado, relacionam-se à hipótese de incompatibilidade ou mismatch hiphotesis (SANDER, 2004; SOWELL, 2004). De acordo com esta hipótese, a alocação de indivíduos em ambientes onde o nível educacional é incompatível com o aprendizado acumulado, particularmente em cursos mais seletivos, pode gerar um efeito de desânimo, impactando negativamente sobre o desempenho acadêmico e sobre a permanência dos estudantes na universidade. De acordo com esta abordagem, a existência de um déficit educacional nos estudantes ingressantes pela política de ações afirmativas pode ampliar o estigma socioeconômico construído historicamente, levando-os à reprovação, desistência da disciplina ou mesmo abandono do curso (SANDER, 2004; SOWELL, 2004).

De acordo com a hipótese de incompatibilidade, a inserção dos estudantes cotistas em um mesmo ambiente de ensino com alunos ingressantes pelo sistema de ampla concorrência, oriundos de estruturas de ensino normalmente de melhor qualidade, pode ocasionar diferenciais de desempenho acadêmico, com aumento nas taxas de reprovação e evasão dos estudantes cotistas. Se esta hipótese se confirma, o processo de formação e acumulação de capital humano dos grupos minoritários não se completaria, perpetuando a situação de desvantagem em termos de produtividade e inserção no mercado de trabalho. Dessa forma, a política de cotas não estaria sendo eficaz.

É possível testar empiricamente a hipótese de mismatch utilizando dados de desempenho de estudantes cotistas e não cotistas ao longo de sua permanência na universidade1. Este artigo utiliza dados do programa de cotas da Universidade Federal da Bahia (UFBA) para verificar a existência de diferenciais de desempenho acadêmico entre estudantes cotistas e aqueles que ingressaram por ampla concorrência na universidade a partir de 2005 e graduaram até 2013. A estrutura do programa de Ações Afirmativas da UFBA é detalhada em Almeida Filho et al. (2005)2.

A existência de diferenciais de desempenho entre estudantes oriundos dos dois tipos de ingresso é testada por dois métodos: Propensity Score Matching (PSM). Como é impossível observar simultaneamente o mesmo indivíduo participando e não participando do sistema de cotas, construiu-se um contrafactual hipotético por pareamento, em que a distribuição das covariadas mensuradas é balanceada nos grupos de tratamento e de controle.

A despeito da diversidade de estudos sobre a política de cotas no Brasil, este trabalho diferencia-se pelo uso de microdados de uma instituição de ensino superior, associado à adoção de estratégias de pareamento amplamente utilizadas em diferentes áreas do conhecimento, o PSM. Ainda que na literatura internacional sobre o tema este tipo de procedimento metodológico seja bastante utilizado, não foram identificados no Brasil trabalhos que usem esta metodologia para análise do sistema de cotas no ensino superior3 (ALON; TIENDA,2007; BARNES, 2006).

Além desta introdução, o artigo está estruturado em outras 7 sessões. A segunda sessão traz uma discussão sobre a evolução na adoção das ações afirmativas, em particular aplicação de medidas afirmativas pela UFBA. A terceira sessão apresenta uma breve revisão da literatura empírica sobre o tema. A quarta sessão explica a estratégia empírica utilizada para especificar os modelos econométricos utilizados, enquanto a quinta apresenta os resultados dessas estimativas. Por fim, a última sessão apresenta as considerações finais.

2 Ações Afirmativas: uma breve discussão

As medidas de ação afirmativa objetivam transpor as barreiras institucionais e sociais que impossibilitam grupos sub-representados de se beneficiarem de oportunidades iguais com os demais membros da sociedade. De forma ampla, a literatura define as ações afirmativas como conjunto de medidas que buscam reduzir desigualdades e ou diferentes tipos de discriminações.

Paula (2004) e Piscino (2006) definem as ações afirmativas como o conjunto de medidas, públicas e privadas, que atribuem privilégios a grupos sociais historicamente inferiorizados e marginalizados, em razão de discriminações raciais, religiosas, étnicas, de gênero e por apresentarem algum tipo de deficiência física. Já Sander (2004) salienta a importância de se promover igualdade de acesso, assegurando procedimentos justos de seleção, divulgação e recrutamento que possibilitem o reparo e correção dos padrões passados de exclusão. Tomei (2005), por sua vez, acredita ser preciso atacar tanto a discriminação direta, quanto a indireta, mesmo que seja necessário o tratamento de pessoas diferentes de maneiras diferentes4.

Os critérios para seleção de grupos alvos normalmente levam em consideração características estigmatizantes desses grupos, tais como cor/raça, gênero, etnia, religião, idade, renda e deficiências físicas. Brandão Junior e Amaral (2009) salientam, contudo, que a política afirmativa não deve ser comparada à um direito de minorias, uma vez que as desigualdades sociais nem sempre estão relacionadas à situação numericamente desvantajosa do grupo beneficiado. O suposto básico é que o grupo favorecido não se encontre em situação dominante e que seja identificado algum tipo de discriminação ou desvantagem.

A identificação dos grupos sub-representados pode gerar conflitos, com indivíduos pertencentes a esses grupos alvo optando por não serem assim classificados e indivíduos fora dos critérios de classificação indicando possuir algumas características observadas semelhantes ao grupo beneficiado (SOWELL, 2004; BRANDÃO JUNIOR; AMARAL, 2009). Outra dificuldade é a possibilidade que as ações beneficiem os integrantes mais favorecidos dos grupos beneficiados, ampliando, dessa forma, a desigualdade interna dos grupos-alvo, mesmo que reduzindo as desigualdades de renda entre os diversos segmentos da sociedade.

Quanto à duração das iniciativas, entende-se que estas devem ter um caráter temporário, mas com duração suficiente para que resultados satisfatórios sejam obtidos (ver TOMEI, 2005). No entanto, Sowell (2004) argumenta que é improvável que essas iniciativas, particularmente aquelas adotadas no âmbito da educação, eliminem por completo as desigualdades acumuladas ao longo da vida dos indivíduo.

As primeiras iniciativas com ações afirmativas referem-se a mudanças na legislação trabalhista, adotadas nos Estados Unidos em 1935, mas que somente se consolidaram com o Movimento dos Direitos Civis na década de 60 (MOEHLECKE, 2002)5. Nesse mesmo período, outros países também já praticavam algum tipo de política pública direcionada a grupos em desvantagem, objetivando reduzir os efeitos dos processos de discriminação, como Índia, Paquistão, Austrália, África do Sul, Malásia e Brasil, antes mesmo do uso do termo ações afirmativas (TOMEI, 2005).

No Brasil, as ações afirmativas só ganharam destaque após 1995, com a Marcha Zumbi dos Palmares - contra o racismo pela cidadania e a vida, cujo objetivo era a luta contra o racismo e a favor da igualdade social. Iniciativas na área de educação começaram a ser adotadas a partir de 2012, quando o Governo Federal sancionou a lei nº12.711, obrigando todas as Universidades Federais a adotarem o Sistema de Reserva de Vagas em seus vestibulares (NASCIMENTO, 2003, HERINGER; FERREIRA, 2009)6. A legislação determina que 50% de todas as vagas sejam destinadas à estudantes oriundos de colégios públicos, alocadas entre negros, pardos, indígenas e de baixa renda, e as 50% restantes destinadas à ampla concorrência.

Regulamentada pelo decreto nº 7.824/2012, a lei definiu as condições gerais de reservas de vagas e estabeleceu o acompanhamento e a transição das reservas de vagas nas Instituições Federais de Ensino Superior (IFES). Com a Portaria Normativa nº 18/2012 do Ministério da Educação, foram estabelecidos os conceitos básicos para a aplicação da lei. Assim, as IFES passaram a aplicar a Lei de Cotas em seus vestibulares gradualmente, desde que, no vestibular de 2013, fosse reservado ao menos 12,5% do número de vagas ofertadas. E, até o ano de 2016, a implantação das cotas deveria ser feita em sua totalidade conforme determinado em lei, com metade das vagas sendo destinadas aos alunos oriundos de escolas públicas, divididas entre alunos com renda abaixo e acima de 1,5 salário mínimo per capita (BRASIL, 2015).

2.1 Política de Ações Afirmativas na UFBA

De acordo com Almeida Filho et al. (2005), a política de ações afirmativas na UFBA destina-se a atender as populações socialmente carentes, negros e índios, sendo alicerçada em quatro frentes: preparação, ingresso, permanência e graduação. A Preparação inclui medidas que visam melhorar a qualidade do ensino das escolas públicas baianas, com a capacitação de docentes do ensino público fundamental e médio e a realização de convênios com organizações que amparam grupos socialmente carentes.

Medidas relacionadas ao Ingresso, por sua vez, incluem a redução da taxa de inscrição do vestibular, com a isenção para alunos carentes, o aumento da quantidade de vagas ofertadas nos cursos de graduação e a reserva de cotas para alunos de baixa renda, afrodescendentes e indígenas. Já a Permanência, compreende medidas de revisão da grade de horário, possibilitando ao aluno estudar e trabalhar, e adoção de um programa amplo de acompanhamento escolar e de apoio estudantil, com a concessão de bolsas de trabalho, bolsas residência e auxílio alimentação.

Por fim, as medidas associadas à Graduação focam na conclusão dos cursos e preparação dos estudantes para o mercado de trabalho, concedendo assessoria e assistência na obtenção de estágios e empregos, e apoio aos alunos que desejam se tornar pequenos empresários.

De acordo com Santos et al. (2016), o sistema de cotas da UFBA estabelecia, inicialmente, que 45% das vagas seriam reservadas, sendo o critério fundamental para participação ter estudado em escola pública durante todo o ensino médio e mais um ano do ensino fundamental. A questão racial/étnica (cor declarada) seria um coadjuvante desse processo e não o fator determinante. Após a sanção da Lei de Cotas, a UFBA se adequou imediatamente à nova resolução, aplicando-a já no vestibular do ano de 2013 (UFBA, 2013).

2.2 Literatura Empírica sobre Ações Afirmativas

Nos estudos de Moro (2003) e Moro e Norman (2004) para o mercado de trabalho dos EUA, utilizando a abordagem contrafactual, os pesquisadores identificaram que, com a utilização da política de cotas, houve uma redução na diferença salarial dos grupos pesquisados, e o grupo de tratamento apresentou um salário, em média, 20% superior, caso o benefício não fosse concedido. Os autores constataram que a política foca apenas o grupo sub-representado e acaba por não promover melhorias para o grupo que não participa da política.

Su (2005) analisou o efeito de políticas de ação afirmativa em uma estrutura hierárquica de educação superior nos EUA, para verificar o impacto da política de ações afirmativas quanto ao acesso ao ensino superior. Considerando que, embora a desigualdade racial implique, à primeira vista, em oportunidade de desenvolvimento inferior para os alunos no grupo desfavorecido, a admissão destes na educação superior com base apenas no ranking de pontuação do teste de admissão prejudica esses grupos, tendo em vista a discriminação histórica.

No trabalho de Freman e Assunção (2005), foi identificado que a aplicação das medidas de ações afirmativas implica na redução do esforço. No estudo, os autores analisaram a concessão de cotas em duas universidades públicas do Rio de Janeiro (Universidade Estadual do Rio de Janeiro - UERJ e Universidade Estadual do Norte Fluminense - UENF), e uma na Bahia (Universidade do Estado da Bahia - UNEB). Através do método diferença-em-diferença, o resultado obtido indicou uma redução da pontuação do grupo beneficiado, distanciando-o ainda mais do grupo que não recebeu incentivo.

Almeida Filho et al. (2005) analisaram os primeiros efeitos da implantação do programa de ação afirmativa da UFBA, a partir da avaliação dos dados do Vestibular de 2005, principalmente no que diz respeito ao perfil e desempenho do corpo discente. Os dados foram coletados nos processos seletivos de 1998 a 2005. Nesse período, foi investigado pela primeira vez a origem social (alunos de escola pública) e auto declaração de cor (preto, pardo, amarelo, branco ou indígena), tanto na candidatura, quanto na classificação no vestibular. Os resultados indicaram que a exclusão social ocorre muito antes ao ingresso na universidade, fazendo com que a composição social e racial/étnica do grupo de candidatos ao ingresso na UFBA seja bastante diferente do perfil sócio demográfico da população baiana.

Maia et al. (2009) avaliaram o desempenho dos alunos da Universidade Estadual de Campinas, do ingresso à conclusão do curso. A amostra utilizada foi composta por todos os ingressantes dessa universidade nos anos de 1997 a 2000. A metodologia utilizada foi baseada na Teoria da Diversidade proposta por Rao (1982), e foram utilizados métodos não paramétricos nas estimações. A base de dados comtemplava todos os estudantes que ingressaram na instituição, contendo 7.515 alunos matriculados em todos os cursos de graduação oferecidos. Os dados incluíam informações socioculturais informados no momento da inscrição no vestibular e informações acadêmicas, como escore no vestibular, coeficiente acadêmico, dentre outras. Os autores concluíram que os estudantes de escola pública apresentaram uma variação média no desempenho de 4,7%, muito superior a redução média de 2,0% observada para os estudantes oriundos de escolas particulares.

Velloso (2009) testou a existência de diferenças entre as médias das notas obtidas nos cursos da Universidade de Brasília (UnB). Para tanto, utilizou como base de dados alunos cotistas e não-cotistas da UnB, entre 2004 e 2006, utilizando como metodologia a análise de coorte. O autor verificou que, em 11% dos cursos da área de Humanidades, os estudantes cotistas apresentaram um desempenho superior aos estudantes não cotistas; na área de Ciência, os cotistas apresentaram um desempenho inferior aos não cotistas em 2004, mas para os demais anos essa relação se inverte, tendo os cotistas desempenho superior em cerca de 5% dos cursos. Na área da Saúde os estudantes cotistas apresentaram desempenho inferior ao dos não cotistas na maioria dos cursos: no ano 2004 em 75% dos cursos, no ano de 2005 em 63% dos cursos e no ano de 2006 em 75% dos cursos.

Becker e outros (2014) analisaram a eficácia do Programa de Verão da Associação Americana de Economia (AEASP) em melhorar a diversidade profissional dos bacharelados em economia. Os autores concluíram que este programa contribuiu para aumentar a porcentagem de minorias em 26% nos programas de doutorado em economia nos últimos 20 anos. Nesta pesquisa, foi utilizado um terço dos participantes do AEASP no período de 1974 a 2010, mediante um grupo de comparação formado pelos estudantes que se inscreveram para o programa e não compareceram. A metodologia utilizada foi baseada nos modelos de comportamento de estratégia de competição, recorrendo ao modelo probit para identificar a probabilidade de participação dos indivíduos no programa.

A despeito do crescente número de trabalhos que analisam o efeito da política de cotas no ensino superior sobre indicadores educacionais no Brasil (MAIA et al., 2009; PEREIRA, 2013), particularmente sobre desempenho acadêmico dos estudantes, o presente trabalho difere da literatura existente pela aplicação de métodos de pareamento ainda não aplicados ao caso das cotas no Brasil. Conforme será apresentado na próxima seção, adotou-se para estimação do efeito causal das cotas sobre o desempenho o método de PSM, considerando diferentes métricas de pareamento, quais sejam, Sem Pareamento, Subclass, Nearest, CEM, Genetic. Adicionalmente, são utilizadas diferentes medidas para o desempenho como forma de verificar o impacto das cotas ao longo da vida acadêmica do estudante.

3 Estratégia Empírica

A partir da abordagem de discriminação estatística, este trabalho analisa a política de cotas na UFBA, considerando os diferenciais de produtividade sob a perspectiva do desempenho dos estudantes. Nesse sentido, a ideia é averiguar se há diferenças entre o desempenho de estudantes cotistas e estudantes não cotistas, dadas as diferenças de renda, gênero e demais fatores que podem ser considerados em processos de discriminação. Vale notar que o sistema de reserva de vagas assegura o acesso, mas não necessariamente garantirá um nível de desempenho mínimo ao longo do curso para conclusão, ou mesmo avanço no desempenho.

Como é impossível observar simultaneamente o mesmo indivíduo participando e não participando do sistema de cotas, a identificação da relação causal entre a intervenção realizada (política de cotas) e os resultados obtidos (desempenho acadêmico) é feita pela construção de um contrafactual por pareamento baseado em características observáveis. Este contrafactual hipotético, ou grupo de controle, representa aqueles indivíduos que poderiam receber o tratamento (ingressantes por cotas), dadas as características necessárias, mas que não receberam o tratamento (ingressantes por ampla concorrência). Nesse sentido, os métodos de pareamento buscam construir um contrafactual o mais análogo possível ao grupo de tratamento.

Os métodos de pareamento ou matching permitem comparar o desempenho acadêmico atual dos estudantes ingressantes na UFBA pelo sistema de cotas, grupo de tratamento (cotas i = 1) com sua performance caso seu ingresso tivesse ocorrido por ampla concorrência, grupo de controle (cotas i = 0) construído a partir das características observadas de todos os estudantes da Instituição. Salienta-se que o processo de matching não deve ser feito pelos valores da variável de resultado, de modo que evite a seleção de uma amostra correspondente que leve a um resultado desejado ou mesmo que pareça (RUBIN, 2007).

O uso de matching decorre fundamentalmente de dois fatores: impossibilidade de observar simultaneamente um mesmo individuo participando e não participando da política, e da seleção não aleatória dos participantes (por motivos éticos ou logísticos, por exemplo). No caso do Programa de Cotas da UFBA, como a seleção não é aleatória, pois os candidatos devem apresentar características específicas para poder participar do sistema de cotas, e os estudantes não podem estar simultaneamente na condição de participantes ou não do programa, o matching entre os dois grupos é feito a partir das informações socioeconômicas de todos os estudantes disponíveis no banco de dados da UFBA.

De forma geral, a aplicação dos métodos de matching seguem a seguinte ordem: definição de uma distância (medida de similaridade entre os indivíduos) para determinar se um indivíduo é um bom par para o outro; realização do pareamento, considerando as características observáveis no período pré-tratamento; verificação do pareamento obtido: se distribuição das covariadas está ou não balanceada entre os grupos de tratamento e de controle; e, finalmente, a análise dos resultados da estimação do efeito de tratamento sobre os tratados, dado o matching. (KHANDKER et al., 2010). Os indivíduos que não apresentarem base de comparação, devido ao fato de não terem nenhuma correspondência serão descartados da amostra, para eliminar possíveis vieses.

Os métodos de matching estão fundamentados em duas hipóteses: Independência Condicional e Suporte Comum. A primeira hipótese, também conhecida como seleção nos observáveis, implica que a atribuição do tratamento (cotas) é independente dos resultados potenciais (Y i (0), Y i (1)) dadas as covariadas (X i ) cotas | [ Y i (0), Y i (0) ] | (X i ), onde (Y i (0) e Y i (1) representam o resultado de um indivíduo i participando e não participando do tratamento, respectivamente. A hipótese de Suporte Comum implica que para que os indivíduos tratados tenham correspondentes no grupo de controle deve existir uma probabilidade positiva de receber o tratamento para todos os valores de X:0<P(cotas=1 | X i )<1

A partir destas duas hipóteses, os indivíduos são pareados conforme suas características observáveis disponíveis no banco de dados. As diferenças de desempenho observadas são devidas a forma de ingresso pelo sistema de cotas. O efeito médio da política de cotas sobre o desempenho dos estudantes cotistas é obtido pela diferença nos resultados médios entre os grupos de tratamento e controle. De acordo com Khandker et al. (2010), com dados em cross-section, podemos definir o estimador do efeito médio de tratamento sobre os tratados como:

ATTPSM=1NTiTYiT-iCw(i,j)YjC

onde N T é o número de participantes i do sistema de reserva de vagas (T), Y i T é o resultado obtido com o tratamento por esses indivíduos, w(i, j) são os pesos utilizados para agregar os resultados obtidos pelos j não participantes do programa pareados, Y j C

A definição da distância entre indivíduos tratados e não tratados, e a consequente construção do grupo de controle (pareados), é o elemento diferenciador entre os métodos de matching. O PSM constrói o grupo de controle a partir de escores de propensão com base nas características observáveis. Os escores de propensão são definidos como a probabilidade condicional de atribuir uma unidade a uma condição de tratamento particular (i.e., probabilidade de ser cotista) dado um conjunto de covariadas observáveis (OLMOS; GOVINDASAMY, 2015). Usualmente, o escore de propensão é estimado usando uma regressão logística, sendo que a variável dependente é a condição de tratamento cujo efeito causal se busca estimar.

Diferentes algoritmos podem ser aplicados para calcular essa distância, sendo que cada algoritmo de correspondência calcula o peso de cada característica conforme o tamanho amostra, o que pode influenciar a estimativa do efeito resultante da política. Neste trabalho foram utilizadas as técnica de correspondência Subclass, Nearest-Neighbor, CEM e Genetic.

Para a estimação do efeito das cotas sobre o desempenho dos estudantes, serão consideradas quatro medidas de desempenho acadêmico quais sejam escore final no vestibular, coeficiente de rendimento, nota média dos três primeiros semestres e nota média dos últimos três semestres cursados. O uso de medidas de início e final de curso é feito para avaliar se, uma vez verificada existência de diferenciais, houve evolução ao longo da vivência acadêmica dos estudantes.

3.1 Descrição dos dados

A amostra utilizada neste artigo compreende todos os estudantes matriculados nos cursos de graduação presencial da UFBA, nos anos de 2005 a 2013 que ingressaram apenas nos cursos de progressão linear (CPL) por meio de processo seletivo (vestibular) a partir do semestre de 2005.1 e que concluíram o curso até 2013.1.

Para cada elemento da amostra existem as informações socioeconômicas, declaradas durante a realização da inscrição no processo seletivo. Os dados foram coletados junto a Pró-Reitoria de Ensino e Graduação (PROGRAD), no Sistema Acadêmico (SIAC) e pelo Centro de Processamento de Dados. Os dados obtidos apresentam, além das informações socioeconômicas dos ingressantes, informações sobre a pontuação obtida no exame, número de matrícula e acompanhamento acadêmico do estudante no decorrer do curso.

A amostra abrange 8.546 observações, entre alunos que ingressaram por meio do sistema de reserva de vagas e por vestibular de ampla concorrência. Com o banco de dados, é possível identificar os estudantes que entraram pela Política de Cotas, pois uma das informações contidas na base de dados é a categoria de entrada. Os estudantes cotistas corresponderam, no período considerado, à cerca de 40% do total dos estudantes que ingressaram a partir de 2005.1 e concluíram o curso até 2013.1. Destes, 34% se declararam negros ou pardos oriundos de escolas públicas.

A análise do coeficiente de rendimento permite identificar se, para todo o período cursado, os alunos que entraram com pontuações diferentes conseguiram ou não eliminar as diferenças de desempenho. Também é possível comparar a nota média dos alunos nos três primeiros semestres com a nota média nos três últimos semestres, o que permite avaliar a evolução acadêmica do aluno no decorrer do curso7.

As variáveis socioeconômicas utilizadas na análise estão elencadas no Quadro 1. Com exceção da variável idade, todas as variáveis são dicotômicas, com valor igual a unidade indicando que aquele aspecto pode ser atribuído ao indivíduo (caso contrário, atribui-se o valor zero).

Quadro 1: Descrição das Variáveis Socioeconômicas 

Legenda Variável Legenda Variável
Id Idade Car Não possui automóvel
Fem Gênero Feminino Ens Fez ensino médio em escola pública
Cas Estado Civil - Casado Pai Escolaridade do Pai - até nível médio
Qua Não possui quarto individual Mãe Escolaridade da Mãe - até nível médio
Int Não possui internet Che É chefe/representante da família
Curs Fez cursinho preparatório Ren Renda da família - até 5 salários mínimos
Cel Não possui celular Trab Trabalha
Comp Não possui computador

Fonte: Elaboração própria, 2016 com dados fornecidos pela UFBA, 2014.

4 Resultados

Nesta seção são apresentados os resultados encontrados para o conjunto estudado de forma agregada e por áreas de conhecimento8. De uma forma geral, os resultados mostram que não há diferença de desempenho em função de ser ou não cotista, ou seja, os diferenciais parecem estar mais fortemente relacionados às características socioeconômicas dos estudantes9.

4.1 Pareamento por Escores de Propensão

Como é comum na literatura, o escore de propensão P(x) foi estimado usando uma regressão logística com a variável resposta sendo Cotas (1=cotista; 0 = não cotista), i.e.

P(x)=Pr(Cotas=1|X=x)=exp(xβ)/(1+exp(xβ))

A Figura 1 apresenta a razão de chances de ser cotista com o intervalo de confiança (IC) de 95%, considerando todas as áreas simultaneamente. As características cujo o IC não contém o valor 1 não diferem entre cotistas e não cotistas. Por exemplo, considerando a variável nível educacional da mãe (mãe), pode-se verificar que os alunos cuja mãe cursou até o nível médio completo têm cerca de duas vezes mais chance de ser cotista do que os demais alunos, considerando os valores fixos das demais covariáveis. Também na Figura 1, é possível observar que, como a variável ensino médio (Ens) é altamente correlacionado com o fato de o aluno ser cotista ou não, a razão de chances mostrou-se muito elevada (mais de 300) para essa variável independente.

Fonte: Elaboração própria, 2016 com dados fornecidos pela UFBA, 2014.

Figura 1 Razão de Chances de ser Cotista com Intervalo de Confiança de 95% 

De modo geral, a maioria das variáveis foram significativas, mostrando, portanto, a aplicabilidade dos métodos de pareamento na avaliação do sistema de cotas. Seguindo essa análise para as áreas tem-se que a área II é mais balanceada (Apêndice - Figura A1.b), enquanto que a área III apresenta maior discrepância entre os cotistas e não cotistas (Apêndice - A1.c). As características nas quais os cotistas e não cotistas mais se diferem são o Ensino Médio, o que é esperado por motivos apresentados acima, e Nível Educacional da Mãe.

Os métodos de pareamento Subclass, Nearest-Neighbor, CEM e Genetic foram aplicados usando o pacote MatchIt do software R, e podem ser comparados através de alguns resultados estatísticos. Por exemplo, os melhores métodos são aqueles que fornecem menores diferenças médias das covariáveis entre os grupos de cotistas e não cotistas, tornando esses dois grupos os mais próximos possíveis. A Figura 2 apresenta o valor absoluto da diferença das médias das variáveis independentes entre os dois grupos estudados.

Fonte: Elaboração própria, 2016 com dados fornecidos pela UFBA, 2014.

Figura 2 Valor Absoluto da Diferença das Médias das Variáveis Independentes entre Cotistas e Não Cotistas, por Método de Pareamento 

Por exemplo, a diferença de idade entre os cotistas e não cotistas é cerca de 2 anos e meio, em média (barra azul escuro), mas após usar o método de pareamento Nearest, essa diferença caiu para menos de dois anos (barra verde). Para algumas características, a diferença entre cotistas e não cotistas diminuiu radicalmente, como, por exemplo, para o ensino médio, em que a diferença do percentual de alunos que estudaram em escola pública entre cotistas e não cotistas era de 85%, caindo para aproximadamente 0% pelo método CEM. Os métodos CEM e Genetic resultaram em um melhor balanceamento entre os dois grupos. Entretanto, também são os métodos que geraram bancos de dados com as amostras pareadas de menor tamanho, conforme ilustrado na Figura 3.

Fonte: Elaboração própria, 2016 com dados fornecidos pela UFBA, 2014.

Figura 3 Tamanho da Amostra, Antes e Depois do Pareamento 

4.2 Estimando o Efeito de Causalidade do Sistema de Cotas

Usando o pacote Zelig do software R, foram ajustados modelos de regressão considerando as variáveis respostas e covariáveis descritas no Quadro 1, incluindo Cotas também como variável independente. A Figura 4 apresenta a distribuição, gerada por uma simulação Bootstrap, do valor esperado do desempenho dos cotistas (azul) e não cotistas (laranja), fixando os valores de referência para as demais covariáveis. Observa-se que, de um modo geral, a diferença no desempenho entre cotistas e não cotistas é maior no banco original (sem o pareamento) do que nos demais bancos, porém ainda sendo significativa, com as exceções descritas a seguir.

O método Nearest foi o que menos indicou o impacto do sistema de cotas, sendo a diferença não significativa para todos os indicadores de desempenho, com exceção da ‘nota média nos 3 primeiros semestres' (valor de p = 0,025). Já o indicador de desempenho ‘nota média nos 3 últimos semestres’ foi o que apresentou menos diferença significativa entre cotistas e não cotistas, com exceção para o método Subclass (valor de p = 0,017) e Genetic (valor de p = 0,022).

Fonte: Elaboração própria, 2016 com dados fornecidos pela UFBA, 2014.

Figura 4 Distribuição do Valor Esperado do Desempenho de cotistas (em azul) e não cotistas (em laranja). 

Segundo Abadie e Imbens (2002), à medida que o número de covariáveis aumenta, diminui a variância do estimador de pareamento, mas também aumenta o viés. Uma possível solução para corrigir o viés do estimador de pareamento é ajustar uma regressão para os não cotistas, usando o banco de dados pareado - ou seja alunos não cotistas que possuem o perfil próximo aos cotistas. Então, o valor previsto para o desempenho dos cotistas é calculado usando os coeficientes estimados nesta regressão, mas com as covariáveis dos cotistas. O Efeito Médio do Tratamento sobre os Tratados (ATT) é calculado como a diferença entre a variável resposta observada para os cotistas e seus respectivos valores preditos para os cotistas, se estes fossem não cotistas.

É possível também calcular o Efeito Médio do Tratamento sobre os Não Tratados (ATNT), seguindo o mesmo raciocínio anterior, mas agora para os não cotistas. O Efeito Médio do Tratamento (EMT) para todos os alunos pode ser calculado como a média entre os valores ATT e ATNT com o sinal trocado. Os valores estimados do ATT e EMT, com o intervalo de confiança de 95%, foram encontrados usando método de reamostragem com um tamanho amostral de 1000, para todos os indicadores de desempenho e por método de pareamento, e podem ser vistos na Figura 5 (indicador Coeficiente de Rendimento) e na Figura A no Apêndice (os demais indicadores).

Fonte: Elaboração própria, 2016 com dados fornecidos pela UFBA, 2014

Figura 5  ATT e EMT para o Indicador Coeficiente de Rendimento 

Considerando as variáveis respostas ‘escore final’ e ‘nota média nos 3 últimos semestres’, os métodos não parecem concordar quanto ao efeito do sistema de cotas sobre os cotistas - cerca de 50% dos métodos indicaram um ATT significativo (o intervalo de confiança não contém o valor zero). Vale ressaltar, que diferente dos valores de ATT estimados para as demais variáveis de resposta desse estudo e dos valores dos coeficientes de regressão apresentados na Tabela 2, o ATT para o ‘escore final’ foi estimado positivo pelos métodos Subclass e Nearest, indicando que os cotistas tiveram um desempenho esperado melhor do que se os mesmos não fossem cotistas.

Já para as demais variáveis respostas, os métodos parecem concordar que existe efeito do sistema de cotas na ‘nota média nos 3 primeiros semestres’ (ATT significante), mas não no ‘coeficiente de Rendimento’. O EMT para a maioria dos métodos e das variáveis respostas não foi significante. Analisando por área, apenas a área II - Ciências Biológicas e Profissões da Saúde apresenta um efeito significante do sistema de cotas para a maioria dos métodos e das variáveis respostas, com o resultado esperado do cotista menor do que o resultado previsto se este não fosse cotista.

5 Considerações Finais

As ações afirmativas no ensino superior tem por objetivo para a formação de indivíduos mais capacitados e favorecer o desenvolvimento pessoal e social, ao facilitar o acesso e qualificação de parte da sociedade que, de outra forma, ficaria excluída do sistema educacional. Como em qualquer política pública, o reconhecimento da eficácia e eficiência da políticas afirmativas é de fundamental importância para o seu desenvolvimento e continuidade.

A avaliação da política de ações afirmativas da UFBA que se buscou neste trabalho levou em consideração aspectos dos eixos acesso e permanência. A reserva de 50% do total de vagas certamente tem garantido o acesso de grupos sub-representados ao ensino superior. No que se refere à permanecia, a análise focou sobre o desempenho dos estudantes. Com base em estimativas do PSM utilizando diferentes métodos de pareamento em dados e quatro medidas de desempenho, os resultados encontrados indicam, de forma agregada, a existência de um diferencial de desempenho a favor dos estudantes não cotistas, sobretudo no ingresso e início de curso.

Porém, quando se analisa os dados por áreas de conhecimento, os modelos estimados evidenciam que os diferenciais de desempenho somente permanecem para a área de ciências da saúde. Ou seja, se o estudante que entrou pelo sistema de reserva de vagas tivesse ingressado pelo sistema de ampla concorrência, não haveria diferença de desempenho entre ambas as situações. Desta forma, os resultados apontam que fatores socioeconômicos mostram-se mais relevantes para o desempenho do aluno na universidade do que sua forma de ingresso.

A despeito da eficácia da política em estimular o acesso e a equidade de oportunidades no ensino superior, os resultados encontrados indicam que a medidas adicionais para enriquecer o aprendizado e melhorar desempenho dos estudantes cotistas são necessárias, quando não fundamentais, dada as condições socioeconômicas que condicionaram o seu desenvolvimento escolar até o ingresso na universidade. É fundamental levar em consideração elementos que contribuem para o processo de ensino-aprendizagem no ensino superior, como aspectos pedagógicos e infraestrutura utilizada para o desenvolvimento das atividades.

Nesse sentido, deve-se reconhecer que os fatores escolares tem relevância no processo educacional, sobretudo com um perfil estudantil cada vez mais heterogêneo quanto ao estoque de capital humano e às habilidades inatas, não sendo estas últimas identificadas pelo sistema de seleção por cotas.

Referências

ABADIE, A.; IMBENS, G. Simple and Bias-Corrected Matching Estimators for Average Treatment Effects. Cambridge: Working Paper, 2002. [ Links ]

ALMEIDA FILHO, Naomar de et al. Ações afirmativas na universidade pública: o caso da UFBA. Salvador: Centro de Estudos Afro-Orientais, 2005. [ Links ]

ALON, Sigal; TIENDA, Marta. Diversity, opportunity and the shifting meritocracy in higher education. American Sociological Review, Califórnia, v. 72, n. 4, 2007. [ Links ]

ARCIDIACONO, Peter; AUCEJO, Esteban; SPENNER, Ken. What happens after enrollment? An analysis of the time path of racial differences in gpa and major choice. IZA. Journal of Labor Economics, Chicago, v. 1, n. 5, 2012. [ Links ]

BARNES, Katherine Y. Is affirmative action responsible for the achievement gap between black and white law students. Nw. UL Rev., Chicago, v. 101, p. 1759, 2007. [ Links ]

BECKER, Charles M. et al. Can summer make a difference? The impact of the american economic association summer program on minority student outcomes. Cambridge: National Bureau of Economic Research, 2014. (NBER working paper series). [ Links ]

BRANDÃO JUNIOR, Jair; AMARAL, Sérgio Tibiriçá. Ações afirmativas: aspectos gerais. ETIC-ENCONTRO DE INICIAÇÃO CIENTÍFICA, 3., Presidente Prudente. Anais..., Presidente Prudente, v. 3, n. 3, 2007. Disponível em: Disponível em: http://intertemas.unitoledo.br/revista/index.php/ETIC/article/view/1396/1334 . Acesso em: 13 maio 2014. [ Links ]

BRASIL. Ministério da Educação. Entenda as cotas para quem estudou todo o ensino médio em escolas públicas. Brasília, 2015. Disponível em: Disponível em: http://portal.mec.gov.br/cotas/perguntas-frequentes.html . Acesso em: 13 fev. 2015. [ Links ]

FREMAN, Bruno; ASSUNCAO Juliano. Affirmative action in university admission and high school students’ proficiency. Rio de Janeiro: PUC-Rio, 2005. Mimeo. [ Links ]

GEMAA - GRUPO DE ESTUDOS MULTIDISCIPLINAR DA AÇÃO AFIRMATIVA. O que são ações afirmativas? Rio de Janeiro, 2013. Disponível em: Disponível em: http://gemaa.iesp.uerj.br/ . Acesso em: 5 jan. 2014. [ Links ]

HERINGER, R.; FERREIRA, R. Análise das principais políticas de inclusão de estudantes negros no ensino superior no Brasil: período 2001-2008. In: PAULA, M.; HERINGER, R. (orgs.). Caminhos convergentes: Estado sociedade na superação das desigualdades raciais no Brasil. Rio de Janeiro: Fundação Heinrich Boll Stiftung, 2009. p. 137-194. [ Links ]

HOLZER, Harry; NEUMARK, David. Assessing affirmative action. Journal of Economic Literature, Pittsburgh, v. 38, n. 3, p. 483-568, set. 2000. [ Links ]

KHANDKER, Shahidur R. et al. Handbook on impact evaluation: quantitative methods and practices. Washington, D.C.: The World Bank, 2010. Cap. 4, p. 13 53-70 / 181-188. [ Links ]

KRISHNA, Kala; TARASOV, Alexander. Affirmative action: one size does not fit all., Cambridge: National Bureau of Economic Research , oct. 2013. [ Links ]

MAIA, Rafael Pimentel et al. Heterogeneidade do desempenho de alunos da Unicamp, do ingresso à conclusão. Cad. Pesqui., São Paulo, v. 39, n. 137, maio/ago. 2009. [ Links ]

MOEHLECKE, S. Ação afirmativa:história e debates no Brasil. Cad. Pesqui., São Paulo, n. 117, p. 4, nov. 2002. [ Links ]

MORO, Andrea. The effect of statistical discrimination on black-white wage inequality: estimating a model with multiple equilibria. International Economic Review, Pennsylvania v. 44, n. 2, p. 457-500, 2003. [ Links ]

MORO, Andrea; NORMAN, Peter. Affirmative action in a competitive economy. Journal of Public Economics, Amsterdã, v. 87, n. 3-4, p. 567-594, 2004. [ Links ]

NASCIMENTO, Alexandre do. As políticas de ação afirmativa como instrumentos de universalização de direitos. Revista Lugar Comum - Estudos de Mídia, Cultura e Democracia, Rio de Janeiro, n. 18, 2003. [ Links ]

OLMOS, Antonio; GOVINDASAMY, Priyalatha. Propensity scores: a practical introduction using R. Journal of MultiDisciplinary Evaluation, Michigan, v. 11, n. 25, p. 68-88, 2015. [ Links ]

PAULA, Alexandre Sturion de. Ação afirmativa: instrumento de cidadania ou discriminação reversa? Semina: Ciências Sociais e Humanas, Londrina, PR, v. 25, p. 3-17, set. 2004. [ Links ]

PEREIRA, Joaquim Israel Ribas. Análise do impacto da implantação das cotas na nota ENADE 2008. 2013. Dissertação (Mestrado em Economia) - Universidade Federal do Paraná, Curitiba, 2013. [ Links ]

PISCINO, Marcos Rafael Pereira. Teoria da ação afirmativa. 2006. Trabalho de Conclusão de Curso (Monografia) - UniFMU, São Paulo, 2006. [ Links ]

RUBIN, D. B. The design versus the analysis of observational studies for causal effects: parallels with the design of randomized trials. Statistics in medicine, Cambridge, MA, v. 26, n. 1, p. 20-36, 2007. [ Links ]

SANDER, Richard H. A systemic analysis of affirmative action in american law schools. Stanford Law Review, Stanford, v. 57, n. 367, p. 57-367, nov. 2004. [ Links ]

RAO, C. R.. Diversity: its measurement, decomposition, apportionment and analysis. Sankya, Indian, n. 44, p. 1-21, 1982. [ Links ]

SANTOS, Juliana Lago et al. Cotas e Desempenho na Universidade Federal da Bahia: uma análise dos ingressantes de 2010 a 2012. Revista Economia Ensaios, Uberlândia, MG, v. 31, n. 1, 2016. [ Links ]

SOWELL, T. Affirmative action around the world: an empirical study. New Haven: Yale University Press, 2004. [ Links ]

SU, X. Education hierarchy: within-group competition and affirmative action. SSRN, United States, 2005. Disponível em: SSRN:<Disponível em: SSRN:https://ssrn.com/abstract=781104 >. Acesso em: 27 novembro de 2013. [ Links ]

TOMEI, Manuela. Ação afirmativa para a igualdade racial: características, impactos e desafios. Brasília: OIT, 2005. Documento de trabalho elaborado no âmbito do Projeto Igualdade Racial OIT/Brasil. Tradução: Hélio Guimarães. 2005. [ Links ]

UFBA - UNIVERSIDADE FEDERAL DA BAHIA. Relatório. Salvador: PROPLAN, 2013. [ Links ]

UFBA - UNIVERSIDADE FEDERAL DA BAHIA. Sistema de cotas no vestibular, 2005: análise dos resultados. Salvador, jun. 2005. [ Links ]

VELLOSO, Jacques. Cotistas e não-cotistas: rendimento de alunos da Universidade de Brasília. Cad. Pesqui., São Paulo, v. 39, n. 137, p. 621-644, maio/ago. 2009 [ Links ]

1Outras formas para testar essa hipótese seria considerar índices de evasão e/ou retenção.

2Desde 2005, a UFBA vem adotando o sistema de reserva de vagas para estudantes oriundos de escolas públicas. Além do ingresso, o programa de ações afirmativas na UFBA estrutura-se em mais três eixos de ações: preparação, permanência e graduação.

3Estudos internacionais sobre o tema são mais comuns porque as políticas de ações afirmativas no ensino superior em outros países, particularmente em países desenvolvidos, foram adotadas muito anteriormente às iniciativas brasileiras.

4De acordo com o autor, a discriminação é direta quando as regras e práticas explicitamente excluem ou dão preferência a certas pessoas, com base apenas no seu pertencimento a um grupo determinado; já a discriminação indireta, refere-se a normas, procedimentos e práticas que parecem neutras, mas cuja aplicação afeta de maneira desproporcional membros de um determinado grupo.

5A partir do ano de 1964, adotou-se políticas de caráter afirmativo para atender todas as minorias, incluindo mulheres e minorias subutilizadas (negros, afrodescendentes, indígenas, aborígenes, pardos, pessoas portadoras de deficiências, pessoas de baixa renda e minoria religiosa).

6Apesar da lei ter sido regulamentada em 2012, algumas universidades estaduais já aplicavam o sistema de cotas, entre elas a Universidade Estadual do Rio de Janeiro (UERJ) e a Universidade Estadual da Bahia (UNEB). A UFBA também adotava a política de reservas de vagas em seus vestibulares desde 2005.

7Foram excluídos da análise alunos que não concluíram a matéria ou pediram dispensas, pois nestes casos, não são atribuídas notas.

8Área I- Ciências Físicas, Matemática e Tecnologia; Área II - Ciências Biológicas e Profissões da Saúde; Área III - Filosofia e Ciências Humanas; Área IV - Letras; Área V - Artes.

9Por uma questão de espaço, os resultados por área estão disponíveis mediante solicitação aos autores.

Recebido: 25 de Agosto de 2017; Aceito: 05 de Março de 2019

Creative Commons License Este é um artigo publicado em acesso aberto sob uma licença Creative Commons