Precisão e complexidade gramatical na entrevista de proficiência oral em língua estrangeira

Accuracy and grammatical complexity in a foreign language oral proficiency interview

Resumos

Este artigo configura um recorte de uma tese de doutorado que investiga diferenças na produção de candidatos a um teste de proficiência oral em língua inglesa, e insere-se nas investigações sobre validade e descritores em escalas de proficiência de testes referenciados em critério. Participam da pesquisa oito alunas formandas de um curso de Letras de uma universidade pública paulista. Os resultados apontam diferenças quantitativas e qualitativas entre as faixas de proficiência para precisão, e principalmente qualitativas para complexidade gramatical. A discussão proposta neste artigo é atual e pertinente para o campo de Avaliação de Proficiência no Brasil, num momento em que se debate a necessidade de medidas para avaliar competências docentes, entre elas a proficiência na língua-alvo.

avaliação; escala; língua estrangeira; precisão; complexidade

This paper forms part of a doctorate thesis which investigates differences in the production of candidates to an English oral language test. It contributes to the body of research on validity and descriptors in criterion-referenced language test scales. Eight students graduating from a Language and Literature course in a public university in the state of Sao Paulo participate in this study. Results point to quantitative and qualitative differences between the scale bands for accuracy, and mainly qualitative ones for grammatical complexity. The discussion posed in this article is topical and pertinent to the Language Testing field in Brazil, at the moment when experts have been debating the need for measures to assess teachers' competences - amongst which proficiency in the target language.

testing and assessment; scale; foreign language; accuracy; complexity

1 Introdução

O termo proficiência não é de domínio exclusivo da área da linguagem e assume nos discursos sociais conceitos distintos dependendo dos loci nos quais é empregado. No sentido não técnico, proficiência numa dada língua pode ser compreendida como um conceito absoluto: domínio da língua. Nesse sentido leigo, proficiência e fluência adquirem a categoria de sinônimos (SCARAMUCCI, 2000; TEIXEIRA DA SILVA, 2000). Quando se diz que alguém é fluente ou proficiente em determinada língua, está-se dizendo que a pessoa já alcançou um alto nível de conhecimento e capacidade para usar - geralmente falar - aquela língua, o que não raro acompanha o imaginário de domínio total de um idioma (BARCELOS, 1995). No aspecto técnico, por outro lado, o termo assume uma conotação relativa, que pressupõe a gradação de níveis de proficiência. A essa noção, soma-se ainda a relação da proficiência com a especificidade do contexto de uso da língua e, dessa forma, seria mais adequado falarmos de proficiências que assumem características distintas de acordo com as exigências de uso da língua determinadas pela situação comunicativa (SCARAMUCCI, 2000).

O construto de proficiência que adotamos neste artigo está fundamentado em modelos teóricos sobre competência/capacidade linguístico-comunicativa que associam o conhecimento linguístico à capacidade de o falante mobilizar tais conhecimentos para usar a língua para agir na sociedade, mais especificamente Canale (1983), Bachman (1990) e Bachman e Palmer (1996). Todos esses modelos descrevem e planificam os componentes da capacidade para o uso da língua e, grosso modo, assemelham-se na divisão entre tais componentes, embora os organizem de forma diferente: organizacional, discursivo e pragmático. Cada um desses componentes subdivide-se em outros menores. No caso deste estudo, fazemos um recorte pelo componente gramatical morfossintático. No entanto, empregamos os termos precisão gramatical e complexidade gramatical porque são esses os termos utilizados na pesquisa em SLA.

Embora na literatura sobre ensino e aprendizagem o termo competência linguístico-comunicativa circule mais amplamente, no campo de avaliação preferimos o termo proficiência para nos referirmos ao processo de fazer inferências sobre essa competência por meio de amostras observáveis de desempenho na língua em contextos específicos (BORGES-ALMEIDA, 2009).

Na avaliação de proficiência referenciada a critério, mais especificamente na avaliação de desempenho, os examinadores baseiam-se na descrição das características do uso da língua e cumprimento da tarefa para tomarem decisões a respeito da atribuição de notas e classificação dos candidatos. Os esforços em garantir a confiabilidade dos resultados passam pelo treinamento desses examinadores com amostras de desempenho linguístico e o uso de escalas de proficiência. Tais escalas possuem descritores da proficiência para cada um dos níveis da escala. É necessário, portanto, tomar medidas para assegurar que o uso da língua seja adequadamente descrito para cada faixa. Isso exige investigar se há diferenças significativas entre as supostas faixas de proficiência e descrevê-las de modo suficientemente amplo - e ao mesmo tempo econômico - para guiar as decisões dos examinadores. São exemplos de testes de proficiência oral referenciados a critério as entrevistas dos exames de Cambridge ESOL (CPE, CAE, FCE, PET, KET)¹ e do Certificado de Proficiência em Língua Portuguesa para Estrangeiros (Celpe-Bras)².

Em 2002, Consolo (2004) desenvolveu e começou a pilotar um teste de proficiência oral em inglês (TEPOLI) com alunos formandos de Licenciatura em Letras. O objetivo era investigar o nível de proficiência dos alunos ao final da graduação. O teste passou por diversas reformulações e, de uma entrevista oral individual, com base em figuras, evoluiu para uma entrevista em dupla e duas tarefas: uma envolvendo figuras e outra focada na geração de metalinguagem, considerada uma das principais características da fala do professor (ANCHIETA, 2007; CONSOLO; TEIXEIRA DA SILVA, 2007; FERNANDES, 2007).

Os estudos sobre os resultados oriundos das aplicações do TEPOLI renovaram informações relevantes para a implementação de outros exames de proficiência, dos quais destacamos o Exame de Proficiência para Professores de Línguas Estrangeiras (EPPLE), composto por um teste oral e um escrito de habilidades integradas, e constitui um instrumento de avaliação para fins específicos (CONSOLO; TEIXEIRA DA SILVA, 2014; CONSOLO et al, 2009). É nesse cenário que nasce esta pesquisa. Recorte de uma tese de doutorado (BORGES-ALMEIDA, 2009), este estudo relata uma investigação híbrida sobre precisão e complexidade, e se orienta pela seguinte pergunta de pesquisa: "como se caracteriza a gramática ao longo das faixas de proficiência no desempenho dos participantes em relação a (a) precisão e (b) complexidade?".

Nossa justificativa pela escolha de um componente essencialmente linguístico da proficiência oral advém de pesquisas sobre o peso dos diferentes componentes para a construção da proficiência, que atestam que a faceta morfossintática é responsável, junto com a lexical, pela maior parte da proficiência (DE JONG et al., 2012; ELLIS, 2008; RIMMER, 2006; ORTEGA, 2003; McNAMARA, 1990; ADAMS, 1980 apud IWASHITA, 2010; HIGGS; CLIFFORD, 1982 apud IWASHITA, 2010).

2 A gramática da língua falada

A língua falada - principalmente quando não planejada - é, por muitos, vista como malformada e caótica, e seus elementos, simplesmente como desvios e corrupções da gramática escolar. Entretanto, autores que investigam o desempenho linguístico são unânimes em afirmar que esses elementos seguem a regras de uma outra gramática, que poderíamos denominar "a gramática da língua falada" (LUOMA, 2004; CARTER; McCARTHY, 1995; BYGATE, 1987).

Bygate (1987) apresenta dois conjuntos de características presentes na fala que a diferenciam da escrita, os quais o autor denomina circunstâncias de reciprocidade e circunstâncias de processamento. As questões de reciprocidade referem-se à interação entre falante e ouvinte em encontros comunicativos e são típicas da conversação, quando o interlocutor pode interferir na fala do outro, corrigindo, pedindo mais esclarecimentos, demonstrando compreensão e concordância ou discordância. Os interlocutores revezam-se nas funções de falante e ouvinte e são corresponsáveis pelo funcionamento da conversa (BIBER et al., 1999; BYGATE, 1987). Segundo Bygate (1987, p. 13), ao mesmo tempo em que pode ser uma vantagem, por compensar as "irregularidades" e a "desorganização" da fala, a reciprocidade constitui uma obrigação, pois nos força a tomar conhecimento do outro e também permite ao outro a oportunidade de falar. Socialmente, os ajustes ao ouvinte são uma obrigação.³

Do outro lado do espectro, estão as circunstâncias de processamento linguístico. A pressão e limitação do tempo nas situações de fala - principalmente não planejada - obrigam o falante a tomar decisões em tempo real e fazem com que este tenha pouco tempo para decidir o que dizer e como dizer, para de fato dizê-lo e para verificar se suas intenções comunicativas estão se realizando, ou seja, para monitorar o interlocutor ou ouvinte em tempo real. Assim, a limitação do tempo afeta a produção da fala de pelo menos duas maneiras: é preciso lançar mão de mecanismos para facilitar a produção e outros para compensar dificuldades (BYGATE, 1987). Como mecanismos compensatórios, temos, por exemplo, repetições, correções e implementações, ao passo que para o gerenciamento do tempo, observamos (a) hesitações que se caracterizam pelo emprego de pausas silenciosas ou preenchidas (como uh, uhm, é, etc.) ou ainda com elementos lexicais (como well, you know, em inglês, e sabe, né, em português), (b) repetições idênticas ou parafraseadas e (c) falsos inícios. Todos esses mecanismos permitem ao falante ganhar tempo para organizar sua fala (BIBER et al., 1999; BYGATE, 1987), e também assegurar a manutenção do turno conversacional.

Para este trabalho, a consequência mais relevante do fator tempo é que, por limitações de ordem psicolinguística, é preciso manter certas informações importantes na memória dos interlocutores, o que faz com que a fala seja repleta de redundância, paráfrases e repetições. No componente gramatical, a limitação de tempo tipicamente leva à simplificação sintática por meio de estruturação da cadeia linguística em unidades menores que a sentença escrita. Essa é a principal diferença entre as gramáticas das duas modalidades, oral e escrita. Ao contrário do que em geral acontece na modalidade escrita, a fala não é organizada em sentenças, mas em blocos que podem ser descritos como unidades de ideias, as quais costumam ser curtas e estar delimitadas por contornos entoacionais característicos e por breves pausas ou hesitações, sendo muitas vezes apenas uma locução verbal, nominal ou preposicional. Nesse sentido, a organização das relações entre constituintes nas unidades de ideia apresentam estrutura mais simples do que nas sentenças da língua escrita (LUOMA, 2004). A simplificação sintática dos enunciados também pode ser observada na estruturação da fala por meio de coordenação, com ou sem o uso de conjunção. Quando essas são empregadas, entretanto, as mais comuns na língua inglesa são and, or, but, thate so. Embora não seja tão empregada na modalidade oral, a frequência de subordinação é diretamente proporcional à formalidade e planejamento da fala (LUOMA, 2004), sendo determinada pelos propósitos pelos quais alguém fala e moldada pelo gênero textual.

Outra característica relevante a ser considerada neste trabalho são as elipses. Para evitar esforço desnecessário na produção de enunciados individuais, os falantes "abreviam a mensagem, produzindo sentenças ou orações incompletas, omitindo elementos desnecessários onde for possível" (BYGATE, 1987, p. 14). Obedecendo a regras de economia, a elipse caracteriza-se pela omissão de informações redundantes ou que de alguma maneira podem ser recuperadas nas estruturas linguísticas, na construção textual ou ainda no contexto situacional em que se fala. O fato de haver redundância na fala permite que a não coesão gramatical seja compensada pela coesão semântica, a partir do contexto e da própria competência sociolinguística dos falantes (LEECH; SVARTVIK, 2002; HUDSON, 1999). Seu uso, entretanto, pode diminuir a extensão das unidades de análise sintática na oralidade. ⁴

Acreditamos que as características da gramática da língua falada apresentadas até agora devem ser levadas em consideração para a instrução na língua e também para a avaliação de proficiência. Concordamos com Bygate (1987, p. 21), quando afirma que "se falantes nativos e não nativos em interação normal geralmente produzem língua com tais características, isso deve influenciar o que esperamos de nossos aprendizes em atividades e testes orais".⁵

3 Precisão e complexidade gramatical na produção oral

3.1 Precisão gramatical

Uma vez que o fator tempo impõe limites à capacidade do falante para planejar e organizar a mensagem e, ao mesmo tempo, para controlar a linguagem em uso (GUARÁ-TAVARES, 2008; D'ELY, 2006; BACHMAN; PALMER, 1990; BYGATE, 1987;LEVELT, 1989; KRASHEN, 1982), é comum haver na fala desvios gramaticais, repetições e frases inacabadas. Durante a produção da linguagem, os falantes esquecem coisas que gostariam de dizer, ou que já disseram, e a forma linguística não fica economicamente organizada como ocorre na maior parte das produções na modalidade escrita (BIBER et al., 1999; BYGATE, 1987, p. 11). Esse processo ocorre tanto em língua estrangeira quanto materna.

Precisão gramatical - também denominada acurácia em alguns trabalhos -, segundo Brumfit (2000 apud BERGSLEITHNER, 2007, p. 47) é "a preocupação com a adequação formal em termos de itens linguísticos específicos"⁶ e é, portanto, relacionada à forma, especificamente à ausência de desvios.⁷ Estudos investigando a contribuição relativa de cada aspecto da proficiência oral têm apontado que "nem todos os aspectos da proficiência oral desempenham papel de igual importância no desenvolvimento das habilidades orais em L2" ⁸ (De JONG et al., 2012, p. 7; HIGGS; CLIFFORD, 1982) e que a precisão gramatical é o principal fator determinante na pontuação global atribuída por examinadores a candidatos em exames de proficiência (IWASHITA, 2010).

A precisão tem sido estudada a partir de índices globais (o levantamento de todos os desvios independentemente de sua natureza) ou a partir de tipos específicos de desvios. Nesse caso, conforme Dulay (1982 apud CAVALARI, 2005) pontua, os desvios gramaticais podem ser classificados sob diferentes óticas: (a) pela categoria do constituinte linguístico afetado (por exemplo, desvios em preposições, tempos verbais, etc.); (b) pela estratégia de superfície do desvio (por exemplo, por meio de acréscimo, omissão ou ordenação de elementos linguísticos); (c) pelo processo cognitivo que induziu ao desvio (por exemplo, por meio de transferência da LM para a LE ou resultantes do processo evolutivo da aquisição linguística); ou (d) pelo efeito comunicativo que o desvio causa no interlocutor, afetando ou não a comunicação.

Luoma (2004, p. 19) afirma que, apesar de falantes nativos também apresentarem desvios quando falam, há desvios que são típicos de falantes não nativos, como estruturar uma negativa com no + verbo (I no write), no caso da língua inglesa, ou violar regras simples de ordem de palavras. Estudos com brasileiros aprendizes de inglês como língua estrangeira apontam alguns desses desvios típicos. Pessôa (2003) encontra, na produção escrita de alunos de níveis iniciante a avançado, desvios em pronomes, pelo emprego de sujeito nulo/indeterminado, pela troca de pronome objeto por pronome sujeito e pelo emprego de pronome precedido de artigo determinado. Pinto (2007, 2004), ao tratar de dados de produção oral de alunos de um curso de Licenciatura em Letras, relata grande frequência de desvios em preposições.

Embora a metodologia de investigação da precisão gramatical seja possível e interessante - principalmente para orientar ações pedagógicas ao informar processos de aquisição e aprendizagem de línguas -, os pesquisadores concordam que a medida global oferece maior potencial de investigação da precisão sob a ótica da avaliação de proficiência, embora seja mais difícil de codificar consistentemente (IWASHITA, 2010; GUARÁ-TAVARES, 2008).

Nesse paradigma global, que olha para o desvio de forma geral e não apenas para determinados tipos de desvios, a precisão gramatical da fala tem sido investigada na literatura principalmente por meio de dois índices quantitativos: (a) a frequência de desvios por unidade de fala (na maioria dos casos, aT-unit ⁹) ou a cada 100 palavras; e/ou (b) a porcentagem de unidades corretas (D'ELY, 2006; BERGSLEITHNER, 2007; GUARÁ-TAVARES, 2008).

3.2 Complexidade gramatical

O termo complexidade gramatical refere-se à "amplitude das formas que emergem da produção linguística e o grau de sofisticação dessas formas" (ORTEGA, 2003, p. 492)¹⁰ e também é denominado complexidade ou maturidade sintática ou mesmo complexidade linguística. Por sua vez, Foster e Skehan (1996, p. 303 apud D'ELY, 2006) definem complexidade como "linguagem mais elaborada que é usada e também uma maior variedade de padrões sintáticos".¹¹

A investigação da complexidade gramatical tem suas origens em estudos clínicos sobre o desenvolvimento da linguagem de pacientes com limitações cognitivas e também nas pesquisas com crianças sobre estágios de aquisição de língua materna. Outros estudos que contribuíram para a elaboração do construto de complexidade gramatical foram os trabalhos em legibilidade textual. Tais estudos voltam-se apenas para textos escritos e investigam a provável dificuldade de leitura de um texto com base em suas características internas, como as estruturas morfossintáticas e lexicais que o compõem (LEE, 2005).

Para DeKeyser (2005) a complexidade das estruturas se relaciona diretamente com a dificuldade de aquisição por parte do aprendiz. O autor observa a relação entre a complexidade e a aquisição gramatical em três níveis distintos: complexidade da forma, do significado e da relação forma-significado. Esta última impõe a maior dificuldade para o aprendiz de língua estrangeira e pode ser interpretada como o grau de importância de uma forma linguística para o significado que ela expressa. Por exemplo, certos morfemas são a única fonte de informação sobre o significado que expressam, enquanto outros são completamente redundantes, pois apenas marcam concordância gramatical com outros constituintes explicitados no texto. Morfemas redundantes têm uma relação forma-significado menos transparente e, portanto, são mais difíceis de serem adquiridos.

Assim como a investigação da precisão, a da complexidade gramatical, por tradição, também tem sido conduzida por meio de índices quantitativos. Tais medidas de complexidade gramatical são ferramentas de pesquisa importantes para o campo de aquisição de língua estrangeira, para a avaliação dos efeitos da instrução e intervenção pedagógica e para investigar as diferenças gramaticais entre níveis de proficiência (ORTEGA, 2003). Num estudo que investiga 39 trabalhos sobre complexidade gramatical na produção escrita em língua estrangeira, Wolfe-Quintero et al. (1998 apud ORTEGA, 2003) concluem que as melhores medidas para a quantificação da complexidade são o tamanho médio das T-units (expresso em palavras), o tamanho médio das orações e a frequência de orações por T-unit e de orações dependentes por oração principal. Os autores afirmam que essas medidas são consistentes com níveis holísticos de proficiência, embora não discriminem bem níveis de proficiência adjacentes. Iwashita (2010) emprega todos esses índices na investigação de complexidade gramatical.

Não há, entretanto, consenso entre os pesquisadores sobre a validade de todas essas medidas para a avaliação da complexidade. Lee (2005), por exemplo, afirma que não há nenhuma correlação unidirecional entre o tamanho da unidade e a complexidade gramatical. Em consonância, Guará-Tavares (2008) e D'Ely (2006) veem o tamanho médio das unidades como uma medida de fluência e, para a investigação da complexidade, empregam a média de orações por unidade, um índice que se baseia na subordinação. Acreditamos que o tamanho médio das T-units possa ser considerado uma medida de complexidade gramatical, mas pensamos que ele discrimina melhor níveis muito básicos de proficiência, assim como no início da aquisição de língua materna, dando pouca informação - e, consequentemente, permitindo poucas inferências - sobre níveis de proficiência mais elevados. Seu emprego pode ser justificado, entretanto, por uma combinação de medidas que, conjuntamente interpretadas, possam contribuir para inferências significativas.

Embora medidas quantitativas de complexidade sejam importantes ferramentas para a avaliação da competência gramatical, não informam a totalidade desse construto cujas definições apontam também para a variedade e sofisticação das estruturas gramaticais empregadas pelo falante. A maioria dos estudos que adota essa definição de complexidade, entretanto, não investiga os dados de maneira qualitativa. É o que ocorre com o trabalho de D'Ely (2006), o que leva a autora a, ao considerar essa limitação, sugerir o recorte por formas verbais, tempo, modo, voz e aspecto como variáveis interessantes para investigações qualitativas.

Borges-Almeida (2009), num estudo híbrido, que deu origem a este artigo, faz um recorte qualitativo por orações relativas e condicionais (if-clauses) para discutir a complexidade gramatical, e observa diferenças no uso das formas gramaticais associadas a funções comunicativas. Ou seja, nas faixas da proficiência mais altas, o estudo aponta maior variedade das formas gramaticais empregadas para desempenhar uma maior variedade de funções comunicativas.

De forma geral, os resultados das pesquisas apontam para a troca atencional entre as dimensões precisão e complexidade gramatical no desempenho oral, sinalizando que o falante concentra sua atenção em uma em detrimento da outra (GUARÁ-TAVARES, 2008; D'ELY, 2006; FORTKAMP, 2000)¹², o que se explica pelo modelo de produção da fala de Levelt (1989), que postula que tanto a geração da fala quanto seu monitoramento demandam considerável atenção do falante. O modelo de Levelt (1989) explica pela Psicolinguística o que aventou Krashen (1982) com a hipótese do Monitor.

Embora o modelo de Levelt tenha sido desenvolvido para explicar a produção oral em língua materna e se insira na perspectiva da teoria do processamento da informação, tem informado modelos de produção linguística e teorias de aquisição de segunda língua (D'ELY, 2006), sendo condizente com o modelo de Bachman (1990) e Bachman e Palmer (1996), que adota uma visão componencial da proficiência e considera que não apenas questões estritamente linguísticas, mas também estratégicas e de ordem psicofisiológicas operam para construir o desempenho comunicativo do falante.

4 Metodologia

A pesquisa aqui relatada foi conduzida junto a uma turma formanda do curso de Letras Português/Inglês numa universidade pública paulista, composta de 14 alunos. A turma submeteu-se à versão em duplas da entrevista oral do Teste de Proficiência Oral em Língua Inglesa (TEPOLI), aplicado por duas pesquisadoras doutorandas em Linguística Aplicada. Foram selecionadas oito alunas, entre 21 e 25 anos de idade, para serem participantes focais desta investigação, por se distribuírem duas em cada uma das quatro faixas inferiores de proficiência do TEPOLI (faixas E a B). Não houve participantes na faixa A, considerada a mais alta.

O TEPOLI consiste em uma entrevista oral em língua estrangeira realizada em duplas¹³ face a face com um examinador-interlocutor e outro examinador-avaliador. O procedimento de aplicação do TEPOLI segue quatro fases e dura aproximadamente 20 minutos. A primeira é a fase de aquecimento, quando os candidatos respondem a perguntas feitas pelo examinador e falam um pouco de si. A segunda e a terceira fases são os momentos de "avaliação propriamente dita" (CONSOLO, 2004, p. 237), e compõem-se de duas tarefas a serem cumpridas pelos candidatos. A última fase propõe-se a coletar informações sobre a percepção dos candidatos a respeito do teste, e não é avaliada.

A primeira tarefa consiste na descrição de uma figura selecionada pelo próprio candidato dentre três gravuras que lhe são apresentadas. Cada candidato seleciona uma gravura diferente. Espera-se que o candidato descreva sua figura e que seja capaz de, a partir dela, estabelecer comparações, levantar suposições, justificar posicionamentos, etc. A segunda tarefa é uma atividade de dramatização (roleplay), em que os candidatos se revezam nos papéis de professor e aluno e, a partir de duas transcrições de trechos autênticos de aula, conversam um com o outro sobre os problemas de linguagem encontrados na fala do suposto aluno. Novamente, cada candidato possui uma transcrição diferente. Nas transcrições podem ser encontrados problemas fonológicos, lexicais e sintáticos. Cabe ao candidato decidir quais questões abordar. Assim, a segunda tarefa tem o foco na metalinguagem empregada pelo professor, mais especificamente para a correção de desvios e a explicação sobre elementos linguísticos.

Para a atribuição de conceitos e notas, o TEPOLI propõe a combinação de duas escalas contendo cinco faixas de proficiência, sendo que a faixa menos proficiente (E) representa um candidato não preparado para lecionar língua inglesa, ou seja, provavelmente incapaz de sustentar uma aula na língua estrangeira. A primeira escala descreve a linguagem geral e apresenta descritores de proficiência relativos a (a) fluência; (b) estruturas sintáticas; (c) complexidade lexical e sintática; (d) pronúncia; e (e) compreensão oral. A segunda escala é empregada para a avaliação da metalinguagem e apresenta descritores de (a) cumprimento da tarefa e linguagem específica; (b) clareza das explicações; e (c) conhecimento linguístico. As notas são calculadas a partir da combinação dessas duas escalas, com peso 7 para a linguagem geral e 3 para a metalinguagem. A "publicação" dos resultados é feita de maneira holística. Assim, os candidatos ao TEPOLI não recebem notas separadas para cada descritor, mas uma única nota e faixa geral. Para que um candidato seja classificado numa determinada faixa é preciso "que seu desempenho no TEPOLI corresponda, com relação a todos os aspectos explicitados pelos descritores, na referida faixa" (CONSOLO, 2004, p. 282). Aqueles candidatos que apresentam características de faixas diferentes são classificados na faixa mais inferior. Este estudo investiga apenas a proficiência geral descrita na primeira escala.

As transcrições do teste oral foram segmentadas em AS-units, que combinam à organização sintática das T-units (Hunt, 1965) as decisões metodológicas descritas por Foster et al. (2000), o que torna seu uso mais apropriado para lidar com dados orais provenientes de interação entre falantes. Para mais informações, ver Borges-Almeida (2009). Foram levantadas as frequências deAS-units, de orações e de palavras (tokens).

Para a investigação da precisão gramatical, foi levantada a frequência dos desvios gramaticais (considerando as especificidades da modalidade oral), que foram também categorizados em relação ao constituinte gramatical afetado (FIGUEIREDO, 2004; DULAY, 1982 apud CAVALARI, 2005), considerando os elementos encontrados como pontos gramaticais a serem lecionados em unidades de livros didáticos. Não foram empregados julgamentos de juízes. A partir daí, calculamos o índice desvios por unidade e o índice unidades sem desvio. É importante ressaltar que consideramos como desvios apenas aqueles que não são (imediatamente) corrigidos ou reformulados pelas participantes. Os casos em que correções são feitas são compreendidos como momentos de autocorreção. Por motivos de espaço, não discutimos esse fenômeno neste artigo.

A complexidade gramatical, por sua vez, foi investigada quantitativamente por meio dos índices orações por unidade, que considera o tamanho médio das AS-units, e o índice tokens por unidade, que considera a subordinação, medida na quantidade de orações por AS-unit.

5 Resultados e discussão

5.1 Discutindo a precisão gramatical

Os descritores de precisão e complexidade gramatical da escala de proficiência geral do TEPOLI preveem um avanço nesses dois elementos a cada faixa adjacente superior (tabela 01).

Tabela 01
Descritores de precisão e complexidade gramatical do TEPOLI

• Adaptação de Consolo (2004, p. 280-282)

A tabela 02 apresenta a média de desvios cometidos pelas participantes em cada faixa. Os resultados das análises confirmam o que prevê a escala em relação à precisão gramatical, pois as médias de desvios aumentam em direção às faixas mais baixas. Além disso, é possível observar também que a amplitude de desvios discrimina as faixas de proficiência. Em outras palavras, as participantes da faixa E cometem desvios que foram classificados em 18 categorias diferentes, ao passo que as da faixa B, em apenas nove.

Tabela 02
Valores médios para desvios e categorias de desvios por faixa

Na figura 01, as categorias de desvios mais recorrentes no teste oral são apresentadas em frequência para cada faixa de proficiência. A informação visual permite facilmente observar que a faixa E destaca-se das demais por apresentar frequência bem mais alta na maior parte dessas categorias do que as outras faixas, seguida da faixa D.

Figura 01:
Comparação de frequências de desvios mais recorrentes por categoria e faixa de proficiência.

Se estabelecermos um ponto mediano geral como cinco para o teste oral - a partir das frequências mínima (zero) e máxima (11) de desvios numa mesma categoria -, das 14 categorias de desvios, temos que, no teste oral: (a) nove ultrapassam a mediana na faixa E; (b) sete, na faixa D; (c) uma, na faixa C; e (d) duas, na B. Assim, conforme se avança para a faixa adjacente superior, as faixas de proficiência caracterizam-se, não apenas por uma diminuição da média de desvios cometidos, mas também pela diminuição do número de categorias diferentes de desvios, conforme ilustra a figura 02.

Figura 02:
Frequência e tipos de desvios por faixa

A análise quantitativa da precisão revela que em média, de todas as unidades que as participantes da faixa B produziram no teste oral, 88% não apresentavam desvios; ou seja, os desvios distribuíram-se nos apenas 12% restantes. Na faixa C, essa porcentagem cai para 79% de unidades sem desvios (e 21% com desvios); na D, para 65% (e 35% com desvios); e na E, para 61% (39 % com desvios) (Tabela 033).

Tabela 03
Dimensão quantitativa da precisão gramatical

Por sua vez, o índice de desvios por unidade permite estabelecer a média de erros por unidade de fala, e também é consistente entre as faixas. Apresentamos na figura 03 a distribuição dos desvios em relação às unidades sob outra ótica: a cada quantas AS-units em média temos um desvio em cada uma das faixas.

Figura 03:
Média de AS-units entre desvios

Na faixa B, as participantes produzem em média um desvio a cada oitoAS-units no teste oral. Esses resultados são significativamente mais altos que em todas as outras faixas. No teste oral, a faixa C se destaca da adjacente D em aproximadamente o dobro (4,1 na C, e 2,3 na D), praticamente a mesma relação encontrada entre as faixas B e C. Na faixa E, é produzido em média um desvio a cada 1,8 AS-unit no teste oral.

As conclusões são que os resultados revelam que há diferenças para a precisão gramatical entre as faixas de proficiência do TEPOLI, uma vez que, quanto mais alta a faixa, mais ela apresenta unidades isentas de qualquer desvio e uma menor quantidade de desvios nas outras unidades.

Dessa forma, observamos que na avaliação por meio do TEPOLI, a precisão é um descritor altamente correlacionado à nota do candidato. Tais resultados estão em linha com o observado por Lee et al. (2009) e Iwashita (2010). Esta última comparou a capacidade de diferentes índices quantitativos discriminarem entre níveis de proficiência em duas línguas estrangeiras distintas (inglês e japonês) e concluiu que o índice precisão global discrimina consistentemente níveis de proficiência em inglês como segunda língua.

5.2 Discutindo a complexidade gramatical

Embora alguns estudos não considerem o tamanho médio das unidades como uma medida de complexidade, por ser um índice que leva em consideração não apenas a frequência de palavras (tokens), mas também as unidades de análise essencialmente determinadas por critério sintático, outros estudos apontam uma maior consistência e confiabilidade em seu uso, do que no emprego de outras medidas (ver IWASHITA, 2010). Acreditamos que esse índice possa ser útil tanto a investigações sobre fluência quanto complexidade, desde que outras medidas quantitativas e qualitativas sejam também adotadas para melhor caracterizar o componente da linguagem que se deseja investigar.

A tabela 04 apresenta os dois índices de complexidade gramatical encontrados na literatura: (a) índice oração-unidade; e (b) índice token ¹⁴-unidade e analisados nas produções das participantes desta pesquisa.

Tabela 04
Dimensão quantitativa da complexidade gramatical

Esses índices devem ser interpretados da seguinte forma: o índice oração-unidade apresenta a média de orações dependentes ou independentes por unidade de análise, configurando um índice de subordinação, ao passo que o índicetoken-unidade apresenta a quantidade média de palavras por unidade, sendo, assim, um índice da extensão da unidade. Assim, se o índice oração-unidade é de 1,45 e o índice token-unidade é de 6,62 (Faixa B), significa que, em média, as participantes dessa faixa apresentam 1,45 orações por unidade e que essas unidades possuem 6,62 palavras em média.

Não observamos diferenças entre as faixas no que concerne ao tamanho médio das unidades, expresso na quantidade média de palavras por AS-unit, que é muito semelhante: seis ou sete palavras por unidade em média.

O índice que leva em consideração a subordinação como indicador de complexidade gramatical apresenta algumas diferenças entre as médias de cada faixa. No teste oral, esses resultados são consistentes, pois esse índice diminui a cada faixa inferior. A diferença encontrada entre as faixas C e D é, entretanto, praticamente insignificante, o que coloca as duas faixas em nível de igualdade para esse índice. A figura 04 apresenta graficamente os resultados para os dois índices de complexidade.

Figura 04:
Complexidade gramatical medida em extensão e subordinação

Como a literatura descreve a capacidade para empregar subordinação como um indício do nível de proficiência do falante, o fato de não haver diferenças grandes entre faixas também para o índice de subordinação deve ser interpretado cautelosamente. Uma possível explicação é o fato de ser a fala mais caracterizada por coordenação que por subordinação, o que quer dizer que, embora haja subordinação na fala, a modalidade oral requer do falante que a linguagem seja simplificada por questões de condições de processamento psicolinguístico. Além disso, na oralidade, a quantidade de subordinação parece estar sujeita também ao gênero textual. Borges-Almeida (2009) observa mais diferenças entre faixas por meio do índice de subordinação num gênero acadêmico mais formal - o seminário - do que numa entrevista oral.

Outra explicação aponta para os níveis de proficiência abrangidos ou discriminados pelo teste. Sendo um teste referenciado em critério, o TEPOLI não objetiva discriminar níveis de proficiência muito baixos. Assim, todos os "níveis" inferiores à faixa de corte para aprovação (D), são absorvidos pela faixa E. As participantes deste estudo, entretanto, apresentavam um nível de proficiência não elementar. O grande corpo da literatura sobre complexidade gramatical volta-se para investigações de crianças adquirindo LM ou aprendizes desde o nível iniciante. Se considerarmos que a evolução da linguagem da criança passa pela capacidade de produzir primeiramente sílabas, em seguida palavras, e só posteriormente a composição de estruturas sintáticas sujeito-verbo-complemento e estruturas complexas, fica fácil entender o quanto ambos os índices empregados neste estudo podem discriminar o avanço da aquisição da linguagem desde níveis elementares.

Mas há que se considerar que, a partir de determinado nível de proficiência, a capacidade para usar a quantidade de subordinação máxima tolerável na fala devido às questões de tempo e memória parece se estabilizar. Tais considerações estão em linha com o já observado por Scarborough et al. (1991) quando investigaram diferenças na complexidade gramatical de grupos compostos por crianças e adolescentes com desenvolvimento linguístico normal e com defasagem (síndromes de Down, síndrome do X frágil e autismo). Segundo os autores, "o tamanho médio do enunciado torna-se menos relacionado com o desenvolvimento gramatical conforme a proficiência linguística aumenta" (op. cit., p. 1).¹⁵

A complexidade descrita nas faixas do TEPOLI não deve, portanto, ser tão fortemente atribuída à subordinação ou extensão das unidades, mas a outros possíveis elementos qualitativos. Por questões de espaço, neste artigo não apresentamos os dados qualitativos que temos sobre complexidade; limitamo-nos a reiterar que nossos dados apontam diferenças na amplitude das formas gramaticais associadas a funções comunicativas. Sobre a complexidade no uso de orações relativas e if-clauses, ver Borges-Almeida (2009).

6 Considerações finais

Nosso estudo permite afirmar que a proficiência gramatical na língua falada, vista como a capacidade para empregar a língua em termos de precisão e complexidade, é diretamente proporcional à classificação dessas participantes nas faixas de proficiência do TEPOLI. Em uma dada faixa de proficiência, a gramática apresenta-se como mais precisa e mais complexa do que na faixa adjacente inferior. O descritor precisão, contudo, é o que mais correlação apresenta com as faixas de proficiência, resultados que estão em linha com os estudos que têm descrito a precisão gramatical como um forte indicador do nível de proficiência.

Sendo a precisão o grande elemento correlacionado ao nível de proficiência, as escalas analíticas que servem de base para a avaliação por parte de um examinador não interlocutor poderiam descrever desvios típicos de cada faixa de proficiência, ilustrados com dados obtidos a partir de aplicações como a relatada neste artigo. Tais escalas poderiam ser utilizadas principalmente no treinamento de examinadores e também no monitoramento de discrepâncias entre avaliadores por parte de um examinador mais experiente.

A maior limitação deste estudo inclui o tamanho da amostra investigada, o que não nos permite generalizar os resultados. Como dito anteriormente, este é um recorte pela dimensão quantitativa de uma pesquisa de doutorado, que se inseriu num paradigma etnográfico, que acompanhou as participantes durante parte de sua formação universitária e utilizou-se de outros instrumentos de coleta de dados, realizando também análises qualitativas. As análises qualitativas mostraram diferenças para a complexidade, mas são extremamente laboriosas de serem conduzidas com grupos maiores. Justamente pelo fato de os índices quantitativos de complexidade não serem suficientes para as investigações é que salientamos a necessidade de encontrar outros índices ou metodologias passíveis de aplicação com amostragens maiores.

• ANCHIETA, P. P. Análise da proficiência oral em língua inglesa de alunos de Letras por meio da produção oral em seminários e teste formal: aspectos comunicativos, discursivos e gramaticais Relatório parcial de estágio de iniciação científica. São José do Rio Preto: UNESP, 2007.
• BACHMAN, L. F. Fundamental considerations in language assessment Cambridge: Cambridge University Press, 1990.
• BACHMAN, L. F.; PALMER, A. Language testing in practice. Oxford: Oxford University Press, 1996.
• BARCELOS, A. M. F. A cultura de aprender língua estrangeira (inglês) de alunos de Letras 1995. Dissertação (Mestrado em Linguística Aplicada) - Instituto de Estudos da Linguagem, UNICAMP, Campinas,
• BERGSLEITHNER, J. M. Working memory capacity, noticing, and L2 speech production. 2007. Tese (Doutorado em Letras) - UFSC, Florianópolis,
• BIBER, D. et al. Longman grammar of spoken and written English. Essex: Pearson Education, 1999.
• BORGES-ALMEIDA, V. Precisão e complexidade gramatical na avaliação de proficiência oral em inglês do formando em Letras: implicações para a validação de um teste. 2009. Tese (Doutorado em Estudos Linguísticos) - Instituto de Biociências, Letras e Ciências Exatas, UNESP, São José do Rio Preto.
• BYGATE, M. Speaking Oxford: Oxford University Press, 1987.
• CANALE, M. From communicative competence to communicative language pedagogy. In: RICHARDS, J.C.; SCHMIDT, R.W. (Eds.). Language and communication. New York: Longman, 1983. p. 2-27.
• CARTER, R.; McCARTHY, M. Grammar and the spoken language. Applied Linguistics, v. 6, n. 2, p. 141-158, 1995.
• CAVALARI, S. M. S. O tratamento do erro na oralidade: uma proposta focada em características da interlíngua de alunos de inglês como língua estrangeira. 2005.Dissertação (Mestrado em Estudos Linguísticos) - Instituto de Biociências, Letras e Ciências Exatas, UNESP, São José do Rio Preto.
• CONSOLO, D. A. A construção de um instrumento de avaliação da proficiência oral do professor de língua estrangeira. Trabalhos em Linguística Aplicada, v. 43, n. 2, p. 265-286, 2004.
• CONSOLO, D. A. et al An examination of foreign language proficiency for teachers (EPPLE): the initial proposal and implications for the Brazilian context. In: CONGRESSO INTERNACIONAL DA ABRAPUI, 2, 2009, São José do Rio Preto-SP. Anais... São José do Rio Preto-SP: ABRAPUI, 2009. p. 1-15.
• CONSOLO, D. A.; TEIXEIRA DA SILVA, V. L. The TEPOLI test: construct, updated tasks and new parameters to assess EFL teachers' oral proficiency. In: CONGRESSO INTERNACIONAL DA ABRAPUI, 1, 2007, Belo Horizonte-MG.Anais... Belo Horizonte - MG: Universidade Federal de Minas Gerais, 2007. p. 1-12.
• CONSOLO, D. A.; TEIXEIRA DA SILVA, V. L.Em defesa de uma formação linguística de qualidade para professores de línguas estrangeiras: o exame EPPLE. Horizontes de Linguística Aplicada, v. 13, n. 1, p. 63-87, 2014.
• D'ELY, R. C. S. F. A focus on learners' metacognitive processes: the impact of strategic planning, repetition, strategic planning plus repetition, and strategic planning forrepetition on L2 oral performance. 2006. Tese (Doutorado em Letras) - UFSC, Florianópolis.
• De JONG, N. H. et al. Facets of speaking proficiency. Studies in Second Language Acquisitionv. 34, p. 5-34, 2012. Doi: 10.1017/S0272263111000489.
• DeKEYSER, R. M. What makes learning second-language grammar difficult? A review of issues. Language Learning, v. 55, n. 1, p.1-25, 2005.
• ELLIS, R. Investigating grammatical difficulty in second language learning: implications for second language acquisitin research and language testing. International Journal of Applied Linguistics v. 18, n. 1, p. 4-22, 2008.
• FERNANDES, A. M. Categorização de funções comunicativas no teste de proficiência oral em língua inglesa - TEPOLI - de alunos de Licenciatura em Letras. Relatório final de estágio de iniciação científica. São José do Rio Preto: UNESP, 2007.
• FIGUEIREDO, F. J. Q. Aprendendo com os erros: uma perspectiva comunicativa de ensino de línguas. 2 ed. Goiânia: Editora UFG, 2004.
• FORTKAMP, M. B. M. Working memory capacity and L2 speech production: an exploratory study. 2000. Tese (Doutorado em Letras) - UFSC, Florianópolis,.
• FOSTER, P. et al.Measuring spoken language: a unit for all reasons., Applied Linguistics v. 21, n. 3, p.354-375, 2000.
• GUARÁ-TAVARES, M. G. Pre-task planning, working memory capacity, and L2 speech performance2008. Tese (Doutorado em Letras) - UFSC, Florianópolis,.
• HUDSON, G. Essential introductory Linguistics. Hoboken, N.J.: Wiley-Backwell, 1999.
• HUNT, K. Grammatical structures written at three grade levels. NCTE Research Report n. 3. Champaign, IL, USA: NCTE, 1965.
• IWASHITA, N. Features of oral proficiency in task performance by EFL and JFL learners. In: PRIOR, M. T. et al (Eds.). 2008 Second Language Research Forum, 2008, Somerville, MA. Proceedings... Somerville, MA: Cascadilla Proceedings Project, 2010. p. 32-47.
• KRASHEN, S. Principles and practice in second language acquisitionNew York: Prentice-Hall, 1982.
• LAZARATON, A. A qualitative approach to the validation of oral language tests. Cambridge: University of Cambridge Local Examinations Syndicate & Cambridge University Press, 2002.
• LEE, M. H. A grammatical analysis and comparison of three college and university English proficiency entrance examinations used in Taiwan. 2005. Thesis (Doctor of Education) - College of Graduate Studies Texas A&M University, Kingsville.
• LEE, S. Y. et al. Linguistic correlates of proficiency in Korean as a second language. Language Research, v. 45, n. 2, 2009.
• LEECH, G; SVARTVIK, J. A communicative grammar of English. 3 ed. [s.l.]: Pearson Education, 2002.
• LEVELT, W. J. M. Speaking from intention to articulation. Cambridge, Massachusetts: The MIT Press, 1989.
• LUOMA, S. Assessing speaking. Cambridge: Cambridge University Press, 2004.
• MARCUSCHI, L. A. Gêneros textuais: definição e funcionalidade. In: DIONÍSIO, A. P.; MACHADO, A. R.; BEZERRA, M. A. (Orgs.) Gêneros textuais & ensino. 2 ed. Rio de Janeiro: Lucerna, 2002. p.19-36.
• McNAMARA, T. Item response theory and the validation of an ESP test for health professionals. Language Testing, v. 7, n.1, p. 52-76, 1990.
• ORTEGA, L. Syntactic complexity measures and their relationship to L2 proficiency: a research synthesis of college-level L2 writing., Applied Linguistics v. 24, n. 4, p. 492-518, 2003.
• PESSÔA, A. R. Os pronomes entre duas línguas: português-inglês. Desempenho, n. 2, p. 60-69, 2003.
• PINTO, E. S. Competências do professor de língua estrangeira na implementação do ensino comunicativo com foco na forma. In:; CONSOLO, D. A. SILVA, V. L. T. (Orgs.). Olhares sobre competências do professor de língua estrangeira: da formação ao desempenho profissional. Série Debates sobre linguagem e ensino de línguas. São José do Rio Preto: HN, 2007.
• PINTO, E. S. Buscando alternativas para o desenvolvimento da competência gramatical dos alunos de um curso de letras de uma faculdade particular. 2004. Dissertação (Mestrado em Estudos Linguísticos) - Instituto de Biociências, Letras e Ciências Exatas, UNESP, São José do Rio Preto.
• RIMMER, W. Measuring grammatical complexity: the Gordian knot., Language Testing v. 23, n. 4, p. 497-519, 2006.
• SCARAMUCCI, M. V. R. Proficiência em LE: Considerações terminológicas e conceituais., Trabalhos em Linguística Aplicada vol. 36, p. 11-22, 2000.
• SCARBOROUGH, H. S. et al. The relation of utterance length to grammatical complexity in normal and language-disordered groups. , v. 12, p. 23-45, 1991.
• TEIXEIRA DA SILVA, V.L.T. Fluência oral: imaginário, construto e realidade num curso de Letras-LE. 2000. Tese (Doutorado em Linguística Aplicada) - Instituto de Estudos da Linguagem, UNICAMP, Campinas, .
• CONSOLO, D. A.; TEIXEIRA DA SILVA, V. L.Em defesa de uma formação linguística de qualidade para professores de línguas estrangeiras: o exame EPPLE., Horizontes de Linguística Aplicada v. 13, n. 1, p. 63-87, 2014.

• 1
  Mais informações sobre os exames de Cambridge ESOL em http://www.cambridgeenglish.org/exams/.
• 2
  Mais informações sobre o Celpe-Bras em http://portal.inep.gov.br/celpebras-estrutura_exame.
• 3
  Para uma discussão sobre o hibridismo entre as modalidades oral e escrita em encontros comunicativos interacionais, como os característicos dos chats, ver Borges-Almeida (2009) e Marcuschi (2002)
• 4
  Para mais informações sobre características da gramática da língua falada e suas implicações para a avaliação de proficiência, ver Borges-Almeida (2009).
• 5
  If native and non-native speakers in normal interaction usually produce language with such characteristics, this may influence what we expect of our learners in oral activities and tests.
• 6
  (...) the concern for the formal correctness in terms of specific language items.
• 7
  Não fazemos, neste estudo, distinção entre os termos erro, lapso ou desvio.
• 8
  The researchers interpret this finding as supporting Higgs and Clifford's (1982) claim, mentioned above, that not all aspects of speaking proficiency play an equally important role in the development of L2 speaking skills.
• 9
  A T-unit é uma segmentação sintática definida por Hunt (1965) como uma oração independente mais todas as orações a ela subordinadas. É a unidade mais comumente empregada na análise de dados tanto escritos quanto orais e tem sido amplamente utilizada em investigações que se debruçam sobre componentes propriamente linguísticos da proficiência oral (GAIES, 1980 apud LEE, 2005; LAZARATON, 2002).
• 10
  Syntactic complexity (...) refers to the range of forms that surface in language production and the degree of sophistication of such forms.
• 11
  more elaborated language that is used as well as a greater variety of syntactic patterning.
• 12
  As autoras discutem a troca atencional entre precisão, complexidade, fluência e diversidade lexical.
• 13
  Até o ano de 2004, as entrevistas eram realizadas individualmente. A partir de 2005, passaram a ser feitas em duplas. Neste trabalho descrevemos e analisamos testes realizados em duplas.
• 14
  A coluna tokens apresenta a frequência total de palavras; assim, se a mesma palavra foi empregada 10 vezes, ela somará 10tokens. Preferimos manter o termo em inglês para diferenciá-lo de types, que são palavras diferentes e indicam a variedade lexical.
• 15
  "MLU [mean length of utterance ] becomes less closely associated with grammatical development as linguistic proficiency increases"

Datas de Publicação

• Publicação nesta coleção
  Jul-Sep 2015

Histórico

• Recebido
  30 Jan 2015
• Aceito
  10 Fev 2015