Efeito retroativo da avaliação no ensino/aprendizagem de línguas: o estado da arte

washback; language testing/assessment; language teaching and learning

ARTIGOS

Efeito retroativo da avaliação no ensino/aprendizagem de línguas: o estado da arte^*

Matilde V. R. Scaramucci

Unicamp

ABSTRACT

This article presents a state of the art review of the literature on the concept of washback in the context of language teaching. The concept, despite been frequently used in the international educational literature and in Applied Linguistics, is not well understood, as it does not seem to have been part of the research agenda for many years. After terminological and conceptual considerations, the article discusses recent empirical contributions, controversial aspects as well as those deserving more careful treatment in future research.

Keywords: washback, language testing/assessment, language teaching and learning.

Texto completo disponível apenas em PDF.

Full text available only in PDF format.

Referências bibliográficas

Alderson, J. C., & Wall, D. (1990). The Sri Lankan O-Level Evaluation Project: Second Interim Report. Lancaster University.

_______. (1991). The Sri Lankan O-Level Evaluation Project: Third Interim Report. Lancaster University.

_______. (1992). Does washback exist? Working Paper Series 11. CRILE, Lancaster University Republicado em Applied Linguistics 14, p. 115-129, 1993.

Alderson, J. C. (2004). Foreword. Em Cheng, L., Watanabe, Y & Curtis, A. (eds), Washback in Language Testing _ Research Contexts and Methods. Lawrence Erlbaum Associates, New Jersey.

Alderson, J. C. & L. Hamp-Lyons (1996). TOEFL preparation courses: a study of washback. Language Testing 13 (3), p. 281-297.

Almeida Filho, J. C. & Schmitz, J. R. (1998). Glossário de Lingüística Aplicada. Pontes Editores, Campinas.

Andrews, S. (2004). Washback and curriculum innovation. Em Cheng, L., Watanabe, Y & Curtis, A. (eds), Washback in Language Testing _ Research Contexts and Methods. Lawrence Erlbaum Associates, New Jersey, p. 137-50.

Avelar, S. L.T. (2001). Mudanças na concepção e prática da avaliação e seu efeito no ensino/aprendizagem de língua estrangeira (Inglês) em uma escola de ensino médio e técnico. Dissertação de mestrado. Programa de Pós-graduação em Lingüística Aplicada, IEL, Unicamp.

Bachman, L. F & Palmer, A. S. (1996). .Language Testing in Practice. Oxford, England: Oxford University Press.

Bailey, K. (1996). Working for washback: A review of the washback concept in language testing. Language Testing, 13, p. 257-279.

_______. (1999). Washback in language testing. TOEFL Monograph Series 15, Educational Testing Service, http://www.ets.org.

Bartholomeu, M. A. N. (2002). Prova de língua estrangeira (Inglês) dos vestibulares e sua influência nas percepções, atitudes e motivações de alunos do terceiro ano do ensino médio. Dissertação de mestrado, Programa de Pós-graduação em Lingüística Aplicada, IEL, Unicamp.

Burrows, C. (2004). Washback in classroom-based assessment: a study of the washback effect in the Australian adult migrant English program. Em Cheng, L., Watanabe, Y & Curtis, A. Washback in Language Testing _ Research Contexts and Methods. Lawrence Erlbaum Associates, New Jersey, p. 113-128.

Carroll, b. J. (1980). Testing communicative performance. Oxford: Pergamon Press.

Cheng, L. (1998). The washback effect of public examination change on classroom teaching: an impact study of the 1996 Hong Kong certificate of education in English on the classroom teaching of English in Hong Kong secondary schools. Tese de doutorado inédita. Universidade de Hong Kong, Hong Kong,

_______. (1999). Changing assessment: washback on teacher perspectives and actions. Teaching and teacher education, 15 (3), p. 253-271.

_______. (2004). The washback effect of a public examination change on teachers´ perceptions towards their classroom teaching. Em Cheng, L., Watanabe, Y & Curtis, A. (eds) Washback in Language Testing _ Research Contexts and Methods. Lawrence Erlbaum Associates, New Jersey, p. 147-170.

_______. Watanabe, Y & Curtis, A. (eds) (2004). Washback in Language Testing _ Research Contexts and Methods. Lawrence Erlbaum Associates, New Jersey.

Correia, R. M. D. (2003). O efeito retroativo da prova de inglês do vestibular da Unicamp na preparação de alunos em um curso preparatório comunitário. Dissertação de mestrado. Programa de Pós-graduação em Lingüística Aplicada, IEL, Unicamp.

Davies, A. (2003). Three heresies of language testing research. Language Testing 20 (4), p. 355-368.

Forbes, D. Selling English short. (1973). English Language Teaching Journal 27, p. 132-137.

Frederiksen, J.R. The real test bias. (1984). American Psychologist, March, p. 193-202.

Frederiksen, J.r. & Collins, A. (1989). A systems approach to educational testing. Educational Researcher 18 (9), p. 27-32.

Fullan, M.G. & Stiegelbauer, s. (1991). The new meaning of educational change. Segunda edicção. Londres: Cassell.

Gates, S. (1995). Exploiting washback from standardized tests. Em J.D. Brown & S.O. Yamashita (eds) Language Testing in Japan, p. 101-106. Tokyo: Japanese Association for Language Teaching.

Gimenez, T. (1999). Concepções de linguagem e ensino na preparação de alunos para o vestibular. Trabalhos em Lingüística Aplicada, 34, p. 21-37.

Haladyna, T.H., Nolen, s.B. & HASS, N.S. (1991). Raising standardized achievement test scores and the origins of test score pollution. Educational Researcher 20 (5), p. 2-7.

Hayes, B. & Read, J. Test preparation in New Zealand: preparing students for the IELTS academic module. Em Cheng, L., Watanabe, Y & Curtis, A. (eds), Washback in Language Testing _ Research Contexts and Methods. Lawrence Erlbaum Associates, New Jersey, p. 97-111.

Hughes. a. (1993). Backwash and TOEFL 2000. Unpublished manuscript, University of Reading.

_______. (1988). Testing English for University Study. ELT documents 127, Modern English Publications.

_______. (1989). Testing for Language Teachers. Cambridge University Press.

Kellaghan, T, G. Madaus & P. Airasian. (1982). The effects of standardized testing. London: Kluwen, Nijholf Publising,

Khaniya, T.R. (1990). Examinations as instruments for educational change: investigating the washback effect of the Nepalese English exams. Tese de doutorado, University of Edinburgh, Scotland.

LAm, H. P. (1994). Methodology washback _ an insider's view. Em Nunan, D., Berry, R. & Berry, V. Bringing about change in language education: Proceedings of the International Language in Education Conference. Hong Kong: University of Hong Kong.

Lanzoni, H. de P. (2004). Exame de proficiência em leitura de textos acadêmicos em Inglês: um estudo sobre efeito retroativo. Tese de doutorado. Programa de Pós-graduação em Lingüística Aplicada, Instituto de Estudos da Linguagem, Unicamp.

Madsen, H. (1976). New Alternatives in EFL exams or "How to avoid selling English short". English Language Teaching Journal 30 (2), p. 135-144.

McNamara, t. f. (1996). Policy and social considerations in language assessments. Annual Review of Applied Linguistics 18, p. 304-19.

Markee, N. (1993). The diffusion of innovation in language teaching. Annual Review of Applied Linguistics 13, p. 229-243.

Mehrens, W.A. & Kaminsky, J. (1989). Methods for improving standardized test scores: Fruitful, fruitless, or fraudulent? Educational Measurement: issues and practice 8, p. 14-22.

Messick, S. (1989). Validity. Em Linn, R(ed), Educational measurement, terceira edição, p. 13-103. New York: Macmillan.

_______. (1996). Validity and washback in language testing. Language Testing 13 (3), p. 241-255.

_______. (1994). The interplay of evidence and consequences in the validation of performance assessment. Educational Researcher 23 (1), p. 13-23.

Morrow, K. (1986). The evaluation of tests of communicative performance. Em Portal, M (ed), Innovations in language testing. Proccedings of the IUS/NFER conference, p. 1-13. London: NFER/Nelson.

_______. (1991). Evaluating communicative tests. Em S. Anivan (ed.), Currents developments in language testing, pg 111-118, Singapore: Regional Language Centre.

Paris, S.G, Lawton, T.A, Turner, J.C. &. Roth, J.L. (1991). A developmental perspective on standardized achievement testing. Educational Researcher 20 (5), p. 12-19.

Pearson, I. (1988). Tests as levers for change. In D. Chamberlain & R. Baumgardner (eds), ESP in the Classroom: Practice and Evaluation.

Pessoa, A. R. (2002). O efeito retroativo do Programa de Avaliação Seriada da Universidade de Brasília no Ensino de língua estrangeira do Distrito Federal. Dissertação de mestrado. Programa de Pós-graduação em Lingüística Aplicada, Universidade de Brasília, DF.

Popham (1987) .The merits of measurement -driven instruction. Phi Delta Kappa 68, p. 679-682.

Qi, L (2004). Has a high-stakes test produced the intended changes? Em Cheng, L., Watanabe, Y & Curtis, A. (eds) (2004). Washback in Language Testing _ Research Contexts and Methods. Lawrence Erlbaum Associates, New Jersey, p. 171-190.

Saville, N. & Hawkey, R. (2004). The IELTS impact study: investigating washback on teaching materials? Em Cheng, L., Watanabe, Y & Curtis, A. (eds) (2004). Washback in Language Testing _ Research Contexts and Methods. Lawrence Erlbaum Associates, New Jersey, p.73-96.

Scaramucci, M.V.R. (1995). O projeto Celpe-Bras no âmbito do Mercosul: contribuições para uma definição de proficiência comunicativa. In Almeida Filho, J.C. (org.), Português para Estrangeiros: Interface com o Espanhol. Pontes, p. 77-90.

_______. (1998a). Vestibular: instrumento direcionador do ensino de segundo grau? Trabalho apresentado no V Congresso Brasileiro de Lingüística Aplicada (V CBLA), em Porto Alegre, Rio Grande do Sul.

_______. (1998b). O efeito retroativo dos vestibulares de língua inglesa da Unicamp no ensino de segundo grau de escolas públicas e particulares de Campinas. Relatório final de pesquisa, FAPESP 95/06551-9.

_______. (1999a). Celpe-Bras: um exame comunicativo. Em Santos, P. e M. J. Cunha (orgs.) Ensino e Pesquisa em Português para Estrangeiros Brasília: Editora Universidade de Brasília, p. 75-81.

_______. (1999b). University entrance examinations and EFL teaching: a study of washback in a Brazilian context. Trabalho apresentado no 12^th World Congress of Applied Linguistics (AILA99), em Tóquio, Japão.

_______. (1999c). Vestibular e ensino de língua estrangeira (Inglês) na escola pública. Em Trabalhos em Lingüística Aplicada 34, p. 7-20, Departamento de Lingüística Aplicada, Unicamp.

_______. (2000/2001). Propostas curriculares e exames vestibulares: potencializando o efeito retroativo benéfico no ensino de LE (Inglês). Contexturas 5, p. 97-109, APLIESP, Ibilce, Unesp, São José do Rio Preto, SP.

_______. (2001). O efeito retroativo da avaliação no ensino/aprendizagem, nas atitudes de professores e alunos e na elaboração de material didático em língua estrangeira. Relatório de pesquisa CNPq 301151/96-2 (NV).

_______. (2002). Entrance examinations and TEFL in Brazil: a case study. Revista Brasileira de Lingüística Aplicada 2 (1), Universidade Federal de Minas Gerais, Belo Horizonte, MG, p. 61-81.

_______. (2003). Evaluación de "proficiencia" em lengua extranjera: relaciones com la enseñanza y evaluación de rendimiento. Palestra apresentada no Sexto Ciclo Internacional de Enseñanza de Lenguas Extranjeras, Buenos Aires, Argentina.

_______. & Rodrigues, M.S. Compreensão (oral e escrita) e produção escrita no exame Celpe-Bras: análise do desempenho de candidatos hispano-falantes. Em Português para falantes de espanhol - artigos selecionados escritos em português e inglês (orgs) Simões, A, Carvalho, A.M. & Wiedemann, L. Pontes Editores, SP, p. 126-144 (no prelo).

_______. (2004). Celpe-Bras exam and teachers´ perceptions of impact on teaching/assessment of Portuguese as a FL/L2. Trabalho apresentado no Language Testing Research Colloquium, Temecula, Califórnia, USA.

_______. (2004). Efeito retroativo da avaliação no ensino/aprendizagem em contextos diversos de língua estrangeira/segunda língua: percepções e ações de professores e alunos. Relatório de pesquisa CNPq 03822/2002-3.

_______. & Retorta, M.S. (2004). Washback effects of entrance examinations on high school teaching/learning/assessment in Parana, Brazil. Trabalho apresentado na Ontario Conference in Applied Linguistics (OCAL). Queen's University, Ontário, Canadá.

Shepard, L.a. (1993). The place of testing reform in educational reform: a reply to Cizek. Educational Researcher 22 (4), p. 10-14.

Shohamy, E, Donitsa-schmidt, S., & fernam, L. (1996). Test impact revisited: washback effect over time. Language Testing 13 (3), p. 298-317.

Smith, M.L. (1991). Put to the test: the effects of external testing on teachers. Educational Researcher 20 (5), p. 8-11.

Souza, L.G. (2002). Ensino da produção escrita em língua estrangeira (inglês) em um curso de línguas: influência da avaliação ou da concepção de escrita do professor? Dissertação de mestrado. Programa de Pós-graduação em Lingüística Aplicada, IEL, Unicamp.

Spolsky, B. (1994). The examination-classroom backwash cycle: some historical cases. Em D. Nunan, R. Berry & V. Berry (eds) Bringing about changes in language education. Proceedings of the International Language Education Conference, p. 55-66, University of Hong Kong, Hong Kong.

van Lier, L. (1989). Reeling, writhing, drawling, stretching and feinting in coils: oral proficiency interviews as conversation. TESOL Quarterly 23, p. 489-508.

Wall, d. (1996). Introducing new tests into traditional systems: Insights from general education and from innovation theory. Language Testing 13 (3), p. 334-354.

_______. (2000). The impact of high-stakes testing on teaching and learning: can this be predicted or controlled? System 28(4), p. 499-509.

_______. & J.C. Alderson. (1993). Examining washback: The Sri Lankan impact study. Language Testing 10 (1), 41-69.

Watanabe, Y. (1996). Does grammar translation come from the entrance examination? Preliminary findings from classroom-based research. Language Testing 13 (3), p. 318-333.

_______. (1997). Washback effects of the Japanese university entrance examination: classroom _base observation. Tese de doutorado inédita, Lancaster University, UK.

_______. (2004). Methodoly in washback studies. Em Cheng, L., Watanabe, Y & Curtis, A. (eds) (2004). Washback in Language Testing _ Research Contexts and Methods. Lawrence Erlbaum Associates, New Jersey, p. 19-36.

Wesdorp, H. (1982). Backwash effects of language testing in primary and secondary education. Stichting Centrum voor onderwijsonderzoek van de Universiteit van Amersterdam.

Wesche, M..b. (1983) Communicative language testing in a second language. Modern Language Journal 67 (1), p. 41-55.

*

Este artigo foi elaborado no âmbito do projeto CNPq 303822/2002-3 (bolsa de produtividade em pesquisa).

1 Os termos "exame" e "teste" são usados como sinônimos.

2 Apresentado pela primeira vez no

Language Testing Research Colloquium, em 1992, e publicado nesse mesmo ano como um dos trabalhos da série

Working Papers da Universidade de Lancaster, Inglaterra.

3 Um exemplo é a recente substituição do Exame Nacional de Cursos (Provão) pelo ENADE (Exame Nacional de Desempenho dos Estudantes) como parte do Sistema Nacional de Avaliação da Educação Superior (SINAES).

4 Seu modelo restringe-se aos professores, porque seu estudo, assim como muitos outros, considera os efeitos de testes no ensino

. Entretanto, poderíamos expandir o modelo para considerar os efeitos em outros participantes (alunos, por exemplo).

5 Os autores referem-se à autenticidade da tarefa e do texto usado.

6 O

Certificado de Proficiência em Língua Portuguesa para Estrangeiros, em uso desde 1998, é desenvolvido e outorgado pelo Ministério da Educação, aplicado em 17 centros credenciados no Brasil e 25 no exterior duas vezes por ano. No Brasil, é obrigatório para os alunos de graduação e de pós-graduação dos convênios do MEC que desejam ingressar em universidades brasileiras, assim como para médicos estrangeiros que queiram revalidar seus diplomas para atuarem no Brasil. A competência do candidato é avaliada diretamente através de seu desempenho em tarefas que se assemelham a situações de uso na vida real. Maiores informações poderão ser obtidas no Manual do Exame:

http://mec.gov.br/sesu.

7 Mehrens and Kaminsky (1989) observam que quanto mais relevante for o exame maior é a necessidade que as pessoas sentem de se envolverem em práticas específicas de preparação. No Brasil, um bom exemplo é a institucionalização dos cursos pré-vestibulares. Situação semelhante ocorre no Japão, que também possui uma longa tradição de exames vestibulares.

8 Vide também Lam (1994) e Andrews (2004).

9 Os estudos em questão foram conduzidos sob minha orientação no Programa de Pós-graduação em Lingüística Aplicada, Unicamp como parte do projeto CNPq 301151/96-2 (Scaramucci, 2001).

10 Tese de doutorado de Miriam Sester Retorta no Programa de Pós-graduação em LA, Unicamp sob minha orientação.

11 Meirélen Saviano Rodrigues e Teresa Martins, respectivamente, são mestrandas no Programa de Pós-graduação em LA na Unicamp, trabalhando sob minha orientação.

Datas de Publicação

• Publicação nesta coleção
  16 Jan 2014
• Data do Fascículo
  Dez 2004