Resumo em Português:

Neste artigo discutiram-se quatro questões críticas da avaliação: a) avaliação formal e informal; b) a avaliação como (trans)disciplina; c) avaliação e qualidade; e d) avaliação e discernimento pragmático. A finalidade da discussão era contribuir para desenvolver práticas de avaliação que pudessem responder melhor aos desafios dos sistemas educacionais. A discussão pareceu mostrar que a avaliação a desenvolver nos próximos anos tem que ser um processo com melhor integração teórica e melhor articulação entre diferentes visões epistemológicas e metodológicas que influenciam as práticas avaliativas. De igual modo, mostrou que, cada vez mais, a avaliação tem que ser um esforço partilhado por investigadores e avaliadores da diversidade de disciplinas que sejam indispensáveis para descrever, analisar e interpretar a realidade a avaliar.

Resumo em Espanhol:

En este artículo se discuten cuatro cuestiones críticas de la evaluación: a) evaluación formal e informal; b) evaluación como (trans)disciplina; c) evaluación y calidad; y d) evaluación y discernimiento pragmático. La finalidad de la discusión es contribuir para el desarrollo de prácticas de evaluación que puedan responder mejor a los desafíos de los sistemas educacionales. La discusión parece mostrar que la evaluación que debe desarrollarse en los próximos años tiene que ser un proceso con mejor integración teórica y mejor articulación entre las diferentes visiones epistemológicas y metodológicas que influyen en las prácticas evaluativas. De igual modo, mostró que, cada vez más, la evaluación tiene que ser un esfuerzo compartido entre investigadores y evaluadores de las distintas disciplinas o asignaturas, todas las que sean necesarias para describir, analizar e interpretar la realidad que será evaluada.

Resumo em Inglês:

Four critical questions on evaluation have been discussed in this paper: formal and informal evaluation; b) evaluation as a transdiscipline; c) evaluation and quality; and d) evaluation and pragmatic discernment. The aim was to contribute to the development of evaluation practices, which can provide better responses to the educational systems challenges. The discussion showed that evaluation, in the coming years will become a process with better theoretical integration and different perspectives, bringing an impact on evaluation practices. Also, the discussion has shown the importance of bringing new disciplines to be shared by the researchers.

Resumo em Português:

Este artigo trata da importância do erro de medida tanto na Teoria Clássica dos Testes (TCT) como na Teoria de Resposta ao Item (TRI) e de alguns aspectos ligados a estimação das proficiências pelos modelos logísticos da TRI. O artigo mostra que somente no modelo de 3 parâmetros, a consistência no padrão de respostas afeta a estimação das proficiências. O artigo mostra também a importância de se ter testes adequados ao aluno ou a população.

Resumo em Espanhol:

Este artículo analiza la importancia del error de medida en la teoría Clásica de los Tests (TCT) y en la Teoría de Respuesta al Ítem y de algunos aspectos relacionados con la estimación de las proficiencias por los modelos logísticos de la TRI. El artículo muestra que la consistencia en el patrón de respuestas afecta la estimación de las proficiencias sólo en el modelo de 3 parámetros. También presenta la importancia de poseer tests adecuados al alumno o a la población.

Resumo em Inglês:

This paper deals with the importance of the error measurement both in the Classical Test Theory and in the Item Response Theory (IRT) and about some aspects related to the estimation of the proficiencies under the IRT logistic models. The paper shows that only in the 3 parameter model, the consistency of the response pattern affects the estimation of the proficiencies. The paper also shows the importance of having adequate tests to the student or population.

Resumo em Português:

O teste adaptativo Computadorizado (CAT) chega com muitas vantagens. Infelizmente, ainda é bastante caro para desenvolver e manter um CAT operacional. Neste artigo, descreve-se várias etapas envolvidas no desenvolvimento de um CAT operacional e faz-se uma revisão da literatura nesse tópico. O CAT Bayesiano é introduzido como uma alternativa, e propõe-se o uso de prioris empíricas para estimar parâmetros de itens e de indivíduos com o objetivo de reduzir os custos de CAT. Apresenta-se métodos para obtenção de prioris empíricas e dois pequenos exemplos para ilustrar a vantagem do CAT Bayesiano. Discute-se algumas implicações no uso de prioris empíricas, menciona-se limitações e formula-se algumas sugestões para novas pesquisas.

Resumo em Espanhol:

El test adaptativo Computadorizado (CAT) tiene muchas ventajas. Aunque, infelizmente, es bastante caro desarrollar y mantener un CAT operacional. En este artículo se describen varias etapas de su desarrollo y se hace una revisión de literatura del tópico. El CAT Bayesiano aparece como una alternativa, y se propone el uso de prioris empíricas para estimar parámetros de ítems y de individuos con el objeto de reducir sus costos. Se presentan métodos para obtener prioris empíricas y dos pequeños ejemplos que ilustran la ventaja del CAT Bayesiano. Se discuten algunas implicaciones en el uso de prioris empíricas, se mencionan limitaciones y se formulan sugerencias para nuevas investigaciones.

Resumo em Inglês:

Computerized adaptive testing (CAT) comes with many advantages. Unfortunately, it still is quite expensive to develop and maintain an operational CAT. In this paper, various steps involved in developing an operational CAT are described and literature on these topics is reviewed. Bayesian CAT is introduced as an alternative, and the use of empirical priors is proposed for estimating item and person parameters to reduce the costs of CAT. Methods to elicit empirical priors are presented and a two small examples are presented that illustrate the advantages of Bayesian CAT. Implications of the use of empirical priors are discussed, limitations are mentioned and some suggestions for further research are formulated.

Resumo em Português:

O artigo vai discutir o impacto que os resultados das avaliações em larga escala podem ter na prática docente com vistas a promover ganhos de aprendizagem. Os sistemas de avaliação de desempenho dos alunos, introduzidos no Brasil há quase duas décadas, apesar da enorme quantidade de dados coletados e divulgados, parecem não ter sido capazes de provocar as mudanças esperadas no cotidiano da relação professor-aluno-aprendizagem. São levantadas hipóteses de que os professores, coordenadores pedagógicos e diretores das escolas não compreendam adequadamente as tecnologias empregadas na avaliação dos estudantes e nos mecanismos e materiais utilizados na divulgação dos resultados e, assim, não são capazes de orientar a prática docente para corrigir os erros e as dificuldades apresentadas pelos alunos. O artigo também faz referência a algumas iniciativas realizadas por agentes públicos da educação para promover melhorias na aprendizagem, mediante a criação de materiais estruturados para alunos e professores, incluindo questões de avaliação e exercícios para os alunos.Tais iniciativas podem produzir, a curto e médio prazos, impactos positivos no desempenhodos alunos. Discutem-se ainda as condições para que a avaliação efetivamente possa, em um futuro próximo, promover a aprendizagem dos estudantes.

Resumo em Espanhol:

El artículo discute el impacto que los resultados de las evaluaciones en larga escala pueden tener en la práctica docente con el objeto de promover mejora en el aprendizaje. Parece que los sistemas de evaluación de desempeño de los alumnos, introducidos en Brasil hace casi dos décadas, a pesar de la enorme cantidad de datos recogidos y divulgados, no fueron capaces de originar los cambios esperados en la relación cotidiana profesor-alumno-aprendizaje. Se elaboran hipótesis de que los profesores coordinadores pedagógicos y directores de las escuelas quizás no entiendan adecuadamente las tecnologías empleadas en la evaluación de los estudiantes y en los mecanismos y materiales utilizados en la divulgación de los resultados y, por eso tal vez no sean capaces de orientar la práctica docente para corregir los errores y las dificultades que los alumnos presentan. El artículo también se refiere a algunas iniciativas que los agentes públicos de la educación realizaron para mejorar el aprendizaje, mediante la creación de materiales estructurados para alumnos y profesores, incluyendo cuestiones de evaluación y ejercicios para los alumnos. Tales iniciativas pueden producir, a corto y medio plazo, impactos positivos en el desempeño de los alumnos. Finalmente se discuten las condiciones para que la evaluación efectivamente pueda, en un futuro próximo, promover el aprendizaje de los estudiantes.

Resumo em Inglês:

This paper discusses the impact of large scale assessments in the teacher practice towards promoting learning gains. The assessment systems of cognitive achievement introduced in Brazil about two decades ago apparently was not able to induce the expected changes in the day-to-day relationship teacher-student learning, in spite of the enormous quantity of collected and released data. The paper raises the hypothesis that teachers, pedagogical counselors and school principals do not understand adequately the technologies used in student assessments and the materials released with the result and, in this way, are not capable to guide teacher's practice to correct the mistakes and difficulties presented by the students.The paper also makes references to some initiatives taken by public agents of education to improve learning, by creating structured materials for students and teachers, including assessment items and exercises for students.Such initiatives can produce, in the short and medium term, positive impacts in student achievement. The paper discuss yet conditions so that the assessment can affectively, in the near future, promote student learning.

Resumo em Português:

O artigo explora questões que aparecem ao se avaliar iniciativas de políticas educacionais. O artigo dá exemplos de como resultados de pesquisas devem ser avaliados e tira lições de como formuladores de políticas podem interagir efetivamente com pesquisadores. O artigo argumenta que enquanto o uso que o governo faz da evidência da pesquisa é frequentemente seletivo e preocupado com seus interesses de curto prazo, uma visão mais geral do processo de pesquisa é mais produtivo e benéfico. As questões do tamanho da turma, ranqueamento de escolas e os efeitos do dever de casa são estudadas em detalhe e a natureza frequentemente provisória da evidência da pesquisa é enfatizada assim como a incerteza em volta dos resultados de estudos individuais.

Resumo em Espanhol:

El artículo analiza cuestiones que surgen al evaluar iniciativas de políticas educacionales. Presenta ejemplos de cómo deben evaluarse resultados de investigaciones y enseña cómo formuladores de políticas pueden dialogar efectivamente con los investigadores. El artículo argumenta lo siguiente: el uso que el gobierno hace de la evidencia de la investigación es, a menudo, selectivo y preocupado con sus intereses a corto plazo, sería más productivo y provechoso tener una visión más general del proceso de investigación. En el trabajo se estudiaron detalladamente el tamaño de las clases, la clasificación o ranking de las escuelas y los efectos del deber de casa. Se enfatizó la naturaleza frecuentemente provisoria de la evidencia de la investigación así como la inseguridad sobre los resultados de estudios individuales.

Resumo em Inglês:

The paper explores some of the issues involved in evaluating educational policy initiatives. It gives examples of how research findings can be evaluated and draws lessons for the ways in which policymakers can interact usefully with researchers. It argues that while central government's use of research evidence is often highly selective and concerned with its own perceived short term interests, a broader view of the research process is more productive and beneficial. The issues of class size, school league tables and the effects of homework are studied in detail and the often provisional nature of research evidence is emphasised as well as the uncertainty surrounding the findings of individual studies.

Resumo em Português:

Esse artigo trata do ímpeto nos Estados Unidos da América no processo de estender a responsabilização/prestação de contas (accountability) baseada em testes a professores e no crescente interesse em empregar modelos de valor acrescentado para gerar indicadores a serem utilizados na avaliação de professores. A literatura empírica mostra que a qualidade de ensino pelo professor é o fator escolar mais importante para o sucesso do aluno. Porém, em geral, as avaliações de professores são feitas de modo precário - quando feitas - e benefícios são prioritariamente determinados por tempo de serviço e títulos. Os formuladores de políticas veem o fortalecimento da responsabilização do professor como uma prioridade. Em particular, eles estão procurando aumentar o papel de resultados (outputs) em comparação com dados de entrada (inputs). Mas, devido aos problemas técnicos associados com indicadores derivados do status (status-based) de professores e da eficácia da escola, o foco foi orientado para indicadores baseados em alguma medida do progresso realizado pelos estudantes durante o ano letivo. Análises de valor acrescentado dependem de modelos estatísticos sofisticados para gerar estimadores da eficácia relativa dos professores, baseados em uma medida relacionada ao progresso dos alunos. Esse artigo fornece uma breve introdução aos modelos de valor acrescentado e faz um resumo dos principais resultados de pesquisas. Embora estimadores de valor acrescentado tenham algumas propriedades desejáveis, eles não representam uma solução simples e elegante para um problema complexo de avaliação. Nesse espírito, o artigo finaliza descrevendo algumas das muitas preocupações relativas ao uso de escores de valor acrescentado para decisões de grande consequência (high stakes) e sugere algumas maneiras para aumentar a possibilidade de que a responsabilização de professores irá contribuir construtivamente para a melhoria do ensino.

Resumo em Espanhol:

Este artículo analiza el entusiasmo existente en Estados Unidos con el proceso de extender la responsabilización (accountability) basada en tests a profesores y el creciente interés en emplear modelos de valor agregado para originar indicadores que se utilizarán en la evaluación de profesores. La literatura empírica muestra que la calidad de enseñanza del profesor es el factor escolar más importante para el éxito del alumno. Pero, en general, las evaluaciones de profesores se realizan de modo precario, cuando son hechas, y los beneficios se determinan prioritariamente por tiempo de servicio y por títulos. Los formuladores de políticas consideran el fortalecimiento de la responsabilización del profesor como una prioridad. En particular, buscan aumentar el papel de los resultados (outputs) comparados con los datos de entrada (inputs). Pero, debido a los problemas técnicos asociados con indicadores derivados del estatus (status-based) de profesores y de la eficacia de la escuela, el foco se orientó hacia indicadores basados en el progreso de los estudiantes durante el año lectivo. Se sabe que análisis de valor agregado dependen de modelos estadísticos sofisticados para originar estimadores de la eficacia de los profesores, basados en una medida relacionada con el progreso de los alumnos. Este artículo ofrece una breve introducción a los modelos de valor agregado y resume los principales resultados de investigaciones. Aunque estimadores de valor agregado tengan algunas propiedades deseables, no representan una solución sencilla y elegante para un problema complejo de evaluación. Finalmente, el artículo describe algunas preocupaciones que surgen con el uso de scores de valor agregado para decisiones de gran consecuencia y sugiere algunas formas que ayuden a que la responsabilización de profesores pueda contribuir constructivamente para la mejora de la enseñanza.

Resumo em Inglês:

This article explains the impetus in the United States behind the drive to extend test-based accountability to teachers and the growing interest in employing value-added models to generate the indicators to be used in teacher evaluation. The empirical literature finds that teaching quality is the most important school-related determinant of student. Yet, in the main, teacher evaluations are done poorly - if at all - and compensation has been largely determined by seniority and credentials. Policy makers see strengthening teacher accountability as a priority. In particular, they are looking to increase the role of outputs in comparison to inputs. However, given the technical problems associated with status-based indicators of teacher and school effectiveness, the focus has turned to indicators based on some measure of the progress students have made during the academic year. Value-added analysis relies on sophisticated statistical models to generate estimates of the relative effectiveness of teachers, based on a measure related to student progress. This article provides a brief introduction to value-added models and summarizes key research findings. Although value-added estimates have some desirable properties, they do not represent a simple, neat solution to a complex evaluation problem. In this spirit, the article concludes by describing some of the many concerns regarding the use of value-added scores for high-stakes decisions and suggests some ways to enhance the likelihood that teacher accountability will contribute constructively to the improvement of teaching.

Resumo em Português:

Este artigo examina a abordagem de valor acrescentado no contexto da literatura de eficácia escolar. Debatidos aspetos relevantes do estado-da-arte sobre o uso do indicador de valor acrescentado, o enfoque recai sobre os problemas de escolha do modelo estatístico e o das propriedades de consistência e estabilidade do indicador, considerando o contexto educacional brasileiro. São apresentadas as vantagens e limitações que, por sua vez, elucidam quanto ao uso que lhe possa ser dado. A componente empírica é desenvolvida através da aplicação de modelo multinível de componentes de variância aos dados do GERES 2005 referentes ao município de Campinas, dado este apresentar, simultaneamente, maior percentagem de escolas por estrato e menor taxa de atrito. A evidência empírica revela que o indicador produzido pelo modelo de resultados contextualizados é muito diferente do de valor acrescentado, sustentando a necessidade de adoção de estudos longitudinais. Os níveis de consistência e de estabilidade encontrados face aos dois modelos de valor acrescentado testados sugerem a sua utilidade para atempadamente diagnosticar as escolas que sistematicamente apresentam desempenho próprio de escolas eficazes ou de escolas não eficazes.

Resumo em Espanhol:

Este artículo analiza el abordaje de valor adicionado en el contexto de la literatura de eficacia escolar. Discutidos aspectos importantes de los últimos avances actuales sobre el uso del indicador de valor adicionado, el enfoque recae sobre los problemas surgidos al elegir el modelo estadístico y las propiedades de consistencia y estabilidad del indicador, dentro del contexto educacional brasileño. Se presentan las ventajas y limitaciones que, a su vez, esclarecen el uso que se le puede dar. El componente empírico se desarrolla a través de la aplicación de un modelo multinivel de componentes de varianza a los datos del GERES 2005 (Estudio de la Generación Escolar 2005) referentes al municipio de Campinas (Brasil), ya que presenta, simultáneamente, mayor porcentaje de escuelas por estrato y menor tasa de desavenencia. La evidencia empírica revela que el indicador que el modelo de resultados contextualizados produce es muy diferente del de valor adicionado, lo que fundamenta la necesidad de adopción de estudios longitudinales. Los niveles de consistencia y de estabilidad encontrados frente a los modelos de valor adicionado verificados sugieren su utilidad para diagnosticar a tiempo las escuelas que sistemáticamente presentan desempeño propio de escuelas eficaces o de no eficaces.

Resumo em Inglês:

The paper presents a value-added approach in the context of the literature of school effectiveness. Relevant aspects such as the use of the value-added indicator, the choice of the statistical model, and the scientific properties of consistency and stability in Brazilian education are discussed. The empirical evidence presented is based on the variance component models applied to GERES 2005 data collected in the municipality of Campinas. The results show that the indicator obtained by the contextualized results model is rather different from the one obtained by a value-added model, supporting the need of conducting longitudinal data studies. The findings about consistency and stability suggest the value-added usefulness to timely diagnose schools that systematically perform as effective schools or as ineffective schools.