Neste artigo apresenta-se um problema de comparabilidade de resultados entre aplicações do Pisa, em alguns países, em diversos anos e entre países. Esse problema ocorre porque a idade escolar de cada país não é considerada e porque não há uma regra para a data de aplicação da prova em relação aos anos letivos de cada país. A mudança de data da aplicação em um país modifica a composição do alunado entre as séries, tornando os universos não comparáveis. Analisa-se com detalhes o caso do Brasil e mostra-se que os universos de 2000 e 2009 não são comparáveis. Analisa-se também alguns outros países, entre eles Luxemburgo e Chile, que, juntos com o Brasil, foram destacados como tendo a maior evolução de desempenho desde 2000. Em Luxemburgo, não houve melhoria de desempenho de 2003 para 2009 e é preciso investigar porque os resultados de 2000 e 2003 são tão diferentes. O Chile apresenta melhoria de desempenho, mas provavelmente não tão grande quanto o apontado.
Pisa; Comparabilidade; Idade escolar; Composição do alunado por série; Proficiência