| Evidências com base no conteúdo |
Parcialmente. O relatório apresenta as matrizes de referência para as diferentes séries, entre os anos de 2005 e 2015. Mas não descreve os procedimentos adotados para garantir a representatividade das matrizes nos testes aplicados. Ou seja, o documento não explicita as especificações dos testes. Por exemplo, não são apresentadas informações quanto a características básicas, como demanda cognitiva, dificuldade e número de itens por tópico da matriz. |
Não. Embora o relatório apresente alguns itens como exemplo e os relacione à matriz, isso não é feito para a prova como um todo. No relatório, faz-se referência ao Mapa de Itens do Enem, que estaria disponibilizado no site, mas o link está desatualizado e, na época dessa pesquisa, encontrava-se fora do ar. |
Não. A matriz de referência é apenas apresentada, mas não é feita qualquer relação dessa com os itens da prova. Mesmo na seção dedicada à análise de conteúdo das questões discursivas, em nenhum momento a matriz é retomada. Os itens são analisados independentemente da matriz. |
| Evidências com base no processo de resposta |
Não. Nenhum estudo sobre o processo de resposta é relatado. |
Não. Nenhum estudo sobre o processo de resposta é relatado. |
Não. Nenhum estudo sobre o processo de resposta é relatado. |
| Evidências com base na estrutura interna |
Parcialmente. São apresentadas apenas análises dos itens, não é apresentada análise da prova como um todo. Não são relatadas análises de dimensionalidade e de fidedignidade das provas. |
Parcialmente. São apresentadas apenas análises dos itens, não é apresentada análise da prova como um todo. Não são relatadas análises de dimensionalidade e de fidedignidade das provas. |
Parcialmente. São apresentadas apenas análises dos itens, não é apresentada análise da prova como um todo. Não são relatadas análises de dimensionalidade e de fidedignidade das provas. |
| Evidências com base nas relações com variáveis externas |
Não. Nenhum estudo de fatores associados é relatado. |
Não. Nenhum estudo que relacione os escores das provas com variáveis externas é relatado. |
Não. Nenhum estudo que relacione os escores das provas com variáveis externas é relatado. |
| Evidências com base nas consequências da testagem |
Não. Não é feita referência às consequências e usos possíveis da medida. |
Não. Não é feita referência às consequências e usos possíveis da medida. |
Não. Mesmo na seção referente à distribuição dos conceitos, não é feita referência aos usos possíveis da medida. |
The question of validity in Brazilian educational assessment