Proficiência em Letramento Financeiro: estudo a partir de uma escala e de um Teste Adaptativo Computadorizado baseados na Teoria de Resposta ao Item

Proficiency in Financial Literacy: study using a scale and a Computerized Adaptive Test based on the Item Response Theory

Resumo

Neste artigo, apresenta-se um estudo para avaliar o desempenho em letramento financeiro na Educação Básica. Para tal, construiu-se um instrumento com 27 itens divulgados pelo Programme for International Student Assessment e baseados em uma matriz de referência, dividida em quatro temas: dinheiro e transações, planejamento e gerenciamento financeiro, risco e retorno e cenário financeiro. Estes itens foram organizados em cadernos de prova, com 18 itens cada, utilizando a metodologia dos Blocos Incompletos Balanceados. Os cadernos foram aplicados a 316 estudantes do primeiro ano do Ensino Médio de escolas públicas da Diretoria de Ensino da Região de Araraquara – São Paulo. As repostas foram analisadas a partir da Teoria de Resposta ao Item, o que possibilitou estimar, numa mesma escala, as habilidades dos respondentes e os parâmetros dos itens. A calibragem dos itens possibilitou a construção de uma escala de habilidade, a qual foi interpretada pedagogicamente, e a simulação de um Teste Adaptativo Computadorizado (TAC). O resultado da simulação mostrou que o TAC oferece boas estimativas do nível de habilidade em letramento financeiro com menos itens, o que reduz o tempo e o esforço, normalmente empenhados pelos estudantes, em testes tradicionais.

Teste Adaptativo Informatizado; Teoria de Resposta ao Item; Letramento financeiro; Educação Básica

Abstract

This article presents a study to assess performance in financial literacy in Basic Education. To this end, an instrument was constructed with 27 items published by the Program for International Student Assessment and based on a reference matrix, divided into four themes: money and transactions, financial planning and management, risk and return and financial scenario. These items were organized in test notebooks, with 18 items each, using the Balanced Incomplete Blocks methodology. The notebooks were applied to 316 first-year high school students from public schools of the Education Board of the Araraquara Region – São Paulo. The responses were analyzed from the Item Response Theory, which made it possible to estimate, on the same scale, the skills of the respondents and the parameters of the items. The calibration of the items enabled the construction of a skill scale, which was pedagogically interpreted, and the simulation of a Computerized Adaptive Test (CAT). The simulation result showed that the TAC provides good estimates of the financial literacy skill level with fewer items, which reduces the time and effort normally spent by students in traditional tests.

Computerized Adaptive Test; Item Response Theory; Financial literacy; Basic education

1 Introdução

No Brasil a Educação Financeira se estabelece como política pública no ano de 2010 com a publicação do Decreto Presidencial n^o 7.393, o qual implantou a Estratégia Nacional de Educação Financeira (ENEF)¹. Seu objetivo era “promover a Educação Financeira e previdenciária e contribuir para o fortalecimento da cidadania, a eficiência e solidez do sistema financeiro nacional e a tomada de decisões conscientes por parte dos consumidores” (BRASIL, 2010a). Sua implementação propõe um conjunto de orientações e diretrizes para a criação de programas para três públicos-alvo: crianças, jovens e adultos. Estas orientações estão disponíveis no Plano Diretor e nos seus anexos (cf. ENEF, 2010a, 2010b).

Preliminarmente, torna-se necessário mencionar que a Organização para Cooperação e Desenvolvimento Econômico (OCDE) foi a primeira a engajar-se no tema através do Financial Education Project estabelecido em 2003. Este projeto foi criado para estudar e propor programas de Educação Financeira nos países membros da OCDE e em alguns países não membros. Além disso, o programa já mencionava a inserção da Educação Financeira nas escolas (SMITH, 2005 apud SAITO; SAVÓIA; PETRONI, 2006).

Algumas pesquisas mostram que as pessoas formam hábitos, habilidade e comportamentos financeiros desde a infância e adolescência com seus pais e outros ao seu redor, indicando a importância da intervenção precoce para ajudar a adquirir comportamentos e atitudes benéficas (WHITEBREAD; BINGHAM, 2013; CFPB, 2016 apud INEP, 2020 p. 18). No entanto, evidências empíricas mostram que o letramento financeiro² dos jovens está relacionado a características sociodemográficas e à sofisticação financeira familiar.

De acordo com INEP (2020) , uma vez que nem todas as famílias estão igualmente equipadas para transmitir habilidades de letramento financeiro, as escolas estão bem posicionadas para proporcionar igualdade de oportunidade.

No que tange a Educação Financeira no ambiente escolar, concordamos com Silva e Powell (2013) que, ao utilizarem a expressão Educação Financeira Escolar, destacam que o processo de ensino deve tornar os estudantes aptos para terem posições críticas sobre questões financeiras que os rodeiam. Nesta linha de compreensão, Hartmann, Mariani e Maltempi (2021) destacam que uma possibilidade para a inclusão da Educação Financeira na escola está em utilizar atividades didáticas capazes de alinhar “tópicos de Matemática escolar inclusos no currículo, com situações que oportunizem reflexões por intermédio de argumentos matemáticos e não-matemáticos, como valores familiares, crenças, emoções e heurísticas” (HARTMANN; MARIANI; MALTEMPI, 2021, p. 569).

No que se refere a avaliação de letramento financeiro dos estudantes o Programme for International Student Assessment (PISA) foi o pioneiro em realizá-la no ano de 2012. A literatura nacional é rica no que se refere a discussões sobre os impactos e implicações das avaliações de larga escala nos processos educacionais e nos currículos. No entanto, este texto não tem o objetivo de contribuir para esta discussão, mas sim, pontuar a avaliação da aprendizagem como uma ferramenta voltada aos processos educativos, ou seja, como uma atividade do contexto da sala de aula, que pode auxiliar nas práticas pedagógicas e, ao mesmo tempo, ser formativa para o aluno, neste caso, contribuindo para o seu letramento financeiro.

Na literatura encontramos pesquisas com foco em mensurar o nível de letramento financeiro dos indivíduos. Kempson (2009) apresenta um conjunto básico de perguntas destinada a medir os níveis de alfabetização financeira. Em OECD (2013) encontra-se algumas abordagens que descrevem o nível geral de alfabetização financeira baseando-se em conhecimentos, atitudes e comportamentos financeiros. Lusardi e Mitchell (2011) propõem três questões que avaliam o funcionamento das taxas de juros, os efeitos da inflação e o conceito diversidade de risco. Knoll e Houts (2012) , focando em conhecimento financeiro, analisam itens de pesquisas americanas que medem a alfabetização financeira, usando a Teoria de Resposta ao Item (TRI).

No entanto, até onde conhecemos, existem poucos trabalhos na literatura que aplicam a TRI para medir o letramento financeiro na população brasileira e, dentre estes, nenhum direcionado à Educação Básica. No trabalho de Vieira, Moreira e Potrich (2019, p. 4), os autores apontam que “os esforços de criação de medidas para mensurar a Educação Financeira carecem de procedimentos de validação e avaliação psicométrica”. Na mesma linha, Nascimento et al. (2016 , p. 149) reconhecem a ausência de uma medida de letramento financeiro desenvolvida por meio de análises psicométricas, “o que acarreta, entre outras implicações, na baixa comparabilidade do desempenho dos participantes por meio de estudos, populações, realidades e programas distintos”.

Vieira, Moreira e Potrich (2019) usam a TRI, especificamente o modelo logístico unidimensional de dois parâmetros, para criar uma escala em Educação Financeira. O questionário desta pesquisa possuía treze itens que foram baseados em questões de múltipla escolha adaptadas da literatura. A pesquisa foi desenvolvida no estado do Rio Grande do Sul e abrangeu cada uma das sete mesorregiões rio-grandenses. Nascimento et al. (2016) usam a TRI para avaliar o nível de letramento financeiro dos discentes do curso de Administração através do modelo logístico unidimensional de dois parâmetros. O questionário desta pesquisa possuía cinco itens, os quais foram adaptados de Knoll e Houts (2012) .

Apesar dos trabalhos acima citados fazerem uso da psicometria moderna para análise das provas propostas, os autores não exploraram a vantagem da TRI de possibilitar a criação e interpretação pedagógica de uma escala de habilidades. Esta é uma lacuna que o presente trabalho pretende suprir. Adicionalmente, o uso da TRI viabiliza a avaliação educacional através de diferentes formatos, além dos tradicionais testes lineares via lápis e papel. O Teste Adaptativo Computadorizado (TAC) é um grande exemplo disso.

Numa lógica de testes que evoluem acompanhando e se adaptando à inovação tecnológica, podemos dizer que o TAC pode representar, principalmente aos jovens estudantes da Educação Básica, uma forma atraente de realizar uma avaliação formativa. Além disso, garante um teste único e otimizado para diferentes níveis de habilidades, “uma vez que seleciona para cada examinando, um conjunto ideal de itens, a partir de um banco de itens pré-calibrados que, simultaneamente, seja mais efetivo e eficiente para posicionar a pessoa no continuum do traço latente” ( SANTOS, 2015 , p. 60).

De acordo com Travitzki et al. (2020) , a ideia do teste adaptativo remonta à década de 1970, no entanto, ele é muito incipiente no Brasil. Nesta linha, até onde conhecemos, não encontramos na literatura nenhum trabalho desenvolvido utilizando TAC em questões de letramento financeiro.

Neste contexto, este trabalho se insere na literatura com o objetivo de contribuir para a modernização da avaliação do desempenho em letramento financeiro dos estudantes da Educação Básica com o uso da TRI, explorando ao máximo as suas vantagens. Propõe-se uma matriz de referência em letramento financeiro inspirada nas diretrizes da ENEF e nas respectivas competências avaliadas pelo PISA. Cria-se uma escala de habilidades interpretada a partir desta matriz e da aplicação de uma prova a alunos do Ensino Básico de algumas escolas públicas da diretoria de ensino da região de Araraquara. Os resultados da TRI também são usados para simular um TAC, evidenciando sua viabilidade para avaliação do letramento financeiro. Os resultados possibilitaram direcionar estudos futuros com relação a quantidade e nível de dificuldade de itens das futuras avaliações do tema.

Este texto está organizado em quatro seções. A partir desta seção inicial, na segunda apresenta-se a metodologia da pesquisa delineando a abordagem empregada para: a elaboração da matriz de referência e definição dos itens do construto; a organização e aplicação dos itens; a seleção do modelo da TRI; a construção da escala de habilidade e a simulação do TAC. Na terceira seção apresenta-se os resultados e discussões a respeito das estimativas dos itens, da construção e interpretação pedagógica da escala de proficiência e da simulação do TAC. Finalmente, na quarta seção faz-se as considerações finais.

2 Metodologia

2.1 Matriz de referência e definição dos itens

A matriz de referência é um instrumento de orientação das avaliações de larga escala nos diferentes níveis da Educação Básica brasileira. Ela é formada por temas (ou tópicos) e cada um deles reúne um conjunto de descritores que indicam as habilidades a serem avaliadas. Além de ser utilizada na elaboração dos itens de uma prova, ela serve para a construção de escala de proficiência que define o que os alunos sabem e realizam no contexto da avaliação. São exemplos as matrizes de referência do Sistema de Avaliação da Educação Básica (SAEB), do Sistema de Avaliação do Rendimento Escolar do Estado de São Paulo (SARESP), do Exame Nacional do Ensino Médio (ENEM) do PISA, entre outras.

No que diz respeito à avaliação em larga escala em letramento financeiro, o PISA é o pioneiro na esfera internacional que tem este foco. Realizado pela OCDE e no Brasil coordenado pelo Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP), a aplicação desta avaliação é feita de forma amostral aos estudantes na faixa etária de 15 anos que corresponde aos alunos que cursam o 1º ano do Ensino Médio.

Em INEP (2020) encontramos a descrição da matriz de referência que é utilizada na prova de letramento financeiro do Pisa e que norteia a avaliação de 2022. Ela engloba os temas Dinheiro e transações, Planejamento e gerenciamento financeiro, Risco e retorno e Cenário financeiro . Em cada um destes temas é apresentado um conjunto de descritores que indicam as habilidades que os itens da prova devem medir. De forma geral, eles não estão associados a um domínio do currículo escolar, mas avaliam como os estudantes utilizam estratégias para resolver problemas do cotidiano.

De acordo com INEP (2020) , a matriz de referência em letramento financeiro deve ser discutida levando-se em consideração a interação do letramento financeiro com outros dois aspectos: (i) conhecimentos e habilidades em outros domínios como Matemática e Leitura; e (ii) fatores não cognitivos que são relevantes ao letramento financeiro. No primeiro aspecto aponta que competências em Matemática, como senso numérico, familiaridade com múltiplas representações dos números e habilidades de cálculo mental, são intrínsecas a alguns aspectos do letramento financeiro.

De acordo com o documento, a natureza do letramento matemático esperado é aritmética básica: as quatro operações (adição, subtração, multiplicação e divisão) com números inteiros, decimais e porcentagens comuns. O uso de fórmulas financeiras (que requerem habilidades algébricas) não é considerado. No caso do domínio em Leitura, é necessário que os estudantes tenham proficiência básica para ler documentos financeiros e tenham outras habilidades como senso de ética, integridade e responsabilidade social. O segundo aspecto refere-se a fatores contextuais que podem estar relacionados com as oportunidades dos estudantes como acesso e uso de dinheiro e produtos financeiros.

No âmbito nacional, até onde conhecemos, não existe uma matriz de referência para avaliar letramento financeiro, mas encontramos orientações para a inclusão da Educação Financeira, nas salas de aula do Ensino Médio, nas prescrições do Comitê Nacional de Educação Financeira (CONEF, 2013). Estas orientações incluem a dimensão, objetivos e competências para o ensino de Educação Financeira e estão alinhadas com o documento Orientações para Educação Financeira nas Escolas (ENEF, 2010b).

No que diz respeito às dimensões, as diretrizes sugerem que a Educação Financeira seja estudada na dimensão espacial e temporal. Na dimensão espacial, os conceitos se pautam no impacto das ações do indivíduo no contexto social e dos reflexos deste contexto sobre as condições econômico-financeiras do indivíduo. Na dimensão temporal, os conceitos são abordados com base na noção de que o passado, presente e futuro se conectam numa cadeia que permite perceber o presente não somente como fruto das decisões tomadas no passado, mas como o tempo em que as decisões tomadas podem afetar o futuro.

Na dimensão espacial, a ENEF (2010b) traz os seguintes objetivos para a Educação Financeira nas escolas: formar para a cidadania; educar para consumir e poupar de modo ético, consciente e responsável; oferecer conceitos e ferramentas para a tomada de decisão autônoma baseada em mudança de atitudes e formar disseminadores. Já na dimensão temporal, os objetivos são: ensinar a planejar a curto, médio e longo prazos; desenvolver a cultura da prevenção e proporcionar a possibilidade de mudança da condição atual.

Na Base Nacional Comum Curricular (BNCC) os temas contemporâneos, como a Educação Financeira, são contemplados nas habilidades dos componentes curriculares, os quais devem ser estudados de forma contextualizada ( BRASIL, 2018 ). As recomendações sugerem que na área de Matemática, especificamente na unidade temática números , pode-se estudar conceitos básicos de economia e de finanças (como taxas de juros, inflação, aplicações financeiras e impostos) e ainda discutir, de forma interdisciplinar, questões como consumo, trabalho e dinheiro. Desta forma, percebe-se que existe estreita relação entre as temáticas financeiras citadas na BNCC e os que constam no documento de orientação em ENEF (2010b).

No Anexo 1 apresenta-se a matriz de referência que utilizamos nesta pesquisa. Ela é formada pelos temas e os descritores da matriz de referência do PISA e traz a indicação da dimensão, objetivos e das competências sugeridas em CONEF (2013). Os objetivos da proposição desta matriz para esta pesquisa são observar que se pode estabelecer conexão entre estes documentos e unificá-los em um só instrumento.

Os itens que compõem o construto desta pesquisa são itens liberados pelo PISA e disponíveis em OCDE (2018) e INEP (2015) . Para os objetivos desta pesquisa, além da tradução para a língua portuguesa, os itens foram transformados em dicotômicos no formato de questão de múltipla escolha. O Quadro 1 identifica os itens, explicita a fonte onde podem ser encontrados em sua versão original e identifica a sua temática. O conjunto de itens 1, 11 e 22 e 3, 4 e 12 possuem a mesma motivação (enunciado) e três questões distintas para serem resolvidas por isso, na frente do nome destes itens aparecem números de 1 a 3. Já o conjunto de itens 2 e 13; 6 e 14; 7 e 15 e 10 e 21 possuem a mesma motivação (enunciado) e duas questões distintas para serem resolvidas, desta forma, na frente do nome destes itens aparece o número 1 ou 2.

Quadro 1
– Temática e identificação dos itens

Item	Nome do item	Fonte	Item	Nome do item	Fonte
1	Circuito Bike – 2	(OCDE, 2018, p.23)	15	Nova oferta – 2	( INEP, 2015 , p.8)
2	No mercado – 2	( INEP, 2015 , p.10)	16	Ações	( INEP, 2015 , p.17)
3	Fatura – 1	( INEP, 2015 , p.21)	17	Toques de celular	(OCDE, 2018, p.14)
4	Fatura – 3	( INEP, 2015 , p.22)	18	Compra pela internet	(OCDE, 2018, p.16)
5	Custo de um carro	(OCDE, 2018, p.5)	19	No mercado – 2	( INEP, 2015 , p.11)
6	Plano de celular – 1	(OCDE, 2018, p.11)	20	Contracheque	( INEP, 2015 , p.13)
7	Nova oferta – 1	( INEP, 2015 , p.7)	21	Extrato bancário – 1	(OCDE, 2018, p.8)
8	Cartão do banco	( INEP, 2015 , p.16)	22	Circuito Bike – 1	(OCDE, 2018, p.22)
9	Erro bancário	( INEP, 2015 , p.14)	23	Opções de gastos	( INEP, 2015 , p.4)
10	Extrato bancário – 2	(OCDE, 2018, p.9)	24	Dinheiro para viajar	( INEP, 2015 , p.6)
11	Circuito Bike – 3	(OCDE, 2018, p.24)	25	Seguro para motos	( INEP, 2015 , p.19)
12	Fatura – 2	( INEP, 2015 , p.21)	26	Contrato para celular	(OCDE, 2018, p.18)
13	Sistema de música	(OCDE, 2018, p.6)	27	Doações de caridade	(OCDE, 2018, p.19)
14	Plano de celular – 2	(OCDE, 2018, p.13)
	Temática		Item
Dinheiro e transações			1-2-3-4-10-11-12-19-20-21
Planejamento e gerenciamento financeiro			5-6-7-13-14-15-22-23-24
Risco e retorno			8-16-25
Cenário financeiro			9-17-18-26-27

Fonte: elaborado pelos autores (2022).

No Anexo 2, apresenta-se, a título de ilustração, alguns itens do construto os quais foram escolhidos de forma a apresentar um item de cada uma das temáticas.

2.2 Construção e aplicação da prova

A construção da prova aplicada nesta pesquisa foi feita utilizando o delineamento de Blocos Incompletos Balanceados (BIB). O intuito foi construir provas com um número reduzido de itens, mais adequado para o público em questão para não demandar tanto tempo de realização. O delineamento garante que os 27 itens sejam distribuídos entre essas provas de forma estruturada de acordo com o número de alunos respondentes, posição na prova (começo ou final), entre outros detalhes. Uma visão mais aprofundada deste delineamento pode ser encontrada em Dey (2010) .

Ainda que o delineamento BIB em sua formulação original não tenha ligação direta com problemas de avaliação, especificamente no que se refere a montagem de cadernos de prova, esta transposição foi descrita por Bekman (2001) . Neste contexto, o delineamento BIB caracteriza-se por apresentar b blocos de itens arranjados em c cadernos de provas com k blocos distintos de itens em cada um, sendo cada um destes blocos repetidos r vezes no conjunto total de cadernos. Além disso, o número de repetições de cada par de blocos no conjunto total de cadernos é λ. Assim, para ser possível a construção de BIB são necessárias que as seguintes condições sejam satisfeitas:

b r = c k e λ ( b − 1 ) = r ( k − 1 ) (Eq.1)

Desta forma, cada aluno ao receber um caderno de prova, recebe um subconjunto do total de blocos de itens, ou seja, uma fração (fu=k/b=r/c) do total de blocos. Esta fração também pode ser interpretada como o percentual de alunos submetido a determinado bloco.

Na Figura 1 , apresentamos o desenho do BIB utilizado para a montagem dos cadernos de prova usados nesta pesquisa. Construímos b = 3 blocos de itens arranjados em c = 3 cadernos com K = 2 blocos distintos em cada caderno. Observe que cada bloco se repete r = 2 vez no conjunto total de cadernos e λ =1 é o número de cadernos onde cada par de bloco aparece junto. Claramente, para os valores de c,k,r e λ apresentados acima as equações em (Eq. 1) são satisfeitas.

Figura 1
– Blocos Incompletos Balanceados

Nota-se que a montagem dos cadernos apresentados na Figura 1 é classificada como BIB-espiral. Segundo Beckman (2001), para termos a classificação BIB-espiral, além das condições da (Eq. 1) serem satisfeitas, devemos ter duas condições adicionais: (i) c = nb , n ∈ ℕ e (ii) os blocos devem estar distribuídos em espiral no conjunto dos cadernos de provas. A escolha do delineamento em BIB-espiral é recomendada uma vez que pressupomos que a posição do item em um caderno de prova pode modificar o resultado da análise, já que o desempenho do aluno pode variar entre o início e fim da prova (BECKMAN, 2001).

A construção de provas usando o delineamento BIB é comum em avaliações de larga escala. Por exemplo, atualmente ela é usada no SAEB e no SARESP.

Nesta pesquisa, 27 itens foram divididos em três blocos que continham, cada um, nove itens. Desta forma, cada caderno de prova submetido ao estudante possuía 18 itens apresentados de forma espiral e com um número equilibrado de itens em cada tema. A organização destes cadernos segue o apresentado no Quadro 2 .

Quadro 2
– Construção dos cadernos de provas

Caderno – Bloco: itens	Temáticas em cada caderno	Número de itens
Caderno 1	Dinheiro e transações	7
Bloco 1: 1, 2, 3, 4, 5, 6, 7, 8 e 9.	Planejamento e gerenciamento financeiro	7
Bloco 2: 10, 11, 12, 13, 14, 15, 16, 17 e 18.	Risco e retorno	2
	Cenário financeiro	2
Caderno 2	Dinheiro e transações	6
Bloco 2: 10, 11, 12, 13, 14, 15, 16, 17 e 18.	Planejamento e gerenciamento financeiro	6
Bloco 3: 19, 20, 21, 22, 23, 24, 25, 26 e 27.	Risco e retorno	2
	Cenário financeiro	4
Caderno 3	Dinheiro e transações	7
Bloco 3: 19, 20, 21, 22, 23, 24, 25, 26 e 27.	Planejamento e gerenciamento financeiro	6
Bloco 1: 1, 2, 3, 4, 5, 6, 7, 8 e 9.	Risco e retorno	2
	Cenário financeiro	3

Fonte: elaborado pelos autores (2022).

A prova foi aplicada no primeiro semestre/2022 para os estudantes do 1º ano do Ensino Médio de seis escolas públicas da Diretoria de Ensino da Região de Araraquara. Estas escolas foram escolhidas pois estavam iniciando a participação em um projeto de extensão universitária em Educação Financeira desenvolvido pela primeira autora deste trabalho. A aplicação da prova ocorreu no horário escolar e com a ciência dos agentes educacionais envolvidos. Participaram, ao todo, 316 estudantes. A apresentação dos cadernos a estes estudantes se deu de duas maneiras: (i) com os cadernos impressos e (ii) usando o computador e acessando os cadernos através do ambiente virtual de aprendizagem Moodle. A Tabela 1 mostra como foram distribuídos os cadernos para os alunos participantes.

Tabela 1
– Distribuição dos alunos entre os cadernos de prova

Caderno	Número de alunos que acessaram a prova impressa	Número de alunos que acessaram a prova pelo Moodle	Total
1	54	55	109
2	54	54	109
3	49	50	99
Total	157	159	316

Fonte: elaborada pelos autores (2023).

Da Tabela 1 , pode-se observar que há um equilíbrio entre o número de estudantes nos diferentes cadernos. Além disso, há um equilíbrio entre o número de alunos que realizaram a prova nos diferentes modos de sua apresentação. No entanto, isso não ocorreu de forma intencional, mas sim devido a realidade das escolas onde a pesquisa ocorreu. Esta realidade envolve o espaço físico das salas informatizadas das escolas, o número de computadores e o tempo disponível para aplicação da prova. Para a realização da prova usando o computador, antes de acessar o caderno, era necessário que o aluno criasse uma conta no Moodle; assim, neste formato o tempo médio de aplicação da prova foi de 80 minutos. Já as provas usando os cadernos impressos o tempo de aplicação foi de 45 minutos. Para a análise estatística esta diferença não foi considerada nesta pesquisa.

De acordo com o Quadro 2 observamos que cada bloco de itens se apresentava em dois cadernos, ou seja, foi apresentado para ƒ_u = 2/3 do número total de alunos. Assim, cada um dos 27 itens foi acessado por, aproximadamente, 210 estudantes. A partir das respostas destes estudantes a estes itens iniciaram-se as análises usando a metodologia da TRI.

2.3 Teoria de Resposta ao Item: modelo logístico unidimensional de três parâmetros

Fundamentalmente, a Teoria de Resposta ao Item (TRI) é formada por um conjunto de diversos modelos matemáticos que procuram descrever a probabilidade de um indivíduo dar uma resposta certa a um item. Nesta pesquisa usamos o modelo logístico unidimensional de três parâmetros, ou seja, um modelo que avalia apenas uma habilidade (ou traço latente) do respondente a partir dos seguintes parâmetros: dificuldade, discriminação e probabilidade de acerto casual do item. Este modelo é dado por:

P ( U i j = 1 ∣ θ j ) = c i + ( 1 − c i ) 1 1 + e − a i ( θ j − b i )

com i = 1,2,..., I representando os itens e ј = 1,2,...,n os respondentes. Uiј é uma variável dicotômica que assume o valor 1 quando o indivíduo ј responde corretamente o item i . O parâmetro θ_ј representa a habilidade (ou proficiência ou traço latente) do indivíduo ј . P(Uij=1∣θj) é a probabilidade de um indivíduo ј com proficiência θ_ј responder corretamente ao item i . Os parâmetros b_i, 𝒶_i e c _i representam, respectivamente, a dificuldade, a discriminação e a probabilidade de acerto casual do item i . Eles são mostrados na Figura 2 (a) que é chamada Curva Característica do Item (CCI). A CCI é uma curva em forma de S que descreve a relação entre a probabilidade de acertar um item e a habilidade.

Figura 2
– (a) CCI com 𝒶 = 2.28, b =0.15 e c = 0.008 . (b) Curva de informação do item

Da Figura 2 (a), observamos que o parâmetro b está na mesma escala do parâmetro θ. Assim, quanto maior o valor de b mais difícil o item. O parâmetro c não depende da escala, pois é uma probabilidade e por isso assume valores entre 0 e 1. O parâmetro 𝒶 é proporcional à inclinação da reta tangente à curva no ponto de inflexão. Assim, baixos valores de 𝒶 indicam que o item tem baixo poder de discriminação (ou seja, alunos com habilidades distintas têm praticamente a mesma probabilidade de responder corretamente o item) e valores muito altos de 𝒶 indicam que a CCI é bastante íngreme. Uma curva que cresce muito abruptamente diferenciaria os alunos, em relação à probabilidade de acerto do item, em um faixa muito estreita da escala de habilidades, trazendo pouca informação fora desse intervalo, uma vez que dividiria os alunos em dois grupos: os que possuem habilidade abaixo do valor b (e têm baixa probabilidade de acerto) e os que possuem habilidade acima do valor (com alta probabilidade de acerto). Valores de 𝒶 negativos não são esperados para este modelo, pois isto indicaria que a probabilidade de responder corretamente o item diminuiria com o aumento da habilidade (ANDRADE; TAVARES; VALLE, 2000, p. 11).

Em conjunto com a CCI, a medida de informação do item, Figura 2 (b), também é bastante utilizada na interpretação dos resultados, pois permite analisar o quanto um item contém de informação ao longo da escala de habilidade. A informação fornecida pelo teste é a soma das informações fornecidas por cada item que o compõe.

Na prática, as habilidades e os parâmetros dos itens são estimados a partir das respostas de um grupo de indivíduos submetidos a estes itens. Nesta pesquisa, fizemos a estimação conjunta dos parâmetros dos itens e das habilidades usando a função de verossimilhança que é construída a partir do produto das probabilidades associadas a cada item e a cada indivíduo, supondo independência condicional e entre indivíduos, respectivamente. As estimativas para os valores dos parâmetros dos itens foram feitas através do Método da Máxima Verossimilhança Marginal (ANDRADE; TAVARES; VALLE, 2000). Para estimar as habilidades utilizamos o método bayesiano de esperança a posteriori que maximizam a função de verossimilhança multiplicada pela distribuição a priori das habilidades, suposta Normal com média 0 e variância 1 (MIGON; GAMERMAN; LOUZADA, 2014). Os valores destas estimativas foram obtidos implementando o modelo no pacote mirt do software livre R ( CHALMERS, 2012 ).

2.4 Escala de habilidade para avaliação do desempenho

Nos modelos da TRI, normalmente há uma falta de identificabilidade dos parâmetros. Isto significa que há mais de uma combinação de valores dos parâmetros que satisfazem o modelo. Usualmente, alguma restrição é imposta no valor de um (ou mais de um) parâmetro para identificar o modelo. Uma alternativa comum na literatura é a identificação da escala de habilidade (ou proficiência), que estabelece uma origem e uma unidade de medida fixando a média e o desvio padrão das proficiências dos indivíduos. Na Figura 2 (b), utilizamos a escala com média igual a 0 e desvio padrão igual a 1. Esta escala é denotada por (0,1) e é frequentemente utilizada na literatura.

Segundo Andrade, Tavares e Valle (2000), na escala (0,1), os valores de b variam (tipicamente) entre -2 e +2 e, para os valores de 𝒶 espera-se valores entre 0 e +2. Após a estimação dos parâmetros na escala (0,1), é possível efetuar uma transformação para qualquer outra escala que se desejar (ou seja, com outra média e desvio padrão) pois, independente da escala, a probabilidade de um indivíduo responder corretamente um item se mantém igual.

Para fazer uma interpretação pedagógica dos valores das proficiências estimadas, utilizamos a escala de proficiência, construída a partir dos níveis âncora (ou níveis de proficiência), que são caracterizados por um conjunto de itens denominados itens âncora. Os níveis âncora são pontos na escala selecionados pelo pesquisador para interpretação pedagógica, já os itens âncoras de um determinado nível âncora devem satisfazer alguns critérios. Existem vários critérios para posicionamento dos itens âncora, nesta pesquisa vamos discutir o critério proposto por Beaton e Allen (1992) e o proposto pelo SAEB.

Considere dois níveis âncoras consecutivos Y e Z com Y < Z. De acordo com Beaton e Allen (1992) um determinado item é âncora para um nível Z se, e somente se, satisfizer: no nível Z a proporção de indivíduos que o responde corretamente deve ser maior ou igual a 65%; no nível Y a proporção de indivíduos que o responde corretamente deve ser menor que 50% e a diferença entre as proporções de indivíduos com respostas corretas obtidas entre os dois níveis deve ser maior que 30%. O critério adotado pelo SAEB consiste em posicionar o item âncora no nível Z em que atingiu 65% de acerto, com a condição de que tenha sido respondido, corretamente ou não, por pelo menos cinquenta indivíduos.

2.5 Teste Adaptativo Computadorizado

Segundo Linden e Glas (2000) , o uso de computadores combinado com um banco de itens com parâmetros calibrados pela TRI levou à evolução do Teste Adaptativo Computadorizado (TAC). A principal característica em um TAC é o gerenciamento dos itens adaptado ao nível de proficiência (ou habilidade) que o respondente vem demonstrando, de acordo com suas respostas a itens anteriores.

Para iniciar um TAC é necessário se ter um banco de itens calibrados. A Figura 3 mostra as etapas que ocorre a partir de algoritmos computacionais para a administração do TAC. De forma iterativa, estas etapas se referem à seleção adaptativa do item e atualização das estimativas de proficiência até que algum critério de parada seja atendido e a habilidade final do indivíduo seja apresentada.

Figura 3
– Fluxograma de um Teste Adaptativo Computadorizado.

Nesta pesquisa utilizamos o pacote CatR do software R para fazer uma simulação de um teste adaptativo a partir das respostas obtidas dos 316 alunos que participaram desta pesquisa. Esta simulação possibilita identificar qual o número de itens necessários para estimação das habilidades dos indivíduos em letramento financeiro. Para a estimativa provisória da habilidade, usada para iniciar o TAC, adotamos um valor mediano para todos os alunos, ou seja, o valor 0 da escala (0,1). Com base no nível de habilidade atual, o item mais informativo é selecionado do banco de itens adotando-se o critério de seleção de Fisher. Depois de coletar a resposta dos alunos é estimada nova habilidade pelo método bayesiano de máximo a posteriori ( MISLEVY, 1986 ). Para o critério de parada é comum usar o valor para o erro padrão das estimativas das habilidades ou um número fixo de itens. Neste trabalho, optou-se por simular o TAC com o total de itens que cada aluno respondeu (ou seja, dezoito) e fazer um estudo subsequente comparando-se as estimativas em cada passo do algoritmo com a estimativa do total de itens respondidos pelo aluno.

3 Resultados e discussão

3.1 Análise dos itens com base na estimativa dos parâmetros

A Tabela 2 apresenta as estimativas dos parâmetros dos itens e os respectivos percentuais de acerto. Observa-se que 67,3% dos alunos responderam corretamente o item 23 sendo, portanto, o item com o maior percentual de acerto. Já o item 4 é o com o menor percentual de acerto. Estes itens estão no Anexo 2.

Tabela 2
– Estimativa dos parâmetros dos itens e percentual de acerto do item

Item	𝒶i	bi	ci	Acerto (%)	Item	𝒶i	bi	ci	Acerto (%)
1	0.789121	0.827001	0.00041	0,375	15	0.514119	1.763057	0.084775	0,349
2	0.193338	4.463852	0.009627	0,308	16	3.381466	1.009829	0.203719	0,339
3	3.034171	-0.39153	0.000379	0,668	17	-0.16006	-8.28227	0.00085	0,202
4	0.686668	3.152788	0.000153	0,125	18	0.539308	0.295337	0.000249	0,445
5	2.279393	0.154753	0.083038	0,524	19	12.37829	1.929339	0.265305	0,278
6	17.68363	1.128773	0.226995	0,332	20	17.05121	1.421651	0.279558	0,327
7	0.854232	2.193639	0.158483	0,298	21	0.983911	0.717784	0.000273	0,327
8	2.24554	0.072214	0.112012	0,563	22	7.697067	1.516849	0.216127	0,260
9	1.428978	-0.09172	0.000115	0,548	23	0.989005	-1.11563	0.000315	0,673
10	19.55866	1.846694	0.122932	0,142	24	1.223581	1.395013	0.113216	0,274
11	0.424913	1.305301	0.001913	0,367	25	0.903007	0.930332	0.038555	0,317
12	1.885305	1.406343	0.235827	0,349	26	2.196134	-0.21368	0,0000487	0,500
13	22.72482	1.167394	0.370261	0,436	27	1.689135	0.314776	0.000201	0,361
14	2.485973	1.967249	0.332842	0,358

Fonte: elaboração própria (2022).

Observam-se algumas evidências de itens inadequados para a avaliação: o item 2, pois o parâmetro de dificuldade é muito alto; os itens 6, 10, 13, 19, 20 e 22, pois o parâmetro da discriminação é muito alto e o item 17 pois o parâmetro de discriminação é negativo.

Quanto à discriminação do item, observa-se que os itens 11, 15, 18 e 4 são os de menor poder discriminatório. Já os itens 26, 5, 8, 14, 3 e 16, respectivamente, são os de maior discriminação. Quanto à dificuldade do item, quanto menor o valor, menor a dificuldade do item. Portanto, 23, 3, 26 e 9, respectivamente, são os itens mais fáceis. Já os itens 7 e 4 são os mais difíceis.

A Figura 4 (a) apresenta a CCI, na qual é possível verificar a discriminação e a dificuldade de cada item que compõe o instrumento. Na Figura 4 (b) vemos a curva de informação total, obtida pela soma das funções de informação de cada item. Nesta curva é possível observar que os itens que possuem maior informação estão localizados no interior do intervalo em que a proficiência assume valores entre 1 e 2. Assim, o teste apresenta mais informação para alunos com proficiência neste intervalo.

Figura 4
(a) Curva característica dos itens do construto. (b) Curva de informação total

No entanto, a próxima seção deste artigo mostra que um percentual muito baixo de estudantes desta pesquisa tem proficiência no intervalo entre 1 e 2. Isto indica que os itens deste instrumento são difíceis para os indivíduos que participaram da pesquisa. Esta percepção corrobora com os baixos resultados apresentados pelos estudantes brasileiros nas avaliações de letramento financeiro do PISA, OECD (2020) .

3.2 Escala de proficiência e interpretação pedagógica

Para o posicionamento dos itens de acordo com as metodologias para interpretação da escala aqui proposta, utilizamos um intervalo de -0,5 a 3, definindo os níveis âncora de 0,5 em 0,5 e estimando as respectivas probabilidades de acerto. A Tabela 3 sintetiza o posicionamento dos itens de acordo com as diferentes metodologias. Observe que pela metodologia de Beaton e Allen (1992) as condições para o posicionamento só foram satisfeitas para quinze dos 27 itens. Na metodologia do SAEB foram posicionados 24 itens (os itens não posicionados foram 2, 4 e 17); assim, esta foi a escala utilizada nesta pesquisa.

Tabela 3
– Níveis e itens âncora

Metodologia Beaton e Allen (1992)
Nível âncora		-0,5	0	0,5	1	1,5	2	2,5	3
Itens âncora			3	3-5-8-9-26	5-27	6-13-16-20	6-10-12-13-19-20-22	10-14-19	-
Metodologia do SAEB
Nível âncora		-0,5	0	0,5	1	1,5	2	2,5	3
Itens âncora		23	3	5-8-9-26	27	6-12-13-16- 18-20-21	1-10-14-19- 22-24-25	-	7-11-15

Fonte: elaborada pelos autores (2022).

A partir dos itens âncora podemos interpretar a escala desta pesquisa. No Quadro 3 , especifica-se um nível, o intervalo de proficiência neste nível e a sintetização da interpretação pedagógica da escala de acordo com a matriz de referência.

Quadro 3
– Interpretação pedagógica dos níveis de proficiência

Nível e Faixa de Proficiência	Interpretação: O que os estudantes conseguem fazer?
Nível 1 [-0,5 a 0,5[	Monitorar suas despesas em gastos diários e reconhecem quais gastos tem prioridades. Reconhecer a finalidade de documentos financeiros do dia a dia, como uma fatura.
Nível 2 [0,5 a 1]	Compreender implicações de contratos financeiros comumente usados em situações relevantes para eles. Ter ciência dos riscos financeiros e implicações de compartilhar dados financeiros pessoais. Distinguir em um planejamento, custos e despesas fixas e variáveis.
Nível 3 ]1 a 1,5]	Identificar informações financeiras através da interpretação de textos financeiros como extratos bancários e holerites. Identificar transações em extratos bancários e fazer cálculos com operações básicas como soma, subtração e produto. Interpretar gráficos de linhas. Analisar riscos potenciais em conduzir transações financeiras online. Compreender as consequências de pagamentos mensais de juros em empréstimos com durações diferentes sem realizar cálculos.
Nível 4 ]1.5 a 2,5]	Escolher operações numéricas necessárias para resolver problemas rotineiros em contextos relativamente comuns. Comparar diferentes informações para encontrar o melhor produto para suas necessidades. Reconhecer que certos produtos financeiros (incluindo seguros) e processos (como poupar) podem ser utilizados para administrar e compensar vários riscos.
Nível 5 ]2,5 a 3,0]	Aplicar seu conhecimento de conceito e termos em contextos menos comuns, como monitoramento de contas bancárias e juros compostos em empréstimos.

Fonte: elaborado pelos autores (2022).

Da Tabela 4 observa-se que 38,3% dos alunos têm proficiência no nível 1, ou seja, em torno do 0 que é a média nesta escala. Visualiza-se, ainda, que o percentual de estudantes com proficiência abaixo da média é maior que o percentual de estudantes acima da média.

Tabela 4
– Percentual de alunos em cada intervalo de proficiência

Nível	Faixa de proficiência	Percentual de alunos	Número de itens âncora no intervalo
0	Menor que -0.5	31.3	0
1	[-0.5, 0.5[	38.3	2
2	[0.5, 1.0]	17.4	5
3	]1.0, 1.5]	7.9	7
4	]1.5, 2.5]	5.1	7
5	Maior que 2.5	-	3

Fonte: elaborada pelos autores (2022).

Com a interpretação pedagógica da escala descrita no Quadro 3 é possível identificar as habilidades que devem ser desenvolvidas nos estudantes em relação ao letramento financeiro para que eles avancem no nível de proficiência.

3.3 Resultados da simulação do Teste Adaptativo Computadorizado

A simulação do TAC feita com as respostas dos indivíduos desta pesquisa mostra que a correlação entre a estimativa da habilidade (ou proficiência) do teste completo e a estimada após cada passo do TAC (ou seja, após um determinado número de itens respondidos) se aproxima rapidamente de 1. Na Figura 5 , o primeiro ponto do gráfico é o valor inicial da estimativa da habilidade, necessário para iniciar o fluxograma do TAC. Como a escolha deste nível foi 0 para todos os alunos, é de se esperar que sua correlação com a habilidade estimada no teste completo seja próxima de zero. A partir do segundo ponto do gráfico a habilidade é calculada mediante o padrão de resposta dos indivíduos à seleção adaptativa dos itens. Da Figura 5 , observamos que o tamanho do teste para que a correlação fique próxima de 1 é de, aproximadamente, 13 itens. Se a precisão requerida não for tão estrita, pode-se até optar por menos itens, por exemplo 8, posicionado logo no início da estabilização do valor do coeficiente de correlação do gráfico da Figura 5 . Assim, uma vantagem do TAC é que ele é capaz de oferecer estimativas tão precisas do nível de habilidade obtida quanto no teste completo, com menos itens, reduzindo o tempo e o esforço destes participantes.

Figura 5
– Correlação entre habilidade no teste completo e o número de itens

Da Tabela 5 observa-se o número de vezes que cada item foi selecionado de forma adaptativa (e apresentado aos indivíduos) nas treze primeiras interações do algoritmo. O item 5 foi selecionado a todos os alunos. Os itens 2, 7, 10, 14, 17, 19, 20 e 22, que não estão na Tabela 5 , não foram selecionados a nenhum dos alunos durante as treze primeiras rodadas. Destes itens, o 2, 10, 17, 19, 20 e 22 são itens que, de acordo com a Tabela 2 , tem estimativas fora dos valores desejados, indicando que são inadequados para uma prova.

Tabela 5
– Seleção adaptativa do item em cada rodada e nível que o item pertence

Item selecionado pelo TAC	Número de vezes que foi selecionado	Item selecionado pelo TAC	Número de vezes que foi selecionado	Item selecionado pelo TAC	Número de vezes que foi selecionado
5	316	1	266	12	82
8	310	25	266	15	58
27	302	23	252	6	46
3	299	24	208	13	31
26	288	18	187	4	18
9	269	16	164
21	268	11	134

Fonte: elaborada pelos autores (2022).

4 Considerações finais

O presente artigo buscou discutir o processo de avaliação do desempenho em letramento financeiro dos estudantes da Educação Básica com o uso da TRI explorando ao máximo as suas vantagens.

Os resultados foram obtidos a partir da aplicação de uma prova, composta por itens liberados pelo PISA, para 316 estudantes do 1º ano do Ensino Médio de 6 escolas públicas da Diretoria de Ensino da Região de Araraquara. Alguns estudantes realizaram a prova usando lápis e papel através de cadernos impressos e outros, realizaram a prova pelo computador através do Moodle. No entanto, a análise estatística não considerou esta diferença. Assim, esta é uma limitação deste trabalho que indica possível aprimoramentos para futuras pesquisas. Os resultados da pesquisa trazem três evidências.

A primeira reforça a assertiva de que os jovens da Educação Básica carecem do ensino de Educação Financeira nas escolas, pois os itens aplicados mostraram-se difíceis para os estudantes que participaram da pesquisa, corroborando com os resultados apresentados pelos estudantes brasileiros nas avaliações do PISA. A segunda mostra que a TRI e o TAC representam um avanço no caminho das inovações dos processos avaliativos, pois são promissoras para discutir a quantidade e o nível de dificuldade dos itens que compõem uma prova para avaliação do letramento financeiro. Finalmente, a interpretação pedagógica da escala de proficiência aponta as diferentes habilidades financeiras que o estudante pode alcançar. Estes apontamentos podem contribuir para as decisões pedagógicas do professor de Matemática no processo de alinhar o ensino dos conteúdos matemáticos previstos no currículo com discussões no âmbito da Educação Financeira, como sugere a BNCC. Estas discussões, acredita-se, devem ser conduzidas no sentido da Educação Financeira Escolar crítica e reflexiva ( VIEIRA; PESSOA, 2020 ; SILVA; POWELL, 2013 ). Desta forma, é oportuno sublimar a necessidade de políticas públicas voltadas para a formação continuada do professor Matemática, dando oportunidade para ele compreender e superar os desafios que se interpõem no processo de discutir as temáticas da Educação Financeira em suas aulas.

Referências

• ANDRADE, D. F.; TAVARES, H. R.; VALLE, R. C. Teoria de resposta ao item: conceitos e aplicações. São Paulo: ABE, 2000.
• BEATON, A. E.; ALLEN, N. L. Interpreting scales through scale anchoring. Journal of Educational Statistics , Los Angeles, v. 17, n. 2, p. 191-204, 1992.
• BEKMAN, R. M. Aplicação dos blocos incompletos balanceados na Teoria de Resposta ao Item. Estudos em avaliação educacional , n. 24, p. 119-136, 2001.
• BRASIL. Decreto n o 7.397, de 22 de dezembro de 2010. Brasília: Casa Civil, 2010. Disponível em: Disponível em: www.planalto.gov.br/ccivil_03/_Ato2007-2010/2010/Decreto/D7397.htm Acesso em: 10 out. 2023.
  » www.planalto.gov.br/ccivil_03/_Ato2007-2010/2010/Decreto/D7397.htm
• BRASIL. Ministério da Educação. Base Nacional Comum Curricular: Educação é a base. Brasília: MEC, 2018. Disponível em: http://basenacionalcomum.mec.gov.br/ Acesso em: 10 out. 2023.
  » http://basenacionalcomum.mec.gov.br/
• BRASIL. Decreto n o 10.393, de 9 de junho de 2020. Brasília: Casa Civil, 2020. Disponível em: www.planalto.gov.br/ccivil_03/_ato2019-2022/2020/decreto/d10393.htm Acesso em: 10 out. 2023.
  » www.planalto.gov.br/ccivil_03/_ato2019-2022/2020/decreto/d10393.htm
• CHALMERS, R. mirt: A multidimensional item response theory package for the R environment. Journal of Statistical Software, [S.L.], v. 48, n.6, p. 1-29, 2012.
• COMITÊ NACIONAL DE EDUCAÇÃO FINANCEIRA. Educação financeira nas escolas: ensino médio. Livro do professor. Brasília: CONEF, 2013.
• CÚRI, M.; SILVA, V. Academic English proficiency assessment using a computerized adaptive test. Tema , v. 20, n. 2, p. 381-401, 2019.
• DEY, A. Incomplete block designs. Hackensack, NJ: World Scientific, 2010.
• ESTRATÉGIA NACIONAL DE EDUCAÇÃO FINANCEIRA - ENEF. Plano Diretor. Brasília: Portal ENEF, 2010a. Disponível em: < https://www.vidaedinheiro.gov.br/wp-content/uploads/2017/08/Plano-Diretor-ENEF-Estrategia-Nacional-de-Educacao-Financeira.pdf>. Acesso em 10 out. 2023.
  » https://www.vidaedinheiro.gov.br/wp-content/uploads/2017/08/Plano-Diretor-ENEF-Estrategia-Nacional-de-Educacao-Financeira.pdf>
• ESTRATÉGIA NACIONAL DE EDUCAÇÃO FINANCEIRA - ENEF. Orientações para Educação Financeira nas Escolas . Brasília: Portal ENEF, 2010b. Disponível em: https://www.vidaedinheiro.gov.br/wp-content/uploads/2017/08/Plano-Diretor-ENEF-anexos-ATUALIZADO_compressed.pdf Acesso em: 10 out. 2023.
  » https://www.vidaedinheiro.gov.br/wp-content/uploads/2017/08/Plano-Diretor-ENEF-anexos-ATUALIZADO_compressed.pdf
• HARTMANN, A. L. B.; MARIANI, R.C. P.; MALTEMPI, M. V. Educação Financeira no Ensino Médio: uma análise de atividades didáticas relacionadas a séries periódicas uniformes sob o ponto de vista da Educação Matemática Crítica. Bolema , Rio Claro, v. 35, n. 70, p. 567-587, ago. 2021. Disponível em https://doi.org/10.1590/1980-4415v35n70a02 Acesso em: 30 ago. 2023.
  » https://doi.org/10.1590/1980-4415v35n70a02
• INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA - INEP. Letramento financeiro do PISA e seus guias de codificação . Brasília: INEP, 2015. Disponível em: download.inep.gov.br/acoes_internacionais/pisa/itens/2015/letramento_financeiro_portugues_pisa.pdf Acesso em 10 julho 2022.
  » download.inep.gov.br/acoes_internacionais/pisa/itens/2015/letramento_financeiro_portugues_pisa.pdf
• INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA - INEP. PISA 2021: matriz de referência de análise e de avaliação de letramento financeiro. Brasília: INEP, 2020. Disponível em: < https://download.inep.gov.br/publicacoes/institucionais/avaliacoes_e_exames_da_educacao_superior/matriz_de_referencia_de_analise_e_de_avaliacao_de_letramento_financeiro_pisa_2021.pdf>. Acesso em: 10 out. 2023.
  » https://download.inep.gov.br/publicacoes/institucionais/avaliacoes_e_exames_da_educacao_superior/matriz_de_referencia_de_analise_e_de_avaliacao_de_letramento_financeiro_pisa_2021.pdf
• KEMPSON, E. Framework for the Development of Financial Literacy Baseline Surveys: A First International Comparative Analysis. OECD Working Papers on Finance, Insurance and Private Pensions , No. 1. OECD Publishing, 2009. Disponível em: https://doi.org/10.1787/20797117 Acesso em: 10 out 2023.
  » https://doi.org/10.1787/20797117
• KNOLL, M. A. Z.; HOUTS, C. R. The Financial Knowledge Scale: An Alication of Item Response Theory to the Assessment of Financial Literacy. Journal of Consumer Affairs, Toronto, v. 46, n. 3, p. 381-410, 2012.
• LINDEN, W. J.; GLAS, C. A.W. (eds.). Computerized adaptive testing: Theory and practice. eBook ISBN 978-0-306-47531-3: Springer Science & Business Media, 2000.
• LUSARDI, A.; MITCHELL, O. S. Financial literacy and planning: Implications for retirement wellbeing. Cambridge: National Bureau of Economic Research, 2011.
• MISLEVY, R. J. Bayes modal estimation in item response models. Psychometrika , v. 51, n. 2, p. 177-195, 1986.
• MIGON, H. S.; GAMERMAN, D.; LOUZADA, F. Statistical inference: an integrated approach. New York: CRC press, 2014.
• NASCIMENTO, J. C. H. B. et al. Alfabetização financeira: um estudo por meio da aplicação da teoria de resposta ao item. Administração: Ensino e Pesquisa , Rio de Janeiro, v. 17, n. 1, p. 147-175, 2016.
• ORGANIZATION FOR ECONOMIC COOPERATION AND DEVELOPMENT - OECD. High-Level Principles on National Strategies for Financial Education. Paris: OECD Publishing, 2012.
• ORGANIZATION FOR ECONOMIC COOPERATION AND DEVELOPMENT - OECD. Financial literacy and inclusion: Results of OECD-INFE survey across countries and by gender. Paris: OECD Publishing, 2013.
• ORGANIZATION FOR ECONOMIC COOPERATION AND DEVELOPMENT - OECD. PISA 2018 released financial literacy items. Paris: OECD Publishing, 2018. Disponível em: https://www.oecd.org/pisa/test/ Acesso em: 20 jul. 2021.
  » https://www.oecd.org/pisa/test/
• ORGANIZATION FOR ECONOMIC COOPERATION AND DEVELOPMENT - OECD. PISA 2018 Results: Are Students Smart about Money? Paris: OECD Publishing, 2020. (Vol. IV)
• SAITO, A. T; SAVÓIA, J. R. F.; PETRONI, L. M. A educação financeira no Brasil sob a ótica da Organização de Cooperação e de Desenvolvimento Econômico (OCDE). o Brasil sob a ótica da Organização de Cooperação e Desenvolvimento Econômico (OCDE). In: SEMINÁRIOS EM ADMINISTRAÇÃO, 9., 2006, São Paulo, SP, 2006, p.1-15.
• SANTOS, R. G. ECCOs 4/10: do papel ao teste adaptativo computadorizado. 2015. 224 f. Tese (Doutorado em Psicologia) - Programa de Pós-Graduação em Psicologia Cognitiva - Universidade Federal de Pernambuco, Recife, 2015.
• SILVA, A. M. da; POWELL, A. B. Um programa de educação financeira para a matemática escolar da educação básica. In: 11 º ENCONTRO NACIONAL DE EDUCAÇÃO MATEMÁTICA, 2013, Curitiba: SBEM., 2013, p. 1-17.
• TRAVITZKI, R. et al. Teste adaptativo informatizado da Provinha Brasil Leitura: resultados e perspectivas. Estudos em Avaliação Educacional , São Paulo, v. 31, n. 78, p. 525-553, 2020.
• VIEIRA, G.; PESSOA, C. Educação financeira pelo mundo: como se organizam as estratégias nacionais? Educação Matemática Pesquisa , São Paulo, v. 22, n. 2, p. 658-688, 2020.
• VIEIRA, K. M; MOREIRA, F. J; POTRICH, A. C. G. Indicador de educação financeira: proposição de um instrumento a partir da teoria da resposta ao item. Educação & Sociedade , Campinas, v. 40, n. 146, p. 1-33, abr. 2019.

• 1
  Substituído pelo Decreto nº 10.393, de 9 de junho de 2020, o qual instituiu a nova ENEF e o Fórum Brasileiro de Educação Financeira (Brasil, 2020).
• 2
  Definido como “combinação de consciência financeira, conhecimento, habilidades, atitudes e comportamentos necessários para tomar decisões financeiras sólidas e, finalmente, alcançar o bem-estar financeiro individual” (OCDE, 2012, p. 2).

Disponibilidade de dados

https://minio.scielo.br/documentstore/1980-4415/HVFTWGSfMn5zjJMcR7qz8bj/4f72dd53e56d3ab73d6befed225b8b559847eed3.pdf

Datas de Publicação

• Publicação nesta coleção
  11 Dez 2023
• Data do Fascículo
  Oct-Dec 2023

Histórico

• Recebido
  14 Set 2022
• Aceito
  31 Mar 2023