Bateria para avaliação das altas habilidades/superdotação: análise dos itens via Teoria de Resposta ao Item

Battery for assessment of high abilities/giftedness: Analysis conducted using Item Response Theory

Resumos

O presente estudo teve como objetivo realizar a análise dos itens de uma bateria para avaliação das altas habilidades/ superdotação. A amostra foi composta por 987 crianças e adolescentes, sendo 523 mulheres, com idades entre 8 e 17 anos (Média = 11,5 e Desvio-Padrão = 1,89). A bateria para avaliação das altas habilidades/superdotação, composta por quatro subtestes de inteligência (Raciocínio Verbal, Abstrato, Numérico e Lógico) e dois subtestes de criatividade (Teste Completando Figura e Teste de Criação de Metáforas) foi utilizada. Os resultados da análise dos índices de ajuste apontaram para o fato de que três itens da prova de raciocínio verbal (RV4, RV8 e RV10), duas características criativas figurais (Fantasia e Originalidade) e um juiz do subteste de criatividade verbal apresentaram infit acima do valor desejado, de modo que atenção deve ser dada a tais itens. A segunda análise, do mapa de itens, permitiu identificar aquelas características que melhor diferenciam os sujeitos com indicativos de altas habilidades/superdotação, nos três construtos avaliados pela bateria.

Aptidão cognitiva; Avaliação psicológica; Teoria de Resposta ao Item; Validade do teste

This study aimed to perform item analysis of a battery for assessment of high abilities/giftedness. The sample was composed of 987 elementary and high school students aged 8-17 years old (Mean = 11.5, Standard Deviation = 1.9), among which 523 were female. A battery for the assessment of high abilities/giftedness consisting of four subtests of intelligence (Verbal, Abstract, Numerical, and Logical Reasoning) and two subtests of creativity (Figure Completing Test and Metaphor Creation Test) was used. The results of the analysis of fit indices pointed to the fact that three items of verbal reasoning (RV4, RV8, and RV10), two figural creative characteristics (Fantasy and Originality) and a judge of the subtest of verbal creativity had infit higher than the expected value; therefore, these items deserve special attention. The second analysis, the item map analysis, allowed for the identification of the features that best differentiate the subjects indicative of high ability/giftedness in three constructs assessed by the battery.

Cognitive ability; Psychological assessment; Item Response Theory; Test validity

No Brasil, o Ministério da Educação e Cultura (MEC) considera que os alunos com altas habilidades/superdotação são definidos como aqueles que apresentam um alto potencial, combinado ou isolado, nas áreas intelectual, acadêmica, de liderança e psicomotricidade, além de manifestar uma elevada criatividade, um alto envolvimento com a aprendizagem e também com a realização de tarefas de seu interesse (Brasil, 2010), definição utilizada no presente estudo. Tal entendimento vai ao encontro das definições mais aceitas internacionalmente (Li et al., 2009; Robinson & Clinkenbeard, 2008).

Dada essa complexidade, a avaliação das altas habilidades tem-se imposto como um desafio para os pesquisadores, visto que a mesma precisa, necessariamente, considerar o aspecto multidimensional (Jarosewich, Pfeiffer, & Morris, 2002). Para que essa avaliação abarque todas essas características a literatura tem recomendado a realização de um processo que considere informações provenientes de distintas medidas psicométricas (testes) além da incorporação de uma variedade de recursos, que incluem observações gerais, avaliação de portfólios e de trabalhos produzidos, além da nomeação feita por professores, pais e pares, cujas informações podem auxiliar na decisão acerca da presença de critérios indicativos de superdotação (Davis, Rimm, & Siegle, 2011;Gridley & Treloar, 1984; Milligan, 2010; Pfeiffer & Blei, 2008).

Nesse sentido a literatura vem indicando a importância de um processo que considere a avaliação de aspectos como pensamento divergente, nível intelectual, autoconceito, aptidões e criatividade, os quais podem ser complementados por meio do uso de questionários de interesses, escalas de ajustamento social e emocional, assim como entrevistas e instrumentos para avaliação da personalidade (Mettrau & Reis, 2007). Entretanto faz-se presente, no Brasil, uma lacuna em relação à existência de instrumentos adequados e específicos para essa população (Kerr & Sodano, 2003), de maneira que o país encontra-se defasado em relação à temática, dada a inexistência de instrumental aprovado pelo Conselho Federal de Psicologia (2003) para avaliação do fenômeno, diferentemente do que se faz notar no contexto internacional.

Como conseqüência, a dificuldade da identificação acaba por esbarrar, muitas vezes, na ausência de medidas adequadas de avaliação das altas habilidades/superdotação (Bracken & Brown, 2006), na dificuldade no estabelecimento de critérios, ausência de medidas específicas, assim como de expectativas erroneamente criadas (tanto baixa quanto alta), de se encontrar falsos diagnósticos negativos e falsos positivos. Assim, muitas vezes, infelizmente, após todo o processo avaliativo, os resultados mostram-se inconclusivos, apontando a necessidade de que alterações sejam feitas, tanto nas interpretações, mas também nos próprios instrumentos (Kerr & Sodano, 2003). Nesse sentido, vale ressaltar que, embora diversas leis federais venham propondo, há vários anos, a importância do oferecimento de ações de intervenção voltadas ao atendimento de crianças com altas habilidades, a dificuldade em determinar quem seriam essas crianças e, principalmente de criar formas para avaliá-las apropriadamente, tem impedido que muitas delas tenham acesso a programas de estimulação e desenvolvimento. Por conta disso, esse deve ser um dos desafios atuais da Psicologia.

Diante dessa lacuna, o processo de construção de uma bateria para avaliação das altas habilidades/superdotação foi iniciado (Nakano & Primi, 2012). A primeira parte é respondida pelo próprio examinando, e é composta por subtestes que avaliam os construtos inteligência (por meio de provas de raciocínio: verbal, numérico, lógico e abstrato) e criatividade (através de atividade figurativa e verbal). A segunda parte consiste em uma escala a ser respondida pelos professores do examinando em questão, visando à identificação de comportamentos relacionados às cinco áreas que compõem o fenômeno: capacidade intelectual geral, habilidades acadêmicas específicas, liderança, criatividade e talento artístico.

Considerando-se que a questão central na pesquisa sobre identificação desses indivíduos versa sobre a validade dos procedimentos de avaliação ou identificação (Borland, 2008) e que a bateria já foi alvo de diferentes estudos preliminares, de investigação da sua estrutura fatorial (Ribeiro, Nakano, & Primi, 2014) e de busca por evidências de validade de critério (Ribeiro, Nakano, Primi, & Virgolim, 2013), foi objetivo do estudo aqui relatado, a apresentação dos resultados gerados a partir da aplicação da Teoria de Resposta ao Item (TRI). Nesse sentido, esta pesquisa teve como objetivo trazer uma contribuição para a área da avaliação psicológica ao propor a realização de um tipo de análise mais complexa e atual na temática das altas habilidades/superdotação, por meio do emprego do modelo de teoria de resposta ao item em um instrumento que está sendo construído para avaliação desse fenômeno.

O estudo visa contribuir para a validade de construto do instrumento por meio de uma investigação minuciosa dos itens (em termos de ajuste) e do sentido das escalas formadas pelos mesmos (buscando-se quantificar os níveis de habilidade dos sujeitos e sua relação com cada característica ou item, na tentativa de identificar aquelas que seriam mais proeminentes em diferenciar sujeitos com maior potencial, indicado pelas suas notas no teste), conforme destacado por Primi (2004). Tal proposta tem sido considerada uma maneira de se estudar a validade de construto do teste, isto é, o que a escala formada pelos itens significa, de maneira a constituir-se em uma proposta de interpretação dos dados (van der Linden & Hambleton, 1996). Este procedimento é a essência do que vem sendo chamado de interpretação referenciada ao item (Embretson & Reise, 2000).

Como conseqüência, uma interpretação melhor referenciada em termos de conteúdo poderá ser conduzida posteriormente, por ocasião do desenvolvimento das normas do instrumento. Tal contribuição justifica-se, notadamente, se considerarmos que os superdotados não formam um grupo homogêneo, de maneira que os elementos que compõem o fenômeno podem combinar-se de forma variada (Jarosewich et al., 2002). Do mesmo modo, espera-se que as informações advindas do emprego da TRI possam ser utilizadas a fim de complementar as análises anteriormente realizadas, baseadas na teoria clássica dos testes.

Método

Participantes

A amostra foi composta por 987 crianças e adolescentes, sendo 523 mulheres e 464 homens, com idades entre 8 e 17 anos (Média -M = 11,5 e Desvio-Padrão -DP = 1,89). Os participantes eram estudantes do Ensino Fundamental (3^o ao 9^o ano, n = 97,1%) e Médio (1^o ao 3^o ano, n = 2,9%), provenientes de 18 diferentes escolas de três regiões do Brasil (sudeste, centro-oeste e nordeste). Todos os alunos eram provenientes de escolas públicas (municipais ou estaduais).

Instrumento

A bateria para avaliação das altas habilidades/superdotação (Nakano & Primi, 2012) é composta por quatro subtestes de inteligência (Raciocínio Verbal, Abstrato, Numérico e Lógico) e dois subtestes de criatividade (Teste Completando Figura e Teste de Criação de Metáforas). Segue abaixo o descritivo dos referidos testes:

Raciocínio Verbal (RV): doze questões, cada uma contendo frases com pares de palavras relacionadas entre si, estando um dos pares incompleto. Por analogia ao primeiro par, deverá ser escolhida, dentre cinco alternativas, a palavra que completará o segundo.

Raciocínio Abstrato (RA): doze questões, cada uma contendo conjuntos formados por dois pares de figuras, estando um deles incompleto. Por analogia ao primeiro par, deverá ser assinalada, dentre cinco opções, a figura correta para completar o segundo par.

Raciocínio Numérico (RN): doze sequências numéricas, faltando os dois últimos números de cada uma delas. Por identificação da relação aritmética existente entre os números, deverão ser descobertos aqueles que completarão a série.

Raciocínio Lógico (RL): doze questões apresentando problemas de ordem prática e cotidiana, para os quais deverá ser encontrada uma solução. O número de respostas varia a cada questão e as mesmas deverão ser escritas no caderno de respostas.

Teste Completando Figura: avalia a criatividade figural através do fornecimento de dez estímulos figurativos incompletos, os quais devem ser completados sob a forma de desenho. A avaliação de cada desenho é feita considerando-se a ocorrência de onze características/indicadores criativos: Fluência (quantidade de desenhos relevantes), Flexibilidade (diversidade de categorias), Elaboração (quantidade de detalhes que compõem o desenho), Originalidade (quantidade de ideias incomuns), Expressão de Emoção (sentimentos apresentados nos desenhos ou nos títulos), Fantasia (presença de seres imaginários, personagens de contos de fada etc.), Movimento (expressão explícita de movimento), Perspectiva Incomum (realização de desenhos sob ângulos diferentes), Perspectiva Interna (detalhes que mostrem visão interna dos desenhos), Uso de Contexto (desenho inserido num contexto) e Títulos Expressivos (títulos que refletem abstração na nomeação dos desenhos). As pontuações em tais características são posteriormente agrupadas em três fatores: (1) Elaboração - composto pelas características de Fantasia, Perspectiva Incomum, Perspectiva Interna, Uso de Contexto e Elaboração -, (2) Emocional - composto por Expressão de Emoção, Movimento e Títulos Expressivos -, e (3) Cognitivo - composto pelas medidas de Fluência, Flexibilidade e Originalidade.

Teste de Criação de Metáforas: avalia a criatividade verbal através de cinco frases incompletas as quais deverão ser preenchidas com uma palavra de maneira a formar uma metáfora. Para cada frase, poderão ser fornecidas até quatro respostas, devendo ser explicitada a relação metafórica estabelecida. Dois indicadores são considerados na correção do teste: Qualidade Metafórica, composta pela avaliação da equivalência (efetividade na associação de idéias elaboradas) e remoticidade (distância entre os campos semânticos, que tornam a metáfora mais surpreendente), cuja pontuação varia entre 1 a 3, e Flexibilidade, relacionada à utilização de diferentes categorias de resposta, cuja pontuação varia entre 1 e 4. A correção é feita por juízes que atribuem as pontuações de Qualidade e Flexibilidade a cada idéia. Os escores são calculados por meio de um modelo de TRI (Rasch-Linacre Many-Facet Measurement) que contém parâmetros para a dificuldade dos itens, a severidade dos juízes e a habilidade do sujeito (Primi, Miguel, Couto, & Muniz, 2007).

Procedimentos

Inicialmente a pesquisa teve sua execução aprovada pelo Comitê de Ética em Pesquisa (Parecer nº 407.079). Após autorização das escolas e permissão dos pais/responsáveis através da assinatura do Termo de Consentimento Livre e Esclarecido, o instrumento foi aplicado coletivamente em sala de aula somente nos estudantes que retornaram com o documento assinado. O instrumento foi aplicado em sessão com duração aproximada de 1h40min, iniciando-se com a Prova de Raciocínio Verbal, seguida pela Prova de Raciocínio Abstrato, Teste Completando Figura, Teste de Criação de Metáforas, Prova de Raciocínio Numérico e Prova de Raciocínio Lógico.

Para a correção dos subtestes de raciocínio utilizou-se o sistema de pontuação considerando o número total de acertos em cada um deles. No subteste de criatividade figural foram pontuadas a ocorrência das características em cada um dos desenhos produzidos pelos participantes, assim como a pontuação nos três fatores. Considerando-se a amplitude ilimitada de pontuação criativa, notadamente na característica de Elaboração (que variou, na amostra, entre zero e 75 pontos), diferentemente das demais, nas quais a variação oscilou entre zero a 10 pontos, os autores optaram, como forma de manter a métrica dos escores brutos consistentes com as das outras características, pela recodificação dos escores de elaboração, mantendo-se a mesma escala (0 a 10). Assim, os decis foram calculados e utilizados como pontos de corte na escala 0 a 75 (de modo que a recodificação apontou como pontos de corte as pontuações: 0, 3, 6, 9, 12, 15, 18, 23, 29 e acima de 30). Por fim, o Teste Criação de Metáforas obedeceu a um sistema de correção que contou com a participação de doze juízes, os quais receberam planilhas com todas as respostas a serem avaliadas, por meio da atribuição de uma nota (0 a 3) para o fator Qualidade e outra nota (1 a 4) para o fator Flexibilidade, as quais foram, posteriormente, analisadas via TRI.

Para as provas RA, RV, RN e RP, cujas pontuações são dicotômicas, empregou-se o modelo de Rasch para análise dos itens (Wright & Stone, 1979) e também a calibração pelo modelo logístico de três parâmetros utilizando o programa XCalibre (Guyer & Thompson, 2012). No teste de criatividade figural empregou-se o modelo Rasch-Andrich de Créditos Parciais (Nakano & Primi, 2014; Wright & Stone, 1979). No teste de metáforas houve o emprego do modelo "Many-Facet Rasch Model" (Linacre, 1994), conjuntamente com o modelo de respostas graduadas visto que, neste modelo, além dos parâmetros comuns referentes à dificuldade do item e habilidade dos sujeitos, são estimados parâmetros dos juízes (exigência-leniência). Ao final, os escores theta dos sujeitos são equalizados como se estivessem sido avaliados por um juiz "médio", isto é, são equiparáveis mesmo que haja diferenças de exigência dos juízes que corrigiram as respostas. As análises do ajuste do modelo envolveram os índices de ajusteinfit e outfit, além de terem sido criados os mapas de itens.

Destaque deve ser dado ao fato de que um dos postulados básicos da modelagem via TRI é a unidimensionalidade essencial, isto é, a suposição de que os itens estejam medindo uma dimensão principal e que dimensões secundárias tenham uma influência negligenciável (Hambleton & Swaminatham, 1985). Por esse motivo o estudo da dimensionalidade dos itens constituiu-se em passo inicial antes de se realizar o presente estudo, o qual encontra-se relatado em Ribeiro et al. (2014). Nele foi possível verificar que os itens da bateria organizam-se em três fatores (um fator de inteligência geral, envolvendo os quatro tipos de raciocínios, um fator de criatividade verbal e um terceiro fator de criatividade figural, composto pelos subfatores elaboração, emocional e cognitivo). Convém destacar que, embora o construto de inteligência seja composto na bateria original por 5 subtestes, análises anteriores apontaram para a existência de um fator geral subjacente (Primi, Silva, Santana, Muniz, & Almeida, 2013), fato que garantiu a unidimensionalidade e permitiu a realização da calibração conjunta. A mesma situação é encontrada em relação ao construto da criatividade figural. Assim a modelagem estatística foi feita para as três dimensões separadamente (inteligência, criatividade verbal e figural). Para a interpretação foram consideradas as recomendações da literatura, as quais consideram valores acima de 1,3 (especialmente no infit) como indicativos de desajuste ao modelo (Wright & Linacre, 1994).

Resultados

A primeira análise realizada teve como objetivo verificar a calibração dos itens, a fim de estimar sua adequação e ajuste ao modelo, avaliando, assim, o impacto dos itens individualmente (Bond & Fox, 2001). Tal verificação é feita por meio dos índices de ajuste, procedimento que permite detectar diferenças entre o que foi predito pelo modelo e o que foi efetivamente observado (Smith, 2004), diferenças essas chamadas de resíduos. Nesse tipo de análise as estatísticas mais utilizadas são intituladas de infit (índice que tem como função verificar discrepâncias ocorridas nos itens cujas dificuldades encontram-se próximas às habilidades do sujeito) e outfit (índice que verifica discrepâncias nos itens extremos).

Tabela 1
Valores de ajuste (infits e outfits) dos itens que compõem os subtestes de Raciocínio

• Nota: RV: Raciocínio Verbal; RA: Raciocínio Abstrato; RN: Raciocínio Numérico; RL: Raciocínio Lógico.

A análise dos resíduos dos subtestes de inteligência, disponível na Tabela 1, mostra que o infitapontou uma média de 0,99 (DP = 0,17) e o outfitde 0,99 (DP = 0,41), sendo possível interpretar que os padrões de resposta assemelham-se, de uma forma geral, ao padrão esperado. De maneira mais detalhada, pode-se observar que os valores de infitsituaram-se entre 0,81 e 1,56 e os de outfit entre 0,61 e 2,09, o que indica que nem todos os itens apresentaram valor inferior a 1,30, o que é normalmente considerado um bom ajuste.

Importante destacar que dos 48 itens que compõem a avaliação da inteligência, três deles (6,25%) apresentaram valores de infit mais elevados do que o esperado (RV5, RV9 e RV11), todos no subteste de raciocínio verbal. Em relação aooutfit nove itens apresentaram valor acima do esperado (sendo cinco do subteste RV e quatro do subteste RA). Desse modo, pode-se afirmar que os resíduos mais próximos (infit) encontram-se, em sua maior parte, adequados, tendo sido encontrados, entretanto, padrões de respostas em nível maior do que o esperado, notadamente em relação ao outfit. Desse modo, tais resultados implicam em maior cuidado na interpretação da escala gerada pelos três itens de raciocínio verbal que apresentaram infit, visto que, dados esses desajustes, será possível encontrar pontuações em desacordo com o que sugere o mapa de itens apresentado posteriormente.

As correlações item-theta (PTMEAS CORR) foram em geral acima de 0,30 (somente em quatro casos foram abaixo desse valor: RV05, RV09, RV11 e RL12). Os subtestes RL e RN apresentaram as correlações mais altas por não envolverem respostas de múltipla escolha. A precisão geral de Rasch foi de 0,91, valor bastante alto considerando que essa é uma estimativa mais baixa quando comparada ao Alfa de Cronbach.

O mesmo tipo de análise foi repetido em relação às características avaliadas no subteste de criatividade figural. Em geral, houve um bom ajuste, tendo sido notados somente dois itens com outfit acima de 1,30: Títulos Expressivos (Tit2) e Uso de Contexto (CONTEX). As correlações item-theta foram altas, apresentando-se abaixo de 0,30 em somente quatro características ligadas ao subfator expressão de emoção (Expressão de Emoção e Movimento) e ao fator elaboração (características de Fantasia e Perspectiva Interna), sendo o primeiro deles menos correlacionado com o fator geral. A precisão de Rasch geral foi de 0,86, resultado bastante elevado (Tabela 2).

A terceira análise, a do subteste de Criatividade Verbal composto pela avaliação da Qualidade Metafórica, mostrou bom ajuste. Nenhum item atingiu valores de desajuste acima de 1,30. Quanto à análise dos juízes, cujos índices podem ser entendidos como a medida em que um determinado juiz pontua coerentemente com os outros e consigo mesmo, houve somente um juiz com valores de infit eoutfit maior que 1,30 (J8, infit = 1,63 eoutfit = 1,58). As correlações item-thetaforam todas maiores do que 0,59, o que indica um resultado bastante satisfatório. No caso dos juízes, a correlação juiz-theta indica o índice de consistência entre avaliadores, cujos valores, ajustados pelas diferenças de exigências entre os juízes, foi de 0,72, valor considerado bom (Tabela 3).

Tabela 2
Valores de ajuste (infits e outfits) dos itens que compõem os fatores do subteste de Criatividade Figural

• Nota: FLU: Fluência; FLEX: Flexibilidade; ELAB2: Elaboração; ORIG: Originalidade; EMO: Expressão de Emoção; FANT: Fantasia; MOV: Movimento; PRS_INC:
• Perspectiva Incomum; PRS_INT: Perspectiva Interna; CONTEX: Uso de Contexto; TIT2: Títulos Expressivos.

Ainda que haja um conjunto de itens com desajuste, o que se pode verificar é que um maior número de índices de desajuste ocorreu no outfit e não noinfit, resultado que, caso fosse invertido, aconselharia a remoção dos itens (Linacre, 2009). Nesse caso, atenção deve ser dada aos três itens do subteste de raciocínio verbal, às características de Títulos Expressivos e Uso de Contexto, bem como a remoção do juiz que apresentou desajuste no subteste de criatividade verbal.

Um segundo tipo de análise envolveu a criação do mapa de itens/construto, com o objetivo de calcular a quantidade média de habilidade (theta) necessária ao sujeito para pontuar em cada item (Wright & Linacre, 1994). Sua aplicação permite a interpretação das pontuações dos sujeitos considerando-se os diferentes níveis da escala, ou seja, osthetas. Essa é a essência do que vem sendo chamada interpretação referenciada ao item.

O mapa de itens deve ser interpretado da seguinte maneira: a linha vertical tracejada no meio da figura indica os diferentes níveis de habilidade dos sujeitos. Nela pode ser identificado o ponto médio (M), um desvio-padrão (S) para cima ou para baixo da média e dois desvios-padrão (T), também para cima ou para baixo da média. Na direção de cada nível de habilidade encontram-se dispostos os itens, de modo a indicar que, por exemplo, indivíduos com habilidade média tenderiam a acertar os itens RL5, RN4, RN5 e RV8 (localizados na direção do ponto médio, M), assim como todos os itens dispostos na parte inferior da figura. Por outro lado, tenderiam a errar todos os que se localizam acima do ponto considerado. A quantidade de símbolos "#" indica a concentração de sujeitos naquela faixa de habilidade.

Tabela 3
Valores de ajuste (infits e outfits) dos itens e juízes que compõem as facetas analisadas no teste de Metáforas

Desse modo, tomando-se os resultados da análise dos itens de raciocínio da Bateria em questão, a Figura 1 indica que a maior parte dos itens de cada subteste são pontuados por indivíduos com habilidade média (theta próximo de zero). Os itens mais difíceis, ou seja, aqueles que são pontuados somente pelos indivíduos com habilidade acima de um desvio-padrão, são os RL9, RA12, RV11, RV12, RN10, RV10, RL10, RL11, RN12 e RL12, de modo que os mesmos mostram-se eficazes em apontar sujeitos com maior nível de habilidade (ou seja, aqueles que apresentam theta acima de 1). Notadamente, os itens RL11, RN11, RN12 e RL12 seriam os mais promissores em diferenciar sujeitos com alta habilidade/superdotação, visto que tendem a ser respondidos corretamente somente pelos participantes que apresentam nível de habilidade superior a dois desvios-padrão da média (theta acima de 2).

O mesmo tipo de análise em relação ao subteste de criatividade figural mostra, de um modo geral, nível de habilidade muito baixo apresentado pela maior parte da amostra, considerando-se que, usualmente, a média dos limiares de pontuação encontra-se centrada no valor zero de theta. No caso, a média de habilidade criativa dos sujeitos que compuseram a amostra encontra-se bem abaixo (próximo ao theta -1). É importante destacar que essa situação é bastante comum em testes de criatividade, visto que os itens/respostas consideradas criativas representam expressões mais raras, de modo a gerar distribuições assimétricas (Silvia, Wigert, Reiter-Palmon, & Kaufman, 2012).

Nota-se, a partir da Figura 2, que as características de Fluência, Flexibilidade, Originalidade e Elaboração, notadamente todas características cognitivas da criatividade, são mais fáceis de serem pontuadas pelos participantes, visto que um indivíduo com theta próximo à média consegue usualmente obter alta pontuação em Fluência (cerca de 7 pontos em 10), Flexibilidade (5 em 10) e Elaboração e Originalidade (4 em 10). O mesmo indivíduo pontua ainda em Títulos Expressivos, Perspectiva Incomum e Uso de Contexto (mas somente 1 ponto em cada característica). Sujeitos com nível de criatividade acima da média, com indicativos de altas habilidades nessa área (acima de dois desvios-padrão), tendem a obter entre 9 e 10 pontos nas características de Fluência, Flexibilidade, Originalidade, Elaboração, Títulos Expressivos e Uso de Contexto. A diferença, para o primeiro caso (indivíduo com habilidade média) estaria não só no maior número de pontos nas características citadas, mas na obtenção de pontuação nas características de Perspectiva Incomum, Fantasia, Perspectiva Interna (8 pontos em cada), Expressão de Emoção (7 pontos) e Movimento (5 pontos), as quais não são pontuadas pelo indivíduo médio.

Figura 1.
Mapa de itens para os subtestes de Raciocínio

Figura 2.
Mapa de itens para os três fatores do subteste de Criatividade Figural.

Por fim, os resultados da análise do subteste de criatividade verbal por meio da produção de metáforas indicou que há um crescimento no valor detheta associado a cada pontuação (zero ponto = -3; 1 ponto = -1,56; 2 pontos = -0,61; 3 pontos = -0,10), de modo a indicar a adequação do modelo de correção.

Discussão

O emprego da Teoria de Resposta ao Item permitiu o estabelecimento de parâmetros para a interpretação dos padrões de pontuação aos itens associados aos diferentes níveis da escala nos três construtos avaliados pela bateria. Desse modo, foi possível notar que o indivíduo com habilidade cognitiva elevada, ou seja, acima de 1DP da média (e consequente indicativo de altas habilidades/superdotação) tende a acertar itens mais difíceis dos subtestes de raciocínio, notadamente os últimos de cada prova (itens 9 a 12). O indivíduo com habilidade criativa figural elevada (1 DP acima da média) tende a apresentar respostas, no subteste de criatividade figural, nas quais se faz notar a presença da maior parte das características avaliadas pelo subteste, com destaque para Fantasia, Perspectiva Interna, Perspectiva Incomum, Uso de Contexto, Expressão de Emoção, Movimento, Flexibilidade e Originalidade. Como consequência, suas respostas mostram-se enriquecidas e mais completas. Já o sujeito com habilidade criativa verbal alta (1 DP acima da média) tende a fornecer mais respostas metafóricas, com equivalência entre os termos e remoticidade avançada, cuja qualidade pode ser classificada como 2 ou 3 pontos. Dessa forma, os dados permitiram, ainda, conhecer a hierarquia dos itens de acordo com o nível de inteligência, criatividade verbal e figural do indivíduo.

Tais resultados somam-se aos achados anteriores do instrumento em questão, de modo a permitir o avanço do conhecimento sobre a validade do mesmo. Ainda foi possível notar, de um modo geral, um desempenho bastante baixo obtido pela maior parte da amostra, havendo, como consequência, uma distância bastante grande entre o nível de habilidade apresentado pelos participantes e o nível requerido para se pontuar nas principais características criativas. Tal fato mostra-se condizente com a constatação de que, em amostras regulares, são raros os casos de pessoas identificadas com altas habilidades/superdotação, notadamente na área criativa, sendo mais comum e tradicional a identificação de destaques na área cognitiva, prática que acabou por impedir muitos talentos de ter seu potencial reconhecido (Renzulli, 2008).

Isso porque uma investigação acerca do percurso histórico percorrido em relação à definição das altas habilidades mostra que, de uma forma geral, essas sempre foram bastante marcadas por referências exclusivas à inteligência (Robinson & Clinkenbeard, 2008). Assim, os "talentosos" sempre foram considerados crianças que apresentassem um alto desempenho em testes de inteligência (Arx, Meyer, & Grob, 2008;Robinson & Harrison, 2005), considerados como único método de identificação dos estudantes (Kaufman, 1990).

Porém, estudos feitos por teóricos como Gardner (1983) e Sternberg (2005) apontaram que esse tipo de instrumento não mede capacidades para tomar decisões, habilidade fundamental para produção individual do pensamento, bem como, não avaliam as funções executivas envolvidas no foco de atenção, as estratégias utilizadas para enfrentar um problema, resolução criativa de problemas ou ainda, a forma como escolhemos comunicar nossos pensamentos. Dessa maneira os últimos aspectos poderiam ser melhor avaliados por meio de observações do comportamento e atitudes da criança ou do jovem, baterias mais completas, envolvendo avaliação de outras habilidades, avaliação por pais e professores, as quais não poderiam ser medidas pelos testes de inteligência (Gallagher, 2008). O desenvolvimento de uma bateria que contemple não só a inteligência, mas também dois tipos de criatividade, faz-se importante nesse sentido.

As contribuições provenientes dos resultados favoráveis aqui relatados, e a consequente evidência de validade encontrada, reforçam a importância da continuidade dos estudos psicométricos com o instrumental até sua disponibilização para uso profissional, de modo a sanar uma lacuna existente em relação à identificação adequada dessa população. Sua relevância justifica-se diante da constatação de que é bastante comum o enfrentamento de situações de risco no desenvolvimento sócio-emocional de crianças e jovens com altas habilidades/superdotação. Isso acontece especialmente quando não encontram ambientes educacionais que dêem conta de seu ritmo de aprendizagem, bem como quando se deparam com a dificuldade dos professores em reconhecer seus indicadores e de profissionais em realizar uma avaliação adequada (Azevedo & Mettrau, 2010; Maia-Pinto & Fleith, 2002; Sabatella, 2012). Desse modo, espera-se que avaliação e consequente identificação da superdotação, por meio de uma bateria desenvolvida especificamente com esse fim, possa constituir-se em um importante recurso para o atendimento adequado das necessidades particulares desse grupo.

Os resultados apresentados apontaram para um instrumento composto, em sua maior parte, por itens que apresentam índices de ajuste adequados, sendo, no entanto, importante destacar a necessidade de revisão de três deles, todos pertencentes ao subteste de raciocínio verbal (itens 5, 9 e 11). Considerando-se que estes apresentaram infit elevado, assim como reduzida correlação item-theta, uma análise do conteúdo englobado pelos mesmos aponta para a presença de palavras que envolvem conteúdo abstrato (tais como dúvida, antecedente, exceder) tanto na frase a ser analisada, quanto nas alternativas de resposta. Novas análises deverão ser efetuadas a fim de que os dados possam embasar a manutenção ou retirada dos mesmos.

Do mesmo modo, a informação acerca das características que exigem maior nível de habilidade (aquelas que são pontuadas somente pelos sujeitos que possuem umtheta acima da média), poderá ser utilizada no sentido de refinamento do instrumento ou sua redução futura. Destaca-se ainda a importância de que outros estudos de investigação das propriedades psicométricas da bateria em questão sejam conduzidos, notadamente investigando a precisão do instrumental, amparados, principalmente, na constatação de que as diferenças individuais de adultos intelectualmente talentosos mostram-se parcialmente relacionadas à uma avaliação realizada durante a infância e início da adolescência (Lubinski, Schimidt, & Benbow, 1996), cujas informações, resultantes dessa identificação, têm se mostrado bastante úteis para o planejamento educacional e profissional desses indivíduos.

Agradecimentos

Ao Conselho Nacional de Desenvolvimento Científico e Tecnológico e ao Fundo de Apoio à Iniciação Científica pelo apoio recebido

Referências

• Arx, H. P., Meyer, C. S., & Grob, A. (2008). Assessing intellectual giftedness with the WISC-IV and the IDS. Journal of Psychology, 216(3), 172-179.
• Azevedo, S. M. L., & Mettrau, M. B. (2010). Altas habilidades/superdotação: mitos e dilemas docentes na indicação para o atendimento. Psicologia: Ciência e Profissão, 30(1), 32-45.
• Bond, T. G., & Fox, C. M. (2001). Applying the Rasch model: Fundamental measurement in the human sciences. New Jersey: Lawrence Erlbaum Associates.
• Borland, J. H. (2008). Identification. In J. A. Plucker & C. M. Callahan (Orgs.), Critical issues and practices in gifted education (pp.261-280). Waco,Texas: Prufrock Press.
• Bracken, B. A., & Brown, E. F. (2006). Behavioral identification and assessment of gifted and talented students. Journal of Psychological Assessment, 24(2), 112-122.
• Brasil. (2010). Secretaria de Educação Especial - MEC.Políticas públicas para alta habilidade/superdotação Recuperado em fevereiro 22, 2010, de Recuperado em fevereiro 22, 2010, de http://www. senado.gov.br/web/comissoes/CE/AP/AP2008062 6_superdotados_Cl%C3%A1udiaGriboski.pdf
  » http://www. senado.gov.br/web/comissoes/CE/AP/AP2008062 6_superdotados_Cl%C3%A1udiaGriboski.pdf
• Conselho Federal de Psicologia. (2003). Resolução CFP nº 002, de 24 de março de 2003. Define e regulamenta o uso, a elaboração e comercialização de testes psicológicos e revoga a Resolução CFP nº 025/2001 Recuperado em junho 21, 2014, de Recuperado em junho 21, 2014, de http://www.pol. org.br
  » http://www.pol. org.br
• Davis, G. A., Rimm, S. B., & Siegle, D. (2011). Education of the gifted and talented. New Jersey: Pearson.
• Embretson, S. E., & Reise, S. P. (2000). Item response theory for psychologists. Hillsdale, NJ: Lawrence Erlbaum.
• Gallagher, J. J. (2008). Psychology, psychologist, and gifted students. In S. Pfeiffer (Org.), Handbook of giftedness in children: Psycho-educational theory, research and best practices (pp.1-11). New York: Springer.
• Gardner, H. (1983) Frames of mind. New York: Basic Books.
• Gridley, B. E., & Treloar, J. H. (1984). The validity of the scales for rating the behavioral characteristics of superior students for the identification of gifted students. Journal of Psychoeducational Assessment2, 65-71.
• Guyer, R., & Thompson, N. A. (2012). User's Manual for XCalibre item response theory calibration software (Version 4.1.8.). St. Paul, MN: Assessment Systems Corporation.
• Hambleton, H. K., & Swaminatham, H. (1985). Item response theory: Principles and applications Boston: Kluwer.
• Jarosewich, T., Pfeiffer, S. I., & Morris, J. (2002). Identifying gifted students using teacher rating scales: A review of existing instruments., Journal of Psychoeducational Assessment 20, 322-336.
• Kaufman, A. S. (1990). Assessing adolescent and adult intelligence. Boston: Allyn and Bacon.
• Kerr, B., & Sodano, S. (2003) Career assessment with intellectually gifted students. Journal of Career Assessment, 11, 168-186.
• Li, H., Lee, D., Pfeiffer, S. I., Kamata, A., Kumtepe, A. T., & Rosado, J. (2009) Measurement invariance of the gifted rating scales: School form across five cultural groups. School Psychology Quaterly, 4(3), 186-198.
• Linacre, J. M. (1994). Many-facet rasch measurement. Chicago: Mesa Press.
• Linacre, J. M. (2009). Winsteps(r) (Version 3.69.0) [Programa de Computador]. Beaverton, Oregon: Winsteps.com. Retrieved August 01, 2009, from Retrieved August 01, 2009, fromhttp:// www.winsteps.com
  » http:// www.winsteps.com
• Lubinski, D., Schmidt, D. B., & Benbow, C. P. (1996). A 20-year stability analysis of the study of values for intellectually gifted individuals from adolescence to adulthood. Journal of Applied Psychology, 81(4), 443-451.
• Maia-Pinto, R. R., & Fleith, D. S. (2002). Percepção de professores sobre alunos superdotados. Estudos de Psicologia(Campinas), 19(1), 78-90.
• Mettrau, M. B., & Reis, H. M. M. S. (2007). Políticas públicas: altas habilidades/superdotação e a literatura especializada no contexto da educação especial/inclusiva. Ensaio: Avaliação Políticas Públicas15(57), 489-509.
• Milligan, J. L. (2010). Assessment of giftedness:A concise and practical guide New York: YBK Publishers.
• Nakano, T. C., & Primi, R. (2012). A estrutura fatorial do teste de criatividade figural infantil. Psicologia: Teoria e Pesquisa28(3), 91-100.
• Nakano, T. C., & Primi, R. (2014). Rasch-master's partial credit model in the assessment of children's creativity in drawings. Spanish, Journal of Psychology 17(35e), 1-16.
• Pfeiffer, S., & Blei, S. (2008). Gifted identification beyond the IQ test: Rating scales and other assessment procedures. In S. Pfeiffer (Org.), Handbook of giftedness in children:Psycho-educational theory, research and best practices(pp.177-198).. New York: Springer
• Primi, R. (2004). Avanços na interpretação de escalas com a teoria de resposta ao item. Avaliação Psicológica, 3(1), 53-58.
• Primi, R., Miguel, F. K., Couto, G., & Muniz, M. (2007). Precisão de avaliadores na avaliação da criatividade por meio da produção de metáforas. Psico-USF, 12(2),197-210.
• Primi, R., Silva, M. C. R., Santana, P. R., Muniz, M., & Almeida, L. S. (2013). The use of the bi-factor model to test the uni-dimensionality of a battery of reasoning tests. Psicothema, 25, 115-122.
• Renzulli, J. S. (2008). La educación del sobredotado y el desarrollo del talento para todos. Revista de Psicologia (Lima), 26(1), 25-44.
• Ribeiro, W. J., Nakano, T. C., & Primi, R. (2014). Validade da estrutura fatorial de uma bateria de avaliação das altas habilidades/superdotação. Psico, 45(1), 100-109.
• Ribeiro, W. J., Nakano, T. C., Primi, R., & Virgolim, A. M. R. (2013). Evidências de validade de critério de uma bateria para avaliação das altas habilidades/superdotação [Resumos]. In VI Congresso Brasileiro de Avaliação PsicológicaIX Congresso Iberoamericano de de Diagnóstico y Evaluación Psicológica (p.33). Maceió, AL: Instituto Brasileiro de. Avaliação Psicológica
• Robinson, A., & Clinkenbeard, P. R. (2008). History of giftedness: Perspectives from the past presage modern scholarship. In S. Pfeiffer (Org.), Handbook of giftedness in children:Psycho-Educational theory, research and best practices (pp.13-31).. New York: Springer
• Robinson, B. R., & Harrison, P. L. (2005). WISC - III core profiles for students referred or found eligible for special education and gifted programs. School Psychology Quarterly, 20( 1), 51-65.
• Sabatella, M. L. P. (2012). Expandir horizontes para compreender alunos superdotados. In L. C. Moreira & T. Stoltz (Orgs.), Altas habilidades/superdotação, talento, dotação e educação (pp.113-128). Curitiba: Juruá Editora.
• Silvia, P. J., Wigert, B., Reiter-Palmon, R., & Kaufman, J. C. (2012). Assessing creativity with self-report scales: A review and empirical evaluation. Psychology of Aesthetics, Creativity, and the Arts, 6(1) 19-34.
• Smith, E. V. (2004). Detecting and evaluating the impact of multidimensionality using the fit statistics and principal component analysis of residuals. In E. V. Smith & R. M. Smith. Introduction to Rasch measurement: Theory, models and applications(pp.575-600). Minnesota, MN: JAM Press.
• Sternberg, R. J. (2005). The WICS model of giftdness. In R. J. Sternberg & J. E. Davidson (Orgs.), Conceptions of giftdeness (pp.243-327). New York: Cambridge University Press.
• van der Linden, W. J., & Hambleton, R. K. (1996). Handbook of modern item response theory. New York: Springer-Verlag.
• Wright, B. D., & Linacre, J. M. (1994). Reasonable meansquare fit valuesRasch Measurement Transactions, 8(3), 370. Retrieved January 31, 2009, from Retrieved January 31, 2009, from http://www. rasch.org/rmt/rmt83.htm
  » http://www. rasch.org/rmt/rmt83.htm
• Wright, B. D., & Stone, M. H. (1979). Best test designChicago: MESA Press.

Datas de Publicação

• Publicação nesta coleção
  Oct-Dec 2015

Histórico

• Recebido
  10 Fev 2015
• Aceito
  12 Jun 2015