Escalas de Sobre-Excitabilidade: Construção e Evidências de Validade Baseadas no Conteúdo e na Estrutura Interna

Overexcitability Scales: Construction, Validity Evidence Based on Content and on Internal Structure

Resumo

Este estudo teve como objetivo desenvolver uma medida de sobre-excitabilidade (SE) - tendência para reagir intensa e sensivelmente a estímulos - e obter evidências de validade baseadas no conteúdo e na estrutura interna dessa medida. Para tanto, foram necessárias duas etapas de pesquisa. Na primeira, que detalha a construção das Escalas de Sobre-Excitabilidade (ESE), foram realizadas análises por juízes (N = 9) e aplicação piloto (N = 18). Estudantes do Ensino Fundamental (N =263) participaram da segunda etapa para verificação das propriedades psicométricas do instrumento. Obteve-se um conjunto de cinco escalas que avaliam cinco padrões de SE (Psicomotor, Sensorial, Imaginativo, Intelectual e Emocional). Observou-se alta concordância entre os juízes e a aplicação piloto foi bem sucedida. Os valores de consistência interna das escalas foram considerados adequados. A maioria dos itens apresentou correlação item-total aceitável. Estruturas multidimensionais foram observadas nos padrões Psicomotor, Sensorial e Emocional nas análises fatoriais confirmatórias. Bons índices de ajustes para os modelos testados foram obtidos. Esses resultados constituem evidências de validade baseadas no conteúdo e na estrutura interna para as ESE. Portanto, a medida possui propriedades psicométricas iniciais adequadas.

Sobre-excitabilidade; superdotação; Psicometria; medidas

Abstract

This study aimed to develop a measure of overexcitability (OE) - tendency to react intensely and sensitively to stimuli - and obtain validity evidences based on the content and internal structure of this measure. For this, two phases of research were necessary. In the first phase, which details the construction of Overexcitability Scales (OS), analysis by judges (N=9) and pilot application (N=18) were performed. Elementary school students (N=263) participated in the second phase to verify the psychometric properties of the instrument. A set of five scales that assess five OE patterns (Psychomotor, Sensual, Imaginative, Intellectual and Emotional) was obtained. There was high correlation among the judges and the pilot application was successful. The internal consistency values of the scales were considered adequate. Most items showed acceptable item-total correlation. Multidimensional structures were observed in Psychomotor, Sensual, and Emotional patterns in the confirmatory factor analyzes. Good indexes of adjustment to the models tested were obtained. These results constitute validity evidence based on content and internal structure to the OS. Therefore, the measure has appropriate initial psychometric properties.

Overexcitability; giftedness; Psychometry; measure

Instrumentos específicos e que atendam a elevados critérios de qualidade psicométrica são fundamentais para que se amplie a compreensão das características de pessoas com dotação e talento (D&T) ou, como denominadas pelo Ministério da Educação (2008), com altas habilidades/superdotação. Medidas específicas também são muito importantes para identificá-las e, consequentemente, para atender suas necessidades educacionais especiais.

Não obstante a relevância desses instrumentos e o crescimento expressivo nos últimos anos da área de Avaliação Psicológica no contexto brasileiro (Noronha & Reppold, 2010; Primi, 2010), há uma carência expressiva de medidas com evidências de validade e próprias para D&T (Barbosa, Schelini, & Almeida, 2012). Além disso, ainda que alguns testes, notadamente de inteligência, contribuam substancialmente para identificar dotação intelectual, faltam, inclusive no cenário internacional, como salientado por Kaufman e Sternberg (2008), ferramentas que permitam produzir conhecimento sobre outras dotações (p. ex., sensorial e emocional).

A sobre-excitabilidade (SE) - tendência de reagir intensa e sensivelmente perante estímulos internos e/ou externos - é um conceito fundamental da Teoria da Desintegração Positiva (TDP), proposto inicialmente por Dabrowski (1972), e tem se destacado no campo de estudos sobre D&T. Além de fornecer uma boa estrutura para a compreensão dos aspectos socioemocionais de pessoas com essas características (Ogburn-Colangelo, 1989; Piechowski, 1997) e de possibilitar embasamento para o aconselhamento e a psicoterapia (Mendaglio, 2008), o conceito tem fornecido suporte teórico para o desenvolvimento de medidas de identificação (Bouchard, 2004; Chang & Kuo, 2009; Falk, Lind, Miller, Piechowski, & Silverman, 1999).

A TDP é uma proposta de desenvolvimento da personalidade que busca explicar a progressão dos seres humanos a níveis superiores de desenvolvimento, atribuindo importância fundamental às emoções (Dabrowski, 1964; Mendaglio, 2008). A SE, dentre outros conceitos-chaves da TDP, possui um papel decisivo no potencial de desenvolvimento humano, podendo ocorrer em cinco ou mais áreas, denominadas padrões de SE: Sensorial, Psicomotora, Intelectual, Imaginativa e Emocional. Dabrowski (1972, 1996) e outros autores (Daniels & Meckstroth, 2009; Falk et al., 1999; Piechowski, 1975, 1979) descrevem a SE Psicomotora como manifestações que incluem excesso de energia física, inquietações, impulsividade, prazer pela ação e movimento etc. O padrão Sensorial diz respeito a um nível elevado de experiências sensoriais, envolvendo um ou mais sentidos (visão, tato etc.). O Imaginativo está associado às realizações artísticas e à capacidade de inventar, criar, fantasiar etc. A SE Intelectual diz respeito à aceleração e intensificação das atividades mentais manifestas, por exemplo, por curiosidades, questionamentos e busca ativa por soluções de problemas. Por fim, o padrão Emocional é descrito como capacidade de vivenciar, de forma profunda e intensa, diversos sentimentos e emoções, intra ou interpessoais. Destaca-se que, do ponto de vista psicométrico, esses padrões de SE têm sido considerados estruturas unidimensionais, isto é, as SEs representam dimensões independentes (Ackerman, 2009; Falk et al., 1999).

Atualmente, diversos estudos têm analisado a associação entre SE e D&T, destacando que pessoas que apresentam a última característica tendem a apresentar elevada sensibilidade e intensidade em um ou mais padrões (Al-Onizat, 2013; Bouchard, 2004; Carman, 2011; Miller, Falk, & Huang, 2009; Piirto & Frass, 2012; Sanz, 2006; Siu, 2010; Tieso, 2007; Wirthwein & Rost, 2011). Com a finalidade de mensurar as SE, alguns instrumentos têm sido empregados, tais como o Overexcitability Questionnaire (OEQ-II; Lysy & Piechowski, 1983), a Me Scale (Chang & Kuo, 2009), o ElemenOE (Bouchard, 2004) e o Overexcitability Questionnaire Two (OEQ-II; Falk et al., 1999). A última medida, em especial, destaca-se como a mais utilizada para identificar dotação e a que mais acumula evidências de validade (Carman, 2011; Siu, 2010; Tieso, 2007; Wirthwein & Rost, 2011). Além disso, o OEQ-II possui versões traduzidas e adaptadas para quase duas dezenas de países. Há, inclusive, uma versão brasileira da medida, que tem demonstrado boa adequação psicométrica (Oliveira, 2013).

Apesar de ser muito utilizado e apresentar boas evi- dências de validade, algumas limitações do OEQ-II têm sido assinaladas, especialmente o fato de seus itens demandarem, de acordo com o manual original do instrumento (Falk et al., 1999), um nível de leitura equivalente ao 9º ano do Ensino Fundamental. Assim, grande parte de sua aplicação (Carman, 2011; Miller et al., 2009; Rinn, Mendaglio, Rudasill, & McQueen, 2010; Warne, 2011; Wirthwein & Rost, 2011) tem sido feita com adultos ou adolescentes, inclusive no contexto brasileiro (Oliveira, 2013). São poucos os estudos (Tieso, 2007) que utilizaram essa medida com crianças.

Nesse sentido, para a presente investigação, planejou-se e executou-se um estudo, composto por duas etapas, que teve como objetivo construir uma medida de SE destinada a pessoas com escolaridade igual ou superior ao quinto ano do Ensino Fundamental - Escalas de Sobre-Excitabilidade (ESE) - e obter evidências de validade baseadas no conteúdo e na estrutura interna.

1ª Etapa - Construção e Evidências de Validade Baseadas no Conteúdo

Método

Participantes

Contou-se com uma amostra intencional de nove participantes, pós-graduados em Psicologia (mestrado e/ou doutorado), que atuaram como juízes do processo de análise da adequação e da representatividade dos itens. Eles foram escolhidos intencionalmente por terem publicações relacionadas à identificação e ao desenvolvimento de estudantes com características de D&T.

Ademais, uma turma de estudantes (N = 18) do quarto ano do Ensino Fundamental de uma escola pública municipal mineira, participou da aplicação piloto da ESE. Essa amostra foi obtida por conveniência e composta por 10 (55,56%) estudantes do sexo feminino. A idade média em anos dos alunos foi de 9,94 (DP = 0,94). Optou-se por avaliar discentes que tivessem um nível de escolaridade abaixo do público alvo da pesquisa supondo que, de um modo geral, o nível de dificuldade seria maior para eles.

Instrumentos

Um formulário eletrônico de análise por juízes foi aplicado via internet. Neste instrumento, foram fornecidas as definições dos cinco tipos de SE e solicitado aos juízes que associassem cada um dos itens aos padrões que consideravam mais adequados. Também havia um espaço para avaliarem a clareza e a adequação dos itens, bem como descreverem comentários e sugestões.

Para a aplicação piloto, foi utilizada a ESE com as modificações realizadas a partir da análise por juízes. A escala, composta inicialmente por 58 itens, é precedida por um enunciado que esclarece a forma de preenchimento, além de apresentar cinco itens de exemplos. Na explicação, é solicitado ao respondente que indique o quanto cada afirmação se parece com ele(a), fazendo uso de uma escala Likert de cinco pontos, que varia entre zero - Nada a ver comigo - a quatro - Tudo a ver comigo.

Procedimento de Construção das ESE

Inicialmente, foi realizado um levantamento na literatura disponível sobre a TDP, mais especificamente SE, a fim de buscar uma definição constitutiva para cada padrão e descrever as características comportamentais mais presentes em cada um deles. Também foram analisados os principais instrumentos utilizados para medir as SEs (Oliveira & Barbosa, 2014). Em seguida, a operacionalização dos construtos foi obtida a partir das características-chave de cada padrão (Tabela 1). Com base nelas, elaboraram-se os itens.

Tabela 1
Exemplos de Características-Chave dos Padrões de SE e de Itens

Padrões	Características-chave	Itens
Psicomotor	Elevada energia física; dificuldade em controlar os movimentos; uso intenso da fala; competitividade em atividades físicas e/ou esportivas; elevado desempenho em atividades físicas e/ou em esportes; uso de movimentos como suporte para comunicação oral; satisfação em atividades que exijam movimentos.	19. Sou muito competitivo(a) em atividades físicas e/ou esportivas.
Sensorial	Capacidade para integrar diferentes sentidos; demonstração de prazer ou satisfação em experiências sensoriais; elevado desempenho ou capacidade para perceber os sentidos; forte atração por atividades que requerem o uso dos cinco sentidos.	3. Adoro sentir perfumes, cheiros.
Imaginativo	Elevada criatividade; capacidade para criar, inventar e/ou fantasiar; uso do senso de humor; capacidade de expressão verbal e/ou gráfica diferenciada, rica e detalhada; uso de recursos para enriquecer a fala; imaginação rica; apresenta ideias diferentes.	2. Crio coisas (histórias, desenhos, objetos, gestos etc.) ricas em detalhes.
Intelectual	Curiosidade; autonomia na resolução de tarefas escolares; interesse pela aprendizagem; persistência e facilidade para aprender e/ou resolver problemas; capacidade de reflexão; exercício de metacognição; raciocínio bom e rápido.	27. Sempre quero saber o porquê das coisas, saber como elas funcionam.
Emocional	Empatia; apego; preocupação com outras pessoas; responsabilidade social e ambiental; sensibilidade emocional; manifestação de emoções intensas; capacidade de expressão de sentimentos; e mistura de emoções.	26. Fico muito triste quando vejo uma pessoa sozinha.

Destaca-se que o processo de construção de itens foi embasado em princípios de psicometria reconhecidos pela comunidade científica (American Educational Research Association, American Psychological Association, & National Council on Measurement in Education, 1999; Pasquali, 2010; Primi & Nunes, 2010). Pasquali (2010) sugere um conjunto de 12 critérios para a elaboração adequada dos itens (p. ex. critério da objetividade, critério da simplicidade e critério da clareza), que, de modo geral, foram respeitados.

Obteve-se, inicialmente, uma lista com 59 itens que representariam os cinco padrões de SE, sendo 10 do padrão Psicomotor, 16 do Sensorial, 10 do Imaginativo, 12 do Intelectual e 11 do Emocional. Eles foram organizados aleatoriamente em uma medida de autorrelato. Quatro itens negativos (8, 21, 22 e 57) foram elaborados com o intuito de minimizar o erro de aquiescência.

Procedimento de Coleta de Dados

A presente investigação foi aprovada por um Comitê de Ética em Pesquisa e seguiu os quesitos éticos necessários. Os juízes foram selecionados de forma intencional, a partir do Currículo Lattes, empregando os termos de busca 'superdotação', 'altas habilidades', 'dotação' e/ou 'talento'. Eles foram contatados via correio eletrônico e receberam um link que, ao ser clicado, direcionava-os ao convite para participação do estudo, ao termo de consentimento livre e esclarecido e ao preenchimento do formulário de análise por juízes.

Após as análises feitas pelos juízes, a ESE foi alvo de uma aplicação piloto. A coleta de dados foi realizada na sala de aula dos discentes e durou aproximadamente 50 minutos. Além do preenchimento, foi solicitado aos estudantes que verbalizassem sobre a compreensão dos itens, das instruções da escala e dos pontos de resposta. Os alunos também puderam tecer comentários sobre os aspectos gráficos (aparência, legibilidade etc.) do instrumento.

Procedimento de Análise de Dados

No que se refere aos procedimentos de análise dos dados e obtenção de evidências de validade de conteúdo, a precisão entre juízes foi avaliada pelo coeficiente Kappa. A classificação do grau de concordância teve como base os critérios propostos por Landis e Koch (1977), que sugerem a seguinte categorização para os valores de Kappa: menor que 0,00 (concordância pobre); entre 0,00 e 0,20 (concordância fraca); entre 0,21 e 0,40 (concordância regular); entre 0,41 e 0,60 (concordância moderada); entre 0,61 e 0,80 (concordância substancial); 0,81 e 1,00 (concordância quase perfeita). Também foi calculado o percentual de concordância dos juízes para cada item de acordo com o padrão de SE. A literatura recomenda que esse índice seja maior ou igual a 80% (Pasquali, 2011).

Resultados

No que diz respeito à adequação dos itens aos padrões de SE, avaliada pelos juízes, os índices de concordância obtidos pelo coeficiente Kappa em relação ao padrão esperado foram classificados como quase perfeitos, uma vez que os valores obtidos por todos os juízes variaram entre 0,81 e 0,98 (p < 0,001). A Tabela 2 apresentada a porcentagem de acordos entre os juízes em relação a cada item das ESE. Nela é possível observar que, dos 59 itens, apenas sete (itens 5, 14, 21, 24, 42, 51 e 59) apresentaram concordância abaixo da recomendada, ou seja, foram inferiores a 80%; sendo que quatro deles (5, 14, 21 e 51) apresentaram valores bem próximos ao desejado (77,78% de concordância).

Tabela 2
Índices de Concordância dos Juízes quanto aos Itens nos Padrões de SE

Psicomotor	Sensorial	Imaginativo	Intelectual	Emocional
Itens	%	Itens	%	Itens	%	Itens	%	Itens	%
1	100	3	100	2	100	4	100	9	100
13	100	6	100	5	77,78	12	100	11	100
19	100	7	100	8	100	14	77,78	17	100
21	77,78	10	100	24	44,44	22	100	26	100
23	100	15	100	29	100	27	100	28	100
32	88,89	16	100	36	100	31	100	30	100
42	66,67	18	100	41	100	34	100	35	100
45	100	20	100	44	100	40	100	37	100
50	88,89	25	100	48	100	51	77,78	39	100
53	88,89	33	100	55	100	54	100	47	100
-	-	38	100	-	-	58	88,89	57	100
-	-	43	88,89	-	-	59	22,22	-	-
-	-	46	100	-	-	-	-	-	-
-	-	49	100	-	-	-	-	-	-
-	-	52	100	-	-	-	-	-	-
-	-	56	100	-	-	-	-	-	-
Total	91,21	Total	99,31	Total	92,22	Total	88,89	Total	100

Dos três itens que apresentaram discordâncias mais expressivas entre os juízes, destaca-se o 59, pois apenas dois participantes (22,22%) o classificaram no padrão inicialmente proposto. Os itens 24 e 42 foram elencados, no padrão esperado, por quatro (44,44%) e cinco (55,56%) participantes, respectivamente.

É preciso mencionar que alterações na redação de alguns itens foram realizadas com base nas sugestões de alguns juízes, antes da aplicação piloto das escalas. Este procedimento revelou que estudantes do quarto ano do Ensino Fundamental possuíam poucas dúvidas quanto à forma de preenchimento e redação dos itens. Os estudantes teceram apenas comentários positivos quanto à aparência, legibilidade e linguagem das ESE.

Discussão

Reitera-se que os itens foram construídos isoladamente, isto é, cada um procura descrever apenas um comportamento, e em conjunto, ou seja, um agrupamento de itens representando um padrão de SE, como sugerido por Pasquali (2010) para a operacionalização de construtos e construção de escalas. Entretanto, tendo em vista as especificidades do construto, algumas indicações expostas no critério da simplicidade e no critério da modalidade, sugeridos pelo autor, não puderam ser contempladas.

O primeiro deles assegura que um item deve expressar uma ideia única. Optou-se, em alguns casos, por apresentar exemplos, introduzir explicações e/ou detalhar a assertiva em questão, de forma a tornar o item mais compreensível por parte dos estudantes como, por exemplo, no item 2 [Crio coisas (histórias, desenhos, objetos, gestos etc.) ricas em detalhes]. Em outros casos, optou-se por introduzir duas características em apenas um item, separando-as por 'e/ou', como no item 19 (Sou muito competitivo(a) em atividades em atividades físicas e/ou esportivas). Considera-se que esses procedimentos não acarretaram dificuldades de compreensão dos itens, pois eles não exprimem ideias excludentes. Pelo contrário, representam, para o senso comum, situações muito semelhantes que, possivelmente, não prejudicam a avaliação do traço. Além disso, deve-se mencionar que a análise por juízes não revelou objeção a nenhum desses itens. Acredita-se, portanto, que o conteúdo das afirmações está abarcando com maior representatividade o construto desejado, sem a necessidade de um número maior de itens.

O critério da modalidade propõe que os itens sejam formulados com expressões de reação modal, ou seja, sem expressões extremadas. No entanto, o próprio o conceito de SE pressupõe reações intensas e extremas frente a estímulos (Dabrowski, 1972, 1996). Sendo assim, se as assertivas contidas nos itens não demonstrassem intensidade elevada, elas não seriam representantes legítimas do construto.

O fato de duas das 12 regras para a construção de itens sugeridas por Pasquali (2010) não terem sido contempladas não invalida as escalas. Destaca-se que o próprio autor afirma que, dependendo do tipo de traço a ser medido, algumas regras se aplicam e outras não.

Deve-se destacar que, antes da realização da segunda etapa deste estudo, optou-se por manter os itens que obtiveram índices de concordância próximos a 80%. Essa decisão foi decorrente do fato de a amostra de juízes ser bastante reduzida. No entanto, dos itens que apresentaram concordância bem abaixo da recomendada (Pasquali, 2011), optou-se por excluir apenas o item 59 (Fico constantemente pensando sobre como colocar minhas ideias em prática). Em uma análise mais aprofundada, observa-se que, de fato, este item pode indicar correspondência tanto com o padrão Intelectual quanto com o padrão Imaginativo. No primeiro caso, a assertiva faz menção aos comportamentos pensar/refletir sobre as ideias - característica do padrão Intelectual. E, no segundo caso, o item também indica a capacidade de imaginar, criar possibilidades para colocar as ideias em prática - semelhante ao padrão Imaginativo. Portanto, parece sensato excluir tal item, já que ele aparenta, a princípio, não discriminar esses dois possíveis fatores.

Entretanto, parece não ser coerente com a teoria que os fundamenta a exclusão dos outros itens que discreparam consideravelmente dos demais quanto ao índice de concordância. No que diz respeito ao item 24 (Sou uma pessoa muito engraçada), o humor está presente nas definições e caracterizações da SE Imaginativa (Dabrowski, 1996; Silverman, 2012). Além disso, ele pode ser uma das particularidades de pessoas criativas (Alencar & Fleith, 2004; Wechsler, 2008). Destaca-se que alguns estudos têm demonstrado associações entre criatividade e esse padrão de SE (Gallagher, 1986; Reffel, 2012).

No que se refere ao item 42 (Falo bastante, sou tagarela), o seu conteúdo também apresenta suporte teórico consistente. O ato de falar muito ou compulsivamente faz parte da caracterização de uma pessoa com SE Psicomotora (Dabrowski, 1972; Piechowski, 1997; Silverman, 2012). Além disso, outros instrumentos (p. ex., Bouchard, 2004) que investigam as SEs contêm, também, pelo menos um item referente à intensidade da fala como traço do padrão Psicomotor. Estudos referentes a tais medidas, indicam que esses itens apresentam pesos fatoriais elevados e contribuem para elevar a consistência interna do padrão pertencente (Bouchard, 2004; Chang & Kuo, 2009).

Assim, tendo em vista o respaldo teórico e o número restrito de juízes utilizados nessa etapa, optou-se pela manutenção desses dois itens, pelo menos, até que estudos posteriores sejam efetuados. Além disso, investigações de evidências de validade de conteúdo, isoladamente, não configuram-se critérios de qualidade suficientes para uma medida (Conselho Federal de Psicologia, 2003). Considera-se que investigações empíricas, baseadas, por exemplo, na análise da estrutura fatorial e de consistência interna das ESE, como descrito na etapa a seguir, permitem optar com maior segurança por manter ou excluir esses ou demais itens.

2ª Etapa - Evidências de Validade Baseadas na Estrutura Interna

Método

Participantes

Participaram dessa etapa 263 estudantes do 5º ao 9º ano do Ensino Fundamental de uma escola pública municipal de uma cidade do interior de Minas Gerais. Esta escola também foi escolhida intencionalmente. A idade média em anos dos participantes foi de 12,82 (DP = 1,65; 9 ≥ 19) e 53,20% (n = 140) eram do sexo feminino.

Instrumentos

Os estudantes responderam as ESE com as alterações realizadas a partir das análises da primeira etapa deste estudo. Destaca-se que, para o cômputo dos escores obtido na ESE, deve-se efetuar a média aritmética dos itens pertencentes a cada padrão. No caso dos itens negativos, é preciso espelhar a pontuação antes de efetuar o cálculo.

Procedimento de Coleta de Dados

A aplicação do instrumento na instituição participante seguiu os mesmos procedimentos de coleta de dados da aplicação piloto da Etapa 1. Isso inclui a obtenção de consentimentos dos pais e diretor da escola quanto à participação dos alunos.

Procedimento de Análise de Dados

No que se refere à análise dos dados, foi utilizado o alfa de Cronbach a fim de verificar a consistência interna da medida. Evidências de validade baseadas na estrutura interna também foram verificadas por meio do coeficiente de correlação item-total corrigida e por análise fatorial confirmatória (AFC). Esta e outras análises foram realizadas com o software SPSS. Para a AFC, utilizou-se o programa AMOS do SPSS e considerou-se a matriz de covariância como entrada, adotando o estimado Maximum Likelihood, uma vez que os valores de achatamento dos itens individuais e os coeficientes de normalidade multivariada não se afastaram dos valores considerados adequados para o pressuposto da normalidade (Byrne, 2010). Os índices de análises utilizados foram: razão do qui-quadrado pelos graus de liberdade (χ 2 /gl); o Comparative Fit Index (CFI); Goodness of Fit Index (GFI); Root Mean Square Error of Aproximation (RMSEA); e Expected Cross-validation Index (ECVI). Recomenda-se para adequação do modelo que os valores de: χ²/gl sejam inferiores a 2 (admitindo-se até 5); CFI e GFI sejam superiores a 0,90; RMSEA sejam próximos a 0,05 (admitindo até 0,1); e, ECVI apresente menor valor quando comparado a outros modelos (Marôco, 2010).

Tabela 3
Coeficientes de Correlação Item-Padrão e Valores de Alfa caso o Item fosse Excluído

Psicomotor	Sensorial	Imaginativo	Intelectual	Emocional
Itens	r a	α b	Itens	r a	α b	Itens	r a	α b	Itens	r a	α b	Itens	r a	α b
1	0,48	0,64	3	0,45	0,86	2	0,50	0,74	4	0,44	0,69	9	0,40	0,76
13	0,27	0,67	6	0,49	0,86	5	0,54	0,73	12	0,35	0,70	11	0,58	0,74
19	0,37	0,65	7	0,55	0,86	8	0,06	0,80	14	0,32	0,71	17	0,52	0,75
21	0,22	0,68	10	0,47	0,86	24	0,39	0,75	22	0,08	0,74	26	0,58	0,74
23	0,32	0,66	15	0,51	0,86	29	0,55	0,73	27	0,42	0,69	28	0,49	0,75
32	0,39	0,65	16	0,55	0,86	36	0,27	0,77	31	0,42	0,69	30	0,42	0,76
42	0,32	0,66	18	0,46	0,86	41	0,53	0,73	34	0,51	0,68	35	0,50	0,75
45	0,47	0,63	20	0,58	0,86	44	0,49	0,74	40	0,25	0,72	37	0,59	0,74
50	0,28	0,67	25	0,46	0,86	48	0,54	0,73	51	0,48	0,68	39	0,41	0,76
53	0,32	0,66	33	0,33	0,87	55	0,56	0,73	54	0,53	0,68	47	0,44	0,76
-	-	-	38	0,43	0,86	-	-	-	58	0,28	0,71	57	0,20	0,82
-	-	-	43	0,57	0,86	-	-	-	-	-	-	-	-	-
-	-	-	46	0,54	0,86	-	-	-	-	-	-	-	-	-
-	-	-	49	0,62	0,86	-	-	-	-	-	-	-	-	-
-	-	-	52	0,53	0,86	-	-	-	-	-	-	-	-	-
-	-	-	56	0,54	0,86	-	-	-	-	-	-	-	-	-

Resultados

Ao analisar a consistência interna considerando o alfa de Cronbach, as escalas de SE apresentaram os seguintes índices: 0,68 (Psicomotor); 0,87 (Sensorial); 0,77 (Imaginativo); 0,72 (Intelectual); e 0,78 (Emocional). A Tabela 3 apresenta os valores de alfa caso itens fossem deletados e a correlação item-total corrigida. Observa-se que apenas três itens (8, 22 e 57) não alcançaram, na correlação item-total, valor mínimo aceitável, ou seja, superior a 0,20 (Clark & Watson, 1995). Esses mesmos itens, se excluídos, elevariam os valores do alfa de Cronbach. Destaca-se que a retirada do restante dos itens não contribui para aumentar o alfa em nenhuma das escalas.

Para confirmar os padrões estruturais do instrumento que foram originalmente sugeridos e obter evidências de validade baseadas na estrutura interna, foi realizada AFC. Inicialmente, foram testados cinco modelos - sendo um para cada padrão de SE - preservando uma estrutura unidimensional (M₁), mas excluindo os três itens citados no parágrafo anterior.

Os índices de ajustes obtidos em cada modelo testado são apresentados na Tabela 4. Observa-se que as análises de M₁ demonstraram bons ajustamentos em todos os índices para dois padrões: Imaginativo e Emocional.

Tabela 4
Índices de Ajustes dos Modelos Testados

Padrão	χ 2 / gl	GFI	CFI	RMSEA	ECVI
M1 - Psicomotor (Um fator)	5,86	0,84	0,72	0,14	0,93
M2 - Psicomotor (Dois fatores)	1,90	0,95	0,95	0,06	0,41
M1 - Sensorial (Um fator)	3,72	0,85	0,77	0,10	1,72
M2 - Sensorial (Cinco fatores)	2,17	0,91	0,91	0,07	1,10
M1 - Imaginativo (Um fator)	2,23	0,95	0,94	0,07	0,37
M1 - Intelectual (Um fator)	4,15	0,89	0,75	0,11	0,70
M2 - Intelectual (Um fator Reespecificado)	1,75	0,96	0,95	0,07	0,39
M1 - Emocional (Um fator)	1,81	0,95	0,95	0,06	0,34
M2 - Emocional (Dois fatores)	1,50	0,96	0,97	0,04	0,29

No caso do padrão Psicomotor, a análise dos índices de modificações revelou a necessidade de fixar a correlação entre os erros de alguns itens (13, 21, 23, 42, 50 e 53). Tratam-se de itens que representam características-chave de agitação, inquietude, compulsão para o movimento e fala e prazer ao estar em movimento. O restante dos itens não reespecificados englobam o conjunto dessas e de outras características destinadas especificamente às atividades físicas e/ou esportivas (competitividade, energia, bom desempenho etc.). Nesse sentido, tendo em vista que a associação entre esses itens não inviabiliza os pressupostos teóricos subjacentes ao instrumento, optou-se pela testagem de um novo modelo (M₂ - Psicomotor), representado por dois fatores, sendo um relacionado à SE Psicomotora voltada para atividades gerais e outro referente a esse padrão de SE direcionado especificamente às atividades físicas e/ou esportivas. O novo modelo testado evidenciou melhoras significativas em relação a M₁, tanto no que se refere às diferenças entre χ²/gl [χ²(1) = 140.40; p < 0,001] quanto na comparação entre os valores de ECVI. Todos os outros índices de análises também demonstraram que M₂ - Psicomotor é mais adequado (Tabela 4).

Para o padrão Sensorial, foi testado, também, um novo modelo, agrupando os itens que representam cada um dos cinco sentidos. Assim, M₂ - Sensorial continha cinco fatores, com três itens em cada fator. Um item, que representava a combinação dos cinco sentidos, foi associado a todos os fatores. Ao comparar os dois modelos, observou-se melhoras significativas em todos os índices de ajustamento e nas comparações entre as diferenças χ²/gl [χ²(9) = 180.14; p < 0,001], como mostra a Tabela 4. Os valores de ECVI também indicam a superioridade de M₂.

Já para o padrão Intelectual, as análises dos índices de modificações indicaram a necessidade de reespecificações entre os erros dos itens: 4 e 54; 27 e 54; e 51 e 58. Se analisados em conjunto, os cinco itens não compartilham características acentuadas que os diferencie dos demais, não podendo, desse modo, sugerir um novo fator. Ademais, todos estes itens apresentam justificativas teóricas para permanecerem nesse padrão e refletem isoladamente características específicas do construto de SE Intelectual, indicando, portanto, a necessidade de permanência de todos eles. Entretanto, cada dupla de itens, cujas reespecificações foram sugeridas, se observadas isoladamente, refletem características globais em comum (estilos de raciocínio, formas de reflexão etc.), que se justificam teoricamente, e apoiam, assim, as associações entre os erros de medida desses itens. A fixação das novas trajetórias melhorou substancialmente todos os índices de ajustes (Tabela 4). A superioridade do modelo reespecificado também pode ser observada quando M₁ e M₂ são comparados no que se refere a ECVI e a χ²/gl[χ²(3) = 89.38; p < 0,001].

Apesar do Padrão Emocional já ter demonstrado adequação na sua estrutura unidimensional, optou-se, de forma adicional, por analisar um novo modelo (M₂ - Emocional) - com dois fatores. A opção pela nova testagem se deve aos resultados de pesquisas que têm demonstrado a possibilidade de uma estrutura bidimensional para este padrão, uma com itens que representam aspectos emocionais interpessoais e outra com itens relacionados aos aspectos intrapessoais (Sanz, 2006; Warne, 2011). Nesse sentido, o novo modelo testado também demonstrou índices de ajustamento muito bons (Tabela 4). A comparação entre M₁ e M₂ demonstra superioridade deste em relação ao primeiro em todos os índices analisados [χ²(1) = 12.19; p < 0,001].

De modo complementar, optou-se por analisar a consistência interna das novas estruturas propostas. Considerando o alfa de Cronbach, os fatores testados apresentaram os seguintes índices: 0,84 (Psicomotor: Atividades Físicas e/ou Esportivas); 0,63 (Psicomotor: Atividades Gerais); 0,68 (Sensorial: Olfato); 0,65 (Sensorial: Tato); 0,67 (Sensorial: Visão); 0,66 (Sensorial: Paladar); 0,71 (Sensorial: Audição); 0,80 (Imaginativo); 0,74 (Intelectual); e 0,77 (Emocional: Interpessoal); e 0,66 (Emocional: Intrapessoal).

Discussão

Com a exclusão de três itens, pode-se considerar que os valores de alfa atestam não só uma estrutura interna consistente das ESE, como também boa precisão das escalas, uma vez que quatro padrões foram superiores ou próximos a 0,80; índice recomendado pela literatura sobre psicometria (Pasquali, 2011). Somente o padrão Psicomotor apresentou consistência interna inferior a 0,70. Mesmo assim, por estar acima de 0,60, considera-se como aceitável (Conselho Federal de Psicologia, 2003).

Deve-se ressaltar que, nesta etapa, três dos quatro itens redigidos de forma negativa foram excluídos. A necessidade de retirada de itens elaborados desse modo tem sido assinalada em diferentes pesquisas com instrumentos de SE (Sanz, 2006; Tieso, 2007). Nessas investigações, é ressaltado que o preenchimento desses itens por parte de crianças e adolescentes, como no presente estudo, tende a confundi-los. No que se refere ao conteúdo abarcado nas ESE, pode-se afirmar que a retirada de tais itens não prejudica o conjunto do construto avaliado nos padrões de SE correspondentes, tendo em vista que há outros itens que representam os seus conteúdos. Nesse sentido, parecem sensatas suas exclusões com base nas indicações da literatura e nos resultados obtidos - valores do alfa e correlação item-total corrigida - afim de elevar a qualidade das escalas.

Os resultados da AFC também indicaram boas evidências de validade baseadas na estrutura interna. Os modelos unidimensionais, inicialmente testados para cada padrão de SE, revelaram que os padrões Imaginativo e Emocional foram os que apresentaram melhores índices de adequação; embora, para o último, uma estrutura bidimensional também tenha se mostrado factível. Modificar a estrutura fatorial desse modelo, como proposto em M₂ - Emocional, parece não ser incoerente com a teoria que fundamenta o construto. Na descrição de Dabrowski (1996) e de outros autores (Piechowski, 1979), o padrão Emocional abrange tanto emoções que não dependem necessariamente da relação com outrem (expressões de sentimentos, mistura de emoções) quanto emoções 'sociais' (preocupação com outros, apego, empatia etc.). Reitera-se, ademais, que, em estudos sobre o OEQ-II (Sanz, 2006; Warne, 2011), também houve indicações da adequação de um modelo com dois fatores para o padrão Emocional, diferenciando itens intra e interpessoais. Estes resultados, embora pareçam sinalizar que as novas dimensões sejam teoricamente distintas, não significam que elas representem fatores, necessariamente, independentes um do outro.

O padrão Intelectual, entretanto, não apresentou melhoras ao se testar um novo fator. Ao contrário, os índices de ajustamento mostraram-se mais adequados quando foram realizadas especificações dos erros de alguns itens. A fixação das novas trajetórias sugere que alguns itens são mais fortemente correlacionados entre si que outros, não necessitando compor um novo fator.

De modo distinto do padrão Intelectual, uma estrutura bidimensional foi a que se demonstrou melhor ajustada para o Psicomotor. A decomposição em dois fatores, sendo um deles relacionado especificamente às atividades físicas e/ou esportivas e o outro referente a aspectos gerais da SE Psicomotora, é algo que não apareceu até o momento na literatura da área. No entanto, Piechowski (1979) assinalou há algum tempo que atividades esportivas desempenhadas com prazer e determinação são indicações de SE Psicomotora. Para o autor (Piechowski, 1975), o excesso de energia de pessoas que se destacam por esse padrão de SE pode resultar em habilidades atléticas, mas não necessariamente deve ser confundido com elas. Portanto, parece que os dois fatores denotam SE Psicomotora.

Outro resultado que merece destaque refere-se aos bons índices de ajustes obtidos quando testado um modelo de cinco fatores para o padrão Sensorial. Embora a definição desse construto envolva um nível enriquecido e elevado de percepção dos sentidos (Piechowski, 1979), até o momento, não houve estudos sobre tal estrutura em outras medidas de SE. Provavelmente, pelo fato de muitos instrumentos não apresentarem itens com assertivas que representem igualmente todos os sentidos. O OEQ-II (Falk et al., 1999), por exemplo, contém mais itens referentes à visão e à audição, mas paladar e olfato são poucos enfatizados nesse instrumento.

As análises dos alfas de Cronbach obtidos nos modelos mais adequados indicaram que, de um modo geral, os novos fatores apresentaram índices de consistência interna baixos, apesar de aceitáveis (Conselho Federal de Psicologia, 2003). Vale destacar, entretanto, que a quantidade de itens de um fator de um instrumento pode afetar sua precisão (Pasquali, 2011). Sendo assim, ao dividir os itens representantes de um padrão de SE em dois ou mais fatores, como nos casos dos padrões Psicomotor, Sensorial e Emocional, a consistência interna tende a diminuir em cada subsescala.

Considerações Finais

Pode-se afirmar que, em conjunto, os resultados do presente estudo suportam as evidências de validade baseadas no conteúdo e na estrutura interna das ESE. A não exclusão de alguns itens com base na Etapa 1 pareceu ser uma boa estratégia, já que na etapa seguinte esses itens não se mostraram problemáticos. De um modo geral, as características psicométricas das escalas foram satisfatórias e as dimensões aparentam ser robustas para os novos modelos testados na AFC.

Deve-se destacar, entretanto, que esta é uma primeira investigação sobre as evidências de validade das escalas. São necessários estudos adicionais, preferencialmente com amostras mais amplas e representativas. Evidencia-se, também, a necessidade de que os novos modelos estruturais sugeridos para os padrões SE sejam mais profundamente investigados, especialmente aqueles que ainda não apresentam suporte da literatura, como nos casos dos padrões Psicomotor e Sensorial, para averiguar se, de fato, as novas estruturas são representantes dos construtos investigados.

Sugere-se, para futuros estudos, que sejam utilizados os 55 itens que mostraram-se mais adequados a fim de que haja mais análises a respeito de seus ajustamentos. Novas investigações empíricas com amostras mais abrangentes e/ou compostas por estudantes com D&T possibilitarão, com maior segurança, optar por manter ou excluir outros itens.

Não obstante as limitações, esta investigação representa um passo importante no campo de estudos sobre D&T, sobretudo no que se refere à identificação e à compreensão dos aspectos emocionais de pessoas com essas características. Os poucos estudos em língua portuguesa que têm como foco a SE e a teoria que a fundamenta, bem como a escassez no contexto brasileiro de medidas específicas e confiáveis para a identificação de D&T denotam a necessidade urgente e imperativa de que estudos psicométricos sobre as ESE sejam desenvolvidos.

Referências

• Ackerman, C. M. (2009). The essential elements of Dabrowski's theory of positive disintegration and how they are connected. Roeper Review, 31(2), 81-95. doi:10.1080/02783199709553835.
  » https://doi.org/10.1080/02783199709553835
• Alencar, E. M. L. S., & Fleith, D. S. (2004). Inventário de práticas docentes que favorecem a criatividade no ensino superior. Psicologia: Reflexão e Crítica, 17(1), 105-110. doi:10.1590/S0102-79722004000100013.
  » https://doi.org/10.1590/S0102-79722004000100013
• Al-Onizat, S. H. (2013). The psychometric properties of a Jordanian version of Overexcitability Questionnaire-Two. Creative Education, 4(1), 49-61. doi:10.4236/ce.2013.41008.
  » https://doi.org/10.4236/ce.2013.41008
• American Educational Research Association, American Psychological Association, & National Council on Measurement in Education. (1999). Standards for educational and psychological testing. Washington, DC: American Educational Research Association.
• Barbosa, A. J. G., Schelini, P. W., & Almeida, L. C. (2012). Medidas de dotação e talento: Produção científica em psicologia (2006-2011). In E. Boruchovitch, A. A. A. Santos, & E. Nascimento (Eds.), Avaliação psicológica nos contextos educativo e psicossocial (pp. 33-52). São Paulo, SP: Casa do Psicólogo.
• Bouchard, L. L. (2004). An instrument for the measure of Dabrowskian overexcitabilities to identify gifted elemen-tary students. Gifted Child Quarterly, 48(4), 339-350. doi:10.1177/001698620404800407.
  » https://doi.org/10.1177/001698620404800407
• Byrne, B. M. (2010). Structural equation modeling with AMOS: Basic concepts, applications, and programming (2nd ed.). New York: Routledge.
• Chang, H. J., & Kuo, C. C. (2009). Overexcitabilities of gifted and talented students and its related researches in Taiwan. Asia-Pacific Journal of Gifted and Talented Education, 1(1), 41-74.
• Carman, C. A. (2011). Adding personality to gifted identification: Relationships among traditional and personality-based constructs. Journal of Advanced Academics, 22, 412-446. doi:10.1177/1932202X1102200303.
  » https://doi.org/10.1177/1932202X1102200303
• Clark, L. A., & Watson, D. (1995). Constructing validity: Basic issues in objective scale development. Psychological Assessment, 7, 309-319. doi:10.1037/1040-3590.7.3.309.
  » https://doi.org/10.1037/1040-3590.7.3.309
• Conselho Federal de Psicologia. (2003). Resolução CFP nº 002/2003. Recuperado em http://www.pol.org.br/legislacao/pdf/resolucao2003_2.pdf
  » http://www.pol.org.br/legislacao/pdf/resolucao2003_2.pdf
• Dabrowski, K. (1964). Positive disintegration. Boston, MA: Little Brown.
• Dabrowski, K. (1972). Psychoneurosis is not an illness: Neuroses and psychoneuroses from the perspective of positive disintegration. London: Gryf.
• Dabrowski, K. (1996). Multilevelness of emotional and ins-tinctive functions. Lublin, Poland: Towarzystwo Naukowe Katolickiego Uniwersytetu Lubelskiego.
• Daniels, S., & Meckstroth, E. (2009). Nurturing the sensitiviy, intensity and developmental potential of young gifted children. In S. Daniels & M. M. Piechowski (Eds.), Living with intensity (pp. 33-56). Scottsdale, AZ: Great Potential Press.
• Falk, R. F., Lind, S., Miller, N. B., Piechowski, M. M., & Silverman, L. K. (1999). The Overexcitability Questionnaire Two (OEQ II): Manual, scoring system, and questionnaire. Denver, CO: Institute for the Study of Advanced Development.
• Gallagher, S. A. (1986). A comparison of the concept of overexcitabilities with measures of creativity and school achievement in sixth-grade students. Roper Review, 8, 115-119. doi:10.1080/02783198509552950.
  » https://doi.org/10.1080/02783198509552950
• Kaufman, S. B., & Sternberg, R. J. (2008). Conceptions of giftedness. In S. I. Pfeiffer (Ed.), Handbook of giftedness in children (pp. 71-91). Tallahassee, FL: Springer.
• Landis, J. R., & Koch, G. G. (1977). The measurement of observer agreement for categorical data. Biometrics, 33, 159-174. doi:10.2307/2529310.
  » https://doi.org/10.2307/2529310
• Lysy, K. Z., & Piechowski, M. M. (1983). Personal growth: An empirical study using Jungian and Dabrowskian measures. Genetic Psychology Monographs, 108, 267-320.
• Marôco, J. (2010). Análise de equações estruturais: Fundamentos teóricos, software e aplicações. Lisboa, Portugal: ReportNumber.
• Mendaglio, S. (2008). Dabrowski´s theory of positive disintegration: A personality theory for the 21st century. In S. Mendaglio (Ed.), Dabrowski´s theory of positive disintegragion (pp. 13-40). Scottsdale, AZ: Great Potential Press.
• Miller, N. B., Falk, R. F., & Huang, Y. (2009). Gender identity and the overexcitability profiles of gifted college students. Roeper Review, 31, 161-169. doi:10.1080/02783190902993920.
  » https://doi.org/10.1080/02783190902993920
• Ministério da Educação. (2008, 07 jan.). Política nacional de educação especial na perspectiva da educação inclusiva. Documento elaborado pelo Grupo de Trabalho nomeado pela Portaria nº 555/2007, prorrogada pela Portaria nº 948/2007. Brasília, DF: Autor.
• Noronha, A. P. P., & Reppold, C. T. (2010). Considerações sobre avaliação psicológica no Brasil. Psicologia: Ciência e Profissão, 30, 192-201. doi:10.1590/S1414-98932010000500009.
  » https://doi.org/10.1590/S1414-98932010000500009
• Ogburn-Colangelo, M. K. (1989). Giftedness as multilevel potential: A clinical example. Advanced Development: A Journal on Adult Giftedness, 1, 187-200.
• Oliveira, J. C. (2013). Sobre-excitabilidade e talento: Evidências de validade da versão brasileira do Overexcitability Questionnaire Two (Dissertação de mestrado, Programa de Pós-Graduação em Psicologia, Universidade Federal de Juiz de Fora, MG, Brasil).
• Oliveira, J. C., & Barbosa, A. J. G. (2014). Instrumentos de sobre-excitabilidade: Uma revisão sistemática. Arquivos Brasileiros de Psicologia, 66(1), 117-134.
• Pasquali, L. (2010). Instrumentação psicológica. Porto Alegre, RS: Artes Médicas.
• Pasquali, L. (2011). Psicometria: Teoria dos testes na psicologia e na educação. Petrópoles, RJ: Vozes.
• Piechowski, M. M. (1975). A theoretical and empirical approach to the study of development. Genetic Psychology Monographs, 92, 231-297.
• Piechowski, M. M. (1979). Developmental potential. In N. Colangelo & R. T. Zaffrann (Eds.), New voices in counseling the gifted (pp. 25-67). Dubuque, IA: Kendall.
• Piechowski, M. M. (1997). Emotional giftedness: The measure of intrapersonal intelligence. In N. Colangelo & G. A. Davis (Eds.), Handbook of gifted education (pp. 366-381). Boston, MA: Allyn & Bacon.
• Piirto, J., & Fraas, J. (2012). A mixed-methods comparison of vocational and identified-gifted high school students on the Overexcitability Questionnaire. Journal for the Education of the Gifted, 35(1), 3-34. doi:10.1177/0162353211433792.
  » https://doi.org/10.1177/0162353211433792
• Primi, R. (2010). Avaliação psicológica no Brasil: Fundamentos, situação atual e diretrizes para o futuro. Psicologia: Teoria e Pesquisa, 26, 25-35. doi:10.1590/S0102-37722010000500003.
• Primi, R., & Nunes, C. H. (2010). O SATEPSI: Propostas de aprimoramento. In Conselho Federal de Psicologia, Avaliação psicológica: Diretrizes na regulamentação da profissão (pp. 129-148). Brasília, DF: Conselho Federal de Psicologia.
• Reffel, J. A. (2012). Overexcitability and creative perception. Poster session presented at the annual meeting of the National Association for Gifted Children, Denver, CO, USA.
• Rinn, A. N., Mendaglio, S., Rudasill, K. M., & McQueen, K. S. (2010). Examining the relationship between the overexcitabilities and self-concepts of gifted adolescents via muitivariet cluster analysis. Gifted Child Quarterly, 54(1), 3-17. doi:10.1177/0016986209352682.
  » https://doi.org/10.1177/0016986209352682
• Sanz, R. P. S. (2006). El alumno superdotado y sus problemas de aprendizaje: validación del OEQ-II como prueba de diagnostic. Madrid, Espanha: Universidad Complutense de Madrid.
• Silverman, L. K. (2012). The unique inner lives of gifted children. Retrieved from http://www.heliosns.org/article-the-unique-inner-lives-of-gifted-children/
  » http://www.heliosns.org/article-the-unique-inner-lives-of-gifted-children/
• Siu, A. F. Y. (2010). Comparing overexcitabilities of gifted and non-gifted school children in Hong Kong: Does culture make a difference? Asia Pacific Journal of Education, 30(1), 71-83. doi:10.1080/02188790903503601.
  » https://doi.org/10.1080/02188790903503601
• Tieso, C. L. (2007). Overexcitabilities: A new way to think about talent? Roeper Review, 29(4), 232-239. doi:10.1080/02783190709554417.
  » https://doi.org/10.1080/02783190709554417
• Warne, R. T. (2011). An investigation of measurement invariance across genders on the Overexcitability Questionnaire-Two. Journal of Advanced Academics, 22(4), 578-593. doi:10.1177/1932202X11414821.
  » https://doi.org/10.1177/1932202X11414821
• Wechsler, S. M. (2008). Criatividade: Descobrindo e encorajando (3. ed.). Campinas, SP: Laboratório de Avaliação e Medidas Psicológicas, Pontifícia Universidade Católica de Campinas.
• Wirthwein, L., & Rost, D. H. (2011). Focussing on overexcitabilities: Studies with intellectually gifted and academically talented adults. Personality and Individual Differences, 51, 337-342. doi:10.1016/j.paid.2011.03.041.
  » https://doi.org/10.1016/j.paid.2011.03.041

• Apoio: Fundação de Amparo à Pesquisa do Estado de Minas Gerais; Universidade Federal de Juiz de Fora.
• ^a Correlação item-total corrigida; ^b Alfa se o item for excluído.

Datas de Publicação

• Publicação nesta coleção
  Oct-Dec 2015

Histórico

• Recebido
  16 Out 2014
• Revisado
  13 Mar 2015
• Aceito
  25 Mar 2015