Acessibilidade / Reportar erro

Análise dos itens do mayer-salovey-caruso emotional intelligence test: escalas da área estratégica

Análisis de los ítems del mayer-salovey-caruso emotional intelligence test: escalas del área estratégica

Item analysis of the mayer-salovey-caruso emotional intelligence test: strategic area

Resumos

O presente estudo objetivou analisar os itens da Área Estratégica do Mayer-Salovey-Caruso Emotional Intellligence Test - MSCEIT, a fim de investigar a consistência interna dos sub-testes, a correlação item-total e a correção das respostas dos itens do instrumento. Para tanto, fizeram parte deste estudo 522 participantes com idade média de 23,78, tendo variado entre 16 e 65 anos (DP = 7,543). Dentre esses, 281 (F=53,3%) eram do sexo feminino e 238 (F=45,2%) do masculino. A aplicação do instrumento se deu de forma coletiva, tendo sido realizada por diferentes aplicadores, treinados para a tarefa, e foi realizada em universidades e empresas do interior do estado de São Paulo, com duração média de 45 minutos. Os resultados indicaram que no geral, os sub-testes apresentaram níveis de consistência interna aceitáveis considerando os padrões estabelecidos pelo Conselho Federal de Psicologia, embora alguns problemas tenham sido encontrados; e que o método de correção por consenso, de alguma forma, dificulta a criação de itens difíceis.

avaliação psicológica; inteligência emocional; parâmetros psicométricos


El presente estudio tuvo como objetivo el de analizar los ítems del Área Estratégica del Mayer-Salovey-Caruso Emotional Intellligence Test - MSCEIT, con el fin de investigar la consistencia interna dos subtests, la correlación ítem-total y la corrección de las respuestas de los ítems del instrumento. Para ello, tomaron parte de este estudio 522 participantes, con edad promedio de 23,78 años, teniendo variado entre 16 y 65 años (DP = 7,543). De ésos, 281 (F=53,3%) eran del sexo femenino y 238 (F=45,2%) del masculino. La aplicación del instrumento se dio de forma colectiva, habiendo sido realizada por diferentes aplicadores, entrenados para la tarea, y fue realizada en universidades y empresas del interior del Estado de São Paulo (Brasil), con duración media de 45 minutos. Los resultados indicaron que, por lo general, los subtests presentaron niveles de consistencia interna aceptables, se considerando los modelos estándar establecidos por el Conselho Federal de Psicología (Brasil), aunque algunos problemas hayan sido encontrados; y que el método de corrección por consenso, de alguna forma, dificulta la creación de ítems difíciles.

evaluación psicológica; inteligencia emocional; parámetros psicométricos


The items of the subtests of the strategic area of the Mayer-Salovey-Caruso Emotional Intellligence Test - MSCEIT, were analyzed to find the best key for each item. The participants were 522 aged from 16 to 65 (M=23,8 and SD = 7,5), and 281 (F=53,3%) male and 238 (f=45,2%) female. The data were collected collectively with different trained examiners in universities and in corporations located in the outside capital area of the state of São Paulo. The test section duration was on average 45 minutes. Results showed acceptable internal consistency reliabilities using the standards set by the Brazilian Psychology Federal Council althouth some problems have been found concerning the consensous method of scoring that make it difficult to construct hard items.

Psychological assessment; emotional intelligence; psychometric parameters


ARTIGOS

Análise dos itens do mayer-salovey-caruso emotional intelligence test: escalas da área estratégica

Item analysis of the mayer-salovey-caruso emotional intelligence test: strategic area

Análisis de los ítems del mayer-salovey-caruso emotional intelligence test: escalas del área estratégica

Ana Paula Porto NoronhaI; Ricardo PrimiII; Fernanda Andrade de FreitasIII; Marilda Aparecida DantasIV

IDoutora em Psicologia Ciência e Profissão. Professora do Programa de Pós-Graduação Stricto Sensu em Psicologia da Universidade São Francisco

IIDoutor em Psicologia. Professor do Programa de Pós-Graduação Stricto Sensu em Psicologia da Universidade São Francisco

IIIMestre em Psicologia. Professora do Curso de Psicologia da Universidade São Francisco

IVMestre em Psicologia. Professora da Universidade de Três Corações e da Universidade de Alfenas

Endereço para correspondência Endereço para correspondência: Ana Paula Porto Noronha Rua: Alexandre Rodrigues Barbosa, 45 Centro, CEP 13251-900 Itatiba/SP. E-mail: ana.noronha@saofrancisco.edu.br

RESUMO

O presente estudo objetivou analisar os itens da Área Estratégica do Mayer-Salovey-Caruso Emotional Intellligence Test - MSCEIT, a fim de investigar a consistência interna dos sub-testes, a correlação item-total e a correção das respostas dos itens do instrumento. Para tanto, fizeram parte deste estudo 522 participantes com idade média de 23,78, tendo variado entre 16 e 65 anos (DP = 7,543). Dentre esses, 281 (F=53,3%) eram do sexo feminino e 238 (F=45,2%) do masculino. A aplicação do instrumento se deu de forma coletiva, tendo sido realizada por diferentes aplicadores, treinados para a tarefa, e foi realizada em universidades e empresas do interior do estado de São Paulo, com duração média de 45 minutos. Os resultados indicaram que no geral, os sub-testes apresentaram níveis de consistência interna aceitáveis considerando os padrões estabelecidos pelo Conselho Federal de Psicologia, embora alguns problemas tenham sido encontrados; e que o método de correção por consenso, de alguma forma, dificulta a criação de itens difíceis.

Palavras-chave: avaliação psicológica, inteligência emocional, parâmetros psicométricos.

ABSTRACT

The items of the subtests of the strategic area of the Mayer-Salovey-Caruso Emotional Intellligence Test - MSCEIT, were analyzed to find the best key for each item. The participants were 522 aged from 16 to 65 (M=23,8 and SD = 7,5), and 281 (F=53,3%) male and 238 (f=45,2%) female. The data were collected collectively with different trained examiners in universities and in corporations located in the outside capital area of the state of São Paulo. The test section duration was on average 45 minutes. Results showed acceptable internal consistency reliabilities using the standards set by the Brazilian Psychology Federal Council althouth some problems have been found concerning the consensous method of scoring that make it difficult to construct hard items.

Key words: Psychological assessment, emotional intelligence, psychometric parameters

RESUMEN

El presente estudio tuvo como objetivo el de analizar los ítems del Área Estratégica del Mayer-Salovey-Caruso Emotional Intellligence Test - MSCEIT, con el fin de investigar la consistencia interna dos subtests, la correlación ítem-total y la corrección de las respuestas de los ítems del instrumento. Para ello, tomaron parte de este estudio 522 participantes, con edad promedio de 23,78 años, teniendo variado entre 16 y 65 años (DP = 7,543). De ésos, 281 (F=53,3%) eran del sexo femenino y 238 (F=45,2%) del masculino. La aplicación del instrumento se dio de forma colectiva, habiendo sido realizada por diferentes aplicadores, entrenados para la tarea, y fue realizada en universidades y empresas del interior del Estado de São Paulo (Brasil), con duración media de 45 minutos. Los resultados indicaron que, por lo general, los subtests presentaron niveles de consistencia interna aceptables, se considerando los modelos estándar establecidos por el Conselho Federal de Psicología (Brasil), aunque algunos problemas hayan sido encontrados; y que el método de corrección por consenso, de alguna forma, dificulta la creación de ítems difíciles.

Palabras-clave: evaluación psicológica, inteligencia emocional, parámetros psicométricos.

O conceito de Inteligência Emocional (IE) foi introduzido no âmbito científico por meio de artigo na revista Imagination, Cognition and Personality de autoria de Salovey e Mayer em 1990. Em seguida o construto foi aprimorado pelos próprios autores, um deles em parceria com um terceiro pesquisador, em dois outros trabalhos importantes (Mayer & Salovey 1997; Mayer, Caruso & Salovey, 2002), tendo sido conceituado como quatro capacidades.

A primeira refere-se à percepção, avaliação e expressão da emoção, ou seja, a identificação das emoções e do conteúdo emocional, nas expressões faciais, no tom de voz, nas expressões artísticas, nos relatos das pessoas e nos comportamentos, tanto em si mesmo como nos outros. Nos sub-testes propostos para avaliar esta capacidade a pessoa vê uma imagem e deve relatar a quantidade de conteúdo emocional, estimando a intensidade de sentimentos como tristeza, medo, dentre outros (Mayer, Caruso & Salovey, 2002).

A segunda capacidade refere-se ao uso da emoção para facilitação do pensamento, isto é, à capacidade de acessar e gerar emoções de tal forma a ajudar os processos de pensamento. Essa capacidade diz respeito ao emprego de emoções que potencialmente auxiliam o processo intelectual, seja para sinalizar eventos significativos ou para dirigir a atenção para mudanças importantes. Ainda nesse sentido, essa faceta pode ser compreendida como a capacidade das pessoas originarem sentimentos nelas mesmas permitindo assim, uma inspeção imediata, em tempo real, do sentimento e de suas características em uma determinada situação vivenciada.

A compreensão e a análise das emoções, a terceira capacidade, diz respeito ao conhecimento sobre as emoções, desde seus aspectos básicos, tais como, discriminação e nomeação de emoções primárias, por exemplo, raiva, medo, alegria, aversão, antecipação até as nuances mais complexas tais como, combinações/misturas de emoções, transições/mudanças de emoções e associações delas com os eventos sociais-relacionais que as provocam. Sob esta perspectiva, a tristeza pode estar ligada a uma perda, assim como a raiva pode ser freqüentemente vista como originária da injustiça. Em relação a essa capacidade, Mayer e Salovey (1999) afirmam que as emoções tendem a ocorrer em cadeias padronizadas, como, por exemplo, o caso da raiva que, se intensificada, pode chegar ao ódio, posteriormente ser extravasada, e depois se transformar em satisfação ou culpa, de acordo com a especificidade da situação.

A última capacidade que compõe a inteligência emocional diz respeito ao controle reflexivo de emoções para promover o crescimento emocional e intelectual. Ela está relacionada ao fato de uma pessoa estar receptiva aos sentimentos, uma vez que a preocupação com os sentimentos pode levar à aprendizagem sobre eles. Essa habilidade também apresenta imbricações com a capacidade do indivíduo envolver-se reflexivamente ou distanciar-se da emoção dependendo da sua informação e da sua utilidade. Para Mayer, Caruso e Salovey (2002) os testes de administração de emoções dizem respeito à melhor maneira de regular as emoções em si e nos outros. Nesse sentido, a administração de emoções envolve o entendimento das implicações de suas atitudes sobre as emoções, assim como a regulação da emoção em si e no outro.

No sentido de aprimorar e operacionalizar o construto, foram desenvolvidos instrumentos para medi-lo (Mayer, Caruso & Salovey, 1997, 2002; Mayer, Caruso, Salovey & Sitarenios, 2003). A construção de um instrumento de medida para esse construto não é tarefa fácil, de tal sorte que foram estudadas diferentes formas, tais como medidas baseadas na auto-avaliação, medidas por informantes e medidas baseadas no desempenho. De acordo com Mayer, Caruso e Salovey (2002) a auto-avaliação propõe que a pessoa fale sobre si, indicando em que nível as asserções propostas as descrevem ou não como pessoa. A avaliação por informantes, por sua vez, permite determinar como o sujeito é visto pelos outros e, por fim, as medidas de desempenho permitem determinar se uma pessoa possui a capacidade avaliada por meio de solução de problemas. Bueno e Primi (2001) ressaltam o fato de que instrumentos de auto-relato são mais eficazes para avaliar aspectos de personalidade do que de inteligência, uma vez que em relação ao último, não basta dizer se é ou não inteligente, é preciso demonstrar a capacidade de resolver problemas, neste caso, que envolvam emoções.

Essa discussão pode ser encontrada no trabalho de Ciarrochi, Chan, Caputi e Roberts (2001), que procuraram abordar a relação entre medidas que avaliam desempenho e medidas de auto-relato sob a perspectiva da IE. Embora ambas sejam importantes, há diferenças marcantes entre elas, a saber, as medidas de desempenho avaliam a IE por meio da resolução de problemas, que indicam a habilidade que o indivíduo apresenta e, as de auto-relato avaliam a autopercepção das pessoas em relação à suposta IE. As medidas de desempenho geralmente requerem mais tempo do examinando, por precisar de maior observação e resoluções situacionais e exigir uma percepção de si próprio bastante acurada, ao mesmo tempo em que a maior dificuldade com medidas de auto-relato centra-se na possibilidade das pessoas distorcerem as respostas para melhor ou pior do que são realmente. Nessa mesma direção, as medidas de auto-relato da IE podem estar mais relacionadas aos traços de personalidade, enquanto que as de desempenho são mais apropriadas para a avaliação da inteligência propriamente dita. Os autores concluíram que medidas de auto-relato não refletem o desempenho verdadeiro, assim como não se correlacionam com medidas tradicionais de inteligência.

O Teste de Inteligência Emocional do Mayer-Salovey-Caruso (Mayer-Salovey-Caruso Emotional Intellligence Test - MSCEIT), em sua segunda versão está baseado no desempenho. O instrumento é designado para avaliar um escore geral da IE, resultando em duas áreas (Experiencial e Estratégica) subdivididas em quatro facetas, sendo cada faceta composta por dois sub-testes (Tabela 1).

As áreas da IE, Experiencial e Estratégica, medem as habilidades dos respondentes para adquirir e manipular a informação emocional, respectivamente. A primeira fornece um índice da habilidade dos respondentes para perceber a informação emocional, relatar as sensações do outro por meio de cores e gostos, usando isso para facilitar o pensamento, e está relacionada com a introspecção. Já a segunda, a Estratégica, fornece um índice da habilidade dos respondentes para compreender e manipular a informação emocional e usá-la estrategicamente para executar planejamento e autogerenciamento, ou seja, as implicações das emoções nos relacionamentos. A última envolve a reflexão do indivíduo sobre seus aspectos e a interferência no meio ambiente (Mayer, Caruso & Salovey, 2002).

No que se refere aos resultados de pesquisas, diversos estudos têm abordado a interpretação dos dados dos sujeitos que responderam ao teste, levantando a seguinte questão: como é realizada a pontuação dos sujeitos que responderam ao MSCEIT, isto é, como é que se define qual resposta pontuar como certa? O método de avaliação por consenso tem sido o mais utilizado e procura associar o julgamento de centenas de pessoas, de forma que a alternativa correta é definida como aquela mais escolhida pelo grupo. Outra forma de pontuação é definida por especialistas, isto é, a alternativa correta é aquela que experts nas teorias das emoções julgam ser a certa. Ainda uma terceira forma de pontuar esses testes, aplicável somente para alguns tipos específicos de tarefas, nomeadamente, as tarefas que avaliam percepção de emoções, é chamada de pontuação determinada pela pessoa-alvo na qual a resposta correta é definida como aquela que a pessoa que é fotografada experienciando determinada emoção diz estar sentindo (Mayer, Caruso, & Salovey, 1999).

Para compreender qual a melhor forma de correção dos itens do teste, Mayer, Caruso e Salovey (2002), descrevem resultados referentes às correlações entre os critérios de correção do consenso geral (amostra) e dos especialistas, tendo sido obtidos os coeficientes de correlações de r=0,88 e r=0,90, respectivamente. Vale ressaltar, que as correlações para esses dois critérios de correção, baseados no resultado geral do MSCEIT, variaram entre 0,93 a 0,99, indicando que ambos os critérios de correção tenderão a fornecer resultados semelhantes para um indivíduo.

Nessa mesma direção, Bueno e Primi (2003) compararam os resultados produzidos pelo Multifactor Emotional Intelligence Scale – MEIS, instrumento que serviu de base para a construção do MSCEIT, de acordo com três critérios, a saber, o consenso da amostra, dos especialistas e da pessoa-alvo. O consenso foi obtido com base nos resultados de amostras do Brasil e dos Estados Unidos. A partir disso, correlações foram encontradas entre os critérios (consenso da população, especialistas e da pessoa-alvo) nos diferentes subtestes (faces, quadros). Os subtestes pontuados pelos critérios consenso da população e alvo se correlacionarem positivamente e os subtestes pontuados pelo critério especialista se correlacionarem negativamente com o consenso da população. Mayer, Savoley, Caruso e Sitarenious (2003) explicam que, no caso do MEIS, esse correlação das pontuações no sentido inesperado ocorreu porque foi baseada em somente dois especialistas, que eram, na verdade, os próprios autores do teste e por isso, esse sistema ainda era muito incipiente. De fato, no caso do MSCEIT, a pontuação por especialista baseou-se no consenso de um grupo de 21 especialistas, e, em razão da ampliação dos dados, essa pontuação foi mais fiel. No MSCEIT, portanto, em função disso as correlações entre as pontuações por especialista e por consenso foram no sentido esperado.

Em contrapartida, altas correlações foram obtidas entre os subtestes Faces, com base nos resultados dos dois países (r= 0,96), assim como no subteste Quadros (r=0,97), sugerindo que as respostas consensuais são muito parecidas nas duas culturas (Bueno & Primi, 2003). Tendo em vista a relevante discussão sobre a pontuação do MSCEIT, bem como sobre os itens que compõem o instrumento, esse trabalho teve como objetivo desenvolver uma análise dos itens do teste. Considerando a complexidade e extensão do instrumento em questão, optou-se por apresentar nesse estudo apenas os sub-testes relacionados à área estratégica, a fim de investigar a consistência interna deles, a correlação item-total dos itens e as respostas que deveriam ser consideradas corretas. A análise desses parâmetros psicométricos permite observar, primeiramente, quais itens são mais consistentes e, portanto, quais itens mais contribuem para produção de variância no escore total, elemento a partir do qual são feitos os julgamentos das diferenças individuais no construto medido. Além disso, a análise da dificuldade dos itens permite que seja observada a hierarquia de dificuldade formada pelos itens, de tal forma a definir o que significam os diferentes níveis da escala formada. Portanto, essa análise pode trazer subsídios para compreender melhor o construto medido pelas escalas experienciais do MSCEIT.

MÉTODO

Participantes

Fizeram parte desse estudo 522 sujeitos cuja idade média foi de 23,78, tendo variado entre 16 e 65 anos (DP = 7,543). Dentre esses, 282 (53,3%) eram do sexo feminino e 239 (45,2%) do masculino. Dessa amostra, 334 sujeitos (63,9%) eram estudantes universitários, sendo 59 de engenharia civil (11,3%), 143 de psicologia (27,4%) 132 de comunicação e artes (25,2%); 123 (23,5%) eram profissionais atuantes em empresas de diversos segmentos, de pequeno, médio e grande porte a maioria com ensino médio completo (90%); 65 sujeitos eram funcionários de uma empresa de energia elétrica brasileira possuindo escolaridade, variando de ensino médio incompleto a ensino superior completo.

Material

Para a realização da pesquisa foram utilizados cadernos de questões do teste MSCEIT e a folhas de resposta. O MSCEIT é um teste de desempenho que contém 141 itens, organizados em oito tarefas, com cinco possibilidades de resposta. No presente estudo foram analisados apenas os sub-testes Transição, Mistura, Administração de emoções e Relações emocionais, que fazem parte respectivamente das facetas Compreensão de Emoções e Gerenciamento de Emoções (Tabela 1).

Procedimento

A aplicação do instrumento se deu de forma coletiva, tendo sido realizada por diferentes aplicadores, treinados para a tarefa, que faziam parte de um grupo de pesquisa, sendo que todos os cuidados éticos inerentes à pesquisa científica foram tomados. Os locais de aplicação foram universidades e empresas do interior de São Paulo e o tempo médio de aplicação foi de 45 minutos.

RESULTADOS E DISCUSSÃO

Os resultados estão organizados em razão dos sub-testes que compõem a Área Estratégica. São apresentados inicialmente as estatísticas descritivas e o Alfa de Cronbach dos sub-testes, e em seguida, o consenso das respostas dos sujeitos, assim como a correlação item e total.

Na Tabela 2 verifica-se, de acordo com a consistência interna dos subtestes, por meio do Alfa de Cronbach, que os sub-testes que compõem a faceta Gerenciamento das Emoções, apresentaram os maiores índices, revelando maior consistência em relação aos demais sub-testes, pertencentes à faceta Compreensão de Emoções, embora todos estejam acima de 0,60.

Compreensão das Emoções

O sub-teste Transições possui 20 itens e avalia o conhecimento emocional do respondente, mais especialmente no que se refere ao encadeamento das emoções, assim como a transição de uma para outra como, por exemplo, um sujeito que está bravo fica raivoso. Também avalia o conhecimento sobre a experiência simultânea de emoções conflitantes (Mayer, Caruso & Salovey, 2002). A Tabela 3 apresenta os índices de dificuldades de cada item, a saber, ID1 e ID2. A coluna ID1 apresenta o índice da opção de resposta correta e a coluna ID2 apresenta a proporção de escolha da segunda opção mais escolhida quando essa estava acima de 20%. Os resultados indicaram que dentre os itens que compõem esse sub-teste, 15 possuem índices de dificuldade de 50% ou mais, tendo como referência o consenso da amostra. A apresentação de dois ID's indica, por definição, que houve maior ambigüidade no item, de tal modo que nesses itens, houve outra alternativa com mais de 20% de escolha que, evidentemente, irá ser subtraída da escolha "correta". Em contrapartida, a presença de apenas um ID, indica maior concentração de resposta em uma mesma alternativa, sugerindo maior consenso.

Tendo isso em vista, pode-se considerar esse sub-teste fácil, em razão de que somente cinco itens (c4, c7, c15, c17 e c19) apresentaram um índice de dificuldade abaixo de 50%, ocasionando uma maior dispersão das respostas dos sujeitos em outras alternativas. Ainda nesse sentido, a dispersão das escolhas das respostas dos sujeitos nesse sub-teste pode-se dever à presença de termos próximos, o que poderiam gerar dúvidas nos sujeitos quanto à eleição da melhor resposta. O Item 7 e suas respectivas categorias de resposta podem servir como exemplo: "Tatiana estava aborrecida porque um colega no trabalho havia tomado os créditos para si e quando ele fez isso ela sentiu-se (a) enraivecida, b) irritada, c) frustrada, d) surpresa, e) deprimida). Em casos como esse a dispersão pode ser justificada em razão da semelhança das alternativas "enraivecida" e "irritada".

Outra observação que se faz relevante refere-se aos coeficientes de correlação item-total. Em 19 dos 20 itens do sub-teste eles foram inferiores a 0,30, indicando que a maioria dos itens possui uma correlação baixa com o total o que pode sugerir padrões não muito consistentes de resposta no conjunto de itens analisado, o que, de certa forma, é sugerido pelos coeficientes de consistência interna baixos. Isso suscita uma importante reflexão no sentido da limitação no que se refere à representação do construto e criação de uma escala com pontos e sentidos bem definidos.

O sub-teste Misturas possui 12 itens e tem como objetivo avaliar o conhecimento sobre emoções complexas resultantes de combinação de outras emoções. De acordo com os resultados obtidos nesse estudo, o sub-teste pode ser considerando fácil, levando-se em consideração que metade dos itens apresentou índice de dificuldade acima de 50, como apresentado na Tabela 4.

Vale destacar que nos itens 4, 6, 9, 10 e 11 houve dois ID's, o que sugere que possivelmente a similaridade das alternativas de respostas em alguns itens ou ainda, a própria inabilidade dos sujeitos para responder tenha gerado uma maior distribuição entre as diferentes alternativas. O item que se apresenta a seguir serve como exemplo: "Vergonha, surpresa e constrangimento estão combinados no sentimento de" (a) ciúme, (b) tristeza, (c) malícia, (d) orgulho, (e) preocupação; neste caso, a alternativa mais assinalada foi "preocupação".

Embora, como observado anteriormente, não tenha havido um consenso alto (acima de 50%) em todos os itens, em contrapartida, em outros houve boa concordância, como foi o caso dos Itens 3 e 5. Assim como no sub-teste Transições, foram encontrados alguns coeficientes de correlação item-total relativamente baixos.

Gerenciamento das Emoções

A faceta gerenciamento das emoções é composta pelo sub-teste Administração de emoções, cujo objetivo é medir o conhecimento que as pessoas possuem de ações destinadas a regular as emoções. O sub-teste requer que o respondente classifique a efetividade das alternativas das ações em determinadas situações nas quais uma pessoa tenha que regular as suas próprias emoções. Vale ressaltar que os itens que compõem essa tarefa apresentam um diferencial com relação ao sub-teste Transições, já que esse sub-teste requer que os sujeitos respondam de acordo com uma escala Likert, a efetividade de ações alternativas, e no sub-teste Transições os sujeitos devem escolher uma dentre as múltiplas alternativas de resposta.

Com base na Tabela 5, é possível verificar que esse sub-teste mostra-se mais difícil, embora mais confuso, em relação aos demais, visto que 8 dos 20 itens, aproximadamente metade, apresenta dois IDS o que indica uma grande dispersão das respostas do sujeito, dificultando a observação do consenso da amostra em relação a resposta "correta". Embora, os itens que compõem esse sub-teste tenham apresentado esses vieses, vale lembrar que o maior coeficiente de consistência interna, segundo o Alfa de Cronbach, foi observado nesse sub-teste, a saber, a= 0,766. e também decorrente de um número menor de coeficientes de correlação item-total baixos (rit < 0,30).

O sub-teste Relações Emocionais, com base em nove itens, avalia a habilidade do respondente incorporar as suas próprias emoções e a tomar decisões que envolvam outras pessoas. Esse sub-teste requer que o respondente avalie quão efetivas diferentes ações envolvendo pessoas podem ser concluídas com êxito. De acordo com a Tabela 6, observa-se que esse sub-teste pode ser considerado fácil visto que a maioria dos itens obteve ID acima de 50% o que representa o consenso da amostra em uma determinada resposta, permitindo a compreensão do que pode ser considerado "certo" ou "errado" nesse teste.

Ainda assim, três desses itens apresentaram ID abaixo de 50%, sendo que o item h3_2, nesse sub-teste pode ser considerado o item mais difícil, tendo em vista que as respostas dos sujeitos da amostra se distribuiu homogeneamente para cada alternativa, podendo ser visualizado por meio das suas IDs. Quanto aos itens h1_2 e h3_2 observou-se que as respostas se assemelham no sentido de não manifestar os sentimentos e conseqüentemente, ações. Essas alternativas giram em torno da reflexão sobre a situação e não envolve a conseqüência para com as outras pessoas, o que de alguma forma pode justificar a dificuldade de se apontar a eficácia, por não saber o envolvimento das outras pessoas nessa situação.

Como exemplo de item, cita-se, "Tudo está indo bem para Lânia. Enquanto outros têm reclamado do trabalho, Lânia acabou de ser promovida e ganhou um bom aumento. Seus filhos estão muito felizes e indo bem na escola. Seu casamento é estável e muito feliz. Lânia está começando a se sentir auto-suficiente, presunçosa e se sente tentada a contar vantagem sobre sua vida aos seus amigos. Quão efetiva cada resposta abaixo seria para manter seus relacionamentos? Resposta 1: Já que está indo tudo tão bem é normal sentir orgulho. Mas Lânia também percebeu que algumas pessoas a achariam convencida ou talvez ficariam com inveja dela, então ela somente falou o que sentia para seus amigos mais próximos (muito ineficaz, pouco ineficaz, neutro, pouco eficaz, muito eficaz).

CONSIDERAÇÕES FINAIS

O objetivo desse estudo foi o de realizar uma análise dos itens para verificar quais respostas são consideradas corretas pelo método do consenso por meio da correlação item total, nas sub-escalas da área estratégica, assim como analisar a consistência interna dos sub-testes, por meio do Alfa.

Os resultados indicaram que no geral, os sub-testes apresentaram níveis de consistência interna aceitáveis considerando os padrões estabelecidos pelo CFP (2003), para coeficientes de precisão, a saber 0,60, dentre os quais está incluído a consistência interna mas, evidentemente, os coeficientes estão abaixo do nível ideal em razão de alguns problemas que foram detectados. O método de correção por consenso por um lado dificulta a criação de itens difíceis, já que em tese, as respostas mais pontuadas, são as corretas. Por outro lado, no que diz respeito, ao índice de dificuldade, a existência de dois ID's, indicando que houve maior distribuição das respostas no item, sugere que quanto maior distribuição, maior a possibilidade de ambiguidade e menor é a discriminação, ao mesmo tempo em que quanto menor a discriminação, maior o grau de dificuldade do item. Nesse caso, os itens que compõem a área estratégica do instrumento apresentaram um certo equilíbrio entre fáceis e difíceis.

Ainda nesse sentido, a diminuição de acertos na alternativa supostamente correta geralmente é acompanhada do aumento em outras alternativas, como foi notado em alguns casos, fazendo que três ou quatro alternativas recebessem escores perto de 25%. Nesses itens uma alternativa correta não é claramente definida. Os itens nos quais há uma alternativa definida (mais de 50% dos respondentes) podem ser considerados mais fáceis.

Ao lado disso, no caso de um item cujo consenso seja de 30%, portanto um item difícil, no qual nenhuma outra alternativa tenha porcentagem maior do que 30, fazendo com que a alternativa consensual se configure como a resposta certa, mesmo que ele possa ser considerado um bom item, a pontuação atribuída ao sujeito (30) não será muito diferente das pontuações às outras alternativas erradas (por exemplo, 20). Assim, o contraste entre as pontuações das respostas certas e erradas, fica diminuído em itens supostamente difíceis.

As idéias acima discutidas refletem parte da complexidade referente à construção de testes psicológicos, principalmente em se tratando de instrumentos de avaliação da IE baseados em desempenho, por causa da dificuldade em se estabelecer a os critérios para correção das respostas. Uma alternativa possível de análise consistiria no emprego da Teoria de Resposta ao Item (Embretson & Reise, 2000; Hambleton & Swaminatham, 1985) buscando verificar se existem outras opções de resposta que também possam ser consideradas corretas além daquelas definidas pelo consenso. Essa análise pode propiciar a melhora no índice de consistência interna do instrumento por meio do ajuste das respostas corretas.

Desta forma, sugere-se que novos estudos sejam realizados com amostras diferentes ou com as mesmas, mas sob a perspectiva de outras análises como a citada anteriormente. Assim, acredita-se que tais investigações possibilitarão reflexões amplas sobre a inteligência emocional, sobre as diferentes formas de avaliá-la, bem como sobre a melhor forma de correção.

Recebido em 10/05/2005

Aceito em 24/03/2006

  • Bueno, J. M. H. & Primi, R. (2003). Inteligência Emocional: um estudo de validade sobre a capacidade de perceber emoções. Psicologia Reflexão e Crítica, 16(2), 279-291.
  • Bueno, J. M. H. & Primi, R. (2001). Inteligência Emocional: definição do construto e instrumentos de medida. Em E. T. B. Sbardelini, R. Primi, & F. F. Sisto (Orgs.), Contextos e Questões da Avaliação Psicológica (pp. 135 - 154). São Paulo: Casa do Psicólogo.
  • Ciarrochi, J., Chan, A., Caputi, P. & Roberts, R. (2001). Measuring Emotional Intelligence. In J. Ciarrochi, J. P. Forgas & J. D. Mayer (Eds.), Emotional Intelligence In Everyday Life: A Scientific Inquiry (pp. 25 - 45). Lillington: Psychology.
  • Conselho Federal de Psicologia (2003). Resolução nº 02/2003. Disponível em: <http//www.pol.org.br>. (Acesso em 28/10/2004).
  • Embretson, S. E. & Reise, S. P. (2000). Item Response Theory for Psychologists. New Jersey: Lawrence Erlbaum.
  • Hambleton, H. K. & Swaminatham, H. (1985). Item response theory: Principles and applications. Boston: Kluwer.
  • Mayer, J. D., Caruso, D., & Salovey, P. (1999). Emotional intelligence meets traditional standards for an intelligence. Intelligence, 27, 267-298.
  • Mayer, J. D., Caruso, D. R., & Salovey, P. (2002). MSCEIT – Mayer-Salovey-Caruso Emotional Intelligence Test New York: Multi-Health Systems Inc.
  • Mayer, J. D., Caruso, D. R., Salovey, P. & Sitarenios, G. (2003). Measuring Emotional Intelligence with the MSCEIT V2.0. Emotion, 3(1), 97-105.
  • Mayer, J. D. & Salovey, P. (1997/9). O que é inteligência emocional? Em P. Salovey & D. J. Sluyter (Orgs), Inteligência Emocional na criança: aplicações na educação e no dia-a-dia (pp. 15-49). Rio de Janeiro: Campus.
  • Endereço para correspondência:

    Ana Paula Porto Noronha
    Rua: Alexandre Rodrigues Barbosa, 45
    Centro, CEP 13251-900
    Itatiba/SP.
    E-mail:
  • Datas de Publicação

    • Publicação nesta coleção
      23 Out 2007
    • Data do Fascículo
      Ago 2007

    Histórico

    • Aceito
      24 Mar 2006
    • Recebido
      10 Maio 2005
    Universidade Estadual de Maringá Avenida Colombo, 5790, CEP: 87020-900, Maringá, PR - Brasil., Tel.: 55 (44) 3011-4502; 55 (44) 3224-9202 - Maringá - PR - Brazil
    E-mail: revpsi@uem.br