Ansiedade em situações de prova: evidências de validade de duas escalas

Anxiety in examination contexts: validity evidence of two scales

Ansiedad en situaciones de prueba: evidencias de validez de dos escalas

ARTIGOS

Ansiedade em situações de prova: evidências de validade de duas escalas

Anxiety in examination contexts: validity evidence of two scales

Ansiedad en situaciones de prueba: evidencias de validez de dos escalas

Camila Akemi Karino; Jacob A. Laros

Universidade de Brasília, Brasília, Brasil

^{Contato com os autores}

RESUMO

A competição, a cobrança social e pessoal e a possibilidade de fracasso são alguns dos fatores que podem tornar a situação de prova um evento estressante e gerador de ansiedade. Nesse contexto, este estudo objetivou disponibilizar para o Brasil dois instrumentos de avaliação da ansiedade em situações de testagem e demonstrar evidências de validade dessas escalas. Participaram do estudo 1.878 estudantes do ensino médio de escolas públicas e particulares de Brasília. Dois instrumentos de ansiedade foram desenvolvidos: um que busca medir quatro dimensões de ansiedade, o Inventário de Ansiedade frente a Provas (IAP), e o Inventário de Ansiedade Internamente e Externamente Causada (IAIEC). Verificou-se que os instrumentos têm adequadas estruturas fatoriais e boa consistência interna. Ademais, análises de correlação com outros instrumentos de ansiedade indicaram evidências de validade convergente adequada com correlações entre 0,31 e 0,72. As implicações do estudo são notáveis no âmbito clínico, social e acadêmico.

Palavras-chave: Ansiedade, Situações de prova, Desempenho, Testes de seleção.

ABSTRACT

Competition, social and personal demands, and the possibility of failure are all factors that might turn examination situations into stressful and anxiety-inducing events. The purpose of the present study was to provide two Brazilian assessment instruments of anxiety in examination contexts and to demonstrate evidence of their validity. A sample of 1,878 high school students from public and private schools in Brasilia participated in this study. Two instruments of anxiety were developed: the Testing Anxiety Inventory (IAP) measuring four anxiety dimensions, and the IAIEC assessing internally and externally caused anxiety. The findings indicate that both instruments have an adequate factor structure and a good internal consistency. Moreover, correlational analysis with other instruments of anxiety suggests evidence of an adequate convergent validity with correlations varying between .31 and .72. The implications of the present study are noteworthy in clinical, social and academic contexts.

Keywords: Anxiety, Test situations, Performance, Selection test.

RESUMEN

La competencia, presión social y personal, así como la posibilidad de fracaso son algunos de los factores que pueden hacer de la realización de una prueba un momento de estrés que genera ansiedad. En ese contexto, este estudio buscó ofrecer dos instrumentos de medida de la ansiedad en situación de prueba y demostrar las evidencias de validez de esas escalas para uso en Brasil. Participaron 1.878 estudiantes de enseñanza media de escuelas públicas y particulares de Brasilia. Dos instrumentos de ansiedad fueron desarrollados: uno que busca medir cuatro dimensiones de ansiedad, el Inventario de Ansiedad frente a Pruebas (IAP), y el Inventario de Ansiedad Interna y Externamente Causada (IAIEC). Se verificó que los instrumentos tienen estructuras factoriales adecuadas y buena consistencia interna. Además, los análisis de correlación con otros instrumentos de ansiedad indicaron evidencias de validez convergente adecuadas con correlaciones entre 0,31 y 0,72. Las implicaciones de esta investigación son importantes para el ámbito clínico, social y académico.

Palabras clave: Ansiedad, Situaciones de prueba, Desempeño, Test de selección.

Introdução

A maioria das pessoas passará por um processo seletivo ou avaliativo em algum momento da vida. Esses processos podem ter exigências diversas e poderão ter importâncias e consequências de diferente intensidade na vida das pessoas, seja na escola, no trabalho, para ingressar em uma universidade, para conquistar uma vaga de emprego ou para provar que é capaz. É um momento de expectativas e incertezas em que o principal é provar sua capacidade.

A espera, a cobrança pessoal e social, a competição e a preparação para a prova são alguns dos fatores que fazem com que um processo seletivo se torne estressante e gerador de diversos efeitos negativos. Considerando a situação de prova ou o contexto avaliativo como estressor, pesquisas nas décadas de 1960 e 1970 já especulavam sobre esses efeitos negativos e buscavam tanto compreender o construto ansiedade em situações de testagem, quanto construir instrumentos para a sua avaliação (Sarason, 1980). Desde então, um número significativo de pesquisas foram desenvolvidas demonstrando que indivíduos caracteristicamente reagem a situações de avaliação por meio de reações fisiológicas e pensamentos irrelevantes que resultam em um desempenho baixo.

Estudos brasileiros que investigaram as mudanças emocionais em situações de prova verificaram que muitos jovens que enfrentam processos seletivos não se consideravam preparados fisicamente nem psicologicamente. É comum o relato de vivência como dificuldade de concentração, inquietação, dores de cabeça, dores musculares, tonturas, além de muitos apresentarem níveis de ansiedade, estresse, medo, insegurança e aflição (D'Avila & Soares, 2003; Rodrigues & Pelisoli, 2008). Neste estudo, será tratada especificamente uma das vivências dos estudantes, a ansiedade.

De acordo com Carmo e Simionato (2012), estados de ansiedade envolvem reações fisiológicas desagradáveis; postura tensa; expressão facial cansada; dores de cabeça; distúrbios estomacais etc.; envolvendo componentes fisiológicos, comportamentais e cognitivos. A frequência e a intensidade desses componentes, em contextos específicos, são parâmetros fundamentais na caracterização da ansiedade. E essas reações que se apresentam em ocasiões específicas impedem o aluno de apresentar um bom desempenho nas tarefas, prejudicando-o tanto nas situações em que ocorre a ansiedade quanto em tarefas que deverão ser realizadas posteriormente, como um exame de vestibular, ou até mesmo nas situações vivenciadas no dia a dia (Carmo, 2011).

Considerando o contexto avaliativo de forma mais ampla, há na literatura muitos estudos que analisaram a relação entre ansiedade e desempenho: em processos seletivos para conseguir um emprego, em apresentações em público, tendo como foco o desempenho relacionado a habilidades musicais e em atividades desportivas (Almeida, Behlau, & Leite, 2011; Hausknecht, Day & Thomas, 2004; In'nami, 2006; Oliveira & Duarte, 2004; Pereira, Barros, & Mendonça, 2012; Silva & Sponda, 2009 & Vasconcelos-Raposo, Lázaro, Mota, & Fernandes, 2007). Entretanto, está longe de se estabelecer um consenso de que a relação entre ansiedade e desempenho é simplesmente de que uma está inversamente relacionada com a outra. A construção de novas escalas para mensurar ansiedade pode contribuir nessa área.

Sarason (1978), um dos importantes estudiosos na área de ansiedade em situação de testagem, descreve como característico de respostas ansiosas: (1) a situação é vista como difícil, desafiadora e ameaçadora; (2) o indivíduo vê a si mesmo como ineficiente ou inadequadamente preparado para manejar a tarefa; (3) o indivíduo foca nas consequências indesejáveis de um desempenho ruim; (4) preocupações autodepreciativas são fortes e competem com a atividade cognitiva relevante para a tarefa; e (5) o indivíduo antecipa o fracasso e a perda de respeito pelos outros. Nota-se que a resposta ansiosa depende da percepção da situação como desafiadora e que Sarason conceitua ansiedade em teste focando predominantemente no aspecto cognitivo da ansiedade, que é a preocupação (McCarthy & Goffin, 2005).

No decorrer dos anos, várias escalas para mensuração da ansiedade foram desenvolvidas. De acordo com Keedwell e Snaith (1996), no contexto clínico, a Escala de Ansiedade de Hamilton (HAM-A; Hamilton, 1959) e o Inventário de Ansiedade Beck (Beck, Epstein, Brown, & Steer, 1988) são as mais utilizadas. Já no contexto de autoavaliação, o Inventário de Ansiedade Traço-Estado (IDATE; Spielberger, Gorsuch, & Lushene, 1970) é apontado como o instrumento mais utilizado.

Para situações de testagem, o primeiro instrumento desenvolvido para medir ansiedade foi o Test Anxiety Questionnaire (Mandler & Sarason, 1952), que consistia em uma série de escalas de indicadores gráficos. Em 1958, esse questionário foi transformado em uma escala com 21 itens de verdadeiro ou falso − o Test Anxiety Scale (Sarason, 1958) e, posteriormente, aprimorada para uma versão com 37 itens.

Em 1967, Liebert e Morris propuseram a Worry-Emotionality Questionnaire (WEQ), a qual concebia a ansiedade como bidimensional: preocupação e emoção. Seguindo a mesma perspectiva de dois fatores, podem-se citar mais duas escalas: Test Anxiety Inventory (TAI; Spielberger, 1980) e Revised Worry-Emotionability Scale (Morris, Davis, & Hutchings, 1981).

Além da estrutura bidimensional, há estudos que apontam uma estrutura tetradimensional, como a escala de Sarason (1984; Reactions to Tests Questionnaire − RTT). Nesse contexto, McCarthy e Goffin (2005), buscando estudar a dimensionalidade do construto, aplicaram itens de três instrumentos de avaliação da ansiedade (Test Attitude Survey − TAS, Arveys, Strickland, Drauden & Martin, 1990; Test Anxiety Inventory − TAI, Spielberger 1980; Reactions to Tests Questionnaire − RTT, Sarason, 1984) em 248 estudantes de graduação e utilizaram a análise fatorial confirmatória para averiguar a estrutura fatorial com melhor ajuste: uni, bi ou tetradimensional. A estrutura bidimensional foi a que apresentou melhor ajuste, seguida da estrutura de quatro fatores. Os autores argumentaram ainda que a estrutura de quatro dimensões proposta por Sarason (1984) pode ser reduzida a dois fatores, tensão e reações corporais (emoção) e preocupação e pensamento irrelevantes (preocupação/ cognição).

Outros estudos, no entanto, apresentam evidências da estrutura de quatro fatores. Por exemplo, Benson, Moulin-Julian, Schwarzer, Seipp e El-Zahhar (1992) desenvolveram uma pesquisa baseada em uma amostra multinacional (americanos, alemães e egípcios) onde uma combinação de itens de duas escalas foi aplicada. Da combinação de 60 itens (40 do RTT e 20 do TAI) surgiu a Revised Test Anxiety Scale (RTA), escala composta por quatro dimensões: preocupação, tensão, pensamentos irrelevantes e sintomas corporais. Já Hodapp e Benson (1997) realizaram uma pesquisa com dois instrumentos de avaliação da ansiedade (RTA e TAI-G) e um instrumento de autoeficácia em uma amostra de 436 estudantes americanos e alemães. Testou-se uma estrutura de dois, três, quatro e cinco fatores. A estrutura com melhor ajuste foi a de quatro fatores: preocupação, emoção, distração e falta de confiança.

Em outra perspectiva, Proost, Derou, Schreurs, Hagtvet e Witte (2008) buscaram desenvolver um instrumento mais específico de avaliação de ansiedade em contextos de prova, focado na dimensão preocupação, sobretudo, porque este componente possui uma correlação negativa mais forte com desempenho do que o componente emocional. Proost e cols. (2008) buscaram então avaliar se as diferentes origens dessa preocupação teriam impacto diferente sobre o desempenho. O instrumento Self- versus Other-referenced Anxiety Questionnaire (SOAQ) procurou prover a medida de um domínio específico da ansiedade (autoreferenciada e referenciada no outro) dentro de um contexto de seleção. Essa diferenciação baseava-se num estudo que concebia a expectativa de fracasso como imersa em um contexto social avaliativo onde o eu e o outro são avaliadores críticos relevantes no desencadeamento da ansiedade (Hagtvet, Man & Sharma, 2001). Assim, a ansiedade autorreferenciada é provocada pela autocobrança do estudante e a referenciada no outro advém da percepção de cobrança dos outros ou da necessidade de mostrar sua capacidade às pessoas próximas.

No Brasil, poucas escalas de ansiedade foram desenvolvidas até o momento e as pesquisas de validação foram realizadas buscando, sobretudo, a utilização em contextos clínicos. Algumas das escalas de ansiedade utilizadas no Brasil são: (1) o Inventário de Ansiedade Traço-Estado adaptado para o Brasil em 2003 (IDATE; Biaggio & Natalício, 2003); (2) a escala Beck de ansiedade originalmente concebida por Beck e cols. (1988) (Cunha, 2001) e (3) a versão reduzida do Questionário de Saúde Mental (QSG-12; Gouveia, Chaves, de Oliveira, Dias, Gouveia, & de Andrade, 2003).

O IDATE, desenvolvido por Spielberger, Gorsuch e Lushene (STAI; 1970) busca avaliar o traço relativamente estável de ansiedade (IDATE-T) e o estado emocional transitório que pode ser influenciado pelo ambiente (IDATE-E). A escala Beck de ansiedade tem como base a intensidade de sintomas de ansiedade e ela foi construída para medir especificamente sintomas de ansiedade que são compartilhados de forma mínima com depressão. Por fim, a versão original do QSG-12, busca avaliar saúde psíquica no geral e não ansiedade propriamente. Contudo, estudos com a versão reduzida têm apontado uma estrutura na qual uma das dimensões é a ansiedade.

Enfim, em comparação aos estudos internacionais, o Brasil pouco avançou no desenvolvimento de instrumentos para avaliação da ansiedade. Dessa forma, esta pesquisa tem como objetivo a adaptação de escalas de mensuração da ansiedade em situações de prova e a obtenção de evidências de validade dessas escalas. Especificamente, buscaram-se evidências de validade tendo como base a estrutura interna e a relação com variáveis externas. Dois instrumentos foram adaptados: (1) uma escala baseada na estrutura de quatro fatores, o que permite uma amplitude maior de análise e devido à consistência metodológica apresentada por Hodapp e Benson (1997) e (2) um instrumento voltado para avaliar a fonte da ansiedade em contexto de prova, baseado no estudo de Proost e cols. (2008).

Método

Participantes

Participaram deste estudo 1.878 estudantes: 1.189 de escolas públicas e 689 de escolas particulares do Ensino Médio da cidade de Brasília, Distrito Federal. A idade média dos participantes foi de 17 anos (DP=3,2), a maioria cursando o terceiro ano do Ensino Médio (69%) e do sexo feminino (56%).

Instrumentos

Os seguintes instrumentos foram utilizados na pesquisa: provas para avaliação do desempenho cognitivo, dois instrumentos para avaliar ansiedade em contextos de prova e outros três instrumentos de avaliação da ansiedade já validados no Brasil. Segue a descrição dos instrumentos utilizados:

(1) Prova para avaliação do desempenho cognitivo. A avaliação de desempenho dos estudantes foi realizada por meio de provas elaboradas por uma banca de especialistas do Centro de Seleção e Promoção de Eventos – CESPE da Universidade de Brasília – UnB. As provas foram elaboradas tendo como base as matrizes de referência do Exame Nacional do Ensino Médio (ENEM), sendo assim, foram avaliadas quatro áreas do conhecimento: Matemática e suas tecnologias, Ciências Humanas e suas tecnologias, Ciências da Natureza e suas tecnologias e Linguagens, Códigos e suas tecnologias.

(2) Inventário de Ansiedade frente a Provas (IAP). O IAP foi construído no intuito de medir quatro dimensões da ansiedade: preocupação, emoção, distração e falta de confiança. O instrumento foi baseado no estudo de Hodapp e Benson (1997) que buscou testar a multidimensionalidade dos testes de ansiedade com base nos itens de dois instrumentos: Revised Test Anxiety – RTA (Benson & cols., 1992) e Test Anxiety Inventory – TAI-G (Hodapp, 1996). Também foram incluídos itens novos e itens do Worry-Emotionality Questionnaire – WEQ (Liebert & Morris, 1967) e do Reaction to Tests – RTT (Sarason, 1984).

(3) Inventário de Ansiedade Internamente e Externamente Causada (IAIEC). Baseado no questionário desenvolvido por Proost e cols. (2008), o IAIEC tem como cerne a ansiedade proporcionada pela preocupação de atender a expectativas. Essas expectativas são provindas do próprio eu ou de uma rede social próxima e significativa.

(4) Versão reduzida do Questionário de Saúde Mental de Goldberg (QSG-12). O QSG-12 corresponde à versão abreviada do Questionário de Saúde Mental de Goldberg (1972) cuja adaptação brasileira foi realizada por Pasquali, Gouveia, Andriola, Miranda e Ramos, em 1996. A versão abreviada apresentada por Gouveia e cols. (2003) apresenta uma estrutura bifatorial que avalia depressão e ansiedade.

(5) Inventário de Ansiedade Beck (BAI). O BAI é uma escala de autorrelato que busca mensurar a intensidade de sintomas de ansiedade. A escala foi inicialmente criada por Beck e cols. (1988) e adaptada e validada para o Brasil por Cunha (2001).

(6) Inventário de Ansiedade Traço-Estado (IDATE). O IDATE é composto por duas escalas distintas (A-traço e A-estado) e foi desenvolvido por Spielberger, Gorsuch e Lushene (1970). O IDATE foi traduzido e adaptado para o Brasil por Biaggio e Natalício (2003).

Procedimento

Esta pesquisa passou pela aprovação do Comitê de Ética em Pesquisa do Instituto de Ciências Humanas da Universidade de Brasília e os estudantes, após as explicações acerca da pesquisa assinaram o Termo de Consentimento Livre e Esclarecido. No caso dos estudantes menores de idade, foi solicitada a assinatura dos pais ou responsável. Esse contato inicial foi realizado semanas antes da coleta de dados.

Neste estudo foram realizadas duas etapas de coleta de dados. A primeira etapa ocorreu em três escolas públicas do Distrito Federal. No dia da aplicação, primeiro eram entregues os instrumentos de ansiedade (IAP, IAIEC, BAI, QSG-12). Os alunos tinham 30 minutos para responder. Em seguida, os instrumentos eram recolhidos e aplicavam-se as provas. O IAP e o IAIEC foram respondidos por todos os alunos. O QSG-12 por alunos de duas escolas e o BAI por alunos de uma única escola.

A segunda etapa de coleta de dados ocorreu em duas unidades de uma escola particular do Distrito Federal. De modo geral, o procedimento adotado foi muito semelhante ao realizado com as escolas públicas. Os instrumentos de ansiedade respondidos pelos alunos das escolas particulares foram: IAP, IAIEC e IDATE.

Análise de dados

Os seguintes procedimentos de análise foram utilizados:

- Análise exploratória dos dados: para verificação da integridade das bases de dados e da qualidade das respostas, foi realizada análise de dados missing e de normalidade univariada. Os dados missing foram tratados de duas maneiras: 1) pairwise ou 2) linear trend point, o segundo método somente na análise fatorial confirmatória. O critério para considerar um item com distribuição não-normal foi assimetria (skewness) superior a 1,0 e curtose (kurtosis) superior a 2,0 (Miles & Shevlin, 2001; Osborne, 2002). Os itens com problema de normalidade foram transformados utilizando-se os métodos: raiz quadrada, logaritmo de base 10 e inversa (Tabachnick & Fidell, 2007).

- Análise fatorial exploratória (AFE): teve-se como base a análise fatorial dos eixos principais (Principal Axis Factoring, PAF), utilizando a rotação promax. A quantidade de fatores a ser extraída foi definida por meio da análise paralela usando o programa RAWPAR (O'Connor, 2000): comparando-se os autovalores obtidos empiricamente com os autovalores obtidos a partir de variáveis randômicas (não correlacionadas) (Ledesma & Valero-Mora, 2007; Timmerman & Lorenzo-Seva, 2011). Na AFE, foram excluídos itens que apresentaram cargas elevadas em mais de um fator e itens com carga fatorial no fator principal menor que 0,30 (Laros, 2012; Tabachnick & Fidell, 2007).

- Análise de fidedignidade: avaliada pela correlação item-resto. Itens com correlação baixa entre item e a escala total foram excluídos. A fidedignidade dos fatores também foi avaliada pelo método lambda 2 de Guttman.

- Análise fatorial confirmatória (AFC): o pressuposto de normalidade multivariada dos dados para o uso de AFC foi verificado utilizando-se o índice de Mardia. Os índices de ajuste utilizados foram: a) Tucker-Lewis Index (TLI), b) Goodness of Fit Index (GFI), c) Adjusted Goodness of Fit Index (AGFI), d) Comparative Fit Index (CFI), e) Root Mean Square Residual (RMR) e f) Root Mean Square Error of Approximation (RMSEA). Os índices "a", "b", "c" e "d" avaliam o ajuste ao modelo, valores entre 0,90 e 0,95 são aceitáveis e valores acima de 0,95 são indicadores de um bom ajuste (Distefano & Hess, 2005; Ullman, 2007). Os índices "e" e "f" são indicadores de resíduo e erro; valores entre 0,05 e 0,08 são considerados como indicadores de um bom ajuste para o RMR e RMSEA, respectivamente (Hu & Bentler, 1999). O método de estimação utilizado neste estudo foi o de Máxima Verossimilhança (MLE). Por fim, a adequabilidade do modelo também foi testada, comparando-se os índices de ajuste dos dados em modelos alternativos: (a) modelo nulo, (b) modelo de um fator único e (c) modelo de fatores não correlacionados, conforme sugerido por Thompson (2008).

- Análises descritivas e de correlação: após o cálculo dos escores, foi realizada análise descritiva de todos os instrumentos aplicados: distribuição percentil, média, desvio padrão, além de análise de correlação.

A AFE e a AFC foram realizadas com a mesma amostra. As análises foram realizadas utilizando os softwares estatísticos: SPSS (Statistical Package for the Social Sciences), versão 16 e AMOS versão 18.0.

Resultados e Discussão

Análise exploratória dos dados

Durante as análises de consistência da base de dados, verificou-se que os instrumentos foram respondidos corretamente pelos estudantes, apresentando somente entre 0,1 a 1% de dados faltosos no IAP e no IAIEC. Participantes com menos de 85% de respostas válidas foram retirados das análises. Após a exclusão de 38 casos, as respostas omissas que ainda se mantiveram foram tratadas utilizando-se o método linear trend point ou pairwise, a depender da análise. Foram encontrados ainda 9 itens com problemas de normalidade no IAP. Após tratamento desses itens, optou-se pelo método que demonstrou os melhores valores de curtose e assimetria: a inversa.

Análise Fatorial Exploratória (AFE) e Análise de Consistência interna

Primeiramente, o número de fatores foi determinado pela análise paralela que apontou a existência de 5 fatores no IAP e 3 fatores no IAIEC. Considerando o número de fatores sugeridos, foi realizada a AFE para verificar a consistência estatística e teórica dos fatores.

Na análise do IAP, considerando a solução de 5 fatores, verificou-se que o fator 5 é composto somente por 4 itens com cargas moderadas e dos quais dois são itens complexos (possuem cargas fatoriais em mais de um fator). A análise do conteúdo desses itens não demonstra consistência teórica para a composição de um novo fator ou para diferenciá-lo do fator 1 relativo, a emoções. Dessa forma, a falta de consistência estatística e teórica embasou a decisão de se manter somente 4 fatores. A Tabela 1 apresenta as cargas fatoriais, as comunalidades, as correlações item-resto, a fidedignidade e o percentual de variância explicada por fator do IAP.

Nota-se que os itens dos quatro fatores da escala IAP possuem cargas fatoriais altas, as correlações item-resto são de moderada a alta e os índices de fidedignidade também são altos. Esses resultados indicam boa consistência dos fatores, coerência entre os itens e os fatores e uma adequada estrutura fatorial. Comparando os fatores, observa-se que o fator 3 (confiança) e o fator 4 (distração) são os que possuem, em média, itens com cargas fatoriais e correlação item-resto mais altas.

A interpretação dos fatores está de acordo com a expectativa teórica tetradimensional apontada por Hodapp e Benson (1997). O fator 1 refere-se à emoção. O fator 2 é representado por itens que revelam uma preocupação com as consequências da prova e com o próprio desempenho. O fator 3 está relacionado à autoconfiança. Já o último fator está relacionado a outros pensamentos provindos do estado de ansiedade que acabam por prejudicar a concentração da pessoa. Como esperado, verificou-se uma correlação de moderada a alta entre os fatores, sendo que o fator 3 possui uma relação inversa com os demais fatores. Ou seja, quanto maior a confiança, menor tendem a ser a preocupação, a distração e as alterações emocionais.

Verificam-se, portanto, evidências psicométricas e teóricas que confirmam a estrutura tetradimensional sugerida por Hodapp e Benson (1997). Ressalta-se ainda que essa estrutura tetradimensional não se opõe necessariamente à estrutura bidimensional proposta por outros autores (Liebert & Morris, 1967; Spielberger, 1980), uma vez que as duas dimensões avaliadas em outras escalas, preocupação e emoção, fazem parte da estrutura tetradimensional.

Com relação ao IAIEC, na solução de 3 fatores sugerida pela análise paralela, apesar dos itens apresentarem cargas fatoriais altas, verifica-se a existência de dois itens complexos, somente 4 itens compondo o fator 3 e ausência de justificativa teórica que sustente a separação desses itens em relação ao fator 2. Assim, antes da exclusão dos itens complexos, decidiu-se por realizar uma nova AFE, considerando a existência de dois fatores. Observa-se, na Tabela 2, que nessa nova solução não há ocorrência de itens complexos e as cargas fatoriais são altas, demonstrando consistência dos fatores.

Ainda na Tabela 2, verifica-se que a correlação item-resto é alta e os valores de fidedignidade são adequados. Os resultados indicam que todos os itens são representativos do construto e há uma boa precisão da medida. Enfim, a solução de dois fatores se mostrou mais adequada teoricamente e os índices estatísticos sustentam essa estrutura fatorial, confirmando os resultados de Proost e cols. (2008). A correlação entre os fatores do IAIEC é alta (0,65), corroborando o método não ortogonal e a hipótese de existir um fator de segunda ordem. O fator 1 apresenta, em média, itens com cargas fatoriais e correlação item-resto levemente superiores ao fator 2.

A interpretação dos fatores revela que o Fator 1 refere-se a ansiedade que é causada por fatores externos, pela preocupação do que outras pessoas vão pensar ou achar. Já o fator 2 faz menção a uma ansiedade provinda de cobranças internas, buscando atender a expectativas próprias, constituindo, assim, a ansiedade referenciada no outro e a ansiedade autorreferenciada, respectivamente, tal como proposto por Proost e cols. (2008).

Análise fatorial confirmatória dos instrumentos de ansiedade

Buscando confirmar a estrutura fatorial dos instrumentos de ansiedade em contextos de prova, realizou-se a análise fatorial confirmatória (AFC). A estrutura teórica dos instrumentos foi tomada como modelo principal e foi testada. Inicialmente, foi verificada a existência de casos outliers multivariados por meio da distância Mahalanobis. Os casos mais desviantes foram retirados das análises posteriores: 100 respondentes do IAP e 22 do IAIEC.

Verificou-se também a normalidade multivariada das amostras por instrumento através do coeficiente de Mardia, que revelou não normalidade dos dados. Diante desse resultado, optou-se pela utilização do procedimento de reamostragem (bootstrap) com 500 amostras distintas. A vantagem do procedimento bootstrap é permitir a avaliação da estabilidade dos parâmetros estimados (Byrne, 2010).

Após uma sequência de análises, conforme orientações de Thompson (2008), o modelo principal final do IAP considerou os seguintes pressupostos: (1) as respostas dos participantes ao IAP são explicadas por quatro fatores correlacionados: emoção, preocupação, distração e confiança; (2) as cargas fatoriais indicadas pelas setas unidirecionais saindo dos fatores são diferentes de zero; (3) existem erros de medida correlacionados entre si: e11-e12; e12-e23; e16-e24; e28-e30 e (4) foram excluídas as variáveis 3, 5 e 29 por apresentarem conteúdos muito próximos com outros itens. A Figura 1 apresenta o modelo principal final para o IAP.

Os resultados da AFC revelam cargas fatoriais padronizadas altas (mais de 60% dos itens possuem cargas acima de 0,60); além disso, as cargas fatoriais da estimação ML e do procedimento de reamostragem são praticamente idênticas (diferença igual ou menor do que 0,01), o que demonstra que as distribuições das estimativas dos parâmetros são bem próximas de uma normal. Todas as cargas fatoriais foram significativamente diferentes de zero (p<0,01). Quanto aos índices de ajuste, observa-se valores satisfatórios. Os índices de ajuste ao modelo (TLI, GFI, AGFI e CFI) estão bem próximos ou superiores a 0,90 e os índices de erro (RMR e RMSEA) são iguais ou inferiores a 0,08. Diante do exposto, pode-se concluir que o modelo final do IAP apresentou um ajuste adequado e sugere uma estrutura tetradimensional, assim como estudos anteriores realizados com amostras americanas, alemãs e egípcias (Benson & cols., 1992; Hodapp & Benson, 1997 & McCarthy & Goffin, 2005).

Já o modelo principal final do IAIEC considerou os seguintes pressupostos: (1) as respostas dos participantes ao IAIEC são explicadas por dois fatores correlacionados: expectativas internas e externas; (2) as cargas fatoriais indicadas pelas setas unidirecionais saindo dos fatores são diferentes de zero; (3) não existem erros de medida correlacionados entre si e (4) foram excluídos os itens 7, 8, 11, 13 e 14. A Figura 2 apresenta o modelo principal final para o IAIEC.

No modelo principal final do IAIEC, as cargas fatoriais padronizadas são altas, variando de 0,47 a 0,78, e as divergências entre as cargas da estimação ML e do procedimento de reamostragem são pequenas. Todas as cargas fatoriais padronizadas foram significativamente diferentes de zero (p<0,01), mais de 90% delas são superiores a 0,60. Os índices de ajuste foram satisfatórios, GFI, AGFI e CFI iguais ou superiores a 0,90, exceto o TLI que foi 0,89. Por outro lado, os índices de erro foram no limite dos valores esperados, RMR e RMSEA iguais a 0,08, quando o desejável seria inferior a 0,08 (Byrne, 2010). A correlação forte entre os dois fatores (0,67) contribui com a hipótese de um fator de segunda ordem. No entanto, a magnitude dessa correlação é um pouco inferior à encontrada no estudo original (r=0,74) de Proost & cols. (2008).

Tanto para o IAP, quanto para o IAIEC, modelos rivais, com estruturas fatoriais diferenciadas, foram analisados. Incluir na análise alguns modelos rivais é uma forma de testar a adequabilidade do modelo principal e comparar os índices de ajuste dos dados. Essa análise é importante porque um número considerável de modelos pode se adequar bem aos dados empíricos. Thompson (2008) sugere o uso de três modelos rivais: (a) modelo independente, que pressupõe a ausência de relação entre todas as variáveis dos instrumentos; (b) modelo de fator único avalia se todas as variáveis referem-se a somente um fator e (c) modelo de fatores não correlacionados supõe que os fatores não estão relacionados, ou seja, inexiste um fator de primeira ordem. As análises confirmaram que o modelo com melhor ajuste foi o modelo principal final com quatro fatores correlacionados para o IAP e com dois fatores correlacionados para o IAIEC.

Dessa forma, os resultados da AFE, da AFC e da análise de consistência interna confirmam uma estrutura tetradimensional para o IAP e uma bidimensional para o IAIEC, com índices psicométricos bastante semelhantes ao dos estudos originais e de estudos posteriores (Benson & cols., 1992; Hodapp & Benson, 1997; McCarthy & Goffin, 2005; Proost & cols., 2008).

Escores de Ansiedade e Validade convergente

Após as AFC, foram calculados escores de ansiedade para todos os participantes em cada um dos instrumentos. Os escores no IAP e no IAIEC foram calculados por meio da soma das pontuações nos itens (entre 1 e 5). Após todas as eliminações, restaram 29 itens no IAP e 14 itens no IAIEC, assim, as pontuações poderiam variar de 29 a 145 e de 14 a 70, respectivamente. Considerando que o fator confiança possui uma relação inversa com o construto ansiedade frente a provas, a pontuação nos itens desse fator foi calculada de forma inversa: 5=1, 4=2, 3=3, 2=4 e 1=5.

Para o estudo da validade convergente, foram aplicados outros três instrumentos: BAI, IDATE e QSG-12. O cálculo dos escores no BAI e IDATE seguiu as normas de seus manuais (Biaggio & Natalício, 2003; Cunha, 2001). Já os escores no QSG-12 foram obtidos por meio da pontuação média nos itens que compõem cada fator: ansiedade e depressão (Gouveia & cols., 2003). A Tabela 3 apresenta a distribuição de escores por percentil, a média e o desvio padrão dos instrumentos.

Nota-se que mesmo se tratando de uma amostra não clínica, verificam-se níveis de ansiedade altos para alguns estudantes e, em geral, escores-médios relativamente altos nas diversas escalas, o que parece demonstrar a influência do contexto de prova. Em um estudo com universitários no qual o nível de ansiedade foi mensurado utilizando-se o IDATE em uma situação comum de aula (neutra) e antes de um exame estatístico considerado difícil (exame), a média da ansiedade-estado na situação neutra e de exame foram 35,35 e 45,71 e a média da ansiedade-traço das respectivas situações foram 37,53 e 37,35 (Biaggio & Natalício, 2003). A média dos estudantes deste estudo na situação de prova foi de 49,98 para ansiedade-estado e de 46,93 para ansiedade-traço, valores superiores aos encontrados no estudo anterior.

A partir dos escores de ansiedade nos diferentes instrumentos, pode-se avaliar também a validade convergente do IAP e do IAIEC. Para isso, procedeu-se com a análise de correlação entre os escores (Tabela 4).

A correlação entre o IAP e o IAIEC é alta, na magnitude de 0,60, o que significa em torno de 36% de variância comum. Esse resultado é bastante razoável se for considerado que o IAP avalia quatro fatores (emoção, preocupação, distração e confiança) e o IAIEC busca avaliar, sobretudo, as razões que provocam a preocupação em contextos de prova. Além disso, essa magnitude é semelhante às apresentadas no Manual do IDATE, cujas correlações entre as duas escalas, traço e estado, em várias amostras brasileiras variaram em torno de 0,56 e 0,73 (Biaggio & Natalício, 2003).

Em relação aos demais instrumentos, as correlações com o IAP são maiores do que as correlações com o IAIEC. Em geral, as correlações com o IAP variaram entre 0,46 e 0,72 e as correlações com o IAIEC variaram entre 0,31 e 0,65. Esse resultado era esperado, uma vez que a estrutura e os conteúdos dos itens do IAP são mais próximos aos utilizados nos demais instrumentos de avaliação de ansiedade.

Chama a atenção a elevada correlação entre o IAP e o IAIEC com a ansiedade-traço do IDATE (0,72 e 0,65). Inicialmente se esperava uma correlação maior com a ansiedade-estado, uma vez que tanto o IAP quanto o IAIEC buscam medir a ansiedade vivenciada em um momento específico. Por outro lado, esses resultados parecem indicar que a vivência de ansiedade em situações de provas está relacionada muito mais à pré-disposição do estudante, ou seja, a um traço do que às circunstâncias contextuais.

Por fim, deve-se mencionar a correlação muito semelhante do IAP e do IAIEC com as escalas de ansiedade e depressão do QSG-12. A correlação moderada era esperada, uma vez que nos estudos com o QSG-12, verificou-se uma correlação de 0,62 entre as duas escalas (Gouveia & cols., 2003). Vários estudos na literatura demonstram a forte relação existente entre o construto ansiedade e o construto depressão (Andrade, Gorenstein, Vieira Filho, Tung, & Arte, 2001; Barlow, 2004; Cunha, 2001). Embora sejam construtos distintos, de acordo como Fioravanti, Santos, Maissonette, Cruz e Landeira-Fernandez (2006), eles se expressam fenomenologicamente de forma muito semelhante, por isso as correlações significativas.

Considerações finais

A diversidade teórica em relação à dimensionalidade do construto ansiedade culminou no desenvolvimento de duas escalas de ansiedade: o Inventário de Ansiedade frente a provas (IAP) e o Inventário de Ansiedade Interna e Externamente Causada (IAIEC). Em geral, as duas escalas apresentaram bons ajustes psicométricos, e foram confirmadas as estruturas teoricamente concebidas, tanto por meio da análise fatorial exploratória quanto da confirmatória. Assim, entende-se que os dois principais objetivos deste estudo (disponibilização para o Brasil de dois instrumentos de avaliação da ansiedade em situações de testagem e demonstração de evidências de validade dessas escalas) foram plenamente cumpridos.

Na busca de se avaliar a validade convergente do IAP e do IAIEC, procederam-se a análises de correlação entre o IAP e o IAIEC e outros instrumentos já validados no Brasil: BAI, QSG-12 e IDATE. Os resultados dessas análises indicaram correlações moderadas, sobretudo, com o IAP. Tais resultados apresentam mais evidências acerca da qualidade dos instrumentos construídos. Por fim, quando se avaliam a média e a distribuição percentil dos escores de ansiedade, verifica-se que resultados corroboraram os estudos que assinalam mudanças emocionais, em especial nos níveis de ansiedade, que podem ser provocadas pelas situações de avaliação (D'Avila & Soares, 2003; Peruzzo & cols., 2008; Rodrigues & Pelisoli, 2008).

Este estudo buscou contribuir para a área de avaliação da ansiedade, mas é somente um dentre muitos estudos que são necessários. Uma das limitações que se pode mencionar é a restrição da amostra utilizada, estudantes de Brasília. Outra limitação refere-se à impossibilidade de aplicação do instrumento em uma avaliação real de vestibular. Foram iniciadas algumas negociações, mas esbarrou-se em implicações éticas e legais. Assim, recomenda-se a realização de pesquisas também em outros estados e contextos avaliativos, além de se investir na avaliação da influência da ansiedade no desempenho. Apesar de já existirem estudos que buscaram avaliar essa relação (Almeida, Behlau, & Leite, 2011; Hausknecht, Day & Thomas, 2004; In'nami, 2006; Oliveira & Duarte, 2004; Pereira, Barros, & Mendonça, 2012; Silva & Sponda, 2009; Vasconcelos-Raposo, Lázaro, Mota, & Fernandes, 2007), os resultados ainda são pouco expressivos.

Espera-se ter contribuído com a área de avaliação da ansiedade e que a construção dessas duas escalas possibilite um avanço nas pesquisas que buscam investigar o impacto da ansiedade em contextos avaliativos sobre o desempenho. Entende-se que as pesquisas futuras dependem de instrumentos de mensuração válidos e fidedignos para que a influência das sensações negativas possa precisamente ser avaliada.

Contato com os autores:

Universidade de Brasília, Instituto de Psicologia – IP,

Instituto Central de Ciências (ICC)/Ala Sul sala A1-061/4,

Laboratório de Métodos e Técnicas de Avaliação – META,

CEP: 70910-900.

Telefone: (61) 3107-6902 e (61) 8205-1534.

Recebido em: 03/12/2012

Reformulado em: 05/11/2013

Segunda reformulação em: 12/11/2013

Aprovado em: 25/11/2013

Sobre os autores:

Camila Akemi Karino é mestre pelo Programa de Pós-Gaduação em Psicologia Social, do Trabalho e das Organizações da Universidade de Brasília. Atualmente, está como coordenadora-geral de Instrumentos e Medidas para Avaliações Educacionais do Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira.

Jacob A. Laros é doutor PhD em Psicologia pela University of Groningen. É professor no Instituto de Psicologia da UnB e coordenador do laboratório META (Métodos e Técnicas de Avaliação). Publicou mais de 50 trabalhos, formou 11 alunos de doutorado e 10 de mestrado.

• Almeida, A. A. F., Behlau, M. & Leite, J. R. (2011). Correlação entre ansiedade e performance comunicativa. Revista da Sociedade Brasileira de Fonoaudiologia, 16(4), 384-389.
• Andrade, L., Gorenstein, C., Vieira-Filho, A. H., Tung, T. C. & Artes, R. (2001). Psychometric properties of the Portuguese version of the State-Trait Anxiety Inventory applied to college students: factor analysis and relation to the Beck Depression Inventory. Brazilian Journal of Medical and Biological Research, 34, 367-374.
• Arveys, R. D., Strickland, W., Drauden, G. & Martin, C. (1990). Motivational components of test-taking. Personnel Psychology, 43, 695-717.
• Barlow, D. H. (2004). Anxiety and its disorders: the nature and treatment of anxiety and panic (2Ş ed.). Nova Iorque: Guildford.
• Beck, A. T., Epstein, N., Brown, G. & Steer, R. A. (1988). An inventory for measuring clinical anxiety. Psychometric properties. Journal of Consulting and Clinical Psychology, 56, 893-897.
• Benson, J., Moulin-Julian, M., Schwarzer, C., Seipp, B. & El-Zahhar, N. (1992). Cross-validation of a revised test anxiety scale using multi-national samples. Em K. A. Hatgvet & T. B. Johnsen (Orgs.), Advances in test anxiety research (Vol. 7, pp. 62-83). Amsterdam, The Netherlands: Swets & Zeitlinger.
• Biaggio, A. M. B. & Natalício, L. (2003). IDATE: Inventário de Ansiedade Traço-Estado Manual. Rio de Janeiro: CEPA.
• Byrne, B. (2010). Structural equation modeling with EQS: basic concepts, applications and programming. Washington: SAGE.
• Carmo, J. S. (2011). Ansiedade à matemática: identificação, descrição operacional e estratégias de intervenção. Em F. Capovilla (Org.), Transtornos de aprendizagem: progressos em avaliação e intervenção preventiva e remediativa (pp. 249-255). São Paulo: Memnon.
• Carmo, J. dos S. & Simionato, A. M. (2012). Reversão de ansiedade à matemática: alguns dados da literatura. Psicologia em Estudo, Maringá, 17(2), 317-327.
• Cunha, J. A. (2001). Manual da versão em português das Escalas Beck Manual São Paulo: Casa do psicólogo.
• D'Avila, G. T. & Soares, D. H. P. (2003). Vestibular: fatores geradores de ansiedade na "cena da prova". Revista Brasileira de Orientação Profissional, 4(1/2), 105-116.
• Distefano, C. & Hess, B. (2005). Using confirmatory factor analysis for construct validation: an empirical review. Journal of Psychoeducational Assessment, 23, 225-241.
• Fioravanti, A. C. M., Santos, L. de F., Maissonette, S., Cruz, A. P. de M. & Landeira-Fernandez, J. (2006). Avaliação da estrutura fatorial da escala de ansiedade-traço do IDATE. Avaliação Psicológica, 5(2), 217-224.
• Goldberg, D. P. (1972). The detection of psychiatric illness by questionnaire. London: Oxford University Press.
• Gouveia, V. V., Chaves, S. S. da S., de Oliveira, I. C. P., Dias, M. R., Gouveia, R. S. V. & de Andrade, P. R. (2003). A utilização do QSG-12 na população geral: estudo de sua validade de construto. Psicologia: Teoria e Pesquisa, 19(3), 241-248.
• Hagtvet, K. A., Man, F. & Sharma, S. (2001). Generalizability of self-related cognitions in test anxiety. Personality and Individual Differences, 31, 1147-1171.
• Hamilton, M. (1959). The assessment of anxiety scales by rating. British Journal of Medical Psychology, 32, 50-55.
• Hausknecht, J. P., Day, D. V. & Thomas, S. C. (2004). Applicant reactions to selection procedures: an updated model and meta-analysis. Personnel Psychology, 57, 639-683.
• Hodapp, V. (1996). The TAI-G: a multidimensional approach for the assessment of test anxiety. Em C. Schwarzer & M. Zidner (Orgs.), Stress, anxiety, and coping in academic settings (pp. 95-130). Tubingen, Germany: Francke.
• Hodapp, V. & Benson, J. (1997). The multidimensionality of test anxiety: a test of different models. Anxiety, Stress and Coping, 10, 219-244.
• Hu, L. & Bentler, P. M. (1999). Cutoff criteria for fit index in covariance structure analysis: conventional criteria versus new alternatives. Structural Equation Modeling, 6, 1-55.
• In'nami, Y. (2006). The effects of the test anxiety on listening test performance. System, 34, 317-340.
• Keedwell, P. & Snaith, R. P. (1996). What do anxiety scales measure? Acta Psychiatrica Scandinavica, 93, 177-180.
• Laros, J. A. (2012). O uso da análise fatorial: algumas diretrizes para pesquisadores. Em L. Pasquali (Org.), Análise fatorial para pesquisadores (pp. 141-160). Brasília: LabPAM Saber e Tecnologia.
• Ledesma, R. D. & Valero-Mora, P. (2007). Determining the number of factors to retain in EFA: an easy-to-use computer program for carrying out parallel analysis. Practical Assessment, Research & Evaluation, 12, 1-11.
• Libert, R. M. & Morris, L. W. (1967). Cognitive and emotional components of test anxiety: a distinction and some initial data. Psychological Reports, 20, 975-978.
• Mandler, G. & Sarason, S. B. (1952). A study of anxiety and learning. Journal of Abnormal and Social Psychology, 47, 16-173.
• McCarthy, J. M. & Goffin, R. D. (2005). Selection test anxiety: exploring tension and fear of failure across the sexes in simulated selection scenarios. International Journal of Selection and Assessment, 13(4), 282-295.
• Miles, J. & Shevlin, M. (2001). Applying regression & correlation: a guide for students and researchers. London: Sage Publications.
• Morris, L. W., Davis, M. A. & Hutchings, C. H. (1981). Cognitive and emotional components of anxiety literature review and a revised Worry Emotionality Scale. Journal of Educational Psychology, 73(4), 541-555.
• O'Connor, B. P. (2000). SPSS and SAS programs for determining the number of components using parallel analysis and Velicer's MAP test. Behavior Research Methods, Instrumentation, and Computers, 32, 396-402.
• Oliveira, M. A. & Duarte, A. M. M. (2004). Controle de respostas de ansiedade em universitários em situações de exposições orais. Revista Brasileira de Terapia Comportamental e Cognitiva, 6(2), 183-199.
• Osborne, J. W. (2002). Notes on the use of data transformations. Practical Assessment, Research & Evaluation, 8(6). Obtido em 5 de março de 2012 de http://pareonline.net
• Pasquali, L., Gouveia, V. V., Andriola, W. B., Miranda, F. J. & Ramos, A. L. M. (1996). Questionário de Saúde Geral de Goldberg (QSG): adaptação brasileira. Manual. São Paulo: Casa do Psicólogo.
• Pereira, A. I. F., Barros, L. & Mendonça, D. (2012). Cognitive errors and anxiety in school aged children. Psicologia: Reflexão e Crítica, 25(4), 817-823.
• Peruzzo, A. S., Cattani, B. C., Guimarães, E. R., Boechat, L. de C., Argimon, I. I. de L. & Scarparo, H. B. K. (2008). Estresse e vestibular como desencadeadores de somatizações em adolescentes e adultos jovens. Psicologia e Argumento, 26(55), 319-327.
• Proost, K., Derous, E., Schreurs, B., Hagtvet, K. A. & Witte, K. D. (2008). Selection test anxiety: investigating applicants' self- vs. other-referenced anxiety in a real selection setting. International Journal of Selection and Assessment, 16(1), 14-26.
• Rodrigues, D. G. & Pelisoli, C. (2008). Ansiedade em vestibulandos: um estudo exploratório. Revista de Psiquiatria Clínica, 35(5), 171-177.
• Sarason, I. G. (1958). Interrelationships among individual differences variables, behavior in psychotherapy, and verbal conditioning. Journal of Abnormal and Social Psychology, 56, 339-344.
• Sarason, I. G. (1978). The test anxiety scale: concept and research. Em C. D. Spielberger & I. G. Sarason (Orgs.). Stress and Anxiety (Vol.5, pp. 193-216). Washington, DC: Hemisphere Publishing Corporation.
• Sarason, I. G. (1980). Test anxiety: theory, research and applications. Hillsdale, NJ: Erlbaum.
• Sarason, I. G. (1984). Stress, anxiety, and cognitive interference: reactions to tests. Journal of Personality and Social Psychology, 46, 929-938.
• Silva, A. & Sponda, E. (2009). Relação ansiedade estado e desempenho dos goleiros de futsal nas olimpíadas escolares. Revista Interfaces: Ensino, Pesquisa e Extensão, 1(1), 30-32.
• Spielberger, C. D. (1980). Test Anxiety Inventory: preliminary professional manual. Palo Alto, C.A: Consulting Psychologists Press.
• Spielberger, C. D., Gorsuch, R. L. & Lushene, R. E. (1970). Manual for the state-trait anxiety inventory Palo Alto, California: Consulting Psychologist Press.
• Tabachnick, B. G. & Fidell, L. S. (2007). Using multivariate statistics (5Ş ed.). Boston: Pearson Education.
• Thompson, B. (2008). Exploratory and confirmatory factor analysis: understanding concepts and applications. Washington, DC: American Psychological Association.
• Timmerman, M. E. & Lorenzo-Seva (2011). Dimensionality assessment of ordered polytomous items with parallel analysis. Psychological Methods, 16, 209-220.
• Ullman, J. B. (2007). Structural equation modeling. Em B. G. Tabachnick & L. S. Fidell (Orgs.), Using multivariate statistics (5Ş ed., pp. 676-780). Boston: Pearson Education.
• Vasconcelos-Raposo, J., Lázaro, J., Mota, M. & Fernandes, H. (2007). Caracterização dos níveis de ansiedade em praticantes de atletismo. Motricidade, 3(1), 298-314.

Datas de Publicação

• Publicação nesta coleção
  05 Maio 2014
• Data do Fascículo
  Abr 2014

Histórico

• Aceito
  25 Nov 2013
• Recebido
  03 Dez 2012
• Revisado
  12 Nov 2013