Validade por Estrutura Interna da Escala para Avaliação de Tendência à Agressividade

Validity by Internal Structure of the Aggression Tendency Assessment Scale

Validez por Estructura Interna de la Escala para la Evaluación de la Tendencia a Agresividad

Resumo

Após a construção de um instrumento, seu aprimoramento contínuo torna-se necessário. Neste contexto, assume relevância saber se a estrutura fatorial de um teste é mantida em outras amostras distintas da de padronização. Com isso, o presente estudo buscou evidências de validade baseadas na estrutura interna para a Escala para Avaliação de Tendência à Agressividade – EATA. Participaram do estudo 480 universitários de cursos nas áreas de Ciências Humanas (41,2%), Ciências Biológicas (41,2%) e Ciências Exatas (17,5%), de uma universidade do sul de Minas Gerais. A idade dos participantes variou de 18 a 55 anos, com média de 24 anos (DP = 6,31). Foi realizada uma análise fatorial confirmatória, usando o método de estimação maximum likelihood, sendo que o modelo testado não se apresentou apropriado para o conjunto de dados observados. A análise fatorial exploratória resultou em uma escala com 32 itens, com boas propriedades psicométricas, composta por subescala A com 18 itens (alfa de Cronbach = 0,83), subescala B com 6 itens (alfa de Cronbach = 0,75) e subescala C com 7 itens (alfa de Cronbach = 0,63). Nas duas análises não se confirmou a estrutura original e propõe se uma nova configuração dos itens do instrumento.

Avaliação Psicológica; Análise Fatorial; Agressividade

Abstract

After the construction of an instrument, its continuous improvement becomes necessary. In this context, it is relevant to know whether the factor structure of a test is maintained in other samples. Hence, the aim of this study was to search for validity evidence based on internal structure for the Aggression Tendency Assessment Scale - EATA. 480 university students of courses in the areas of Human Sciences (41,2 %), Biological Sciences (41,2 %) and Exact Sciences (17,5 %), of a university in the south of Minas Gerais, Brazil, were studied. The participants age ranged from 18 to 55 years, with an average of 24 years (SD = 6.31). It was performed a confirmatory factor analysis, using the method of estimation maximum likelihood, showing that the tested model was not appropriate for the set of observed data. The exploratory factor analysis resulted in a scale with 32 items, subscale A with 18 items (Cronbach’s alpha = 0.83), subscale B with 6 items (Cronbach’s alpha = 0.75) and subscale C with 7 items (Cronbach’s alpha = 0.63). The original structure was not confirmed in none of the analyses and a new internal structure is proposed.

Psychological Assessment; Factor Analysis; Aggressiveness

Resumen

Después de la construcción de un instrumento, su mejora continua es necesaria. En este contexto, es relevante saber si la estructura factorial de una prueba se mantiene en otras muestras diferentes a la de estandarización. Con esto, el presente estudio tuvo como objetivo reunir evidencias de validez basadas en la estructura interna de la Escala para Evaluación de la Tendencia a la Agresividad - EATA. Los participantes del estudio fueron 480 estudiantes universitarios en las áreas de Ciencias Humanas (41,2%), Ciencias Biológicas (41,2%) y Ciencias Exactas (17,5%), de la Universidad del Sur de Minas Gerais. La edad de los participantes osciló entre 18 a 55 años, con una media de 24 años (DE = 6.31). Fue realizado un análisis factorial confirmatorio, utilizando el método de máxima verosimilitud de la estimación maximum likelihood, siendo que el modelo de prueba no reveló ser apropiado para el conjunto de datos observado. El análisis factorial exploratorio resultó en una escala con 32 ítems, compuesta por subescala A con 18 ítems (alfa de Cronbach = 0,83), subescala B con 6 ítems (alfa de Cronbach = 0, 75) y subescala C con 7 ítems (alfa de Cronbach = 0,63). En los dos análisis no se confirmó la estructura original y se propone para la muestra estudiada una nueva configuración de los itens del instrumento.

Evaluación Psicológica; Análisis Factorial; Agresividad

Introdução

A agressividade e a violência dirigidas contra as gerações mais jovens da sociedade brasileira ou cometidas por esses mesmos jovens são temas que têm gerado polêmica e preocupação social (Carlini-Cotrim, Gazal-Carvalho, & Gouveia, 2000). A importância do assunto é ressaltada em diferentes meios de comunicação e na mídia, quando noticia jovens que praticam infrações violentas ou adolescentes e crianças que sofrem maus-tratos físicos e psicológicos cometidos muitas vezes por seus próprios familiares, pelas instituições socioeducativas, entre outras (Borsa, Souza, & Bandeira, 2011; Luiz, Gorayeb, & Liberatore Junior, 2010; Moreira, Vilhena, Cruz, & Novaes, 2009). Neste contexto, aparentemente há um percurso desenvolvimental da agressividade que começa na infância (Buss, & Perry, 1992), com manifestações de raiva, e pode derivar comportamentos agressivos e antissociais na adolescência associados à ingestão de bebidas alcoólicas e drogas ilegais, além de sintomas depressivos. Esses comportamentos podem se diferenciar em relação ao sexo, tendo em vista que, por exemplo, pessoas do sexo masculino têm maiores possibilidades de manifestar problemas em relação à bebida e múltiplas agressividades, enquanto pessoas do sexo feminino mostram maiores chances de manifestar sintomas psicopatológicos, como depressão (Sisto, 2012).

Cabe mencionar que, na juventude, alguns sentimentos podem estar relacionados à agressividade, como a vontade de se tornar “poderoso”, “vencedor”. Nesse contexto, duas situações poderiam evidenciar condutas agressivas: a busca imediata e sem limites para alcançar estes status e outra no sentido da frustração, ideação agressiva e raiva por não conseguir o sucesso almejado (Sisto, 2012). Segundo Leme (2004), a agressão é uma conduta episódica, com evolução variável, que assume diferentes formas de manifestação, e está sujeita à influência de variáveis biológicas, sociais ou pessoais, que, somadas às variáveis situacionais, impulsionam esse comportamento (Forgeron et al., 2010; Van Dijk, Benninga, Grootenhuis, & Last, 2010). Nesse sentido, alguns pressupostos teóricos procuram responder acerca da natureza da agressão, desde modelos biológicos a modelos psicológicos, indicando uma teia complexa de interações entre frustração, afeto negativo, aprendizagem, processamento deficiente de informação, dentre outros aspectos, atuam como potenciais responsáveis pela ocorrência de comportamentos agressivos. A personalidade, como agente e produto da construção de padrões afetivos, cognitivos e comportamentais é vista como componente fundamental para a compreensão dos fatores pessoais predisponentes de manifestações agressivas (Ferreira, 2011).

Sisto (2008) descreve que o construto comportamento agressivo pode ser definido como uma ação intencional para machucar ou irritar alguém, física ou emocionalmente ou, ainda, produzir danos materiais, físicos ou psicológicos. Vale ressaltar a importância da componente intencionalidade, pois um dano acidental, sem intenção, não é considerado agressivo. Porém, estudos sobre agressividade deparam-se com a dificuldade em mensurar a intencionalidade, o que tem levado pesquisadores a inferi-la pela frequência dos comportamentos apresentados (Farias Junior, & Lopes, 2004). Neste contexto, por exemplo, em relação às influências culturais, estudos apontam que a agressividade em crianças tem se relacionado com habilidades sociais pobres e rejeição entre pares (Coie, Terry, Lenox, Lochman, & Hyman, 1996). Prinstein e Cillessen (2003) asseveram, porém, que certos grupos de pessoas jovens, com status social elevado, também manifestavam socialmente comportamentos agressivos em vários níveis de intensidade. Crianças de nível socioeconômico alto, com comportamento agressivo, também foram identificadas. Esses dados colocam em evidência a natureza heterogênea do comportamento agressivo.

Sisto (2005) descreve que, dentre as possíveis compreensões em cerca do comportamento agressivo, existe a hipótese de que a intensidade de resposta agressiva esteja relacionada com a personalidade. Tal pressuposto vale-se da ideia de que existe um núcleo constante (traço) e outro variável, entendendo por traço uma disposição ou tendência. Embora os níveis de agressividade sejam amplamente variáveis de pessoa para pessoa, a agressão extrema é muitas vezes incluída no domínio da psicopatologia, e não é preocupante apenas pelo ato, mas também por frequentemente ocorrer associados a outras psicopatologias e/ou manifestações não ajustadas ao contexto (Sisto, 2012).

É importante ressaltar que o comportamento agressivo, não se configura necessariamente sinônimo de psicopatologia (Lisboa, & Koller, 2001). Tal comportamento é considerado disfuncional quando não controlado ou não adequado à situação ou ao contexto. Cabe mencionar as características essenciais, de acordo com o DSM V (APA, 2014) para o diagnóstico de transtornos que envolvam o comportamento agressivo, ou seja, o transtorno de conduta é um padrão comportamental repetitivo e persistente no qual são violados direitos básicos de outras pessoas ou normas ou regras sociais relevantes e apropriadas para a idade. Os comportamentos específicos característicos do Transtorno de conduta encaixam-se em uma das quatro categorias: agressão a pessoas e animais, destruição de propriedades, fraude ou roubo e grave violação a regras. Pessoas agressivas, com transtorno de conduta, costumam inadequadamente perceber as intenções dos outros como hostis e ameaçadoras e responder com agressividade, julgando seu ato justificado (APA, 2014).

Os sintomas do transtorno de conduta variam de acordo com a idade e à medida que o indivíduo desenvolve força física, capacidades cognitivas e maturidade sexual. Os primeiros comportamentos sintomáticos são considerados ‘leves’, como mentiras ou pequenos furtos. Quando atinge a idade adulta os sintomas de agressão tendem a se ‘agravar’, e manifestações como destruição de propriedades, falsidade, violação de regras, incluindo violência contra pessoas podem acontecer, e em diferentes ambientes, como em casa ou no trabalho. Tais manifestações podem ser consideradas para complementar o diagnóstico de transtorno de personalidade antissocial. Cabe ressaltar que o transtorno de personalidade antissocial está também relacionado a um padrão difuso de indiferença e violação de direitos dos outros, e a definição diagnóstica só pode ser firmado em pessoas maiores de 18 anos, e que tenham apresentado possíveis manifestações de transtorno de conduta antes dos 15 anos de idade de acordo com o DSM V (APA, 2014).

Souza, Vieira e Crepaldi (2015) tendem a apontar para a necessidade de maiores conhecimentos sobre questões atreladas ao desenvolvimento do individuo e suas implicações quanto à agressividade no cotidiano, devendo se considerar aspectos desenvolvimentais da agressividade, bem como as correlações com aspectos familiares e contextuais do individuo. Para Silva (2015), a agressividade tende a ser mais perceptiva em contextos sociais do indivíduo, especialmente quando da necessidade de interações interpessoais. A possibilidade de avaliar a agressividade, em diferentes contextos, é uma necessidade científica e social, tanto na identificação mais precisa de suas características e peculiaridades, quanto no desenvolvimento de estratégias que possibilitem condutas pró-sociais, de maneira a minimizar os comportamentos “problemáticos”, geradores de conflitos que acarretem danos em diferentes aspectos da vida dos indivíduos.

As pesquisas com esta temática no Brasil tendem a enfatizar o fenômeno da violência, via de regra em crianças, no ambiente escolar, ou relacionado à escola (Candreva et al., 2009; Joly, Dias, & Marini, 2009; Lisboa, & Koller, 2001; Silva, 2006; Sisto, 2005; Sisto, Bartholomeu, Rueda, & Granado, 2005; Sisto, & Oliveira, 2007; Sposito, 2001). Considerando tais aspectos, informações sobre agressividade no Brasil ou são aferidas indiretamente, por exemplo, pelo relato de pais e/ou professores, sendo poucos os estudos que citam escalas e informam e evidências de validade ou remetem a estudos dessa natureza (Oliveira, Chamon, & Mauricio, 2010; Sisto, 2012). Nesse sentido, Borsa e Bandeira (2011) analisaram a produção científica brasileira sobre instrumentos psicológicos de avaliação do comportamento agressivo de crianças e relataram que pesquisas relacionadas a esse construto foram incrementadas somente a partir do ano 2000. Relatam, ainda, que o instrumento mais utilizado para mensurar agressividade é o Child Behavior Checklist (Achenbach, 1991; 2001), seguido da Escala de Agressividade para Crianças e Jovens (Sisto, & Basi, 2000). Enfatizam que a maior parte dos estudos não traz informações sobre propriedades psicométricas do instrumento, menos ainda análises que permitam a verificação de adequação da medida para novas amostras e, ainda, escassez de estudos sobre agressividade na literatura nacional.

Escassez que se mostra ainda maior quando se busca instrumentos que avaliem agressividade em jovens e adultos, e foi nesse sentido que Sisto et al. (2005) buscaram verificar a existência de critérios que pudessem caracterizar pessoas mais agressivas em relação ao gênero. A construção dos itens do instrumento para captar a agressividade em universitários teve como base as condutas mais relevantes descritas no CID-10 e DSM-IV. Quanto aos transtornos de conduta, inicialmente foram elaborados 151 itens, na forma de frases assertivas, que foram submetidos à análise de conteúdo, resultando em um instrumento com 81 itens, por meio do qual o participante da pesquisa deveria informar sobre a sua ocorrência, um uma escala correspondente a nunca, às vezes ou sempre. Participaram do estudo 180 universitários, dos cursos de Engenharia e Psicologia, de ambos os sexos, 58,8% mulheres e 41,2% homens, com idades entre 19 e 25 anos. Concluíram que existem condutas mais tipicamente masculina ou feminina e comum a ambos os sexos, porém, enfatizaram que a questão não recai sobre discutir se homens são mais agressivos que mulheres, mas que existem tipos característicos de agressividade masculina e feminina, e que futuros estudos poderão influir no entendimento e controle de tal comportamento.

Sisto, Bartholomeu, Santos, Rueda e Suehiro (2008a) buscaram evidência de validade de construto e viés de medida por sexo, com base na escala criada por Sisto et al. (2005). Contaram com a participação de 445 universitários dos cursos de Engenharia, Computação e Psicologia, com idades entre 18 e 65 anos, de ambos os sexos, sendo 57,2% mulheres. Os 81 itens do instrumento foram analisados por meio do modelo Rasch. Vinte e oito itens apresentaram funcionamento diferencial, sendo 15 condutas mais características de pessoas do sexo feminino e outras 13 mais características do sexo masculino. Os índices de precisão foram de 0,99 para os itens e 0,86 para os respondentes. Concluiu-se que a agressividade pode ser medida separadamente em razão do sexo.

Posteriormente, Sisto, Bartholomeu, Santos, Rueda e Suehiro (2008b) analisaram fatorialmente os instrumentos para mensurar agressividade. Para a construção dos instrumentos, foi utilizado o estudo relatado anteriormente, em que os itens sem DIF fizeram parte de ambas as escalas, acrescidos dos mais comuns aos homens, no caso da escala masculina (59 itens) e dos mais comuns às mulheres, no caso da escala feminina (66 itens). Houve participação de 445 estudantes universitários, de ambos os sexos, de cursos de Engenharia e Psicologia, com idades entre 18 e 65 anos. O estudo fatorial foi realizado separadamente por sexo, por meio de análise por componentes principais, com rotação Varimax. Na escala feminina, foram encontrados três fatores: F1. Irritabilidade (α = 0,80), F2. Condutas Manipuladoras (α = 0,70) e F3. Condutas Antissociais (α = 0,69); e, na masculina, quatro fatores, sendo: F1. Condutas Antissociais (α = 0,78), F2. Irresponsabilidade (α = 0,77), F3. Condutas Manipuladoras (α = 0,65) e F4. Inescrupulosidade (α = 0,59). Os índices de consistência interna foram considerados dentro dos parâmetros usuais e aceitos, indicando que as escalas apresentaram características psicométricas básicas para uso em pesquisa.

Bustamante e Sisto (2012), utilizando a EATA, avaliaram a tendência à agressividade em universitários e compararam os escores com a amostra normativa do instrumento, verificando também diferenças entre gênero, curso e faixa etária. Participaram do estudo 251 universitários dos cursos de Engenharia e Psicologia de uma Universidade de São Paulo, com idades entre 18 e 50 anos. Os resultados evidenciaram que os participantes da pesquisa apresentaram menos tendência à agressividade que os da amostra normativa. Em todo o estudo os homens apresentaram médias mais altas. Dentre eles, alunos do curso de Engenharia se destacaram com maior tendência à agressividade. Verificou-se que os estudantes mais novos apresentaram escores significativamente mais altos.

Dentre os poucos estudos com instrumentos de avaliação além da EATA, que mensurassem a agressividade em universitários, encontra-se o estudo de Gouveia, Chaves, Peregrino, Branco e Gonçalves (2008), que objetivou adaptar para o contexto brasileiro o Questionário de Agressão de Buss-Perry – BPAQ (Buss, & Perry, 1992), reunindo evidências de sua validade de construto. Com a participação de 308 estudantes de João Pessoa, sendo 155 universitários e 153 do Ensino Médio, com idade média de 18,8 anos, e a maioria do sexo feminino (65,9%). Foram utilizados quatro instrumentos, a Escala de Identificação Grupal, Questionário dos Valores Básicos e Questionário de Justificação da Violência e BPAQ (Buss, & Perry, 1992). Este último foi elaborado originalmente em língua inglesa, compondo-se de 29 itens que, teoricamente, avaliam a agressão em quatro dimensões, a saber: agressão física, agressão verbal, raiva e hostilidade. Os resultados demonstraram que, embora tenham emergido apenas dois fatores na Análise Fatorial Exploratória, uma Análise Fatorial Confirmatória corroborou a estrutura teórica dessa medida, definida por quatro fatores de primeira ordem, denominados de raiva (α = 0,71), hostilidade (α = 0,62), agressão verbal (α = 0,52) e agressão física (α = 0,65), e um de segunda ordem, nomeado como agressão (α = 0,81). As pontuações dos homens não diferiram daquelas das mulheres na maioria dos fatores de agressão, excetuando na sua dimensão afetiva, a raiva, em que estas apresentaram maiores pontuações. Os autores supõem que este dado talvez indique uma perspectiva mais aberta e assertiva da mulher que estuda que passa a impor seus direitos e a se posicionar nos seus relacionamentos sociais.

Com isso, é possível verificar a inexistência de critérios que possam caracterizar pessoas mais agressivas em relação ao gênero (Sisto, 2005). Como apontado por Borsa e Bauermann (2013), são escassos os instrumentos disponíveis para a avaliação da agressividade, e os possíveis de serem encontrados apresentam algum tipo de ‘comprometimento’ ao tipo de avaliação realizada como, por exemplo, desejabilidade social (possíveis de ser encontrados em instrumentos de autorrelato), avaliações com tônicas comparativas e, até mesmo, com base em valores morais dos indivíduos, por exemplo, observados nos instrumentos respondidos por pais e professores.

A avaliação psicológica é um dos mais importantes procedimentos realizados por psicólogos para o entendimento do comportamento de pessoas e/ou de grupos (Tavares, 2003). Nesse sentido, a validação de instrumentos psicológicos, que compõem os procedimentos de avaliação psicológica deve reunir um conjunto de evidências que possam assegurar cientificamente as interpretações derivadas dos resultados obtidos (Urbina, 2007). A busca de evidências de validade baseadas na estrutura interna do instrumento de medida é focada na relação entre o escore e seus itens e que, por meio de análises estatísticas, é possível identificar a contribuição de cada item no resultado total do instrumento e verificar se são adequados para a avaliação do domínio que se quer medir. Assim, envolve a verificação da coesão entre a estrutura prevista com a observada, ou seja, busca indicar o quanto a estrutura de relações entre os itens e os fatores é coerente com a estrutura proposta pela teoria (Primi, Muniz, & Nunes, 2009).

De maneira sintética, um instrumento de avaliação deve apresentar estudos atualizados, para verificar a qualidade do instrumento em amostra e contexto específicos (Borsa, & Bandeira, 2011). Com base no exposto e na necessidade de aprimoramento contínuo dos instrumentos de avaliação psicológica, achou-se pertinente planejar uma pesquisa para testar se a estrutura fatorial da EATA seria mantida em outras amostras de estados brasileiros diferentes. Esta análise é importante, pois, a menos que seja rigorosamente testada, não se pode afirmar que a configuração e parâmetros de um instrumento específico sejam semelhantes em diferentes amostras (Damásio, & Souza, 2015). Cabe mencionar que, além da justificativa científica de tais procedimentos psicométricos, a justificativa social é pertinente uma vez que a disponibilização de instrumentos de avaliação de agressividade é relevante de modo a facilitar profissionais envolvidos com esta população a partir de tais informações, desenvolverem estratégias de intervenção mais apuradas e refinadas como no caso de indivíduos praticam infrações violentas, crianças que sofrem maus-tratos e em especial em cuidados de medidas socioeducativas. Com isso, o objetivo deste estudo foi analisar a estrutura fatorial da EATA em estudantes universitários de Minas Gerais.

Método

Participantes

Foram participantes 480 estudantes de uma universidade particular da região Sul do Estado de Minas Gerais, sendo oito cursos das áreas de Ciências Humanas (41,2%), Ciências Biológicas (41,2%) e Ciências Exatas (17,5%). Os participantes foram, em sua maioria, do sexo feminino (67,5%). A idade dos participantes variou de 18 a 55 anos, com média de 26 anos e moda de 22 anos (DP = 6,31).

Instrumentos

Foi utilizada a Escala para Avaliação da Tendência à Agressividade – EATA, elaborada por Sisto (2005) com base nas descrições de transtornos de conduta do CID-10 (Organização Mundial de Saúde, 1993) e do DSM-IV (APA, 2002), que engloba 40 questões relacionadas a condutas agressivas. As respostas dadas a cada item informam sobre a tendência de uma pessoa e sua maior ou menor possibilidade de manifestar agressividade, zero (0) se achar que manifesta esta conduta raramente ou nunca, o um (1) se às vezes se comportar desta maneira e o dois (2) se achar que é muito frequente.

A EATA não fornece uma medida unidimensional. Possui três dimensões e fornece uma quarta medida: a subescala A, com 10 itens, que tem como núcleo condutas que são comuns a ambos os sexos; a subescala B, com 14 itens, que possui como núcleo as condutas mais comuns ao sexo feminino e, por fim, a subescala C, com 16 itens, que engloba conteúdos que são mais comuns a pessoas do sexo masculino. Como os itens de cada subescala são independentes, é possível se ter mais um tipo de informação que se refere à pontuação total da EATA e isso possibilita conhecer a situação do examinando frente a um grupo bem maior para efeitos de comparação.

No que se refere ao desenvolvimento da Escala para Avaliação de Tendência à Agressividade – EATA (Sisto, 2012) ocorreu segundo o autor, frente à escassez de instrumentos brasileiros que avaliem a agressividade relacionada a jovens e adultos. Os estudos com a escala tiveram início em 2005 (Sisto et al., 2005, 2008a, 2008b) até sua publicação em 2012 (Sisto, 2012). A Escala tem aprovação pelo Conselho Federal de Psicologia, apresentando propriedades psicométricas satisfatórias em seus estudos. Dentre os estudos realizados com a EATA estão, por exemplo, Sisto et al. (2008a), que buscaram evidências de validade de construto relacionadas ao funcionamento dos itens para analisar viés de medida por sexo. Foram participantes 445 universitários dos cursos de Engenharia, Computação e Psicologia, com idades entre 18 e 65 anos, de ambos os sexos, sendo 57,2% mulheres. Os 81 itens do instrumento foram analisados por meio do modelo Rasch. Vinte e oito itens apresentaram funcionamento diferencial, sendo 15 condutas mais características de pessoas do sexo feminino e outras 13 mais características do sexo masculino. Os índices de precisão foram de 0,99 para os itens e 0,86 para as pessoas. Concluiu-se que a agressividade pode ser medida separadamente em razão do sexo.

Em outro estudo, Sisto et al. (2008b) analisaram fatorialmente os itens do instrumento para mensurar agressividade. Os índices de consistência interna foram considerados dentro dos parâmetros usuais e aceitos, indicando que a escala apresenta características psicométricas básicas para uso em pesquisa. Já o estudo de Gouveia et al. (2008) aponta que as pontuações dos homens não diferiram daquelas das mulheres na maioria dos fatores de agressão, excetuando na sua dimensão afetiva, a raiva, em que estas apresentaram maiores pontuações. Os autores relatam uma suposição de que este dado talvez indique uma perspectiva mais aberta e assertiva da mulher, uma vez que esta passa a impor seus direitos e a se posicionar nos seus relacionamentos sociais.

Bustamante e Sisto (2012), utilizando a EATA, avaliaram a tendência à agressividade em universitários e compararam os escores com a amostra normativa do instrumento, verificando também diferenças entre gênero, curso e faixa etária. Participaram do estudo 251 universitários dos cursos de Engenharia e Psicologia de uma universidade de São Paulo, com idades entre 18 e 50 anos. Os resultados evidenciaram que os participantes apresentaram menos tendência a agressividade que os da amostra normativa. Em todo o estudo os homens apresentaram médias mais altas, com destaque para a tendência à agressividade. Verificou-se que os estudantes mais novos apresentaram escores significativamente mais altos.

Procedimentos

Cabe mencionar que o projeto foi aprovado pelo Comitê de Ética em Pesquisa da Universidade São Francisco, sob o protocolo CAAE: 0326.0.142.000-11. Inicialmente foi obtida a autorização dos responsáveis pela universidade para composição da amostra. Foram então agendados, com os professores e alunos, os dias e horários para aplicação dos instrumentos. A abordagem dos participantes foi feita em sala de aula, quando se explicou os objetivos e procedimentos do trabalho. Os estudantes que concordaram em fazer parte do estudo assinaram o Termo de Consentimento Livre e Esclarecido e responderam respectivamente à Ficha de Caracterização e à EATA. O tempo médio de aplicação foi de 15 minutos.

Resultados e discussão

Os resultados foram obtidos por meio da análise estatística com base nos programas: EQS 6.1 (Structural Equation Modeling Software) e SPSS 20.0. (Statistical Package for Social Sciences for Windows). Utilizou-se da Análise Fatorial Confirmatória para os dados do EATA com vistas à busca de Evidências de Validade baseada na Estrutura Interna. Em função dos resultados apresentados na Análise Fatorial Confirmatória, procedeu-se à Análise Fatorial Exploratória do instrumento.

Análise Fatorial Confirmatória

Os itens inicialmente foram avaliados com estatísticas descritivas. As Curtoses encontradas variaram de -1,014 a 190,627, indicando pouca variabilidade de respostas. Principalmente os itens 4, 5, 6, 13, 14, 17, 18, 20, 21, 25, 26, 28, 39 e 40 apresentaram curtoses acima de 10,788, discriminando pouco as respostas dos participantes. Foi realizada uma Análise Fatorial Confirmatória, com o Programa EQS 6.1, usando o método de estimação Maximum Likelihood, para buscar evidência de validade para a EATA. Vale observar que os estudos originais assim como o presente estudo utilizaram amostras de universitários. O modelo testado não indicou índices de ajuste apropriados, verificou-se: χ²(737) = 1996,87, p < 0,001; CFI = 0,69; RMSEA = 0,60. Esses resultados indicam que a EATA original não é apropriada para o conjunto de dados observados, ou seja, o modelo testado não se sustentou empiricamente neste estudo. Sendo assim, decidiu-se fazer uma Análise Exploratória com vistas a analisar a estrutura interna para a amostra estudada.

Análise Fatorial Exploratória

Com intuito de explorar a estrutura interna do instrumento, foi realizada análise fatorial por componente principal, rotação promax e autovalor ≥ 1. A fim de verificar a adequação dos dados à análise fatorial, usou-se a medida de Kaiser-Meyer-Olkin (KMO), cujo resultado foi de 0,860 ao nível de significância de p = 0,000, indicando que os dados estavam apropriados para fatoração. O teste de esfericidade de Bartlett forneceu χ² = 6100,152 e p = 0,000, referendando informação anterior. A decisão sobre o número de fatores foi realizada após a observação do critério scree plot, que apontou estrutura com três fatores, semelhante à da escala original. Procedeu-se à análise com extração de itens com carga fatorial > 0,35 (Tabela).

Tabela
Análise de componentes principais (rotação promax) com extração de itens com carga fatorial > 0,35.

Itens	Fatores
I		II	III
24	0,642
16	0,639
15	0,579
34	0,568
10	0,546
31	0,545
38	0,530
37	0,512
29	0,501
27	0,462
9	0,443
3	0,442
2	0,405
7	0,396
23	0,391
39	0,375
35	0,365
33	0,361
32		0,814
22		0,757
30		0,649
12		0,575
18		0,529
26		0,516
17			0,684
21			0,570
14			0,568
4			0,550
5			0,518
25			0,495
28			0,476
40			0,445

Os resultados obtidos pela Análise Fatorial Exploratória para extração dos itens com peso fatorial > 0,35 mostraram uma estrutura fatorial diferente da proposta inicialmente por Sisto (2012). Os itens 1, 6, 8, 11, 13, 19, 20 e 36 não apresentaram carga fatorial igual ou maior que 0,35, tendo ficado a escala com 32 itens. O Fator I (18 itens) reuniu itens que, no estudo normativo do EATA, eram do núcleo de respostas predominantemente femininas. Com a nova configuração, quatro itens que eram relacionados a ambos os sexos, subescala A, passaram a compor este fator, sendo eles de números 7, 27, 38 e 39. Também passaram a fazer parte deste fator os itens 23 e 35 que eram anteriormente da subescala C ou núcleo de condutas predominantemente masculinas. O Fator II (seis itens) agrupou itens que pertenciam inicialmente à subescala C, relacionada a condutas mais masculinas, sendo estes os itens de números 12, 18, 22, 26, 30 e 32. O Fator III (8 itens) agrupou itens da subescala A (4, 25, 28 e 40) e da subescala C (5, 14, 17 e 21) do estudo inicial do EATA.

Pode-se perceber, pelos itens agrupados nesta nova configuração da Escala, que alguns itens mais comuns ao sexo masculino, se mantiveram agrupados no Fator II, porém, no Fator I agruparam-se itens das 3 subescalas e o Fator III ficou com 50% de itens da subescala A e 50% da subescala C. O resultado da Análise Fatorial Exploratória mostrou uma configuração diferente da original. Vale ressaltar que, no estudo preliminar para a construção da EATA, Sisto et al. (2008b) dividiram a escala feminina em três (Irritabilidade, Condutas Manipuladoras e Condutas Antissociais) e a masculina em quatro (Condutas antissociais, Condutas Manipuladoras, Irresponsabilidade e Inescrupulosidade). Gouveia et al. (2008), em estudo utilizando outro instrumento, o Buss-Perry, dividiram e nomearam os fatores do questionário como Raiva, Hostilidade, Agressão Verbal e Agressão Física. Da forma como ficaram agrupados os itens da EATA após Análise Exploratória com carga Fatorial > 0,35, o Fator I inclui itens relacionados à agressividade verbal, como, “Distorço ou amenizo uma informação que poderia me trazer prejuízos”, “Aumento uma informação para provocar sentimento de culpa nos outros”, “Gosto de controlar informações para os outros fazerem o que quero” e também itens que se referem a hostilidade, como, “Gosto de incomodar os outros”, “Sinto vontade de fazer coisas independentemente das normas” e “Quando não gosto de alguém, sinto vontade de criar uma situação para desafiá-lo”.

O Fator II agrupou itens correspondentes a condutas antissociais e quebra de regras, como “Faço ultrapassagens em locais proibidos”, “Gosto de correr com o carro” e “Dirijo após ingestão de bebida alcoólica”. O Fator III reuniu itens mais relacionados a raiva e a agressão física, como “Gosto de bater em animais”, “Gosto de brincar de empurrar ou provocar quedas para causar constrangimento”, “Gosto de bater em placas de trânsito”. Os itens eliminados da escala neste estudo, “Ao cometer um erro mostro indiferença”, “Quando não gosto de alguém sinto vontade de esconder a verdade para prejudicá-lo”, “Relato sentimentos não verdadeiros para iniciar um relacionamento sexual”, “Transo sem preservativo com diferentes parceiros”, “Durante uma conversa, não deixo espaço para o outro se colocar”, “Estaciono o carro numa vaga para deficientes físicos”, “Gosto de xavecar pessoas com menos de 18 anos”, não apresentaram carga fatorial maior que 0,35 o que indica que para os participantes desta pesquisa estes itens não se relacionaram a tendência à agressividade como os demais. Ressalta-se que, nos estudos iniciais do EATA, esses itens se relacionavam às três subescalas, ou seja, evidenciavam tendências a agressividade tanto do núcleo de respostas mais femininas (dois itens) quanto masculinas (três itens) e, também, a ambos (dois itens).

É interessante observar que a estrutura fatorial inicialmente apresentada não foi mantida em razão do estado, já que os estudos de Sisto (2012) e Sisto et al. (2008a,b) foram feitos com amostras de São Paulo. Assim, pode-se questionar se variáveis culturais e/ou regionais afetariam as respostas aos itens, requerendo uma revisão de critérios e itens (como sugerida aqui no estudo exploratório) em razão dessas peculiaridades. A variação de amostras na estrutura fatorial de instrumentos de avaliação já tem sido evidenciada em outros trabalhos (Bartholomeu, Montiel, & Silva, 2015; Fioravanti, Santos, Maissonette, Cruz, & Landeira-Fernandez, 2006), assim como implicações dessa variação na avaliação de características emocionais, de modo geral. Ressalta-se a necessidade de se respeitar as estruturas fatoriais dos testes particulares de cada região para evitar erro de medida, já que não se sabe se o que está sendo avaliado é alguma característica relevante do constructo mensurado ou erro em decorrência da métrica inadequada dos itens do instrumento. Tal problema tem sido abordado a partir de análises de invariância dos parâmetros de análises fatoriais confirmatórias (Damásio, 2012; Bartholomeu et al., 2015) denominadas Análise Fatorial Confirmatória Multigrupo. Damásio (2012) e Damásio e Sousa (2015) sugerem que esta análise avalia em que medida os parâmetros de um instrumento são equivalentes para diferentes grupos de pessoas. Os resultados ora apresentados sugerem que mais análises desta natureza devam ser feitas com a EATA visando implementar seus dados de validade e sua estrutura fatorial (estrutura interna) em diferentes subgrupos que forem submetidos a este teste. Isto é particularmente relevante tomando-se em conta o fato de este ser um dos poucos instrumentos que avaliam a agressividade em universitários no Brasil e único aprovado no SATEPSI para este fim. Tal fato requer atenção dos pesquisadores sobre o tema e reitera a necessidade de continuidade dos estudos com este instrumento.

Considerações Finais

Este estudo foi proposto para verificação da adequação da estrutura interna da EATA, ou seja, investigar por meio de Análise Fatorial se os três fatores e a divisão dos itens da EATA em estudo original (Sisto, 2012) seria confirmados para a população ora estudada. Não tendo sido confirmada a estrutura original da escala pela Análise Fatorial Confirmatória, efetuou-se a Análise Fatorial Exploratória para buscar um formato mais apropriado à amostra. Porém, para a população que compôs o presente estudo, a estrutura destes fatores se apresentou diferente da original. Dentre as limitações deste estudo está a ausência de outra amostra de outro estado (ou do estado de padronização do teste, São Paulo) para ser incluída na análise e realizada uma análise fatorial multigrupo visando compensar erros amostrais. Novas pesquisas neste campo poderiam ser planejadas com diferentes amostras de diferentes estados para se testar tais aspectos.

A principal contribuição deste trabalho reside no fato de se levantar problemas na estrutura fatorial da EATA para a avaliação psicológica em outros estados, aspecto que deveria ser incluído nos informes do manual técnico do instrumento, visando indicar a lacuna e, principalmente, a estrutura dos itens no estado de Minas Gerais para que as avaliações da agressividade neste estado feitas com este instrumento não incorram em erros. Assim, uma maior atenção deve ser dada a este instrumento, sobretudo no que se refere à forma de se avaliar a agressividade neste estado. Essas informações assumem maior relevância considerando-se o fato de a EATA ser o único teste aprovado no CFP para avaliação da agressividade de universitários. Espera-se que esta pesquisa catalise novas investigações na área incluindo outros estados brasileiros.

Referências

• Achenbach, T. M. (1991). Manual for the child behavior checklist/4-18 and 1991 profile Burlington, VT: University of Vermont.
• Achenbach, T. M. (2001). Manual for the child behavior checklist/6-18 and 2001 profile Burlington: University of Vermont.
• Associação Psiquiátrica Americana – APA. (2002). DSM-IV-TR: Manual estatístico de transtornos mentais Porto Alegre, RS: Artmed.
• Associação Psiquiátrica Americana – APA. (2014). Manual diagnóstico e estatístico de transtornos mentais - DSM-V, 5a ed. Porto Alegre, RS: Artmed.
• Bartholomeu, D., Montiel, J. M., & Silva, M. C. R. (2015). Modelos de crescimento: avaliação da mudança na pesquisa educacional. In M. C. R. Silva, D. Bartholomeu, C. M. M. Vendramini, & J. M. Montiel (Org.), Aplicações de métodos estatísticos avançados aplicados à avaliação psicológica e educacional. (pp. 13-24). São Paulo, SP: Vetor.
• Borsa, J. C., & Bandeira, D. R. (2011). Uso de instrumentos psicológicos de avaliação do comportamento agressivo infantil: análise da produção científica brasileira. Avaliação Psicológica, 10(2), 193-203. Recuperado de http://pepsic.bvsalud.org/scielo.php?script=sci_arttext&pid=S1677-04712011000200010
  » http://pepsic.bvsalud.org/scielo.php?script=sci_arttext&pid=S1677-04712011000200010
• Borsa, J. C., & Bauermann, M. (2013). O Desenho da Figura Humana na avaliação da agressividade infantil. Avaliação Psicológica, 12(2), 273-274. Recuperado de http://pepsic.bvsalud.org/scielo.php?script=sci_arttext&pid=S1677-04712013000200018
  » http://pepsic.bvsalud.org/scielo.php?script=sci_arttext&pid=S1677-04712013000200018
• Borsa, J. C., Souza, D. S., & Bandeira, D. R. (2011). Prevalência dos problemas de comportamento em uma amostra de crianças do Rio Grande do Sul. Psicologia: Teoria e Prática, 13(2),15-29. Recuperado de http://editorarevistas.mackenzie.br/index.php/ptp/article/view/2821/2975
  » http://editorarevistas.mackenzie.br/index.php/ptp/article/view/2821/2975
• Buss, A. H., & Perry, M. P. (1992). The aggression questionnaire. Journal of Personality and Social Psychology, 63(3), 452-459.
• Bustamante M. I., & Sisto F. F., (2012). Avaliação da tendência à agressividade em universitários. In Atas do II Seminário Internacional “Contributos da Psicologia em Contextos Educativos” Almeida, Silva & Franco (pp. 238-249). Ed. Centro de Investigação em Educação (CIEd). Universidade Minho, Portugal. Disponível em: http://webs.ie.uminho.pt/iisicpce/atas.pdf
  » http://webs.ie.uminho.pt/iisicpce/atas.pdf
• Candreva, T., Cassiane, V., Ruy, M. P., Thomazini, L., Cestari, H. F., & Prodócimo, E. (2009). A agressividade na educação Infantil: o jogo como forma de intervenção. Revista Pensar a Prática, 12(1), 1-11. Recuperado de https://www.revistas.ufg.br/fef/article/view/4520/4695
  » https://www.revistas.ufg.br/fef/article/view/4520/4695
• Carlini-Cotrim, B. C., Gazal-Carvalho, C., & Gouveia, N. (2000). Comportamentos de saúde entre jovens estudantes das redes pública e privada da área metropolitana do Estado de São Paulo. Revista de Saúde Pública; 34(6), 636-645. doi:10.1590/S0034-89102000000600012
  » https://doi.org/10.1590/S0034-89102000000600012
• Coie, J. D., Terry, R., Lenox, K., Lochman, J., & Hyman, C. (1996). Childhood peer rejection and aggression as predictors of stable patterns of adolescent disorder. Development and Psychopathology, 7, 697-713. doi:10.1017/S0954579400006799
  » https://doi.org/10.1017/S0954579400006799
• Damáio, B. F. (2012). O uso da análise fatorial exploratória em psicologia. Avaliação Psicológica, 11(2), 213-228. Recuperado de http://pepsic.bvsalud.org/scielo.php?script=sci_abstract&pid=S1677-04712012000200007 &lng=en&nrm=iso&tlng=pt
  » http://pepsic.bvsalud.org/scielo.php?script=sci_abstract&pid=S1677-04712012000200007 &lng=en&nrm=iso&tlng=pt
• Damasio, B. F., & Sousa, D. A. (2015). Análise fatorial confirmatória multigrupo: descrição e aplicação no software Mplus. In M. C. R. Silva, D. Bartholomeu, C. M. M. Vendramini, & J. M. Montiel (Org.), Aplicações de métodos estatísticos avançados aplicados à avaliação psicológica e educacional (pp. 187-203). São Paulo, SP: Vetor.
• Farias Junior, J. C., & Lopes A. S. (2004). Comportamentos de risco relacionados à saúde em adolescentes. Revista Brasileira de Ciência e Movimento, 12(1), 7-12. Recuperado de https://portalrevistas.ucb.br/index.php/RBCM/article/view/535/559
  » https://portalrevistas.ucb.br/index.php/RBCM/article/view/535/559
• Ferreira, A. S. M. A. (2011). O papel da personalidade no comportamento agressivo: da teoria à avaliação (Dissertação de mestrado). Faculdade de Psicologia, Universidade de Lisboa, Lisboa.
• Fioravanti, A. C. M., Santos, L. F., Maissonette, S., Cruz, A. P. M., & Landeira-Fernandez, J. (2006). Avaliação da estrutura fatorial da Escala de Ansiedade-Traço do IDATE. Avaliação Psicológica, 5(2), 217-224. Recuperado de http://pepsic.bvsalud.org/scielo.php?script=sci_abstract&pid=S1677-04712006000200011
  » http://pepsic.bvsalud.org/scielo.php?script=sci_abstract&pid=S1677-04712006000200011
• Forgeron, P. A., King, S., Stinson, J. N., McGrath, P. J., MacDonald, A. J., & Chambers, C. T. (2010). Social functioning and peer relationships in children and adolescents with chronic pain: a sistematic review. Pain Research and Management, 15(1), 27-41.
• Gouveia, V. V., Chaves, C. M. C. M., Peregrino, R. R., Branco, A. O. C., & Gonçalves, M. P. (2008). Medindo a agressão: o Questionário de Buss-Perry. Arquivos Brasileiros de Psicologia, 60(3) 92-103. Recuperado de http://seer.psicologia.ufrj.br/index.php/abp/article/view/207/253
  » http://seer.psicologia.ufrj.br/index.php/abp/article/view/207/253
• Joly, M. C. R., Dias, A. S., & Marini, J. A. S. (2009). Avaliação da agressividade na família e na escola de ensino fundamental. Psico-USF, 14(1), 83-93. doi:10.1590/S1413-82712009000100009
  » https://doi.org/10.1590/S1413-82712009000100009
• Leme, M. I. S. (2004). Resolução de conflitos interpessoais: interações entre cognição e afetividade na cultura. Psicologia: Reflexão e Crítica, 17(3), 367-380. doi:10.1590/S0102-79722004000300010
  » https://doi.org/10.1590/S0102-79722004000300010
• Lisboa, C. S. M., & Koller, S. H. (2001). Construção e validação de conteúdo de uma escala de percepção, por professores, dos comportamentos agressivos de crianças na escola. Psicologia em Estudo, 6(1), 59-69. doi:10.1590/S1413-73722001000100008
  » https://doi.org/10.1590/S1413-73722001000100008
• Luiz, A. M. A. G., Gorayeb, R., & Liberatore Junior, R. D. R. (2010). Avaliação de depressão, problemas de comportamento e competência social em crianças obesas. Estudos de Psicologia (Campinas), 27(1), 41-48. doi:10.1590/S0103-166X2010000100005
  » https://doi.org/10.1590/S0103-166X2010000100005
• Moreira, A. C. G., Vilhena, J., Cruz, A. T. A., & Novaes, J. V. (2009). Quem tem medo do lobo Mau? Juventude, agressividade e violência. Revista Latinoamericana de Psicopatologia Fundamental, 12(4), 677-697. Recuperado de http://www.scielo.br/scielo.php?script=sci_arttext&pid=S1415-47142009000400005
  » http://www.scielo.br/scielo.php?script=sci_arttext&pid=S1415-47142009000400005
• Oliveira, A. L., Chamon, E. M. O. Q., & Mauricio, A. G. C. (2010). Representação social da violência: estudo exploratório com estudantes de uma universidade do interior do estado de São Paulo. Educar em Revista, 36, 261-274. doi:10.1590/S0104-40602010000100017
  » https://doi.org/10.1590/S0104-40602010000100017
• Organização Mundial da Saúde - OMS (1993). Classificação dos transtornos mentais e de comportamento da CID – 10 Porto Alegre, RS: Artes Médicas.
• Primi, R., Muniz, M., & Nunes, C. H. S. S. (2009). Definições contemporâneas de validade de testes psicológicos. In C. S. Hutz (Org.), Avanços e polêmicas em avaliação psicológica (pp. 243-265). São Paulo, SP: Casa do Psicólogo.
• Prinstein, M. J., & Cillessen, A. H. (2003). Forms and functions of adolescent peer aggression associated with high levels of peer status. Merrill-Palmer Quarterly, 49(3), 310-342. doi:10.1353/mpq.2003.0015
  » https://doi.org/10.1353/mpq.2003.0015
• Silva, D. R. (2006) Agressividade em crianças: um estudo em contexto educacional pré-escolar (Dissertação de mestrado). Pontifícia Universidade Católica de São Paulo, São Paulo.
• Silva, I. A. (2015). Considerações sobre a agressividade infantil: uma pesquisa bibliográfica sobre as principais manifestações e possíveis intervenções no contexto escolar. Olhares & Trilhas, 1(1) 66-81. doi:10.14393/o&t.v1i1.30239.g18026
  » https://doi.org/10.14393/o&t.v1i1.30239.g18026
• Sisto, F. F. (2005). Aceitação-rejeição para estudar a agressividade nas escolas. Psicologia e Estudos, 10(1), 117-125.
• Sisto, F. F. (2008). Escalas de agressividade masculina e feminina. Itatiba, SP: Universidade São Francisco. (Relatório Técnico).
• Sisto, F. F. (2012). Manual da escala para avaliação de tendência à agressividade. São Paulo, SP: Casa do Psicólogo.
• Sisto, F. F., Bartholomeu, D., Rueda, F. J. M., & Granado, J. I. (2005). Condutas agressivas e gênero: uma questão de estilo de agressividade. In M. C. R. A. Joly, A. A. A.Santos, F. F. Sisto (Orgs.), Questões do cotidiano universitário São Paulo, SP: Casa do Psicólogo.
• Sisto, F. F., Bartholomeu, D., Santos, A. A. A., Rueda, F. J. M., & Suehiro, A. C. B. (2008b). Estudo preliminar para a construção de uma escala de agressividade para universitários. Aletheia, 28, 77-90. Recuperado de http://pepsic.bvsalud.org/scielo.php?script=sci_arttext&pid=S1413-03942008000200007
  » http://pepsic.bvsalud.org/scielo.php?script=sci_arttext&pid=S1413-03942008000200007
• Sisto, F. F., Bartholomeu, D., Santos, A. A. A., Rueda, F. J. M., & Suehiro, A. C. B. (2008a). Funcionamento diferencial de itens para avaliar a agressividade de universitários. Psicologia Reflexão e Crítica, 21(3), 474-481. doi:10.1590/S0102-79722008000300016
  » https://doi.org/10.1590/S0102-79722008000300016
• Sisto, F. F., & Basi, G. A. P. (2000). Escala de agressividade para crianças e jovens São Paulo, SP: Universidade Estadual de Campinas. (Relatório Técnico)
• Sisto, F. F., & Oliveira, A. F. (2007). Traços de personalidade e agressividade: um estudo de evidência de validade. PSIC, 8(1), 89-99. Recuperado de http://pepsic.bvsalud.org/scielo.php?script=sci_arttext&pid=S1676-73142007000100011
  » http://pepsic.bvsalud.org/scielo.php?script=sci_arttext&pid=S1676-73142007000100011
• Souza, C. D., Vieira, M. L., & Crepaldi, M. A. (2015). O que dizem professores da pré-escola sobre agressividade entre crianças. Psico, 46(1), 46-56. doi:10.15448/1980-8623.2015.1.16772
  » https://doi.org/10.15448/1980-8623.2015.1.16772
• Sposito, M. P. (2001). Um breve balanço da pesquisa sobre violência escolar no Brasil. Educação e Pesquisa, 27(1), 87-103. doi:10.1590/S1517-97022001000100007
  » https://doi.org/10.1590/S1517-97022001000100007
• Tavares, M. (2003). Validade clínica. Psico-USF, 8(2), 125-136. doi:10.1590/S1413-82712003000200004
  » https://doi.org/10.1590/S1413-82712003000200004
• Urbina, S. (2007). Fundamentos da testagem psicológica Porto Alegre, RS: Artmed.
• Van Dijk, M., Benninga, M. A., Grootenhuis, M. A., & Last, B. F. (2010). Prevalence and associated clinical characteristics of behavior problems in constipated children. Pediatrics, 125(2), 309-317. doi:10.1542/peds.2008-3055
  » https://doi.org/10.1542/peds.2008-3055

Datas de Publicação

• Publicação nesta coleção
  Jul-Sep 2016

Histórico

• Recebido
  16 Maio 2016
• Aceito
  12 Ago 2016