Escala de Necessidade de Cognição (NCS-18): Efeito de Itens Negativos em sua Estrutura Fatorial

Need for Cognition Scale (NCS-18): Effect of Negative Items in its Factorial Structure

Resumos

Este estudo objetivou testar a dimensionalidade da Escala de Necessidade de Cognição (NCS-18), controlando o efeito dos itens negativos. Participaram 215 estudantes universitários de João Pessoa (PB), com média de idade de 20 anos (DP = 3,79), os quais responderam a NCS-18 e questões demográficas. Testaram-se três modelos: M1 (modelo unifatorial convencional), M2 (modelo bifatorial, com itens positivos e negativos saturando em fatores separados) e M3 (modelo unifatorial, sendo controlado o efeito de itens negativos). Os resultados mostraram que os modelos M2 e M3 apresentaram melhores indicadores de ajuste quando comparados ao M1; porém, o M3 foi também superior ao M2. Concluiu-se, portanto, que a NCS-18 é mais bem representada por meio de uma estrutura unifatorial, especialmente quando é controlado o efeito de itens negativos.

Necessidade de cognição; itens negativos; escala; validade

This study aimed at testing the dimensionality of the Need for Cognition Scale (NCS-18), controlling the effect of negative items. Participants were 215 undergraduate students from João Pessoa (PB) with mean age of 20 years (SD = 3.79). They answered the NCS-18 and demographic questions. Three models were tested: M1 (conventional one-factor model), M2 (two-factor, with positive and negative items loading in separate factors), and M3 (one-factor model, controlling for the effect of negative items). Results showed that M2 and M3 models had better fit indexes compared to M1. Nevertheless, M3 also had better fit indexes than M2. In conclusion, evidence that the NCS-18 is more adequately represented by one-factor model was observed, especially when the effect of negative items is controlled.

for cognition; negative items; scale; validity

O interesse pelo estudo da necessidade de cognição (Need for Cognition [NFC]) teve destaque nos anos 1950, sobretudo a partir dos estudos de Cohen e seus colaboradores (Cohen, 1957; Cohen, Stotland, & Wolfe, 1955), os quais a compreenderam como uma necessidade de estruturar o significado de situações relevantes, fazendo-o de forma integrada. Resumidamente, a NFC pode ser definida como a tendência de o indivíduo se engajar em atividades que exijam esforço analítico (Cacioppo & Petty, 1982). Ademais, cabe ressaltar a estabilidade temporal deste construto, sendo assim compreendido como uma característica de personalidade, descrevendo pessoas que tendem a se envolver em atividades cognitivas, obtendo satisfação com a sua realização (Cacioppo, Petty, Feinstein, & Jarvis, 1996; Silva & Garcia-Marques, 2006).

Nesta direção, estudos vêm sendo desenvolvidos com o fim de conhecer em que medida a NFC se relaciona com os cinco grandes fatores da personalidade. A propósito, Sadowski e Cogburn (1997) encontraram correlações desse construto com abertura à mudança (r = 0,50, p < 0,001), conscienciosidade (r = 0,40, p < 0,001) e neuroticismo (r = -0,36, p < 0,001). Em outro estudo, Furnham e Thorne (2013) realizaram uma regressão (stepwise) tendo como variáveis preditoras da NFC os fatores abertura (β = 0,46, p < 0,001) e neuroticismo (β = -0,32, p < 0,001), que explicaram conjuntamente 29% da variância. Considerando tais resultados, acentua-se a natureza da NFC mais como um traço de personalidade do que uma resposta situacional (Cacioppo et al., 1996).

Considerando a especificidade ou legitimidade da necessidade de cognição, estudos vêm sendo desenvolvidos correlacionando-a com outros construtos. Por exemplo, pessoas com maior NFC apresentam maior inteligência geral e inteligências fluida e cristalizada, porém não parece estar associada com uma melhor memória (Hill et al., 2013). Contrariamente, Leding (2011) encontrou resultados que apontaram que as pessoas com maior NFC apresentaram maior número de falsas memórias.

Outros estudos demonstraram que a NFC está correlacionada com menor humor deprimido no trabalho (Gallagher, 2012) e melhor desempenho em tomada de decisões (Carnevale, Inbar, & Lerner, 2011); ela também contribui para explicar a preferência por tipos de artes (Wiersema, Schalk, & Kleef, 2012) e partidos políticos (Arceneaux & Vander Wielen, 2013). Além disso, dito construto ainda tem sido levado em conta como um preditor ou moderador do resultado no tratamento de intervenção em dependentes de tabaco (Haug et al., 2010). Portanto, parece evidente a importância do construto necessidade de cognição, tendo Cacioppo e Petty (1982) criado um instrumento específico para medi-la.

Escala de Necessidade de Cognição (NCS)

A primeira versão do instrumento foi elaborada a partir de um conjunto de declarações presentes em estudos prévios (Cohen et al., 1955; Mehrabian & Banks, 1978). No caso, do conjunto inicial de itens, Cacioppo e Petty (1982) procuraram remover os ambíguos, como verificados em análises preliminares, restando 45 itens. Posteriormente, avaliaram o poder discriminativo destes itens, eliminando aqueles que não diferenciavam participantes com magnitudes próximas, resultando em uma versão da escala com 34 itens (NCS-34). Esta medida foi empregada nos estudos até 1984; posteriormente, buscando contar com um instrumento mais curto, Cacioppo, Petty e Kao (1984) desenvolveram a versão composta por 18 itens (NCS-18), que tem prevalecido deste então.

Na elaboração da versão reduzida, os autores consideraram as maiores cargas fatoriais no estudo em que foi aplicada a NCS-34. A opção por considerar 18 itens se justificou em razão da inclusão de outros itens não produzirem aumento considerável na consistência interna (alfa de Cronbach) do fator geral de necessidade de cognição. Com o fim de conhecer evidências de validade da NCS-18, Cacioppo et al. (1984) a aplicaram em 527 estudantes universitários estadunidenses, que também responderam em outro momento a versão com 34 itens. Por meio de análise de componentes principais, utilizando a matriz de correlações (r de Pearson), foi possível observar, para cada versão desta escala, uma solução unifatorial, cujas variâncias totais explicadas foram de 37% (NCS-18) e 27% (NCS-34); seus alfas de Cronbach foram, respectivamente, 0,90 e 0,91. Como esperado, estas versões se mostraram forte e diretamente correlacionadas entre si (r = 0,95, p < 0,001).

É importante assinalar que desde a primeira versão da NCS seus autores decidiram utilizar itens tanto positivos quanto negativos. Os primeiros são assertivas diretas que expressam um pensamento, afeto ou comportamento presente, enquanto os segundos são redigidos negativamente para indicar ausência de algo, procurando diminuir os presumíveis vieses de resposta ou aquiescência e, por esta razão, são importantes na medida em que permitem avaliar se os indivíduos respondem de forma consciente ou aleatória. Entretanto, foi encontrado um único estudo em que se avaliasse diretamente o efeito desta decisão (Forsterlee & Ho, 1999), que pode potencialmente produzir ao menos um fator espúrio (Gouveia, Lima, Gouveia, Freires, & Barbosa, 2012; Ye, 2009), sugerindo uma estrutura diferente da unifatorial proposta por Cacioppo et al. (1984).

Estrutura Fatorial da NCS

Em estudos de Cacioppo e seus colaboradores (Cacioppo & Petty, 1982; Cacioppo et al., 1984) foi encontrado um fator dominante para a NCS, independentemente da versão utilizada de sua medida, isto é, com 34 ou 18 itens. Não obstante, destaca-se que em seu primeiro estudo Cacioppo e Petty (1982) encontraram dez fatores, tendo em conta o critério de Kaiser, porém o scree plot (critério de Cattell) pareceu sugerir a extração de um único fator, cujo autovalor foi 10,22, explicando pouco mais de 30% da variância total; o segundo e o terceiro fatores apresentaram, respectivamente, autovalores de 2,31 e 1,82, responsáveis pela explicação de 6,8% e 5,4% das variâncias totais. A propósito desses achados, Lord e Putrevu (2006) comentam que os estudos de Cacioppo e Petty (1982) sugerem que ao menos três fatores deveriam ter sido retidos, tomando em conta seus autovalores e a quantidade de variância explicada. Esta estrutura trifatorial foi encontrada por Tanaka, Panter e Winborne (1988) para a NCS-34 com a escala de respostas modificada do tipo Likert para o dicotômico; os três fatores encontrados, partindo do autovalor (eigenvalue), explicaram conjuntamente 25% da variância, tendo sido nomeados como persistência, complexidade e confiança cognitivas.

Lord e Putrevu (2006) procuraram conhecer a dimensionalidade das versões de 34 e 18 itens da NCS. No caso da versão original, contou-se com amostra de 195 estudantes de marketing de uma universidade estadunidense. Na ocasião, utilizaram análise de componentes principais (rotação promax), retendo oito componentes com autovalores maiores que 1, como seguem: satisfação por estimulação cognitiva (composto por quatro itens com saturações de 0,49 a 0,72), confiança individual na capacidade cognitiva (formado por três itens com cargas fatoriais que variaram de 0,42 a 0,48), preferência pela complexidade (composto por três itens cujas saturações variaram de 0,40 a 0,84), compromisso de esforço cognitivo (definido por três itens com saturações entre 0,44 e 0,50), desejo de compreensão (representado por três itens cujas saturações variaram entre 0,39 e 0,85); os três últimos componentes apresentaram um item cada um: cognição situacionalmente imposta (carga fatorial de 0,96), confiança nas consequências da cognição (carga fatorial de 0,69) e autopercepção intelectual (carga fatorial de 1,00).

Lord e Putrevu (2006) empregaram os mesmos critérios anteriormente descritos para extração e rotação dos fatores, em que apenas itens redigidos positivamente foram retidos, tendo surgido igualmente oito fatores. Para tanto, contaram com uma amostra de 144 estudantes universitários de graduação e pós-graduação em administração de duas universidades estadunidenses. As correlações interfator variaram de 0,00 a 0,31, endossando a multidimensionalidade da NCS; três desses fatores se aproximam dos observados previamente: satisfação por estimulação cognitiva (com saturações que variaram de 0,40 a 0,60), desejo de compreensão (com saturações que variaram de 0,43 a 0,97) e preferência pela complexidade (com saturações que variaram de 0,41 a 0,81).

No caso da versão com 18 itens, tiveram-se em conta dados de dois estudos, isto é, aquele previamente descrito para a amostra estadunidense e um outro com uma amostra australiana de 244 estudantes universitários. Em ambos os estudos, utilizando os mesmos critérios para a extração dos fatores, encontrou-se uma solução pentafatorial, porém estruturados de forma diferente das previamente relatadas. Deste modo, Lord e Putrevu (2006) sugerem que, embora sejam identificadas soluções fatoriais diferentes, fica evidente a multidimensionalidade da medida de necessidade de cognição.

Em uma adaptação da Escala de Necessidade de Cognição para o contexto português, Silva e Garcia-Marques (2006) tiveram em conta três amostras de instituições de ensino técnico e universitário. Partindo de análise dos componentes principais, estes autores observaram com base no teste scree a predominância de um fator principal, explicando entre 23,2% e 31,9% da variância total. Em todas as amostras foram observados coeficientes de consistência interna (alfas de Cronbach) aceitáveis, variando de 0,80 a 0,84.

Em outro estudo, também no contexto português, Gomes, Santos, Gonçalves, Orgambidez-Ramos e Giger (2013) checaram evidências de validade e precisão da NCS-18. Por meio de uma análise dos componentes principais, utilizando rotação oblimin, foi encontrado, de acordo com o critério de Kaiser, quatro fatores. Não obstante, um deles era formado por apenas um item, indicando a pertinência de se considerar uma estrutura trifatorial. Posteriormente, os autores testaram o ajuste deste modelo, além de verificar se a estrutura unifatorial, sugerida por Cacioppo et al. (1984), era adequada para representar o construto. Os resultados indicaram um ajuste marginalmente aceitável para o modelo de três fatores (e.g., GFI = 0,86; CFI = 0,82; RMSEA = 0,089) e um pobre ajuste para o modelo unifatorial (e.g., GFI = 0,77; CFI = 0,66; RMSEA = 0,11).

Forsterlee e Ho (1999) também avaliaram a dimensionalidade da NCS-18, contando com uma amostra australiana de 510 pessoas da população em geral, com média de idade de 32 anos, distribuídas equitativamente entre os sexos. Na ocasião estes autores encontraram dois fatores com autovalores maiores que 1, sendo que o primeiro reuniu nove itens positivamente redigidos, explicando 32,7% da variância total, enquanto que o segundo esteve igualmente formado por nove itens negativamente redigidos, que foi responsável por explicar 7,3% desta variância. Tais fatores se correlacionaram negativamente entre si (r = -0,52, p < 0,001). Neste sentido, concluíram que um único fator poderia ser identificado, sugerindo que o segundo fator se devia à redação negativa de seus itens, o que se pode entender como um fator espúrio.

Em um segundo estudo, Forsterlee e Ho (1999) decidiram realizar uma análise fatorial confirmatória com a NCS-18. No caso, consideraram uma amostra de 697 pessoas de diversas comunidades australianas, testando três modelos: o Modelo 1 fixou a extração de dois fatores independentes, incluindo todos os itens (positivos e negativos); o Modelo 2 definiu a extração de um único fator, incluindo conjuntamente itens positivos e negativos, mas sem controlar o efeito de itens negativos (fator espúrio); e, finalmente, o Modelo 3 fixou um único fator incluindo itens positivos e negativos, porém controlando o fator espúrio. Para realizar tal controle, os autores consideraram a possibilidade dos itens negativos formarem um fator latente que seria o viés de resposta devido o formato de redação do item.

O Modelo 1 (bifatorial; CFI = 0,92, GFI = 0,92 e AGFI = 0,89) apresentou melhor ajuste aos dados que o Modelo 2 (unifatorial, mas sem controlar o fator espúrio; CFI = 0,84, GFI = 0,84 e AGFI = 0,80). Porém, o Modelo 3 (unifatorial, controlando o fator espúrio em razão dos itens redigidos negativamente) foi o que apresentou os melhores indicadores de ajuste (CFI = 0,94, GFI = 0,94 e AGFI = 0,89), reunindo lambdas que variaram de 0,59 a 0,72. Estes achados sugerem que a redação negativa dos itens pode explicar o aparecimento de um segundo fator desta medida. Neste sentido, Preckel (2014), considerando uma amostra de 745 estudantes alemães, com média de idade de 11,4 anos, realizou uma análise fatorial confirmatória, testando três modelos unifatoriais (itens positivos e negativos; somente itens negativos; somente itens positivos) e dois modelos bifatoriais (itens positivos e negativos saturando em dois fatores correlacionados; e itens positivos e negativos saturando em dois fatores não correlacionados [NFC e um fator latente que representa o viés de resposta]). Os resultados indicaram um melhor ajuste para este último modelo, sugerindo o controle do efeito da redação dos itens (CFI = 0,94 e RMSEA = 0,045).

O Efeito da Redação dos Itens

A estrutura fatorial de um instrumento pode apresentar ambiguidades advindas da redação dos itens, isto é, a presença de itens redigidos de forma negativa pode resultar em um fator que reflete mais um viés de resposta do que propriamente a legitimidade de um construto. A propósito, embora a prática de contar com itens positivos e negativos seja recomendada (Pedhazur & Schmelkin, 1991; Spector, 1992), presumivelmente minimizando o uso indiscriminado de uma ou outra alternativa de resposta, ela pode ser contraindicada, uma vez que faz surgir um fator que se define mais em razão da direção dos itens (negativos) do que propriamente de seu conteúdo diferente (Forsterlee & Ho, 1999; Ye, 2009). Isso pode introduzir complexidade desnecessária à interpretação da estrutura fatorial resultante, pressupondo algum construto psicológico que, de fato, é reduzido a um viés de resposta.

Diversos instrumentos têm apresentado estruturas fatoriais causadas pelo efeito da redação dos itens. Um desses é a Escala de Autoestima de Rosenberg (EAR; Rosenberg, 1989), concebida para medir a autoestima global como um único fator. No entanto, pesquisadores encontraram, a partir de análises fatoriais, solução de dois fatores para a EAR: autoestima positiva e autoestima negativa (Huang & Dong, 2012). Confia-se, portanto, que a bidimensionalidade da EAR pode se dever ao efeito da redação dos itens (Huang & Dong, 2012; Marsh, Scalas, & Nagengast, 2010; Mullen, Gothe, & McAuley, 2013). Precisamente nesta direção procederam Huang e Dong (2012), os quais examinaram a dimensionalidade da EAR a partir de uma meta-análise com 23 estudos, incluindo 80 amostras independentes que representavam 32.491 participantes. A propósito, os coeficientes elevados de congruência fatorial revelaram sobreposição entre os fatores de autoestima positiva e negativa, o que endossou a ideia de um único fator para esta medida.

É importante salientar que os efeitos da redação negativa dos itens não se restringem ao construto autoestima ou à EAR. De fato, este efeito também parece presente em medida de desconforto psicológico, como avaliada por meio do Questionário de Saúde Geral (QSG; Goldberg, 1972). No caso, sua versão reduzida, composta por 12 itens, denominada como QSG-12, tem produzido soluções fatoriais diversas, indicando-se comumente um, dois ou três fatores (Damásio, Machado, & Silva, 2011; Kalliath, O'Driscoll, & Brough, 2004; Shevlin & Adamson, 2005).

Neste contexto, Gouveia et al. (2012) decidiram testar três modelos para esta medida: um uni e outro bifatorial, que são os mais comumente sugeridos, e um terceiro, também unifatorial, porém controlando o viés de resposta devido à formulação negativa de itens, indicando que estes formam um fator latente denominado viés de resposta. No caso, com o fim de controlar o viés de respostas, os 12 itens da escala foram organizados em uma estrutura unifatorial, adicionando-se um fator espúrio, reunindo unicamente os itens negativos. Os modelos foram testados em quatro amostras distintas, sendo que o último, controlando o efeito da redação dos itens, foi o que se mostrou mais aceitável, estudantes de graduação (AGFI = 0,85, CFI = 0,89 e RMSEA = 0,092); policiais militares (AGFI = 0,90, CFI = 0,93 e RMSEA = 0,067); população geral (AGFI = 0,85, CFI = 0,88 e RMSEA = 0,091) e professores (AGFI = 0,88, CFI = 0,90 e RMSEA = 0,075).

Apesar dos resultados previamente apresentados, sobretudo aqueles observados nos estudos de Forsterlee e Ho (1999), parece coerente supor que a NCS-18, cuja metade dos itens está redigida de forma negativa, descreve um único construto, como sugerem seus autores (Cacioppo & Petty, 1982; Cacioppo et al., 1984). Entretanto, Lord e Putrevu (2006) suscitam alguma dúvida, sendo enfáticos em afirmar que a estrutura multidimensional desta medida não é um mero artefato da polaridade semântica de seus itens. Neste contexto, pensou-se realizar o presente estudo, visando dirimir a dúvida quanto à estrutura fatorial da Escala de Necessidade de Cognição, em sua versão com 18 itens. Pretendeu-se, portanto, reunir evidências de sua validade fatorial e consistência interna.

Método

Participantes

Contou-se com uma amostra não probabilística de 215 estudantes universitários de uma instituição pública da cidade de João Pessoa (PB). Estes tinham idades variando de 17 a 46 anos (M = 20, DP = 3,79), sendo a maioria do sexo feminino (61%) e solteira (92%).

Instrumentos

Os participantes receberam um livreto contendo a Escala de Necessidade de Cognição e, ao final, três perguntas demográficas (estado civil, idade e sexo). No caso da escala utilizada, esta foi inicialmente traduzida do inglês para o português por Deliza, Rozenthal e Costa (2003). Tratou-se de um procedimento de retradução (back translation), cujos resultados demonstraram que a adaptação do inglês para o português foi semanticamente equivalente. Posteriormente, Silva e Garcia-Marques (2006) efetuaram uma tradução independente desta medida, quando propuseram sua versão portuguesa. No presente estudo estas duas versões foram tidas em conta, mas comparando-as com a versão original da medida de necessidade de cognição e adequando-a ao contexto brasileiro. O leitor interessado poderá obter uma cópia desta versão, solicitando-a a um dos autores (http://vvgouveia.net).

Elaborada por Cacioppo et al. (1984), esta escala com 18 itens visa avaliar a tendência de um indivíduo em se engajar em atividades que exigem esforço analítico ou gostar de pensar (e.g., Prefiro problemas complexos aos simples). Tais itens são respondidos em escala de sete pontos, variando de 1 (Discordo totalmente) a 7 (Concordo totalmente). Evidências acerca de sua estrutural fatorial foram previamente descritas, sugerindo-se, comumente, um fator geral dominante (Cacioppo & Petty, 1982). Entretanto, é possível encontrar estudos em que se observam diferentes soluções fatoriais, como aquelas com três (Tanaka et al., 1988) ou cinco fatores (Lord & Putrevo, 2006). A consistência interna (alfa de Cronbach) do fator geral tem sido aceitável (α > 0,70; Nunnally, 1991; Pasquali, 2003).

Procedimento

O projeto de pesquisa foi submetido ao Comitê de Ética em Pesquisa com Seres Humanos (CEP), do Hospital Universitário Lauro Wanderley, Universidade Federal da Paraíba, tendo sido aprovado (CEP/HULW nº 164/09, FR- 286066). Os participantes foram informados sobre os propósitos da pesquisa, indicando-se que sua participação seria voluntária e assegurando seu anonimato. A coleta foi realizada em contexto coletivo de sala de aula, porém os instrumentos foram respondidos individualmente. Esclarece-se que foram seguidas todas as recomendações sobre pesquisa com seres humanos, conforme Resolução do Conselho Nacional de Saúde (CNS) 466/12. No caso, todos os participantes precisaram ler e assinar previamente um termo de consentimento livre e esclarecido, que referendava sua concordância em participar do estudo. Em média, os respondentes levaram cerca de 10 minutos para concluir sua participação no estudo.

Análise de Dados

O PASW (versão 18) foi utilizado para calcular estatísticas descritivas (e.g., média, desvio padrão e frequência) e consistência interna do instrumento (alfa de Cronbach). Empregou-se o AMOS (versão 18) para realizar as análises fatoriais confirmatórias. Neste caso, tomou-se como entrada a matriz de covariâncias entre os itens, assumindo o estimador ML (Maximum Likelihood). Este tipo de análise oferece alguns indicadores de ajuste do modelo teórico aos dados empíricos (Byrne, 2010; Tabachnick & Fidell, 2013), a saber:

O qui-quadrado (χ²) testa a probabilidade do modelo teórico se ajustar aos dados. Pouco empregado na literatura, a razão entre este indicador e os graus de liberdade (χ²/gl) é mais indicado, recomendando-se valores entre 2 e 3 como indicador de um ajustamento adequado. O Goodness-of-Fit Index (GFI) e o Adjusted Goodness-of-Fit Index (AGFI) indicam proporção de variância-covariância nos dados explicada pelo modelo. O Comparative Fit Index (CFI) compara a matriz de covariância predita pelo modelo com aquela realmente observada. Para os três últimos indicadores, valores na casa de 0,90 (ou superiores) sugerem um ajustamento satisfatório. A Root-Mean-Square Error of Approximation (RMSEA), com intervalo de confiança de 90% (IC90%), é considerada um indicador de "maldade" de ajuste, com valores altos indicando um modelo não ajustado; assume-se como ideais valores entre 0,05 e 0,08.

No que concerne à comparação de modelos, o Expected Cross-Validation Index (ECVI) e o Consistent Akaike Information Criterion (CAIC) são indicadores geralmente empregados para avaliar a adequação de um modelo determinado em relação a outro; valores baixos do ECVI e CAIC expressam o modelo com melhor ajuste. Nesta mesma linha de comparar modelos, pode-se empregar a diferença entre os qui-quadrados (Δχ²) de dois modelos alternativos; um valor Δχ² com um p < 0,05 sugere melhor ajuste do modelo com menor qui-quadrado.

Por fim, reunindo evidências complementares de consistência interna, procurou-se calcular a confiabilidade composta (CC; Fornell & Larcker, 1981; Hair, Black, Babin, Anderson, & Tatham, 2009). O valor da CC para cada fator pode contribuir para dirimir dúvida quanto ao alfa de Cronbach, que é influenciado pelo número de itens (Pasquali, 2003). Os valores devem ser preferencialmente acima de 0,70, mas aceitam-se aqueles a partir de 0,60.

Resultados

Antes de checar a estrutura fatorial da escala, decidiu-se realizar análises preliminares de seus itens, como calcular as correlações entre cada par deles, suas médias, desvios-padrões, assimetrias e curtoses. Esses achados são descritos a seguir na Tabela 1.

Tabela 1.
Correlação, Média, Desvio-Padrão, Simetria e Curtose dos Itens

Itens
01
02	0,47*
03 n	-0,10	-0,26*
04 n	-0,18*	-0,27*	0,47*
05 n	-0,05	-0,31	0,33*	0,35*
06	0,19*	0,18*	-0,04	0,01	0,19*
07 n	0,03	-0,06	0,18*	0,21*	0,36*	0,14*
08 n	-0,02	-0,08	0,21*	0,27*	0,10	-0,02	0,14*
09 n	-0,21*	-0,23*	0,41*	0,49*	0,34*	0,01	0,21*	0,32*
10	-0,02	0,18*	-0,17*	-0,17*	-0,15*	0,02	-0,08	-0,01	-0,15*
11	0,30*	0,39*	-0,34*	-0,26*	-0,21*	0,15*	-0,06	-0,05	-0,26*	0,33*
12 n	-0,16*	-0,29*	0,38*	0,44*	0,36*	-0,10	0,19*	0,20*	0,38*	-0,30*	-0,35*
13	0,38*	0,34*	-0,11	-0,15*	-0,12	0,30*	0,03	-0,01	-0,18*	0,10	0,28*	-0,16*
14	0,21*	0,16*	-0,26*	-0,18*	-0,16*	0,30*	-0,08	-0,11	-0,24*	0,28*	0,23*	-0,31*	0,47*
15	0,26*	0,27*	-0,11	-0,11	-0,08	0,23*	-0,03	-0,10	-0,14*	0,18*	0,21*	-0,10	0,26*	0,25*
16 n	-0,16*	-0,25*	0,17*	0,23*	0,18*	-0,07	0,06	0,17*	0,18*	-0,09	-0,11	0,19*	-0,21*	-0,16*	-0,13
17 n	-0,01	-0,19*	0,22*	0,33*	0,12	-0,03	0,18*	0,18*	0,22*	-0,11	-0,18*	0,29*	0,02	-0,04	0,02	0,15*
18	0,06	0,07	0,16*	0,02	0,03	0,10	0,07	-0,02	0,07	-0,03	-0,05	0,02	-0,01	0,04	0,05	-0,06	-0,08
M	3,8	4,6	2,5	3,0	3,1	3,7	4,0	3,6	3,6	5,3	5,3	2,3	3,5	4,2	4,1	3,6	2,5	4,6
DP	1,67	1,44	1,54	1,54	1,73	1,55	1,97	1,79	1,68	1,45	1,42	1,51	1,64	1,69	1,58	1,98	1,63	1,71
Sim	-0,02	-0,50	0,71	0,55	0,58	-0,06	-0,07	-0,30	0,28	-0,97	-0,96	0,83	0,07	-0,08	-0,17	0,30	0,30	-0,49
Cur	-0,77	-0,31	0,24	-0,45	-0,75	-0,77	-1,25	-0,90	-0,85	0,50	0,49	1,28	-0,77	-0,68	-0,70	-1,16	0,73	-0,55
	1	2	3	4	5	6	7	8	9	10	11	12	13	14	15	16	17	18

• Nota. Os valores sublinhados sofreram transformação logarítmica. M = Média, DP = Desvio padrão, Sim = Simetria e Cur = Curtose. n = Itens negativos. * p < 0,05.

De acordo com os dados desta tabela, a média dos itens positivos (M = 4,30; DP = 0,84) e negativos (M = 3,10; DP = 0,98) diferiram estatisticamente (t = 7,63; p < 0,001). No que diz respeito à simetria e curtose, tomando-se em conta os critérios de Miles e Shevlin (2001), os itens que apresentaram assimetria maior que |1| e curtose maior que |2|, demandaram transformações quadráticas ou logarítmicas de base 10. No caso, optou-se por esta última transformação, que foi realizada por dois itens que originalmente apresentaram valores de simetria maiores que os aceitos, a saber: itens 3 (1,05) e 12 (1,32), que após as transformações assumiram as simetrias 0,71 e 0,83, respectivamente. Ademais, checou-se a normalidade multivariada dos dados, que apresentou curtose igual a 47,57 (Teste z = 13).

Para identificar a estrutura fatorial mais adequada para a NCS-18, realizaram-se análises fatoriais confirmatórias (AFC), testando os três modelos do estudo de Forsterlee e Ho (1999). Neste sentido, o Modelo 1 (M₁) correspondeu à solução unifatorial, com os dezoito itens, positivos e negativos, saturando no mesmo fator; o Modelo 2 (M₂) indicou uma solução com dois fatores, cada um correspondendo aos itens positivos ou negativos, no qual cada item foi especificado saturar em apenas um dos fatores, admitindo que tais fatores se correlacionam entre si; e, por fim, o Modelo 3 (M₃) disse respeito à solução unifatorial, porém controlando o efeito dos itens negativos. Os resultados destas análises são resumidos na Tabela 2 a seguir.

Tabela 2.
Modelos AFC da Escala de Necessidade de Cognição

Modelos	χ2(gl)	χ2/gl	GFI	AGFI	CFI	RMSEA	CAIC	ECVI	Δχ2
M1	341,55 (135)	2,53	0,82	0,77	0,70	0,08	570,89	1,93
M2	235,09 (133)	1,77	0,89	0,86	0,85	0,06	477,18	1,45	106,46(2)**
M3	217,80 (126)	1,73	0,90	0,86	0,86	0,06	504,48	1,44	17,29(7)*

• Notas. Modelos fatoriais: M1 = unifatorial, M2 = bifatorial e M3 = unifatorial controlando itens negativos. * p < 05, ** p < 0,01.

Conforme é possível observar na Tabela 2, o modelo com dois fatores (M₂) apresentou ajuste mais plausível se comparado com o modelo com um único fator, sem controlar o efeito da redação dos itens, M₁, ∆χ² (2) = 106,46; p < 0,01. Porém, apesar dos indicadores de ajuste promissores do M₂, quando este foi comparado com o M₃, este último foi, no geral, algo mais satisfatório, como se verifica na menor razão de seu qui-quadrado com respeito aos graus de liberdade (χ²/gl), assim como do GFI. Uma comprovação mais robusta desta diferença se constata ao comparar seus respectivos graus de liberdade, onde o do M₃ foi estatisticamente menor que o M₂, ∆χ² (7) = 17,29; p < 0,05.

Por fim, com o propósito de conhecer em que medida é possível empregar a NCS-18 como uma medida internamente consistente, admitindo a estrutura unifatorial comprovada nas análises prévias, decidiu-se primeiramente calcular o alfa de Cronbach para o seu conjunto de itens. O resultado indicou um coeficiente de 0,78, que sugere uma medida com evidências de precisão, entendida em termos de consistência interna. Não obstante, procurando dirimir dúvidas quanto ao alfa de Cronbach, decidiu-se calcular sua confiabilidade composta (CC), uma vez que este indicador não é influenciado pelo número de itens da medida. Recomenda-se que a CC seja igual ou superior a 0,70 para indicar evidência de precisão, admitindo-se valores a partir de 0,60 (Hair et al., 2009). Partindo das saturações padronizadas que foram resultantes da análise fatorial confirmatória do M₃; o resultado obtido serviu para corroborar tal propriedade desta media (CC = 0,61).

Discussão

O objetivo deste estudo foi conhecer evidências de validade fatorial e consistência interna da Escala de Necessidade de Cognição, testando três modelos fatoriais, sendo um com dois fatores (itens negativos e positivos), um admitindo um único fator, reunindo todos os itens, e um terceiro que, também pressupondo um único fator, procurou controlar o efeito da redação negativa dos itens. Confia-se que este objetivo que tenha sido alcançado. Entretanto, há que se levar em conta potenciais limitações da pesquisa, a exemplo de considerar uma amostra relativamente pequena e específica, uma vez que considerou apenas estudantes universitários de uma única cidade do Nordeste, ". . . bem como constituída majoritariamente por mulheres, reflexo direto da predominância do gênero feminino na sociedade Brasileira, equivalendo a 51% e 51,6% da população do Brasil, no geral, e da Paraíba, especificamente" (Instituto Brasileiro de Geografia e Estatística [IBGE], 2015). Cabe lembrar, porém, que o foco, como previamente exposto, foi testar modelos, avaliando em que medida se ajustam ou não aos dados, e com este propósito a amostra pareceu adequada (Myers, Ahn, & Jin, 2011).

Conforme anteriormente comentado, o uso de itens redigidos de forma negativa é indubitavelmente importante e tem sido recomendado com a finalidade de reduzir, sobretudo, vieses de resposta por parte dos respondentes de um instrumento (Pedhazur & Schmelkin, 1991; Spector, 1992). Paradoxalmente, entretanto, tem sido observado que alguns itens invertidos geram problemas na estrutura fatorial, pois acabam produzindo um segundo fator quando este não é teoricamente esperado ou justificado (Ye, 2009). Nesta direção, constatam-se na literatura que alguns instrumentos, a exemplo do QSG-12 e da EAR, que dividem seus itens em positivos e negativos, tendem a encontrar soluções fatoriais que evidenciam um fator espúrio resultante de respostas a itens negativos (Gouveia et al., 2012; Huang & Dong, 2012; Mullen et al., 2013).

Portanto, quando controlado o efeito de itens redigidos na forma negativa, instrumentos como os anteriormente indicados, que são presumivelmente unifatoriais, relevam-se como apresentando esta estrutura. Este foi o caso, também, da NCS-18, dirimindo dúvidas quanto ao número de fatores, que tem variado entre os estudos (Cacioppo & Petty, 1982; Lord & Putrevo, 2006; Tanaka et al., 1988).

Em linha com o previamente indicado, partindo do estudo de Forsterlee e Ho (1999), checou-se a estrutura fatorial da Escala de Necessidade de Cognição, testando modelos fatoriais que tais autores sugeriram: unifatorial e bifatorial, sem controlar o efeito da redação dos itens, e um terceiro modelo igualmente unifatorial, porém controlando o efeito dos itens negativos. Como ocorreu para a EAR e o QSG-12, a estrutura fatorial da NCS-18 foi claramente afetada pela presença de itens redigidos negativamente. Neste sentido, coerente com os achados destes autores, a estrutura que apresentou o melhor ajuste foi a unifatorial, levando em conta o efeito dos itens negativos.

Há que dizer que uma das explicações possíveis para a distinção da variabilidade entre itens positivos e negativos diz respeito à competência dos respondentes quando precisam ler e responder itens que, em lugar de representarem uma asserção direta, figuram como uma negação, é este o caso do item 5 da NCS-18 (Tento antecipar e evitar situações onde exista a provável chance de ter que pensar profundamente sobre alguma coisa). Isso pode acontecer devido a fatores múltiplos que precisarão ser estudados no futuro, como poderá ser a atenção dos respondentes ou mesmo a habilidade em tratar com ideias que, para afirmar algo, precisam negar. Tais dificuldades introduzem uma variabilidade extra ao conjunto de itens, que não pode ser atribuída ao construto latente de interesse (Gouveia et al., 2012; Schmitt & Stults, 1985).

Faz-se necessário esclarecer que os valores do CFI ficaram abaixo do recomendado na literatura (0,90). Porém, quando não se encontram informações prévias sobre a medida, sendo as primeiras evidências disponíveis, Garson (2003) defende valores acima 0,70 como meritórios, isto é, que têm valor heurístico, podendo indicar algum suporte para a estrutura subjacente. Neste sentido, é importante avaliar o modelo como um todo, e que no caso do M₃, apresentou outros indicadores com resultados satisfatórios (e.g., GFI e RMSEA).

Diante do exposto, apesar das razões indicadas na literatura para empregar itens negativos, haverá de ser ponderada a dificuldade que estes podem suscitar no momento de processar seu conteúdo e emitir uma resposta. Merece atenção compreender as causas desta dificuldade, algumas delas já aventadas previamente, pois parece evidente que se trata de um viés de resposta, introduzindo uma variação adicional em tais itens. Nesta direção, Forsterlee e Ho (1999) verificaram que os itens negativos apresentam maior variância que os positivos, resultado que também foi constatado no presente estudo. Desta forma, acrescenta-se que tratar com itens redigidos de forma negativa também pode comprometer a consistência interna de um instrumento, assim como sua validade, já que faz presumir um segundo fator, de modo que o fator geral fica distorcido ou minorado (Ye, 2009).

Por fim, este estudo reuniu evidências complementares acerca da validade fatorial e consistência interna da Escala de Necessidade de Cognição, favorecendo que possa ser empregada no contexto brasileiro para conhecer os correlatos de tal necessidade, que parece fundamental no processo de busca de conhecimento. Neste ponto, é importante destacar que, apesar de existirem versões desta medida em Português (Deliza et al., 2003; Silva & Garcia-Marques, 2006), inclusive um estudo recente de sua adaptação (Gomes et al., 2013), os estudos a respeito têm sido levados a cabo em Portugal, sendo escasso qualquer intento no contexto brasileiro. Deste modo, abrem-se possibilidades para estudos futuros, checando, por exemplo, evidências de validade convergente-discriminante, validade preditiva e estabilidade temporal desta medida.

Referências

• Arceneaux, K., & Vander Wielen, R J . (2013) . The effects of need for cognition and need for affect on partisan evaluations. Political Psychology, 34: 23-42 doi:10.1111/j.1467-9221.2012.00925.x .
  » https://doi.org/10.1111/j.1467-9221.2012.00925.x
• Byrne, B M . (2010) . Structural equation modeling with Amos: Basic concepts, applications, and programmimg. New York: Routledge .
• Cacioppo, J. T., & Petty, R E . (1982) .The need for cognition. Journal of Personality and Social Psychology, 42: 116-131 doi:10.1037/0022-3514.42.1.116 .
  » https://doi.org/10.1037/0022-3514.42.1.116
• Cacioppo, J. T. Petty, R. E., & Kao, C F . (1984) .The efficient assessment of need for cognition. Journal of Personality Assessment, 48: 306-307 doi:10.1207/s15327752jpa4803_13 .
  » https://doi.org/10.1207/s15327752jpa4803_13
• Cacioppo, J. T., Petty, R. E., Feinstein, J. A., & Jarvis, B G . (1996) . Dispositional differences in cognitive motivation: The life and times of individuals varying in need for cognition. Psychological Bulletin, 199: 197-253 doi:10.1037/0033-2909.119.2.197 .
  » https://doi.org/10.1037/0033-2909.119.2.197
• Carnevale, J. J., Inbar, Y, & Lerner, J S . (2011) . Individual differences in need for cognition and decision-making competence among leaders. Personality and Individual Differences, 51: 274-278 doi:10.1016/j.paid.2010.07.002 .
  » https://doi.org/10.1016/j.paid.2010.07.002
• Cohen, A R . (1957) . Need for cognition and order of communication as determinants of opinion change. In: C. I. Hovland (Ed), The order of presentation in persuasion (pp. 79-97). New Haven, CT: Yale University Press.
• Cohen, A. R., Stotland, E., & Wolfe, D M . (1955) . An experimental investigation of need for cognition. Journal of Abnormal and Social Psychology, 51: 291-294 doi:10.1037/h0042761 .
  » https://doi.org/10.1037/h0042761
• Damásio, B F ., Machado,W. L., & Silva, J. P. (2011) . Estrutura fatorial do Questionário de Saúde Geral (QSG-12) em uma amostra de professores escolares. Avaliação Psicológica, 10: 99-105 Recuperado em http://pepsic.bvsalud.org/scielo.php?script=sci_arttext&pid=S1677-04712011000100011&lng=pt&tlng=pt .
  » http://pepsic.bvsalud.org/scielo.php?script=sci_arttext&pid=S1677-04712011000100011&lng=pt&tlng=pt
• Deliza, R., Rosenthal, A., & Costa, M C . (2003) . Tradução e validação para a língua portuguesa de questionário utilizado em estudos de consumidor. Ciência e Tecnologia de Alimentos, 23: 43-48 Recuperado em http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0101-20612003000100010&lang=pt .
  » http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0101-20612003000100010&lang=pt
• Fornell, C., & Larcker, D F . (1981) . Evaluating structural equation models with unobservable variables and measurement error. Journal of Marketing Research, 18: 39-50.
• Forsterlee, R., & Ho, R. (1999). An examination of the short form of the Need for Cognition Scale applied in an Australian sample. Educational and Psychological Measurement, 59: 471-480 doi:10.1177/00131649921969983 .
  » https://doi.org/10.1177/00131649921969983
• Furnham, A., & Thorne, J D . (2013) . Need for cognition: Its dimensionality and personality and intelligence correlates. Journal of Individual Differences, 34: 230-240 doi:10.1027/1614-0001/a000119 .
  » https://doi.org/10.1027/1614-0001/a000119
• Gallagher, V C . (2012) . Managing resources and need for cognition: Impact on depressed mood at work. Personality and Individual Differences, 53: 534-537 doi:10.1016/j.paid.2012.04.025 .
• Garson, G. D. (2003). PA 765 Statnotes: An online textbook. Retrieved from http://www2.chass.ncsu.edu/garson/pa765/statnote.htm
  » http://www2.chass.ncsu.edu/garson/pa765/statnote.htm
• Goldberg, D P . (1972) .The detection of psychiatric illness by questionnaire: A technique for the identification and assessment of non-psychotic psychiatric illness. London: Oxford University Press.
• Gomes, A., Santos, J. V., Gonçalves, G., Orgambidez-Ramos, A., & Giger, J-C . (2013) .Estudo de validação da Escala de Necessidade de Cognição com amostra portuguesa. Avaliação Psicológica, 12: 179-192 Recuperado em http://pepsic.bvsalud.org/scielo.php?script=sci_arttext&pid=S1677-04712013000200009&lng=pt&tlng=pt .
  » http://pepsic.bvsalud.org/scielo.php?script=sci_arttext&pid=S1677-04712013000200009&lng=pt&tlng=pt
• Gouveia, V. V., Lima, T. J. S., Gouveia, R. S. V., Freires, L. A., & Barbosa, L H G. M . (2012) . Questionário de Saúde Geral (QSG-12): O efeito de itens negativos em sua estrutura fatorial. Caderno de Saúde Pública, 28: 375-384 Recuperado em http://www.scielosp.org/scielo.php?script=sci_arttext&pid=S0102-311X2012000200016&lang=pt.
  » http://www.scielosp.org/scielo.php?script=sci_arttext&pid=S0102-311X2012000200016&lang=pt
• Hair, J F ., Black, W C., Babin, B. J., Anderson, R. E., & Tatham, R. L. (2009) . Análise multivariada de dados. Porto Alegre, RS: ArtMed.
• Haug, S., Meyer, C., Ulbricht, S., Gross, B., Rumpf,H., & Ulrich, J. (2010). Need for cognition as a predictor and a moderator of outcome in a tailored letters smoking cessation intervention. Health Psychology, 29: 367-373 doi:10.1037/a0019450 .
  » https://doi.org/10.1037/a0019450
• Hill, B. D., Foster, J. D., Elliott, E. M., Shelton, J. T., McCain, J., & Gouvier, D. (2013). Need for cognition is related to higher general intelligence, fluid intelligence, and crystallized intelligence, but not working memory. Journal of Research in Personality, 47: 22-25 doi:10.1016/j.jrp.2012.11.001 .
  » https://doi.org/10.1016/j.jrp.2012.11.001
• Huang, C., & Dong, N. (2012). Factor structures of the Rosenberg Self-Esteem Scale: A meta-analysis of pattern matrices. European Journal of Psychological Assessment, 28: 132-138 doi:10.1027/1015-5759/a000101 .
  » https://doi.org/10.1027/1015-5759/a000101
• Instituto Brasileiro de Geografia e Estatística. (2015). Sinopse dos resultados do censo 2010. Recuperado em http://www.censo2010.ibge.gov.br/sinopse/webservice
  » http://www.censo2010.ibge.gov.br/sinopse/webservice
• Kalliath, T. J., O'Driscoll, M. P., & Brough, P. (2004). A confirmatory factor analysis of the general health questionnaire-12. Stress and Health: Journal of the International Society for the Investigation of Stress, 20: 11-20 doi:10.1002/smi.993 .
  » https://doi.org/10.1002/smi.993
• Leding, J. K. (2011). Need for cognition and false recall. Personality and Individual Differences, 51: 68-72 doi:10.1016/j.paid.2011.03.017 .
  » https://doi.org/10.1016/j.paid.2011.03.017
• Lord, K. R., & Putrevu, S. (2006). Exploring the dimensionality of the need for cognition scale. Psychology & Marketing, 23: 11-34 doi:10.1002/mar.20108 .
  » https://doi.org/10.1002/mar.20108
• Marsh, H. W., Scalas, L. F., & Nagengast, B. (2010). Longitudinal tests of competing factor structures for the Rosenberg Self-Esteem Scale: Traits, ephemeral artifacts, and stable response styles. Psychological Assessment, 22: 366-381 doi:10.1037/a0019225 .
  » https://doi.org/10.1037/a0019225
• Mehrabian, A., & Banks, L. (1978). A questionnaire measure of individual differences in achieving tendency. Educational and Psychological Measurement, 38: 475-478 doi:10.1177/001316447803800234 .
  » https://doi.org/10.1177/001316447803800234
• Miles, J & Shevlin, M. (2001) .Applying regression & correlation. A guide for students and researchers.London: Sage.
• Mullen, S. P., Gothe, N. P., & McAuley, E. (2013). Evaluation of the factor structure of the Rosenberg Self-Esteem Scale in older adults. Personality and Individual Differences, 54: 153-157 doi:10.1016/j.paid.2012.08.009 .
  » https://doi.org/10.1016/j.paid.2012.08.009
• Myers, N. D., Ahn, S., & Jin, Y. (2011). Sample size and power estimates for a confirmatory factor analytic model in exercise and sport: A Monte Carlo approach. Research Quarterly for Exercise and Sport, 82: 412-423 doi:10.1080/02701367.2011.10599773 .
  » https://doi.org/10.1080/02701367.2011.10599773
• Nunnally, J C . (1991) . Teoría psicométrica.México, DF: Trillas.
• Pasquali, L. (2003). Psicometria: Teoria dos testes na psicologia e na educação. Petrópolis, RJ: Vozes.
• Pedhazur, E J ., & Schmelkin, L. P (1991) . Measurement, design, and analysis: An integrated approach. Hillsdale, NJ: Erlbaum.
• Preckel, F. (2014). Assessing need for cognition in early adolescence: Validation of a German adaption of the Cacioppo/Petty scale. European Journal of Psychological Assessment, 30: 65-72 doi:10.1027/1015-5759/a000170 .
  » https://doi.org/10.1027/1015-5759/a000170
• Rosenberg, M. (1989). Society and the adolescent self-image. Middletown, CT: Wesleyan University Press.
• Sadowski, C. J., & Cogburn, H E . (1997) . Need for cognition in the Big-Five factor structure. Journal of Psychology, 131: 307-312 doi:10.1080/00223989709603517 .
  » https://doi.org/10.1080/00223989709603517
• Schmitt, N., & Stults, D M . (1985) . Factors defined by negatively keyed items: The results of careless respondents? . Applied Psychological Measurement, 9: 367-373 doi:10.1177/014662168500900405 .
  » https://doi.org/10.1177/014662168500900405
• Shevlin, M., & Adamson, G. (2005). . Alternative factor models and factorial invariance of the GHQ-12:A large sample analysis using confirmatory factor analysis. Psychological Assessment, 17: 231-236 doi:10.1037/1040-3590.17.2.231 .
  » https://doi.org/10.1037/1040-3590.17.2.231
• Silva, J., & Garcia-Marques, T. (2006) . Medindo necessidade de cognição e fé na intuição:Tradução e adaptação das duas escalas à população portuguesa. Laboratório de Psicologia 4: 29-41 Recuperado em http://publicacoes.ispa.pt/index.php/lp/article/view/761 .
  » http://publicacoes.ispa.pt/index.php/lp/article/view/761
• Spector, P E. (1992) . Summated rating scale construction:An introduction. Newbury Park, CA: Sage.
• Tabachnick, B. G., & Fidell, L. S (2013) . Using multivariate statistics (6th ed.). Boston, MA: Allyn and Bacon.
• Tanaka, J. S., Panter, A. T., & Winborne, W. C (1988) . Dimensions of the need for cognition:Subscales and gender differences. Multivariate Behavioral Research, 23: 35-50 doi: 10.1207/s15327906mbr2301_2 .
  » https://doi.org/10.1207/s15327906mbr2301_2
• Wiersema, D. V., Schalk, J. V. D., & Kleef, G A V K. . (2012). . Who's afraid of red yellow, and blue? Need for cognitive closure predicts aesthetic preferences. Psychology of Aesthetics, Creativity, and the Arts,6: 168-174 doi:10.1037/a0025878 .
  » https://doi.org/10.1037/a0025878
• Ye, S Q. (2009). Factor structure of the General Health Questionnaire (GHQ-12): The role of wording effects. Personality and Individual Differences, 46: 197-201 doi:10.1016/j.paid.2008.09.027 .
  » https://doi.org/10.1016/j.paid.2008.09.027

Datas de Publicação

• Publicação nesta coleção
  Jul-Sep 2015

Histórico

• Recebido
  23 Out 2013
• Aceito
  18 Jul 2014