Análisis factorial confirmatoria de la versión portuguesa de la Depression Anxiety Stress Scale-21

Apóstolo, João Luís Alves; Tanner, Barry Allen; Arfken, Cynthia Lee

doi:10.1590/S0104-11692012000300022

Resúmenes

El objetivo de este estudio fue determinar cual de los tres modelos publicados mejor caracteriza la estructura factorial de la versión portuguesa de la Depression Anxiety Stress Scale-21 (DASS-21) y evaluar su validez y confiabilidad. Se compararon los tres modelos a través de análisis factorial confirmatoria de la DASS-21, aplicada el 1.297 pacientes adultos, del servicio de atención básica (66,7% mujeres; edad Media=48,57 años). La relación entre la DASS-21 y la Positive and Negative Affect Schedule (PANAS) también fue analizada. El modelo de tres factores correlacionados se ajusta mejor a los datos. La escala presentó buena consistencia interna con valores alfa observados en las subescalas, variando de 0,836 a 0,897. La correlación con la PANAS fue positiva y comedida con la escala de afecto negativa, y negativa y limitada con la escala de afecto positivo. Esos resultados corroboran la estructura de tres factores. La prueba presentó confiabilidad adecuada y validez de constructo, dando soporte a su uso para rastrear pacientes portugueses en el servicio de atención básica.

Análisis Factorial; Traducción; Adulto; Cuestionarios

To determine which of three published models best characterizes the factor structure of the Portuguese version of the Depression Anxiety Stress Scales-21 and to assess its validity and reliability. Confirmatory factor analysis of Depression Anxiety and Stress Scale-21 for 1,297 adult, primary care outpatients (66.7% female, Mage = 48.57 years) comparing 3 models. The relationship between the Depression Anxiety Stress Scales-21 and the Positive and Negative Affect Schedule was analyzed. The correlated 3-factor model fit the data best. The scale demonstrated good internal consistency, with alpha scores of the subscales ranging from 0.836 to 0.897. Correlation with the Positive and Negative Affect Schedule was positive and moderate with the negative affect scale; it was negative and limited with the positive affect. These findings support the correlated 3-factor structure. The test demonstrated adequate reliability and construct validity, which supports its use for screening in primary care settings with Portuguese speakers.

Factor Analysis; Translation; Adult; Questionnaires

O objetivo deste estudo foi determinar qual dos três modelos publicados melhor caracteriza a estrutura fatorial da versão portuguesa da Depression Anxiety Stress Scale-21 (DASS-21) e avaliar sua validade e confiabilidade. Compararam-se os três modelos através de análise fatorial confirmatória da DASS-21, aplicada em 1.297 pacientes adultos, do serviço de atenção básica (66,7% mulheres; idade média=48,57 anos). A relação entre a DASS-21 e a Positive and Negative Affect Schedule (PANAS) também foi analisada. O modelo de três fatores correlacionados se ajusta melhor aos dados. A escala apresentou boa consistência interna com valores alfa observados nas subescalas, variando de 0,836 a 0,897. A correlação com a PANAS foi positiva e moderada com a escala de afeto negativa, e negativa e limitada com a escala de afeto positivo. Esses resultados corroboram a estrutura de três fatores. O teste apresentou confiabilidade adequada e validade de constructo, dando suporte ao seu uso para rastrear pacientes portugueses no serviço de atenção básica.

Análise Fatorial; Tradução; Adulto; Questionários

ARTÍCULO ORIGINALE

^IPhD, Profesor Adjunto, Unidade de Investigação em Ciências da Saúde - Enfermagem, Escola Superior de Enfermagem de Coimbra, Portugal

^IIPhD, Psicólogo Clínico, Life Stress Center, Detroit Receiving Hospital, Estados Unidos

^IIIPhD, Profesor Asociado, Department of Psychiatry and Behavioral Neurosciences, School of Medicine, Wayne State University, Estados Unidos

Correspondencia

RESUMEN

El objetivo de este estudio fue determinar cual de los tres modelos publicados mejor caracteriza la estructura factorial de la versión portuguesa de la Depression Anxiety Stress Scale-21 (DASS-21) y evaluar su validez y confiabilidad. Se compararon los tres modelos a través de análisis factorial confirmatoria de la DASS-21, aplicada el 1.297 pacientes adultos, del servicio de atención básica (66,7% mujeres; edad Media=48,57 años). La relación entre la DASS-21 y la Positive and Negative Affect Schedule (PANAS) también fue analizada. El modelo de tres factores correlacionados se ajusta mejor a los datos. La escala presentó buena consistencia interna con valores alfa observados en las subescalas, variando de 0,836 a 0,897. La correlación con la PANAS fue positiva y comedida con la escala de afecto negativa, y negativa y limitada con la escala de afecto positivo. Esos resultados corroboran la estructura de tres factores. La prueba presentó confiabilidad adecuada y validez de constructo, dando soporte a su uso para rastrear pacientes portugueses en el servicio de atención básica.

Descriptores: Análisis Factorial; Traducción; Adulto; Cuestionarios.

Introducción

Depresión y ansiedad constituyen carga severa en todo el mundo, mientras que enfermeros y otros profesionales tienen la responsabilidad de rastrear pacientes que presentan esas condiciones. Mientras, para hacerlo, una medida validada es necesaria. La Depression Anxiety and Stress Scale (DASS) es medida⁽¹⁾ frecuentemente utilizada que presenta buenas propiedades psicométricas⁽²⁾. La misma demuestra habilidad para discriminar entre grupos clínicos y no clínicos⁽³⁾.

La DASS-42 fue así nombrada por sus escalas de tres factores correlacionados depresión, ansiedad y estrés⁽⁴⁾. La versión abreviada de la DASS-21 fue construida seleccionándose siete ítems de cada una de las tres escalas principales para representar el contenido de toda la escala⁽⁴⁾. La DASS-21 presenta estructura factorial más aseada, con menos carga factorial cruzada (cross-loading)⁽³⁾.

Paso importante en el proceso de adaptación de testes para nuevos idiomas es determinar la equivalencia de constructo entre la versión original y la traducida, con factor de análisis frecuentemente usado para evaluar en que medida la traducción de una prueba mide los mismos constructos del original⁽⁵⁾. Una estructura de factor análogo entre la versión original y la versión traducida sugiere que las dos versiones miden los mismos constructos, en ese caso, depresión, ansiedad y estrés.

Resultados inconsistentes para la estructura de factor de la DASS han sido relatados en Portugal. La estructura de tres factores ha sido reportada tanto para la DASS-42⁽⁶⁾ como para la DASS-21^(7-8), entre universitarios portugueses. Otros estudiosos⁽⁹⁾, sin embargo, dan preferencia a la solución de dos factores que consiste de un único factor 'depresión' y un factor acordado 'ansiedad/estrese' para el DASS-21, contestado por pacientes psiquiátricos de ambulatorios.

Todos los cuatro estudios portugueses citados arriba envuelven análisis exploratorio factorial. Los tres estudios envolviendo estudiantes universitarios reportan soluciones de tres factores, al contrario del estudio envolviendo pacientes psiquiátricos de ambulatorios. Además, dos de los estudios usaron rotación oblicua en que los factores pudieron correlacionarse^(6,8), consistente con el estudio original de la DASS⁽⁴⁾, mientras los otros^(7,9) usaron rotación ortogonal en que los factores no pudieron correlacionarse. Ese hecho levanta cuestiones tanto con relación al número de factores de la versión portuguesa de la DASS-21 en cuanto a la relación entre los factores. Se esperaba que el modelo de tres factores si ajustase mejor a los datos y, por tanto, suministrase evidencia de validez de constructo para el modelo original de la DASS⁽⁴⁾ con esa nueva población.

Otro aspecto relacionado al establecimiento de equivalencia de constructo envuelve demostrar validez convergente y divergente, a través de la relación de la versión traducida con otras medidas. Estudios han repuesto correlaciones apropiadas entre las versiones inglesas de los instrumentos DASS y la Positive and Negative Affect Schedule (PANAS)⁽¹⁰⁾para poblaciones variadas^(11-12). Correlaciones positivas típicamente altas son observadas para la escala Negativa (validez convergente) y correlaciones negativas más bajas son observadas para la escala Positiva (validez divergente).

Condensando, había dos objetivos en este estudio. El primero era determinar si la versión portuguesa de la DASS-21 es más bien descrita por tres factores correlacionados, así como en la versión original en inglés. El según objetivo era verificar la validez convergente y divergente de la versión portuguesa de la DASS-21, a través de correlaciones con las escalas Negativa y Positiva en la versión portuguesa del PANAS. La expectativa era que la DASS-21 si correlacionase positivamente con la escala Negativa del PANAS y negativamente con la escala Positiva.

Método

Participantes

El estudio fue aprobado por el Comité de Investigación con Seres humanos de la Administración Regional de Salud portugués, antes de la recogida de datos, en los centros de salud de cuatro regiones. Visitantes consecutivos con 18 años de edad o más fueron invitados para participar del estudio hasta que por lo menos 325 protocolos fuesen rellenados, en cada región. Pacientes adultos del servicio de atención básica en Portugal, voluntarios y sin recibir cualquier remuneración, (n=1.301) suministraron consentimiento libre y esclarecido por escrito. El total del 66,7% de los participantes eran mujeres. La edad media era de 48,57 años (dp=19,98). Un tercio (n=427) de los respondientes que reportaron nivel educacional tenía de cero a cuatro años de estudio; un poco más de un cuarto (348) tenía de cinco a nueve años; un quinto (259) de los respondientes tenía de 10 a 12 años y menos de un quinto (228) tenía más de 12 años de estudio. La mayoría (n=741) de aquéllos que informaron estado civil era casada o estaba en relaciones estables; un poco más de un quinto (263) de los participantes era compuesto por solteros, 12% (161) viudos y 8,5% (110) eran separados o divorciados. La mayoría de los participantes (n=1.052) también rellenó el PANAS.

Instrumentos

Se usó la versión portuguesa de la DASS-21⁽⁹⁾. Los ítems estaban en la misma orden que la versión inglesa y todos los 21 ítems fueron impresos en apenas un lado del formulario. La prueba es compuesta por escalas tipo Likert, o sea, de 0 (cero) "nunca se aplicó a mí" a 3 (tres) "se aplicó a mí muchas veces o en la mayor parte del tiempo", con instrucciones para circular la opción que indicase "en que medida esa afirmación se aplicó a usted en el curso de la última semana". Puntuaciones varían de 0 a 21 para cada una de las tres escalas y la puntuación total de la escala llega al máximo de 63 puntos. Cuatro protocolos incompletos fueron excluidos del Análisis Factorial Confirmatoria (AFC), totalizando, por tanto, muestra con 1.297 individuos.

La versión portuguesa del PANAS también fue utilizada⁽¹³⁾. La misma consiste de dos columnas conteniendo 10 adjetivos cada, combinando tanto afectos negativos cuanto positivos. Los adjetivos positivos cargan en un factor y los negativos en otro, que corresponden a las escalas Positiva y Negativa⁽¹⁴⁾. Los respondientes usaron como referencia una escala tipo Likert que varia de 1 (un) "mucho poco o nada" a 5 "extremadamente" y escribieron el número correspondiente en el espacio disponible, a la izquierda de cada adjetivo. Varias instrucciones con relación al período de tiempo para relleno del instrumento han producido resultados semejantes⁽¹⁰⁾. Se escogió el mismo período de tiempo de la DASS-21, instruyendo los participantes para "indicar en que medida usted se sintió de esa manera durante la semana pasada". Las puntuaciones pueden variar de 10 a 50 para cada escala.

Análisis

Los modelos competidores de la DASS-21 fueron examinados con Mplus, versión 6.0, usándose las configuraciones calidad (incluyendo estimación por máxima verosimilitud), además de las correlaciones especificadas. El Modelo 1 especificó tres factores ortogonales⁽⁷⁾, el Modelo 2 especificó dos factores ortogonales⁽⁹⁾ y el Modelo 3 especificó tres factores oblicuos^(6,8), consistente con el manual DASS21⁽⁴⁾. Todas las otras estadísticas fueron calculadas con el SPSS, versión 13.

Aunque el software de AFC suministre información que permite al usuario mejorar el ajustamiento, moviendo o removiendo ítems, esas modificaciones pueden ser basadas en características únicas de una muestra en particular, resultando en soluciones que no son generalizables para otras muestras⁽¹⁵⁾. Además, modificar el modelo original envuelve alterar del análisis confirmatoria para exploratoria y estar sujeto a exageraciones⁽¹⁶⁾. Por esa razón, se decidió no modificar los modelos, aquí usados.

Algunas autoridades suministran puntos de corte para ajustar índices semejantes en nivel 0,05 en los testes⁽¹⁷⁾ de hipótesis tradicionales, mientras otros recomiendan cautela en la aplicación de puntos de corte específicos⁽¹⁸⁾ y alertan que el objetivo original de eses índices era suministrar una opción para la prueba de hipótesis y que son mejor utilizados para identificar mejorías en el ajustamiento, cuando se comparan modelos⁽¹⁹⁾. Por tanto, se escogió, aquí, mirar para la mejoría del ajustamiento entre los modelos al revés de aplicar puntos de corte para el ajustamiento de modelos individuales.

El uso del CFI (Índice Comparativo de Ajustamiento), Índice Tucker-Lewis (TLI) y RMSEA (raíz del error cuadrático medio) ha sido recomendado para una evaluación inicial. Los criterios de información de Akaike (AIC) y bayesiano (BIC) son recomendados cuando se comparan modelos⁽¹⁶⁾. Además de esas estadísticas, se incluyó el SRMR (raíz del residuo cuadrático medio estandarizado) y χ², de acuerdo con recomendaciones para combinar índices con diferentes niveles de puntos fuertes y flacos⁽¹⁷⁾. CFI, TLI, RMSEA y SRMR son estandarizados para producir valores entre 0 y 1, facilitando, de esa manera, la verificación de modelos individuales. Sin embargo, AIC y BIC no son estandarizados y los valores apenas pueden ser interpretados cuando son comparados los valores de modelos relacionados. La obtención de χ² significativo indica alejamiento de los datos del modelo siendo testado. Pero el mismo es sensible al tamaño de la muestra, por tanto, muestras grandes alcanzan significancia mismo con diferencias extremadamente pequeñas⁽²⁰⁾. Para valores menores de χ², RMSEA, SRMR, AIC y BIC indican mejor ajustamiento cuando se comparan modelos, mientras valores mayores de CFI y TLI indican mejor ajustamiento comparativamente.

Se puede, también, testar formalmente la significancia de la diferencia entre χ² para dos modelos relacionados, calculando χ²_diff⁽²¹⁾ . χ²_diff es usado para examinar la mejora de ajustamiento de modelos sucesivos, al revés de testar la significancia de ajustamiento de un modelo. Mientras el mismo realmente envuelve prueba de significancia, es consistente con la comparación de ajuste relativo de múltiples modelos, al revés de exigir que modelos individuales satisfagan un nivel específico de ajuste.

Resultados

Confiabilidad

El coeficiente alfa observado para la escala depresión fue 0,88; para escala ansiedad fue 0,84 y estrés fue 0,90, mientras que coeficiente de 0,945 fue observado para la escala total.

Puntuación de las Escalas

La Tabla 1 presenta las puntuaciones para cada escala por género y para el grupo todo. Mujeres lograron puntuaciones más altas que los hombres en todas las escalas: depresión (t(n=1.215)=2,69, p=0,007); ansiedad (t(n=1.227)=2,633, p=0,009); estrés (t(n=1.219)=3,402, p=0,001); y total (t(n=1.178)=3,247, p=0,001). Se verificó distribución de las puntuaciones en esta muestra con la prueba Kolmogorov-Smirnov y se descubrió que la misma se distancia de una distribución normal en cada una de las escalas, todas con p<0,001.

Thumbnail

Validez factorial

La Tabla 2 organiza ocho índices de ajustamiento calculados para este estudio, con los modelos organizados de la izquierda para la derecha aumentando la calidad de ajustamiento. El modelo ortogonal de dos factores presentó mejor desempeño de lo que el modelo ortogonal de tres factores, mientras que el modelo oblicuo de tres factores presentó mejor ajustamiento. Aunque χ² aun haya logrado significancia χ²_diff indicó mejora significante en el ajuste del modelo ortogonal de dos factores para el modelo ortogonal de tres factores (p<0,001). AIC, BIC, RMSEA y SRMR también mejoraron (decreció en magnitud), así como CIF y TLI (aumentó en tamaño) del modelo ortogonal de dos factores para el modelo oblicuo de tres factores.

Thumbnail

Validez Convergente y Divergente

La Tabla 3 lista las correlaciones entre los instrumentos DASS y entre la DASS y PANAS. Las escalas correlacionan entre 0,505 y 0,606 con afecto negativo y de -0,109 para -0,229 con afecto positivo, como medido por el PANAS (toda p<0,01). Inter correlaciones de las escalas de la DASS21 son positivas y fuertes.

Thumbnail

Discusión

Se verificó que el modelo oblicuo de tres factores de la DASS-21 presenta mejor ajustamiento a los datos portugueses, consistente con la versión inglesa original de la DASS-21. Los resultados, aquí, son consistentes con aquéllos logrados en otros países^(1-2), lo que suministra evidencia adicional de la aplicabilidad de la DASS-21 en múltiples culturas; esos resultados facilitarán comparaciones transculturales. Todas las cargas factoriales pasaron de 0,30, que es una entrada común para carga mínimamente aceptable⁽²²⁾. La carga factorial de todos los ítems, aparte del ítem 2, pasó de 0,50, que es una entrada recomendada para carga factorial considerado "fuerte"⁽²³⁾.

También se verificó que la confiabilidad de las escalas de la DASS-21 fue adecuada. Los valores se comparan favorablemente a aquellos del manual DASS-21 donde depresión=0,81, ansiedad=0,73 y estrés=0,81; el valor total, sin embargo, no es presentado en el manual⁽⁴⁾. Esos valores también son comparables a aquellos de la muestra normativa del Reino Unido⁽¹²⁾, donde el alfa para depresión=0,88, ansiedad=0,90, estrés=0,90 y el total=0,93.

En una tentativa de aclarar la estructura factorial de la versión portuguesa de la DASS-21, se verificó el modelo ortogonal de dos factores⁽⁹⁾, el ortogonal de tres factores⁽⁷⁾ y el modelo oblicuo de tres factores^(6,8), qué se cree sea el primer análisis factorial confirmatoria de esa medida. La AFC permite testar en que medida cada modelo asumido mejor se ajusta a los datos actuales, usando índices de ajustamiento múltiples para comparar informalmente la mayoría de eses índices de ajustamiento y explícitamente determinar la significancia de la diferencia entre la χ² logrado para los dos modelos competidores.

Esos hallazgos están de acuerdo con los de otros estudios en los que el PANAS fue usado como medida de validez de criterio de la DASS^(7,12); aunque los valores de correlación para el DASS-21 y afecto positivo sean mayores en otros estudios. Siguiendo las directrices recomendadas⁽²⁴⁾, las correlaciones negativas observadas entre la escala Positiva del PANAS y todas las escalas de la DASS son bajas, mientras que las correlaciones positivas entre la escala Negativa del PANAS y cada una de las escalas de la DASS sean altas, como aquéllas entre las varias escalas de la DASS.

Inter-correlaciones entre las dimensiones del DASS-21 mostró valores positivos altos, demostrando asociación bastante fuerte entre las puntuaciones de las subescalas de ese instrumento, variando de 0,74 a 0,77. Resultados análogos han sido reportados en otros estudios con muestras tanto clínicas como no clínicas^(7,9,14).

Las mujeres lograron puntuación significantemente más alta en todas las escalas de la DASS-21, análogo a los resultados encontrados en España⁽²⁵⁾. Las puntuaciones no son normalmente distribuidas, con puntuaciones relativamente más bajas del que altas. Una distribución asimétrica hace con que los scores basados en la media y desvío-padrón sean difíciles de interpretar para cualesquiera de los individuos y el uso de normas de percentil es recomendado⁽¹²⁾.

La muestra contenía porcentaje desproporcional de mujeres e individuos en la media-edad. Estudios futuros en esa área deben enfocar el desarrollo de normas de percentil portugueses, con una muestra de no pacientes representativa en términos de edad y género.

Conclusión

El modelo oblicuo de tres factores del DASS21 se ajusta mejor a los datos portugueses. Los resultados de este estudio corroboran la validez de la versión portuguesa de la DASS-21. La versión validada permite expandir la tría de individuos para depresión y ansiedad en servicios de atención primaria. Esa versión es menor que la DASS-42 y, por tanto, debe ser más bien acepta por los usuarios, y, aun así, presentar confiabilidad adecuada.

Referencias

1. Allen J, Annells M. A literature review of the application of the Geriatric Depression Scale, Depression Anxiety Stress Scales and Post-traumatic Stress Disorder Checklist to community nursing cohorts. J Clin Nurs. 2009 Mar;18(7):949-59.
2. Page AC, Hooke GR, Morrison DL. Psychometric properties of the Depression Anxiety Stress Scales (DASS) in depressed clinical samples. Br J Clin Psychol. 2007 Sep;46(Pt 3):283-97.
3. Antony MM, Bieling PJ, Cox, BJ, Enns MW, Swinson, RP. Psychometric properties of the 42-item and 21-item versions of the Depression Anxiety Stress Scales in clinical groups and a community sample. Psychol Assess. 1998 Jun;10(2):176-81.
4. Lovibond SH, Lovibond PF. Manual for the Depression Anxiety Stress Scales. Sydney: Psychology Foundation; 1995. 42 p.
5. Sireci SG, Patsula L, Hambleton RK. Statistical methods for identifying flaws in the test adaptation process. In: Hambleton RK, Merenda PF, Spielberger CD, editors. Adapting educational and psychological tests for cross-cultural assessment. Mahwah, New Jersey: Erlbaum; 2005. p. 93-115.
6. Alves G, Carvalho M, Baptista, A. Estudo das características psicométricas de uma escala de Depressão, Ansiedade e Stresse em jovens adultos. [Psychometric characteristics of a Depression Anxiety and Stress scale in young adults.] In: Soares AP, Araújo S, Caíres S, editors. Avaliação psicológica: formas e contextos. Braga: APPORT; 1999. p. 267-75.
7. Apóstolo JLA, Mendes AC, Rodrigues MA. Propriedades psicométricas da Escala de Depressão, Ansiedade e Stresse (DASS-21), numa amostra não clínica. [Psychometric properties of the Depression Anxiety Stress Scales (DASS-21) in a nonclinical sample.] Rev Invest Enferm. 2007;15:66-76.
8. Pais-Ribeiro JL, Honrado A, Leal I. Contribuição para o estudo da adaptação Portuguesa das Escalas de Ansiedade, Depressão e Stress (EADS) de 21 itens de Lovibond e Lovibond. [Study of the Portuguese adaptation of the 21-item Anxiety, Depression and Stress Scales (DASS21) of Lovibond and Lovibond]. Psicol Saúde & Doenças. 2004;5(2):229-39.
9. Apóstolo JLA, Mendes AC, Azeredo ZA. Adaptation to Portuguese of the Depression, Anxiety and Stress Scales (DASS). Rev. Latino-Am. Enfermagem. 2006 Nov-Dec;14(6):863-71.
10. Watson D, Clark LA, Tellegen A. Development and validation of brief measures of positive and negative affect: The PANAS scales. J Pers Soc Psychol. 1988 Jun;54(6):1063-70.
11. Gloster AT, Rhoades HM, Novy D, Klotsche J, Senior A, Kunik M, et al. Psychometric properties of the Depression Anxiety and Stress Scale-21 in older primary care patients. J Affect Disord. 2008 Oct;110(3):248-59.
12. Henry JD, Crawford JR. The short-form version of the Depression Anxiety Stress Scales (DASS-21): Construct validity and normative data in a large non-clinical sample. Br J Clin Psychol. 2005 Jun;44(2):227-39.
13. Simões A. São os homens mais agressivos que as mulheres? [Are men more aggressive than women?] Rev Portuguesa Pedagogía. 1993;27(3):387-404.
14. Apóstolo J, Rodrigues M. Propriedades psicométricas da Positive and Negative Affect Schedule (PANAS) numa amostra não clínica. [Psychometric properties of the Positive and Negative Affect Schedule (PANAS) in a nonclinical sample.] Referência. 2009;5:2 série,Suppl:394.
15. MacCallum RC, Roznowski M, Necowitz LB. Model modifications in covariance structure analysis: The problem of capitalization on chance. Psychol Bull. 1992 May;111(3):490-504.
16. Schreiber JB, Stage FK, King J, Nora A, Barlow EA. Reporting structural equation modeling and confirmatory factor analysis results: A review. J Educ Res. 2006 Jul-Aug;99(6):323-37.
17. Hu L-t, Bentler PM. Cutoff criteria for fit indexes in covariance structure analysis: Conventional criteria versus new alternatives. Struct Equ Modeling. 1999;6(1):1-55.
18. Sharma S, Mukherjee S, Kumar, A, Dillon WR. A simulation study to investigate the use of cutoff values for assessing model fit in covariance structure models. J Bus Res. 2005;58(7):935-43.
19. Marsh HW, Hau K-T, Wen Z. In search of golden rules: Comment on hypothesis-testing approaches to setting cutoff values for fit indexes and dangers in overgeneralizing Hu and Bentler's (1999) findings. Struct Equ Modeling. 2004;11(3):320-41.
20. Brown TA. Confirmatory factor analysis for applied research. New York: Guilford; 2006. 475 p.
21. Gorsuch R. Factor analysis. In: Schinka JA, Velicer WF, Weiner IB, editors. Handbook of Psychology, v. 2. Research Methods in Psychology. New York: Wiley; 2003. p. 143-64.
22. Waltz CF, Strickland O, Lenz ER. Measurement in nursing and health research. 4^th ed. New York: Springer; 2010. 492 p.
23. Costello AB, Osborne JW. Best practices in exploratory factor analysis: four recommendations for getting the most from your analysis. Pract Assess Res Eval. [periódico na Internet] 2005; [acesso 13 jan 2011]; 10(7):1-9. Disponível em: http://pareonline.net/getvn.asp?v=10&n=7
24. Cohen J. Statistical power analysis for the behavioral sciences. 2nd ed. New Jersey: Lawrence Erlbaum; 1988. 569 p.
25. Fonseca-Pedrero E, Paino M, Lemos-Giráldez S, Muñiz J. Propriedades psicométricas de la Depression Anxiety and Stress Scales-21 (Dass-21) en universitarios españoles. [Psychometric properties of the Depression Anxiety Stress Scales-21 (DASS-21) in Spanish university students.] Ansiedad y Estrés. 2010;16(2-3):215-26.