Escala de Motivación Académica: evidencias de validez y confiabilidad en estudiantes del curso de enfermería^*

Resúmenes

Objetivo:  evaluar las evidencias de validez y confiabilidad de la Escala de Motivación Académica (EMA) en base a la estructura interna.

Método:  estudio metodológico realizado con 205 estudiantes del curso de Enfermería. La dimensionalidad/estructura interna de la EMA fue evaluada por análisis factorial contextualizado en los Modelos de Ecuaciones Estructurales Exploratorias (ESEM). La confiabilidad de los factores fue comprobada por los coeficientes Alfa de Cronbach (α) y Confiabilidad Compuesta (CC).

Resultados:  fueron obtenidos índices de ajuste aceptables (CFI = 0,92; RMSEA = 0,07; SRMR = 0,06) para un modelo tridimensional: motivación intrínseca (10 ítems; α = 0,84; CC = 0,88), motivación extrínseca (08 ítems; α = 0,84; CC = 0,90) y desmotivación (04 ítems; α = 0,84. CC = 0,88). Se encontró estándar correlacional significativo para el continuum de motivación.

Conclusión:  el análisis de dimensionalidad de EMA alcanzó un modelo de tres factores: motivación intrínseca, motivación extrínseca y desmotivación, considerándoselo una alternativa simplificada de la versión original de siete factores. El estudio contribuyó evaluando la validez del instrumento de medición en su refinamiento teórico, destacando la necesidad de que su invariancia sea evaluada en investigaciones futuras.

Descriptores:
Motivación; Bachillerato en Enfermería; Estudios de Validación; Reproducibilidad de los Resultados; Análisis Factorial; Psicometría

Resúmenes

Objective:  to assess the evidence of validity and reliability of the academic motivation scale (AMS) based on the internal structure.

Method:  this is a methodological study with 205 undergraduate nursing students. Dimensionality/internal structure of the AMS was assessed using factor analysis in the context of exploratory structural equation modeling (ESEM) and reliability of the factors was assessed by Cronbach’s alpha (α) coefficient and composite reliability (CR) coefficient.

Results:  acceptable fit indexes were obtained (CFI = 0.92; RMSEA = 0.07; SRMR = 0.06) for a three-dimensional model: intrinsic motivation (10 items; α = 0.84; CR = 0.86); extrinsic motivation (8 items; α = 0.84; CR = 0.90); and demotivation (4 items; α = 0.84; CR = 0.88). A significant correlational pattern was found for the motivation continuum.

Conclusion:  the dimensionality analysis for the AMS presented a model with three factors: intrinsic motivation, extrinsic motivation and demotivation, and was considered a reduced alternative to the original version of seven factors. This study helped assess the validity of the measurement instrument and its theory refinement; further studies should be conducted to assess its invariance property.

Descriptors:
Motivation; Education, Nursing, Baccalaureate; Validation Studies; Reproducibility of Results; Factor Analysis, Statistical; Psychometrics

Resúmenes

Objetivo:  avaliar as evidências de validade e a confiabilidade da Escala de Motivação Acadêmica (EMA) com base na estrutura interna.

Método:  pesquisa metodológica realizada com 205 estudantes de graduação em Enfermagem. A dimensionalidade/estrutura interna da EMA foi avaliada por meio de análises fatoriais, no contexto de Modelagens de Equações Estruturais Exploratórias (ESEM) e a confiabilidade dos fatores foi aferida pelos coeficientes alfa de Cronbach (α) e Confiabilidade Composta (CC).

Resultados:  foram obtidos índices de ajuste aceitáveis (CFI = 0,92; RMSEA = 0,07; SRMR = 0,06) para um modelo tridimensional: Motivação Intrínseca (10 itens; α = 0,84; CC = 0,86); Motivação Extrínseca (08 itens; α = 0,84; CC = 0,90); e Desmotivação (04 itens; α = 0,84; CC = 0,88). Encontrou-se padrão correlacional significativo para o continuum de motivação.

Conclusão:  a análise da dimensionalidade da EMA alcançou um modelo de três fatores: Motivação Intrínseca, Motivação Extrínseca e Desmotivação, sendo considerada uma alternativa parcimoniosa à versão original de sete fatores. Este estudo contribuiu para a avaliação da validade do instrumento de medida e seu refinamento teórico, apontando a necessidade de que investigações futuras avaliem sua propriedade de invariância.

Descritores:
Motivação; Bacharelado em Enfermagem; Estudos de Validação; Reprodutibilidade dos Testes; Análise Fatorial; Psicometria

Introducción

De acuerdo con la Teoría de la Autodeterminación, en inglés, Self-determination theory (SDT), la motivación puede ser analizada como un constructo teórico complejo y multidimensional. Los tipos de motivación pueden esgrimir diferentes razones por las cuales las personas actúan de determinada manera a partir de diferentes tipos de regulación y del locus causal del comportamiento. La motivación se considera autónoma cuando la acción ocurre por interés genuino en la actividad, a la vez que los tipos de motivación más controlados ocurren cuando existe presión interna o interna para comprometerse con una actividad. La SDT contempla también la desmotivación, es decir, la ausencia de cualquier tipo de motivación^(1-5).

Fundándose en la SDT, investigadores canadienses desarrollaron la Escala de Motivación Académica (EMA) en francés⁽⁶⁾, la cual fue traducida, validada y renombrada en inglés como Academic Motivation Scale (AMS)⁽⁷⁾. La escala fue propuesta para evaluar los tipos de motivación de los estudiantes y la autopercepción motivacional de su compromiso con una actividad^(6-8). En el contexto académico, se espera que los estudiantes presenten los tipos más autónomos de motivación, considerando que las investigaciones han demostrado relaciones positivas entre dichos tipos autónomos y el desempeño estudiantil^(3-5).

En comparación con el constructo teórico de la SDT, la escala incluyó siete factores con taxonomía específica para el ámbito educativo: Motivación Intrínseca: para conocer, para desempeñar roles y para experiencias estimulantes; Motivación Extrínseca: por regulación externa, por regulación introyectada y por regulación identificada. El séptimo factor es la Desmotivación. La Motivación Extrínseca por regulación integrada fue suprimida en la EMA, al no diferenciársela del factor Motivación por regulación identificada en el análisis factorial^(7-8).

La EMA fue traducida a numerosos idiomas^(9-13) y aplicada en variados contextos educativos⁽¹⁴⁾ en momentos diferentes, tanto en su versión original, con la totalidad de sus ítems, como en versiones que incluyeron nuevos ítems, resultando ello en un instrumento modificado^(15-16). Desde entonces, diversos estudios evaluaron sus propiedades psicométricas^{(6-7,9-10,12-21)}, verificando mediante Análisis Factorial Confirmatorio (AFC)^{(6-7,9-10,12-15,17-19)} el modelo teórico con siete factores, o refutándolo al presentar modelos alternativos^{(11,16,20-21)} con diferente cantidad de factores. Algunos de dichos estudios no demostraron correlación entre las subescalas (continuum de motivación)^{(7-8,18-20,22)}, es decir, no se encontró un estándar de correlación simple, positiva y fuerte entre los tipos de motivación adyacentes^(1-2).

En dicho sentido, la primera evaluación de dimensionalidad de la EMA presentó inconsistencias en el Análisis Factorial Exploratorio (AFE) y no reprodujo el modelo teórico con siete subescalas, con autovalores mayores que 1 (uno) en al menos un factor⁽⁶⁾. En la escala aplicada en Canadá, el AFC admitió que la estructura de siete factores del modelo teórico reprodujo incorrectamente la matriz de covarianza observada; sin embargo, los índices de ajuste aumentaron cuando fueron incluidas 26 correlaciones residuales, a partir de los índices de modificación⁽⁷⁾.

Posteriormente, la EMA presentó validez coincidente con otros instrumentos de medición de la motivación, correlación adecuada entre las subescalas respecto de la hipótesis del continuum de motivación postulado en la SDT, excepto en el factor Motivación Intrínseca para actividades estimulantes, demostrando frágil correlación⁽⁸⁾.

En Brasil, la escala fue traducida al portugués⁽²³⁾ y aplicada a estudiantes de medicina; sin embargo, no se practicó un análisis robusto de su dimensionalidad y confiabilidad como instrumento de medición de la motivación. Aunque aceptada para estudios nacionales^(15,17,21), vale destacar que, desde su concepción, fueron incorporadas a la literatura nuevas directrices para evaluar propiedades psicométricas, y traducción y adaptación de instrumentos. Se considera imprescindible adoptar procesos de evaluación de sus propiedades, para que la escala sea considerada válida y confiable para medir la motivación académica.

Cabe mencionar que las etapas de validación y evaluación de instrumentos psicométricos deben realizarse como proceso continuado, a efectos de brindar datos válidos, actuales y confiables acerca de los instrumentos de medición⁽²⁴⁾. En virtud del panorama presentado, el objetivo del estudio fue comprobar las evidencias de validez de la Escala de Motivación Académica en base a su estructura interna⁽²⁶⁾ y los índices de confiabilidad de las dimensiones de medida propuestas.

Método

Se trata de un estudio metodológico realizado con estudiantes de curso de grado de Enfermería de una universidad pública del estado de São Paulo, llevado a cabo en el segundo semestre de 2014. La muestra, definida por conveniencia, estuvo constituida por aquellos que aceptaron participar de la investigación.

Considerando la escasez de evaluaciones de la estructura factorial de la EMA en el contexto brasileño, se optó por aplicar la versión traducida al portugués⁽²³⁾ desde el inglés⁽⁷⁾, manteniéndose todos los ítems de la versión original. El uso de tal instrumento está autorizado por los autores para fines educativos⁽⁷⁾.

La versión de la EMA propone analizar la motivación en el contexto académico, considerando 28 propuestas divididas en siete subescalas con cuatro ítems cada una, puntuadas en una escala tipo Likert con variación entre 1 (ninguna correspondencia) y 7 (total correspondencia), con un punto medio en 4 (moderada correspondencia)^(7,23). El estudiante marca la alternativa que coincide con la afirmación, lo cual permite calcular el puntaje de cada tipo de motivación a partir de los ítems vinculados al constructo teórico propuesto, conforme lo expresa la Tabla 1.

Tabla 1
Tipo de motivación e ítems relacionados a los constructos originales de la Escala de Motivación Académica (EMA). São Paulo, SP, Brasil, 2014

Tipo de Motivación (continuum de la motivación)		Ítems relacionados al constructo original	Puntaje
Motivación intrínseca	Para conocer	02; 09; 16; 23	1 - 7
	Para desempeñar roles	06; 13; 20; 27	1 - 7
	Para vivir experiencias estimulantes	04; 11; 18; 25	1 - 7
Motivación extrínseca	Regulación identificada	03; 10; 17; 24	1 - 7
	Regulación introyectada	07; 14; 21; 28	1 - 7
	Regulación externa	01; 08; 15; 22	1 - 7
Desmotivación	Ausencia de motivación	05; 12; 19; 26	1 - 7

Además del puntaje correspondiente a cada uno de los siete tipos de motivación, pueden definirse tres factores diferentes de orden superior en la escala^(6-8,17,21): Motivación Intrínseca, Extrínseca y Desmotivación, a partir del cálculo de su promedio.

Los datos se recolectaron en horarios formales de actividad académica a partir del contacto y autorización de coordinadoras y docentes del curso que recomendaron los momentos oportunos para presentar la propuesta de participación a los estudiantes. Aquellos que aceptaron participar permanecieron en la sala para completar el instrumento y firmar el Término de Consentimiento Libre Informado (TCLI), material devuelto a la investigadora. Los estudiantes no fueron identificados en las hojas del instrumento, garantizando la confidencialidad de los datos.

Estos datos fueron volcados a planillas Microsoft Office Excel, y se les aplicó Análisis Factorial mediante Modelos por Ecuaciones Estructurales Exploratorias (ESEM)⁽²⁷⁾, cuya fuente de información fue la matriz de correlación policórica. Se adoptó el método de estimación de los Mínimos Cuadrados Ponderados Robustos (WLSMV) y rotación de ejes factoriales del tipo oblicuo GEOMIN. Dichos análisis fueron realizados utilizando el software Mplus 7⁽²⁸⁾ y el número de factores a extraerse fue indicado por análisis paralelo⁽²⁹⁾. El criterio de mantenimiento del ítem en el instrumento fue definido a priori: saturación de la carga factorial ≥ 0,40 y correlación ítem-total ≥ 0,40.

Las soluciones factoriales estimadas fueron evaluadas a partir de la razonabilidad teórica, interpretación de los factores ante los supuestos teóricos⁽⁷⁾ y grado de ajuste del modelo factorial a los datos empíricos. Se consideraron como criterios: el Índice de Ajuste Comparativo (CFI) con valores superiores a 0,90 indica un buen ajuste; la Raíz del Error Cuadrático Medio Estándar (SRMR) con valores inferiores a 0,08, que indicarían ajustes en estos dos índices residuales, resultando deseables valores inferiores a 0,06^(30-31). La confiabilidad de los factores fue comprobada mediante los coeficientes alfa de Cronbach y Confiabilidad Compuesta, esperándose encontrar valores mayores o iguales a 0,70 como indicadores satisfactorios en estudios de naturaleza exploratoria^(32-33).

Investigación aprobada por el Comité de Ética en Investigación (Certificado de Presentación de Apreciación Ética - CAAE 45542415.7.0000.5392) y por los responsables de la institución. Fue llevada a cabo acorde los preceptos éticos exigidos para investigaciones con seres humanos.

Resultados

Fueron incluidos en el estudio 205 instrumentos completados por el 68,5% de los estudiantes matriculados en el curso de grado de Enfermería. De ellos, el 32,7% matriculado en 1º año (N = 67), 26,8% en 2º año (N = 55), 22,9% en 3º año (N = 47) y 17,6% en 4º año (N = 36). La media etaria de los estudiantes fue de 21,7 años (DS = 3,81), mediana de 21 años (intervalo 18-45 años), y 62,4% (N = 128) tenían entre 18 y 22 años. La mayoría (88,29%) era de sexo femenino (N = 181).

Inicialmente, los resultados de los análisis paralelos indicaron la relevancia de la extracción de hasta tres factores, y no apoyaron la extracción de siete factores propuesta en el modelo teórico original, conforme lo ilustra la Figura 1. A partir del tercer factor, cualquier valor en una matriz de datos aleatorios sería capaz de generar autovalores superiores a los empíricos.

Figura 1
Gráfico de sedimentación del análisis paralelo para la Escala de Motivación Académica. São Paulo, SP, Brasil, 2014

Considerándose la indicación, se realizaron análisis factoriales con extracción de uno, dos y tres factores. Los resultados de ajuste de estos modelos fueron los siguientes: modelo unidimensional (CFI = 0,68; RMSEA = 0,14; SRMR = 0,16); modelo de dos factores (CFI = 0,82; RMSEA = 0,11; SRMR = 0,11) y modelo de tres factores (CFI = 0,92; RMSEA = 0,07; SRMR = 0,06). Solamente la solución de tres factores demostró un ajuste aceptable acorde con los criterios indicados para el modelo estructural (RMSEA < 0,08; SRMR < 0,06; e CFI > 0,90). Además, la solución factorial de tres factores fue la que más se aproximó a las expectativas teóricas de agrupamiento de ítems conforme el modelo original de la escala, que prevé tres factores de orden superior (Motivación Intrínseca, Motivación Extrínseca y Desmotivación).

Consecuentemente, respecto de su estructura interna, la EMA puede representarse en el presente estudio por tres factores, cuyos parámetros psicométricos estimados para los ítems/factores están expresados en la Tabla 2.

Tabla 2
Matriz factorial de la escala de motivación extraída a partir de Modelos por Ecuaciones Estructurales Exploratorias (ESEM). São Paulo, SP, Brasil, 2014

Ítem	F1*. Motivación Extrínseca	F2*. Motivación Intrínseca	F3*. Desmotivación	rit†
22	0,94	- 0,20	- 0,04	0,71
8	0,88	- 0,13	- 0,03	0,73
15	0,82	- 0,31	0,01	0,61
1	0,68	- 0,11	0,02	0,54
7	0,63	0,07	0,39	0,52
24	0,62	0,00	- 0,41	0,42
14	0,61	0,21	0,19	0,61
28	0,54	0,30	0,28	0,53
11	- 0,16	0,73	- 0,21	0,59
9	0,10	0,72	- 0,20	0,69
16	0,01	0,66	- 0,40	0,60
18	- 0,14	0,64	0,07	0,49
25	- 0,15	0,64	0,04	0,47
20	0,10	0,58	- 0,05	0,54
4	- 0,09	0,57	- 0,21	0,45
2	0,02	0,55	- 0,30	0,50
6	0,32	0,52	- 0,01	0,58
13	0,37	0,51	0,03	0,52
26	0,10	- 0,02	0,93	0,63
5	- 0,10	- 0,12	0,78	0,58
19	0,09	- 0,21	0,78	0,54
12	- 0,01	0,10	0,69	0,48
Número de ítems	08	10	04
Autovalor	9,09	3,70	2,83
Alfa de Cronbach (α)	0,84	0,84	0,71
Confiabilidad Compuesta (CC)	0,90	0,86	0,88
Varianza Media Extraída (VME)	0,53	0,38	0,64

• ^*
  coeficientes de correlación estimados al nivel de p ≤ 0,05;
• ^†
  coeficiente de correlación ítem-total

Al analizarse los ítems agrupados por factores de la EMA, en base a la propuesta original presentada previamente en la Tabla 1, se consideró que cada factor correspondía a un tipo diferente de motivación: el Factor 1 correspondía a Motivación Extrínseca y los ítems agrupados fueron: 22, 08, 15, 01, 03, 10, 07, 24, 14 y 28. El Factor 2 correspondía a Motivación Intrínseca, cuyos ítems agrupados fueron: 11, 09, 16, 18, 25, 20, 04, 02, 06 y 13; y el Factor 3 correspondía a Desmotivación, con el agrupamiento de los ítems: 26, 05, 19 y 12.

De los 28 ítems de la escala original solo quedaron 22 para el análisis factorial. Tres ítems (17, 21 y 27) no presentaron cargas factoriales iguales o mayores a 0,40 en ninguno de los tres factores. Otros tres ítems (03, 10 y 23) resultaron excluidos en razón de la dificultad teórica y empírica para establecer la dominancia del factor en la explicación de los ítems. El ítem 23, por ejemplo, presentó saturación de 0,43 en los Factores 2 y 3. Por tal razón, al comparar con la expectativa teórica de agrupamiento en factores de orden superior de los ítems esbozada en la Tabla 1, resultaron excluidos tres ítems que pertenecían a la subescala Motivación Extrínseca por regulación identificada (17, 03 y 10), un ítem que pertenecía a la Motivación Intrínseca para desempeñar roles (27) y otro a la Motivación Intrínseca para conocer (21).

En este trabajo, los hallazgos relacionados a la confiabilidad de los factores (alfa de Cronbach y Confiabilidad Compuesta) de los agrupamientos de factores/tipos de motivación fueron, respectivamente, 0,84 y 0,90 para Motivación Intrínseca; 0,84 y 0,86 para Motivación Extrínseca; y 0,71 y 0,88 para Desmotivación.

Los tres factores/tipos de motivación de la EMA se relacionaron estructuralmente entre sí de manera significativa, con estándares distintos. Entre la Motivación Intrínseca y la Extrínseca, la relación fue positiva y de magnitud moderada (compartieron carca del 20% de la varianza) y entre Desmotivación y Motivación Intrínseca y Extrínseca, fue negativa, de magnitud débil (compartieron 1 y 2% de la varianza, respectivamente), conforme queda expuesto en la Tabla 3 A partir de la línea del factor motivación extrínseca, se observaron en la diagonal los indicadores de validez discriminante (√VME) para los factores latentes modelados.

Tabla 3
Correlación GEOMIN y evidencia de validez discriminante entre factores modelados (N = 205). São Paulo, SP, Brasil, 2014

Factores	F1*. Motivación Extrínseca	F2*. Motivación Intrínseca	F3*. Desmotivación
F1. Motivación Extrínseca	0,73
F2. Motivación Intrínseca	0,45	0,62
F3. Desmotivación	- 0,15	- 0,11	0,80

• ^*
  coeficientes de correlación estimados al nivel de p ≤ 0,05

Discusión

Aunque la EMA haya sido ampliamente aplicada en idioma inglés a partir de su propuesta original y aún se la considere como uno de los principales instrumentos de medición de la motivación académica en diversos países, el contexto brasileño carecía de información sobre su dimensionalidad.

La literatura especializada indica que los instrumentos psicométricos deben pasar por sucesivas evaluaciones respecto de su dimensionalidad⁽³⁴⁾, es decir, de su estructura interna, para poder confiar en los datos recolectados. Se sugiere, incluso, que sean aplicados en contextos y momentos diferentes. La evaluación de la evidencia de validez basada en la estructura interna resultó necesaria para verificar si los atributos de medición se correspondían con los teóricos y, para ello, se cuestionó primero lo que el test medía con el fin de, posteriormente, utilizarlo y aceptarlo como instrumento válido para medir la motivación académica de los estudiantes del curso de Enfermería.

De este modo, el resultado de los análisis paralelos no respaldó la extracción en siete factores, conforme la propuesta teórica de los autores de la escala^(6-7), considerando que la matriz empírica de datos del presente estudio fue pasible de ser reducida hasta un máximo de tres factores partiendo de los criterios establecidos por la literatura adoptada^(29,55).

Los análisis factoriales del estudio reprodujeron parcialmente el modelo teórico. La mayoría de las relaciones ítem/factor previstas en la estructura de orden superior^(6-8) fueron observadas, y las cargas factoriales estimadas a nivel de p ≤ 0,05 fueron consideradas de “buenas” (por sobre 0,55) a “excelentes” (por sobre 0,71), según la taxonomía propuesta⁽³⁶⁾.

El AFE llevado a cabo a partir de la ESEM⁽²⁷⁾ apuntó a encontrar la matriz factorial de la escala en base a la relación espontánea entre variables observables (ítems) y latentes (factores), y presentó evidencias robustas de la existencia de un modelo tridimensional con tres tipos de Motivación: un factor para Motivación Intrínseca, otro para Motivación Extrínseca y un tercero para Desmotivación. El modelo de tres factores fue indicado al pretenderse no sobreestimar los factores y mantener una cantidad superior a la correspondiente, generando resultados poco simplificados, así como para no subestimar los factores y mantener una cantidad inferior, perdiendo así información valiosa⁽³⁵⁾.

Al preguntarnos cómo interactuaron los 28 ítems, la configuración en tres tipos/factores resultó adecuada para medir el constructo de Motivación en la muestra, demostrando congruencia con el postulado teórico de la SDT^(1,2). El estudio permitió evaluar una alternativa simplificada de su versión original, de configuración válida y confiable, con tres factores de orden superior: Motivación Intrínseca, Motivación Extrínseca y Desmotivación.

La estructura factorial en siete y seis factores fue replicada en Brasil; sin embargo, la investigación, además de aplicar una versión modificada de la EMA en la extracción factorial, empleó Análisis de los Componentes Principales (ACP)⁽¹⁸⁾, lo cual pudo derivar en valores inflados de los ítems⁽³⁷⁾.

Desde la primera versión de la EMA fueron desarrollados nuevas pruebas estadísticas para identificar la validez de los constructos teóricos en instrumentos de medición. Además de replicar la escala en diferentes contextos y momentos, corresponde adoptar pruebas estadísticas adecuadas a partir de AFE y AFC, con técnicas de modelado psicométricas y software actualizados. Normalmente los estudios cuyo objetivo es evaluar propiedades psicométricas de instrumentos utilizan indiscriminadamente programas y herramientas de coeficientes de confiabilidad y ACP. Aunque sean habituales en los programas estadísticos de uso común, no constituyen necesariamente las técnicas más adecuadas⁽³⁴⁾.

En comparación con otra investigación brasileña que evaluó la estructura factorial de la EMA mediante AFE⁽¹⁷⁾, hubo extracción de cinco factores y explicación de 61,8% de la varianza, reproduciendo el modelo estructural de la EMA en las subescalas Motivación Extrínseca y Desmotivación. No obstante, las tres subescalas de Motivación Intrínseca se agruparon en un único factor, como se hizo en este estudio. El modelo teórico de siete factores se alcanzó solo con AFC, con índices de ajuste absoluto RMSEA = 0,07; SRMR = 0,06; e índices de ajuste incremental TLI (Tucker-Lewis Index) = 0,92; CFI = 0,93 más adecuados que el modelo de cinco factores (RMSEA = 0,09; SRMR = 0,07; TLI = 0,90; CFI = 0,89). Cabe mencionar que el software utilizado en dicha investigación⁽¹⁷⁾ aplicó la matriz de Pearson, indicada para captar relaciones entre variables métricas. En la EMA, por tratarse de una escala ordinal, sus relaciones se comprenden mejor aplicando el coeficiente de correlación policórico. La correlación de Pearson tiene a subestimar correlaciones entre ítems con respuestas ordinales/categóricas, y a sobreestimar el número de factores en análisis factoriales exploratorios^(27-28).

En suma, adoptar criterios robustos para extracción de factores puede clarificar la diferencia de resultados encontrados en relación al número de factores extraídos, tanto en el contexto brasileño^(15,17,21) como en la aplicación de la escala en inglés^(7,19,38) y en los diferentes idiomas a los que fue traducida, como noruego⁽⁹⁾, español⁽¹⁰⁾, chino⁽¹²⁾, y turco⁽¹³⁾. Cabe resaltar que la mayoría de las investigaciones citadas utilizaron AFC en sus análisis^{(7-10,12-15,17-19)}.

No obstante, como ocurrió con los resultados de este trabajo, otros estudios también propusieron reconfigurar la EMA a partir de la AFE, extrayendo cuatro factores: Desmotivación, Motivación Extrínseca por Regulación Externa, Motivación Extrínseca por Regulación Identificada y Motivación Intrínseca; ratificando los resultados de la AFC, con validez y confiabilidad adecuadas y pérdidas significativas en modelos de uno, dos y tres factores⁽³⁹⁾. Otras investigaciones expresaron también inconsistencias en el número de factores, con extracción de cinco, donde tres tipos de motivación intrínseca se agruparon en un único factor^(20,40), y con extracción de tres factores⁽⁴¹⁾. En investigaciones con estudiantes libaneses de Medicina se utilizó la ACP, los resultados demostraron que los ítems convergieron en una solución de tres factores con explicación del 81,51% de la varianza total⁽¹¹⁾.

La evaluación de propiedades psicométricas del instrumento adaptado con estudiantes chilenos de Odontología⁽¹⁰⁾ y con estudiantes del curso vocacional en salud y de Asistencia Social en Noruega⁽⁹⁾ a través de AFC confirmaron el modelo de siete factores. En Argentina se aplicaron ambas versiones del instrumento, con estudiantes secundarios y universitarios, y los resultados también reprodujeron el modelo de siete factores⁽¹⁴⁾. En la versión revisada en español⁽¹⁶⁾, que incluyó la subescala regulación integrada en la EMA partiendo de la versión original⁽⁶⁾, aplicada con estudiantes de Pedagogía mediante AFC, los resultados mostraron índices razonables de ajustes para la nueva estructura, con ocho factores⁽¹⁶⁾. Los autores propusieron incluir un factor anteriormente suprimido en la EMA^(7,8), la Motivación Extrínseca por Regulación Integrada, con el fin de obtener un instrumento que permitiera medir la totalidad de los reglamentos motivacionales propuestos por la STD^(1-2) en el contexto educativo hispánico.

Respecto de la evaluación de confiabilidad de los factores de la Escala utilizados en este estudio, investigaciones previas utilizaron el alfa de Cronbach, juzgando como satisfactorios los valores: 0,48 a 0,98⁽¹¹⁾, 0,62 a 0,82⁽⁷⁾, 0,65 a 0,83⁽¹⁰⁾, 0,68 a 0,83⁽²¹⁾, 0,70 a 0,86^(16,18), 0,74 a 0,92⁽¹⁷⁾, 0,77 a 0,90⁽¹⁹⁾, 0,79 a 0,86⁽³⁸⁾. La confiabilidad de los factores por alfa de Cronbach y Confiabilidad Compuesta fue considerada satisfactoria en el presente trabajo, conforme parámetros referenciados por la literatura^(32-33).

Respecto del estándar de agrupamiento de ítems, previsto por el modelo teórico en tres factores de orden superior, se verificó que fue reproducido empíricamente de manera satisfactoria. En lo que atañe a la relación estructural entre factores/tipos de motivación, se observó que se relacionan significativamente con estándares diferentes. La relación entre la Motivación Intrínseca y la Motivación Extrínseca fue positiva y de magnitud moderada (20% de la varianza), indicando que a medida que un tipo de motivación aumenta, el otro tiende a aumentar. La relación entre Desmotivación y Motivación Intrínseca y Extrínseca fue negativa, de magnitud débil (1 a 2% de varianza, respectivamente), señalando que a medida que la Desmotivación disminuye, los factores/tipos de Motivación Intrínseca y Extrínseca tienden a aumentar⁽⁴²⁾.

Acerca de la existencia del continuum de autodeterminación y la Motivación^(1,6-8) que se presenta por correlación positiva y significativa entre Motivación Intrínseca y Extrínseca, y correlación negativa entre Motivación Intrínseca y Desmotivación, los resultados corroboraron los hallazgos de otras investigaciones^(15,17,22) y confirmaron el modelo teórico^(1,2). No obstante, en la versión en inglés, la mayoría de los trabajos no confirmó tal hipótesis^{(6-8,18-19,39)}, sugiriendo que ese estándar del constructo no existía o se mostraba limitado^(19,39).

Se evaluó también hasta qué punto cada variable latente modelada (es decir, los factores de la EMA) se mostró diferente y podría discriminarse de las demás. Una forma de obtener tales evidencias es evaluar si la raíz cuadrada de VME (√VME) es mayor que la estimación de varianza compartida entre los constructos, o sea, mayor que la correlación entre los factores latentes. Según los resultados mostrados en la Tabla 3, hay evidencia de que los tres factores se discriminaron correctamente en este estudio, según la literatura adoptada^(43-44).

Respecto del contenido de los ítems, aún no tratándose del objetivo de la investigación, hubo concordancia con autores que señalaron que dicho contenido debía revisarse con criterios recomendados por la literatura especializada para darle mayor precisión⁽¹⁷⁾ y que la escala precisa revisión y actualizaciones como instrumento de medición^{(15,18-19,22)}. Siendo todavía uno de los principales instrumentos de medición de la motivación académica utilizados actualmente^(45,46), se demostró en los hallazgos de este estudio que la escala precisa mejoras, considerando que los atributos de medición no se correspondieron integralmente con los atributos teóricos.

De esta manera, puntualmente en la versión en portugués para el contexto brasileño, la EMA debe revisarse con mayor rigor en el proceso de traducción, adaptación transcultural, equivalencia y frecuencia terminológica, incorporando también la retrotraducción, no practicada anteriormente⁽²³⁾. La traducción literal de ítems no asegura la sostenibilidad del constructo original. Se recomienda para futuras investigaciones la realización secuencial de las etapas de adaptación transcultural y de análisis de un modo más robusto para mejor mantenimiento de la estructura factorial⁽²⁵⁾.

En los demás países en los que se usaron versiones traducidas o en los contextos donde se aplicó la versión en inglés de la EMA, se sugiere adoptar otros recursos de análisis, es decir, más allá del AFC, se recomienda utilizar el ESEM, toda vez que brinda la posibilidad de integrar recursos de modelado de ecuaciones estructurales y AFE en un único análisis⁽²⁷⁾.

Por utilizar el ESEM, esta investigación presentó desenlaces diferentes a los de estudios previos que evaluaron las propiedades psicométricas de la EMA con determinación de un modelo de tres factores, conforme referencia en el asunto⁽²⁷⁾. Cabe destacar que a pesar de que los tres factores hayan respetado los agrupamientos teóricos de orden superior de la EMA (Motivación Extrínseca, Motivación Intrínseca y Desmotivación), no fue posible comprobar el refinado en los subfactores; en otras palabras, no hubo diferenciación de las subescalas de Motivación Extrínseca en tres tipos (Motivación Extrínseca por Regulación Identificada, por Regulación Introyectada y por Regulación Externa), y tampoco hubo diferenciación de Motivación Intrínseca en sus tres tipos (Motivación Intrínseca para conocer, para desempeñar roles y para vivir experiencias estimulantes). En términos prácticos y aplicados, para la muestra estudiada, el constructo motivación académica solo se manifestó en el agrupamiento teórico superior.

Las limitaciones relacionadas a esta investigación tienen que ver con la aplicación de la EMA en un momento único del curso de una única área, el curso de grado de Enfermería, lo cual limita las generalizaciones para otras carreras y estudiantes. Se resalta que la validez de los instrumentos de medición, en este caso de la EMA, debe testearse en otras muestras, preferentemente con métodos de análisis y software más convenientes para los datos categóricos ordenados, como en el caso de la escala en análisis, tanto en el contexto brasileño como en el de otros países, con estudiantes de carreras diversas y de otros niveles educativos, a efectos de ampliar las evidencias de validez del instrumento de medición de la motivación.

Conclusión

La dimensionalidad de la EMA alcanzó un modelo de tres factores/tipos de motivación, factores de orden superior coincidentes con lo propuesto en la Teoría de la Autodeterminación, y fue considerada una alternativa simplificada frente a lo que postula la versión original, que propone medir siete factores. Los resultados expresaron que la EMA muestra evidencias de confiabilidad y validez satisfactorias para tres tipos de motivación: Motivación Intrínseca, Motivación Extrínseca y Desmotivación, con evidencias robustas de ajuste y adecuada discriminación.

Los hallazgos respaldaron la existencia del continuum de autonomía, con correlaciones positivas y significativas entre la Motivación Intrínseca y la Extrínseca, y correlación negativa entre la Motivación Intrínseca y la Desmotivación.

Aunque existan nuevas evidencias sobre la calidad psicométrica de la EMA, con la limitación de medir tres tipos diferentes de motivación en estudiantes de Enfermería se reafirma la necesidad de practicar investigaciones con muestras más amplias y diversificadas, para que las propiedades de invariancia de la escala sean convenientemente estudiadas.

• *
  Artículo parte de la tesis de doctorado “Motivação e autonomia dos estudantes de graduação em enfermagem à luz da teoria da autodeterminação”, presentada en la Universidade de São Paulo, Escola de Enfermagem, São Paulo, SP, Brasil.

Referencias bibliográficas

• ¹ Deci EL, Ryan RM. Intrinsic motivation and self-determination theory in human behavior. New York: Plenum Press; 1985.
• ² Deci EL, Ryan RM. The support of autonomy and the control of behavior. J Pers Soc Psychol. [Internet]. 1987 Apr 30 [cited Jul 2, 2019];53(6):1024-37. Available from: https://www.ncbi.nlm.nih.gov/pubmed/3320334
  » https://www.ncbi.nlm.nih.gov/pubmed/3320334
• ³ Kusurkar RA, Cate TJT, Vos CMP, Westers P, Croiset G. How motivation affects academic performance: a structural equation modelling analysis. Adv in Health Sci Educ. [Internet]. 2013 [cited Apr 4, 2020];18(1):57-69. Available from: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC3569579/
  » https://www.ncbi.nlm.nih.gov/pmc/articles/PMC3569579/
• ⁴ Miguel MS, Lizaso I, Hermosilla D, Alcover CM, Goudas M, Arranz-Freijó E. Preliminary validation of the Perceived Locus of Causality scale for academic motivation in the context of university studies (PLOC-U). Br J Educ Psychol. [Internet]. 2017 May 25 [cited Apr 4, 2020];87(4):558-72. Available from: https://doi.org/10.1111/bjep.12164
  » https://doi.org/10.1111/bjep.12164
• ⁵ Wouters A, Croiset G, Schripsema NR, Cohen-Schotanus J, Spaai GWG, Hulsman RL, et al. A multi-site study on medical school selection, performance, motivation and engagement. Adv in Health Sci Educ. [Internet]. 2017 Jan 4 [cited Apr 4, 2020];22:447-62. Available from: https://link.springer.com/article/10.1007%2Fs10459-016-9745-y
  » https://link.springer.com/article/10.1007%2Fs10459-016-9745-y
• ⁶ Vallerand RJ, Blais MR, Brière NM, Pelletier LG. Construction et validation de l'échelle de Motivation en Education (EME). Canad J Sci Comp. [Internet]. 1989 Sep 26 [cited Jul 2, 2019];21(3):323-49. Available from: http://selfdeterminationtheory.org/SDT/documents/1989_VallerandBlaisBrierePelletier_CJBSRCSC.pdf
  » http://selfdeterminationtheory.org/SDT/documents/1989_VallerandBlaisBrierePelletier_CJBSRCSC.pdf
• ⁷ Vallerand RJ, Pelletier LG, Blais MR, Brière NM, Senécal C, Vallières EF. The academic motivation scale: a measure of intrinsic, extrinsic, and amotivation in education. Educ Psychol Measur. [Internet]. 1992 Dec 10 [cited Jul 2, 2019];52(4):1003-17. Available from: https://doi.org/10.1177/001 3164492052004025
  » https://doi.org/10.1177/001 3164492052004025
• ⁸ Vallerand RJ, Pelletier LG, Blais MR, Brière NM, Senécal C, Vallières EF. On the assessment of intrinsic, extrinsic and amotivation in education: evidence on the concurrent and construct validity of the academic motivation scale. Educ Psychol Measur. [Internet]. 1993 Mar 1 [cited Jul 2, 2019];53(1):159-72. Available from: https://doi.org/10.1177/0013164493053001018
  » https://doi.org/10.1177/0013164493053001018
• ⁹ Utvær BKS, Haugan G. The Academic Motivation Scale: Dimensionality, Reliability, and Construct Validity Among Vocational Students. NJVET. [Internet]. 2016 Jun 2 [cited Jul 2, 2019];6(2):17-45. Available from: http://www.njvet.ep.liu.se/article.asp?DOI=10.3384/njvet.2242-458X.166217
  » http://www.njvet.ep.liu.se/article.asp?DOI=10.3384/njvet.2242-458X.166217
• ¹⁰ Orsini C, Binnie V, Evans P, Ledezma P, Fuentes F, Villegas MJ. Psychometric validation of the academic motivation scale in a dental student sample. J Dent Educ. [Internet]. 2015 Aug 1 [cited Jul 2, 2019];79(8):971-81. Available from: https://www.ncbi.nlm.nih.gov/pubmed/26246537
  » https://www.ncbi.nlm.nih.gov/pubmed/26246537
• ¹¹ Sarks AS, Hallit S, Hajj A, Kechichian A, Sarkis DC, Sarkis A et al. Lebanese students' motivation in medical school: does it change throughout the years? A cross-sectional study. BMC Med Educ. [Internet]. 2020 Mar 31 [cited Apr 4, 2020];20:94. Available from: https://bmcmededuc.biomedcentral.com/track/pdf/10.1186/s12909-020-02011-w
  » https://bmcmededuc.biomedcentral.com/track/pdf/10.1186/s12909-020-02011-w
• ¹² Zhang B, Li YM, Li J, Li Y, Zhang H. The revision and validation of the Academic Motivation Scale in China. J Psychoeduc Assess. [Internet]. 2016 Feb 1 [cited Apr 4, 2020];34(1):15-27. Available from: https://journals.sagepub.com/doi/abs/10.1177/0734282915575909
  » https://journals.sagepub.com/doi/abs/10.1177/0734282915575909
• ¹³ Can G. Turkish version of the Academic Motivation Scale. Psychol Rep. [Internet]. 2015 Apr 1 [cited Apr 4, 2020];116(2):388-408. Available from: https://www.ncbi.nlm.nih.gov/pubmed/25826436
  » https://www.ncbi.nlm.nih.gov/pubmed/25826436
• ¹⁴ Stover JB, Iglesia G, Boubeta AR, Liporace MF. Academic motivation scale: adaptation and psychometric analyses for high school and college students. Psychol Res Behav Manag. [Internet]. 2012 Jul 25 [cited Jul 2, 2019];5:71-83. Available from: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC3414248/
  » https://www.ncbi.nlm.nih.gov/pmc/articles/PMC3414248/
• ¹⁵ Guimarães SER, Bzuneck JA. Psychometric properties of an instrument for assessing the motivation of university. Cienc Cogn. [Internet]. 2008 Mar 1 [cited Jul 2, 2019];13(1):101-13. Available from: http://pepsic.bvsalud.org/scielo.php?script=sci_arttext&pid=S1806-58212008000100011
  » http://pepsic.bvsalud.org/scielo.php?script=sci_arttext&pid=S1806-58212008000100011
• ¹⁶ Burgueño R, Sicilia A, Medina-Casaubón J, Alcaraz-Ibáñez M, Lirola MJ. Academic motivation scale revised. Inclusion of integrated regulation to measure motivation in initial teacher education. An Psicol-Spain [Internet]. 2017 Jul 21 [cited Apr 4, 2020];33(3):670-679. Available from: http://dx.doi.org/10.6018/analesps.33.3.249601
  » http://dx.doi.org/10.6018/analesps.33.3.249601
• ¹⁷ Davoglio TR, Santos BS, Lettnin CC. Validity of academic motivation scale for the Brazilian higher education students. Ensaio Aval Pol Públ Educ. [Internet]. 2016 Sep 1 [cited Jul 2, 2019];24(92):522-45. Available from: http://www.scielo.br/scielo.php?script=sci_abstract&pid=S0104-40362016000300522&lng=en&nrm=iso&tlng=en
  » http://www.scielo.br/scielo.php?script=sci_abstract&pid=S0104-40362016000300522&lng=en&nrm=iso&tlng=en
• ¹⁸ Cokley KO, Bernard N, Cunningham D, Motoike J. A psychometric investigation of the academic motivation scale using a United States sample. Measure Eval Couns Dev. [Internet]. 2001 Jul 3 [cited Jul 2, 2019];34(2):109-19. Available from: https://eric.ed.gov/?id=EJ634347
  » https://eric.ed.gov/?id=EJ634347
• ¹⁹ Fairchild AJ, Horst SJ, Finney SJ, Barron KE. Evaluating new and existing validity evidence for the academic motivation scale. Contemp Educ Psychol. [Internet]. 2005 Jul 3 [cited Jul 2, 2019];30(3):331-58. Available from: https://www.sciencedirect.com/science/article/pii/S0361476X04000736
  » https://www.sciencedirect.com/science/article/pii/S0361476X04000736
• ²⁰ Grouzet ME, Otis N, Pelletier LG. Longitudinal cross-gender factorial invariance of the academic motivation scale. Struct Equ Modeling. [Internet]. 2006 Nov 19 [cited Jul 2, 2019];13(1):73-98. Available from: http://selfdeterminationtheory.org/SDT/documents/2006_GrouzetOtisPelletier_SEM.pdf
  » http://selfdeterminationtheory.org/SDT/documents/2006_GrouzetOtisPelletier_SEM.pdf
• ²¹ Viana GS. Attitude and motivation in relation to the academic performance of undergraduate students from statistics courses in business administration: the formation of clusters. Adm Ens Pesq. [Internet] 2012 Sep 10 [cited Aug 15, 2019];13(3):523-58. Available from: https://raep.emnuvens.com.br/raep/article/view/88/50
  » https://raep.emnuvens.com.br/raep/article/view/88/50
• ²² Cokley KO. Examining the validity of the academic motivation scale by comparing scale construction to self-determination theory. Psychol Rep. [Internet]. 2000 Apr 1 [cited Jul 2, 2019];86(2):560-4. Available from: https://www.ncbi.nlm.nih.gov/pubmed/10840913
  » https://www.ncbi.nlm.nih.gov/pubmed/10840913
• ²³ Sobral DT. Learner's motivation in medical studies: use of the academic motivation scale. Psic Teor Pesq. [Internet]. 2003 Apr 1 [cited Jul 2, 2019];19(1):25-31. Available from: http://www.scielo.br/pdf/ptp/v19n1/a05v19n1
  » http://www.scielo.br/pdf/ptp/v19n1/a05v19n1
• ²⁴ Souza AC, Alexandre NMC, Guirardello EB. Psychometric properties in instruments evaluation of reliability and validity. Epidemiol Serv Saúde. [Internet]. 2017 Sep 1 [cited Apr 4, 2020];26(3):649-59. Available from: https://doi.org/10.5123/s1679-49742017000300022
  » https://doi.org/10.5123/s1679-49742017000300022
• ²⁵ Borsa JC, Damásio BF, Bandeira DR. Cross-Cultural Adaptation and Validation of Psychological Instruments: Some Considerations. Paidéia. [Internet]. 2012 Dec 1 [cited Jul 2, 2019];22(53):423-32. Available from: http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0103-863X2012000300014
  » http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0103-863X2012000300014
• ²⁶ American Educational Research Association, American Psychological Association, National Council on Measurement in Education. Standards for Educational and Psychological Testing. Washington (DC): AERA Publications; 2014.
• ²⁷ Asparouhov T, Muthén B. Exploratory Structural Equation Modeling. Multidisciplinary J. [Internet]. 2009 Jul 1 [cited Jul 2, 2019];16(3):397-438. Available from: https://www.tandfonline.com/doi/abs/10.1080/10705510903008204
  » https://www.tandfonline.com/doi/abs/10.1080/10705510903008204
• ²⁸ Muthén LK, Muthén BO. Mplus user's guide. 8th ed. Los Angeles: Muthén & Muthén; 2017.
• ²⁹ Horn JL. A rationale and technique for estimating the number of factors in factor analysis. Psychometrika. [Internet]. 1965 Jun 3 [cited Jul 2, 2019];30(1):179-85. Available from: https://www.ncbi.nlm.nih.gov/pubmed/14306381
  » https://www.ncbi.nlm.nih.gov/pubmed/14306381
• ³⁰ Kline RB. Principles and practice of structural equation modeling. 4th ed. New York, London: The Guilford Press; 2016.
• ³¹ Rios J, Wells C. Validity evidence based on internal structure. Psicothema. [Internet]. 2014 Oct 10 [cited Jul 2, 2019];26(1):108-16. Available from: https://www.ncbi.nlm.nih.gov/pubmed/24444738
  » https://www.ncbi.nlm.nih.gov/pubmed/24444738
• ³² Hair JF, Black WC, Babin BJ, Anderson RE, Tathan RL. Análise multivariada de dados. 7. ed. Porto Alegre: Bookman; 2010.
• ³³ Peterson RA, Kim Y. On the relationship between coefficient alpha and composite reliability. J Appl Psychol. [Internet]. 2013 Jan 1 [cited Apr 4, 2020];98(1):194-8. Available from: https://doi.org/10.1037/a0030767
  » https://doi.org/10.1037/a0030767
• ³⁴ Borsboom D. The attack of the psychometricians. Psychometrika. [Internet]. 2006 Sep 1 [cited Jul 2, 2019];71(3):425-40. Available from: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC2779444/
  » https://www.ncbi.nlm.nih.gov/pmc/articles/PMC2779444/
• ³⁵ Damásio BF. Uses of exploratory factorial analysis in psychology. Aval Psicol. [Internet]. 2012 May 1 [cited Jul 2, 2019];11(2):213-28. Available from: http://pepsic.bvsalud.org/pdf/avp/v11n2/v11n2a07.pdf
  » http://pepsic.bvsalud.org/pdf/avp/v11n2/v11n2a07.pdf
• ³⁶ Comrey AL, Lee HB. A first course in factor analysis. 2nd ed. Hillsdale: Lawrence Erlbaum; 1992.
• ³⁷ Costello AB, Osborne JW. Best practices in exploratory factor analysis: four recommendations for getting the most from your analysis. Pract. Assess. Res. Eval. [Internet]. 2005 Jul 1 [cited Jul 2, 2019];10(7):1-9. Available from: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.110.9154&rep=rep1&type=pdf
  » http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.110.9154&rep=rep1&type=pdf
• ³⁸ Smith KJ, Davy JA, Rosenberg DL. An examination of the validity of the academic motivation scale with a united states business student sample. Psychol Rep. [Internet]. 2010 Apr 10 [cited Jul 2, 2019];106(2):323-41. Available from: https://journals.sagepub.com/doi/10.2466/pr0.106.2.323-341
  » https://journals.sagepub.com/doi/10.2466/pr0.106.2.323-341
• ³⁹ Smith KJ, Davy JA, Rosenberg DL. An empirical analysis of an alternative configuration of the academic motivation scale. Assess Educ. [Internet]. 2012 Jan 13 [cited Jul 2, 2019];19(2):231-50. Available from: https://eric.ed.gov/?id=EJ962957
  » https://eric.ed.gov/?id=EJ962957
• ⁴⁰ Pisarik CT. Motivational orientation and burnout among undergraduate college students. Coll Stud J. [Internet]. 2009 Dec 1 [cited Jul 2, 2019];43(4):1238-52. Available from: https://eric.ed.gov/?id=EJ872339
  » https://eric.ed.gov/?id=EJ872339
• ⁴¹ Baker SR. Intrinsic, extrinsic, and amotivational orientations: their role in university adjustment, stress, well-being, and subsequent academic performance. Curr Psychol. [Internet]. 2004 Sep 1 [cited Jul 2, 2019];23(3):189-202. Available from: https://link.springer.com/article/10.1007/s12144-004-1019-9
  » https://link.springer.com/article/10.1007/s12144-004-1019-9
• ⁴² Hemphill JF. Interpreting the magnitudes of correlation coefficients. Am Psychol. [Internet]. 2003 Jan 1 [cited Jul 2, 2019];58(1):78-80. Available from: https://psycnet.apa.org/record/2003-02034-011
  » https://psycnet.apa.org/record/2003-02034-011
• ⁴³ Farrell AM. Insufficient discriminant validity: a comment on Bove, Pervan, Beatty and Shiu (2009). J Bus Res. [Internet]. 2010 Mar 1 [cited Jul 2, 2019];63(3):324-7. Available from: https://www.sciencedirect.com/science/article/abs/pii/S0148296309001453
  » https://www.sciencedirect.com/science/article/abs/pii/S0148296309001453
• ⁴⁴ Fornell C, Larcker DF. Evaluating structural equation models with unobservable variables and measurement error. JMR. [Internet]. 1981 Feb 1 [cited Jul 2, 2019];18(1):39-50. Available from: https://journals.sagepub.com/doi/abs/10.1177/002224378101800104
  » https://journals.sagepub.com/doi/abs/10.1177/002224378101800104
• ⁴⁵ Del-Ben CM, Shuhama R, Costa MJ, Troncon LEA. Effect of changes to the formal curriculum on medical students' motivation towards learning: a prospective cohort study. Sao Paulo Med J. [Internet]. 2019 Jun 10 [cited Jun 10, 2020];137(2):112-8. Available from: https://www.scielo.br/pdf/spmj/v137n2/1806-9460-spmj-1516-3180-2018-0264090119.pdf
  » https://www.scielo.br/pdf/spmj/v137n2/1806-9460-spmj-1516-3180-2018-0264090119.pdf
• ⁴⁶ Secchin LSB, Ezequiel OS, Vitorino LM, Lucchetti ALG, Lucchetti G. Implementation of a Longitudinal Mentorship Program for Quality of Life, Mental Health, and Motivation of Brazilian Medical Students. Acad Psychiatry. [Internet]. 2020 Apr 1 [cited Jun 10, 2020];44(2):200-4. Available from: https://pubmed.ncbi.nlm.nih.gov/31741305/
  » https://pubmed.ncbi.nlm.nih.gov/31741305/

Editado por

• Editor Asociado: Ricardo Alexandre Arcêncio

Fechas de Publicación

• Publicación en esta colección
  12 Abr 2021
• Fecha del número
  2021

Histórico

• Recibido
  31 Oct 2019
• Acepto
  21 Ago 2020