Compromiso organizacional, cualidades psicométricas e invarianza del cuestionario de Meyer y Allen para enfermeros portugueses¹

RESUMEN

Objetivo:

evaluar las propiedades psicométricas de la versión portuguesa del Cuestionario de Compromiso Organizacional para el contexto de enfermería a través del análisis de confirmación e invarianza, para evaluar la fiabilidad, la consistencia interna, la validez de constructo y la validez externa del instrumento.

Método:

se procedió a un análisis factorial confirmatorio de la versión en portugués del cuestionario, con una muestra de 850 enfermeros en el ámbito hospitalario y se complementó el análisis con un recurso a la investigación de especificación. La calidad del ajuste se evaluó a través de diferentes índices. Se estimó la confiabilidad, la consistencia interna y la validez de constructo. La invarianza del modelo fue evaluada en dos sub-muestras de la muestra global, para confirmar la validez externa de la solución factorial.

Resultados:

el modelo obtenido tras el refinamiento demostró un buen ajuste global (χ2/df=6,37; CFI=0,91; GFI=0,92; RMSEA=0,08; MECVI=0,62). La estructura factorial reveló estable (λ:Δχ²(14)=18,31; p=0,193; Interceptos: Δχ²(14)=22,29; p=0,073; Covariancia: Δχ²(3)=6,01; p=0,111, Residuos: Δχ²(15)=22,44; p=0,097).

Conclusión:

el modelo simplificado del cuestionario demostró una buena calidad de ajuste, presentando una solución factorial estable. El instrumento resultó estar ajustado para monitorear y evaluar el compromiso de la organización de los enfermeros portugueses.

Descriptores:
Personal de Enfermería; Lealtad del Personal; Evaluación de Recursos Humanos en Salud; Investigación en Administración de Enfermería; Psicometría; Estudios de Validación

ABSTRACT

Objective:

to evaluate the psychometric qualities of the Portuguese version of the Organizational Commitment Questionnaire for the nursing context, through confirmatory analysis and invariance, aiming to evaluate the reliability, internal consistency, construct validity and external validity of the instrument.

Method:

confirmatory factor analysis of the Portuguese version of the questionnaire was carried out with a sample of 850 nurses, in hospital context. The analysis was complemented using specification search. Goodness of fit was evaluated through different indices. Reliability, internal consistency and construct validity were estimated. The invariance of the model was evaluated in two subsamples of the same sample, in order to confirm the external validity of the factorial solution.

Results:

the refined model demonstrated good overall fit (χ²/df=6.37; CFI=0.91; GFI=0.92; RMSEA=0.08; MECVI=0.62). The factorial structure was stable (λ:Δχ²(14)=18.31; p=0;193; Intercepts: Δχ²(14)=22.29; p=0.073; Covariance: Δχ²(3)=6.01; p=0.111; Residuals: Δχ²(15)=22.44; p=0.097).

Conclusion:

the simplified model of the questionnaire demonstrated adequate goodness of fit, representing a stable factorial solution. The instrument was fit to monitor and evaluate the organizational commitment of Portuguese nurses.

Descriptors:
Nursing Staff; Personnel Loyalty; Health Human Resource Evaluation; Nursing Administration Research; Psychometrics; Validation Studies

RESUMO

Objetivo:

avaliar as qualidades psicométricas da versão portuguesa do Questionário de Comprometimento Organizacional, para o contexto da enfermagem, através de análise confirmatória e de invariância, visando a confiabilidade, consistência interna, validade de construto e a validade externa do instrumento.

Método:

procedeu-se à análise fatorial confirmatória da versão portuguesa do questionário, numa amostra de 850 enfermeiros, em contexto hospitalar. Complementou-se a análise com recurso à pesquisa de especificação. A qualidade de ajustamento foi avaliada através de diferentes índices. Estimou-se a confiabilidade, consistência interna e validade de construto. A invariância do modelo foi avaliada em duas subamostras, da amostra global, por forma a confirmar a validade externa da solução fatorial.

Resultados:

O modelo obtido após refinamento demonstrou bom ajustamento global (χ²/df=6,37; CFI=0,91; GFI=0,92; RMSEA=0,08; MECVI=0,62). A estrutura fatorial revelou-se estável (λ:Δχ²(14)=18,31; p=0,193; Interceptos: Δχ²(14)=22,29; p=0,073; Covariância: Δχ²(3)=6,01; p=0,111; Resíduos: Δχ²(15)=22,44; p=0,097).

Conclusão:

o modelo simplificado do questionário revelou boa qualidade de ajustamento, apresentando uma solução fatorial estável. O instrumento revelou-se ajustado para monitorizar e avaliar o comprometimento organizacional dos enfermeiros portugueses.

Descritores:
Recursos Humanos de Enfermagem; Lealdade ao Trabalho; Avaliação de Recursos Humanos em Saúde; Pesquisa em Administração de Enfermagem; Psicometria; Estudos de Validação

Introducción

El compromiso de los recursos humanos con la carrera y la organización es crucial para el desarrollo personal, profesional y organizacional¹.

En el contexto organizacional, commitment o compromiso es un constructo multidimensional, traductor de un estado psicológico asociado a la relación afectiva de los colaboradores con la organización, la percepción de la obligación moral de permanencia, por lealtad, y el costo/beneficio asociado a la salida. Esto influencia la satisfacción, el desempeño, la productividad y la inversión profesional, así como también la rotación del personal o turnover, con un fuerte impacto en el comportamiento organizacional^2-6.

En términos teóricos, el modelo de referencia para el análisis del compromiso organizacional define el constructo en tres componentes: afectivo, de continuidad o instrumental y normativo^2,7-8.

El compromiso organizacional afectivo (COA) expresa el vínculo emocional que el colaborador establece con la organización, cuando se identifica con ésta por la congruencia de los valores humanos y objetivos comunes. Está relacionado con la percepción personal de las características objetivas y subjetivas de la organización, siendo fundamental para su satisfacción, motivación profesional y éxito organizacional^2,9-10.

Como agregado, el compromiso organizacional de continuidad (COC) traduce la percepción de los colaboradores acerca del costo asociado a la salida de la organización. La intención de salida está relacionada normalmente al sistema de recompensas, el reconocimiento/valorización profesional y las oportunidades de desarrollo en la carrera. La inversión personal de los empleados se ajusta, por lo tanto, al retorno esperado de parte de la organización^2-3,8-9.

El compromiso organizacional normativo (CON) está asociado al deber moral del trabajador hacia la organización, por las plusvalías brindadas, condicionando el sentimiento de obligación de permanencia. Esto impulsa el desempeño de actividades con competencia, de acuerdo con las normas instituidas, pero no hay una gran implicación motivacional^2-4,8,11.

De acuerdo con este enfoque, los colaboradores con fuerte COA están comprometidos y se mantienen en la organización por voluntad propia, sin intención de dejarla. En lo que se refiere al COC, se lo asocia a la realización de objetivos personales, ya que los colaboradores permanecen en la organización por necesidad, por ausencia de alternativas y por los costos asociados al cambio. Por último, un fuerte CON se deriva del sentimiento del deber asociado a la responsabilidad moral con la organización^2-3,12.

Sin embargo, a pesar de que, en teoría, el modelo conceptual se basa en la independencia de los tres componentes, la investigación científica evidenció que existen correlaciones entre sus dimensiones. Dichas dimensiones están condicionadas globalmente por las vivencias laborales de los colaboradores, y se espera que coexistan diferentes niveles de compromiso entre los componentes, con impacto variable del comportamiento en el contexto de trabajo^2-3.

El compromiso organizacional proviene, por lo tanto, de la influencia conjunta de factores como las características personales y estructurales relacionadas con los roles y las experiencias de trabajo. Él en sí mismo es, también, una variable condicionante de la intención de salida, del desempeño profesional y del éxito organizacional^6,13.

En términos organizativos y, especialmente, en el área de la salud, el compromiso organizacional de los recursos humanos asume un papel clave en el desempeño individual y organizacional, de forma efectiva y eficiente. Los altos niveles de compromiso organizacional son determinantes para la consecución de los objetivos organizacionales, otorgándole una ventaja competitiva a las instituciones de salud. No obstante, el contexto socioeconómico de los últimos años condujo a la necesidad de contención de costos, con impacto en la gestión eficaz y efectiva de los recursos, particularmente, de los recursos humanos. Por esta razón, se hicieron necesarios diversos cambios organizativos y legislativos que influenciaran las relaciones de los profesionales de la salud con las organizaciones, lo que causó un impacto en la motivación y en el compromiso organizacional, al igual que en la calidad de los cuidados de salud prestados^{6,11-12,14-16}.

En lo que se refiere a la enfermería, esto es particularmente relevante dado su papel privilegiado en la prestación de atención a la salud, siendo el grupo profesional con mayor representatividad en los sistemas de salud. Sin embargo, los vínculos laborales cada vez más precarios y las condiciones de trabajo menos favorables influencian el compromiso organizacional de los enfermeros y, como consecuencia, los resultados en la salud. En Portugal, la proporción de enfermeros (6,58 enfermeros/1.000 habitantes) es muy bajo comparado con el promedio de la Organización para la Cooperación y el Desarrollo Económicos (9,16 enfermeros/1000 habitantes), concentrándose la mayoría en la atención hospitalaria. Cabe destacar, sin embargo, el alto grado de formación de los enfermeros portugueses, en su mayoría licenciados (cuatro años de formación) y el 22.53% posee el título de enfermero especialista (tiempo de formación entre 18 y 24 meses)^{6,12,14-15,17}.

La evidencia científica señala el compromiso organizacional de los enfermeros como predictor del desempeño, determinante del compromiso con el paciente, a través del desarrollo de comportamientos positivos y minimizando ciertos aspectos negativos como conflictos y agotamiento profesional, con impacto en la calidad de los cuidados de enfermería y, como consecuencia, en la satisfacción de los pacientes con los mismos^6,9,12,18-19.

La evaluación del compromiso organizacional es, pues, fundamental para su comprensión, pretendiéndose con esta investigación, contribuir con la validación de un instrumento de medida específico para la evaluación del compromiso organizacional en la clase profesional de enfermería.

El Cuestionario de Compromiso Organizacional (CCO), construido en 1990 para el contexto norteamericano y revisado por los autores en 1997, engloba tres escalas para evaluar el compromiso afectivo, el de continuidad y el normativo, presentando la versión revisada, valores aceptables de consistencia (alfa de Cronbach (α)_COA= 0,85; α_COC= 0,79; α_CON= 0,73)⁸. Esta es una de las herramientas más utilizadas a nivel internacional, en los estudios de investigación científica para monitorear el compromiso con la organización y entre los profesionales de la salud, incluidos los enfermeros, especialmente en Portugal.^4,13,20-22.

En el contexto portugués, la versión traducida del CCO³ resultó de un trabajo de traducción y retroversión, así como del desarrollo de dos pre-testes, con miras a la adaptación cultural. El estudio posterior de validación factorial, a través del análisis factorial exploratorio y confirmatorio, demuestra, también, la estructura tridimensional superior a la versión original ya que presenta tres escalas elevadas de consistencia interna (α_COA=0,91; α_COC=0,91; α_CON=0,84). Es importante señalar que se identificaron problemas de ajuste de algunos ítems de la escala original al modelo factorial, optándose por su eliminación y presentando el modelo refinado, indicadores de bondad del ajuste no umbral de aceptabilidad (chi-cuadrado ajustado a los grados de libertad, χ²/df)=4,17; goodness-of-fit index, GFI (bondad de ajuste)=0,82; root mean square error of approximation, RMSEA (raíz de error cuadrático medio) = 0,08). Sin embargo, en lo que respecta a la confirmación del modelo de tres componentes, el mismo no ha sido validado dado que las relaciones identificadas entre las componentes no están de acuerdo con el modelo teórico y empírico, designado por la correlación negativa (r=-0,51) entre el COA y el CON, y por la correlación (r=0,48) entre el COC y el CON³.

En este contexto, la presente investigación tiene como objetivo evaluar las cualidades psicométricas de la versión portuguesa del CCO, en el contexto de la enfermería, a través del análisis confirmatorio y de la invarianza, con el intuito de evaluar la confiabilidad, la consistencia interna, la validez de constructo y la validez externa del instrumento.

Método

Se realizó un estudio de validación de tipo cuantitativo, transversal, no experimental, con el intuito de evaluar el análisis de las propiedades psicométricas de la versión portuguesa del CCO en el contexto de la enfermería portuguesa.

La población objetivo incluye enfermeros que cumplen con sus funciones en la prestación de cuidados directos a los pacientes de los 71 servicios de internación de cirugía general, medicina interna y ortopedia, de 12 hospitales públicos de las regiones central y norte de Portugal. La recolección de datos se desarrolló entre el 15 de enero y el 15 de septiembre de 2015.

El dimensionamiento de la muestra se calculó con base en una fórmula para el análisis de ecuaciones estructurales²³ y se obtuvo una estimación de 255 individuos. Sin embargo, dado que el objetivo era estudiar las propiedades psicométricas del CCO, la muestra seleccionada fue compuesta por el máximo de participantes de la población objetivo, para asegurar la validez externa de los resultados y la generalización de las conclusiones para la población en estudio.

En la muestra se estableció, como criterio de inclusión, el desempeño de funciones de prestación directa de cuidados de enfermería, excluyendo a los enfermeros con funciones exclusivas de gestión.

La muestra obtenida estaba constituida de 850 enfermeros, de los 1844 cuestionarios distribuidos (porcentaje de respuesta del 46,10%).

El instrumento para la colecta de datos incluyó asuntos de carácter sociodemográfico, edad, género, estado civil, habilitaciones literarias, ejercicio de funciones especializadas, tiempo de servicio, vínculo laboral, horario semanal y tipología de horario, así como la versión portuguesa del CCO³. Este está compuesto de 19 ítems, distribuidos en tres escalas independientes para evaluar el compromiso organizacional en los componentes afectivo (6 ítems), de continuidad (7 ítems) y normativo (6 ítems), según la Figura 1. Los ítems se responden en una escala de tipo Likert de 7 puntos, correspondiendo el puntaje (1) a “En desacuerdo total” y la puntuación (7) a “Totalmente de acuerdo”. El valor más alto obtenido en las escalas corresponde a la dimensión del compromiso organizacional más evidente, considerándose 3,5 el punto medio de la escala.

Figura 1
Cuestionario de Compromiso Organizacional (CCO)

El análisis descriptivo (medidas de tendencia central, dispersión y frecuencia) se realizó con el recurso Statistical Package for the Social Sciences (versión 22.0, SPSS An IBM Company, Chicago, IL). Los ítems 2, 5, 7 y 15 fueron invertidos previamente a los análisis factoriales. Dados los resultados del estudio exploratorio previo de la versión portuguesa del CCO³, confirmando la estructura trifactorial del modelo, de acuerdo con la versión original, se procedió al análisis factorial confirmatorio para comprobar la adecuación de los datos al modelo en estudio, a través del software AMOS (versión 22, An IBM Company, Chicago, IL). En este estudio se decidió incluir todos los elementos de la escala original, aunque se comprobó la eliminación de algunos elementos del estudio previo de validación para el contexto portugués³.

La adhesión a la distribución normal de las variables fue determinada por los coeficientes de asimetría (Sk) y curtosis (Ku), considerándose que |Sk|<3 y |Ku|<10 no indicaban desvíos considerables a la distribución normal, impeditivos del análisis por el método de la máxima verosimilitud. La presencia de valores atípicos (outliers) se evaluó por la distancia cuadrada de Mahalanobis (D²). Los valores omisos se reemplazaron por la media de la serie, dado el porcentaje diminuto en la muestra de estudio (inferior a 1,5%)²⁴.

La calidad del ajuste global fue evaluada de acuerdo con los índices Chi-cuadrado (χ²), χ²/df, índice de ajuste comparativo - comparative fit index (CFI), índice de bondad del ajuste (GFI), raíz de error cuadrático medio (RMSEA), P[rmsea≤0,05], IC 90% e índice de validación cruzada, esperado y modificado para el método de máxima verosimilitud - modified expected cross-validation index (MECVI), considerándose aceptables los valores de χ²/df<5, CFI y GFI>0,90, RMSEA<0,08, siendo que el menor MECVI identifica el modelo con mejor validez externa^24-26.

Las modificaciones introducidas para ajustar el modelo global se soportaron en los índices de modificación (superiores a 11; p<0,001) producidos por el AMOS, así como también en consideraciones teóricas²⁴.

Debido a la necesidad de reajuste del modelo para encontrar el mejor subconjunto de factores y variables reflejas y con miras a la optimización de la calidad del ajuste y la parsimonia de la solución factorial, se recurrió, en una estrategia exploratoria adicional, a la investigación de la especificación heurística, exhaustiva, con base en el análisis previo de los índices de modificación²⁴.

Para comprobar la validez externa de la solución del modelo factorial obtenido, se procedió a la validación cruzada, comparando los índices observados en la muestra de prueba con los índices obtenidos en otra muestra independiente, extraída de la misma población, a través de un análisis multigrupos. La muestra total fue, por lo tanto, dividida aleatoriamente en dos partes aproximadamente iguales. En los dos grupos, la invariancia factorial (configuración, métrica y estructural) del modelo de medida, fue probada en los dos grupos mediante comparación del modelo libre con un modelo constrictivo donde se fijaron los pesos (cargas) factoriales, interceptos, residuos y varianzas/covariancias de los dos grupos. La significación estadística de la diferencia entre los dos modelos fue determinada por el test Chi-cuadrado^24,27-28.

La confiabilidad de constructo y de consistencia interna se evaluaron por la confiabilidad compuesta (CC) y α, considerándose los indicadores de confiabilidad apropiados con valores superiores a 0,70. La validez de constructo se determinó en tres subcomponentes: la validad convergente, calculada por la varianza extraída de la media (VEM) por cada factor, considerándose indicadores de validez convergente a los valores superiores a 0,50^24,26; la validez discriminante, considerada evidente cuando la VEM de cada uno de dos factores es igual o superior al cuadrado de la correlación entre dichos factores; y la validez factorial, considerando el peso factorial estandarizado (λ) y la confiabilidad individual (λ²), siendo estos también indicadores de la calidad de ajuste local. Normalmente, se consideran apropiados pesos factoriales superiores a 0,50 y, por ende, la confiabilidad individual superior a 0,25^24,29; sin embargo, en el área de las ciencias sociales, a veces pueden considerarse valores inferiores³⁰. En un estudio previo del CCO, los autores proponen pesos factoriales superiores a 0,40³¹. Sin embargo, en esta investigación, se optó por considerar los pesos factoriales iguale o superiores a 0,30 y la confiabilidad individual, igual o superior a 0,09, siendo que estudios anteriores, en el contexto portugués, ya presentaban pesos factoriales de este orden^3,32.

Este estudio forma parte de una investigación más amplia bajo el tema de dotación segura y calidad de los cuidados de enfermería, aprobado por los Consejos de Administración y Comités de Ética de las Instituciones Hospitalarias y por el Comité de Ética de la Facultad de Medicina de la Universidad de Coímbra, Portugal (Proc. CE 100/2014). La participación de los enfermeros fue voluntaria y el enfermero jefe de cada servicio recibió los cuestionarios (papel mediador en la entrega y recogida de los cuestionarios) y los puso a disposición de todos los enfermeros que los completaron de acuerdo con su disponibilidad y, posteriormente, los entregaron en un sobre cerrado. Se pidió el consentimiento libre e informado, expresado por los participantes, garantizando el cumplimiento de los principios éticos, como el anonimato y la confidencialidad.

Resultados

El análisis de las características sociodemográficas revela que la muestra es mayoritariamente del sexo femenino (81,86%), con edades comprendidas entre los 22 y los 59 años. En cuanto a las habilitaciones literarias, el grado académico más común es la licenciatura (89,05%), identificándose el 27,07% de los enfermeros con curso de especialización en enfermería. El vínculo laboral prevaleciente es el contrato individual de trabajo (59,70%), siendo práctica común la carga horaria de 40 horas semanales (86,03%) y con el trabajo organizado por turnos (81,71%), o roulement, como se describe en la Tabla 1.

Tabla 1
Características sociodemográficas de los enfermeros en estudio. Regiones Centro y Norte, Portugal, 2015

Características sociodemográficas	M*	SD†	n‡	%§
Edad (años)	36,11	±7,97
Sexo
Masculino			152	18,14
Femenino			686	81,86
Habilitaciones Literarias
Bachiller Superior			10	1,19
Licenciatura			748	89,05
Maestría			80	9,52
Doctorado			2	0,24
Especialización
Curso			222	27,07
Ejercicio función			70	33,02
Tiempo de servicio (años)	12,99	±7,80
Inferior a 1 año			10	1,22
1 a 5 años			118	14,43
6 a 10 años			268	32,76
11 a 15 años			155	18,95
16 a 20 años			128	15,65
Superior a 20 años			139	16,99
Vínculo Laboral
Contrato individual de trabajo			483	59,70
Contrato de trabajo en funciones públicas			315	38,94
Otro			11	1,36
Horario Semanal
35 horas/semana			106	12,88
40 horas/semana			708	86,03
Otro			9	1,09
Tipo de horario
Fijo (sólo por las mañanas)			131	15,98
Por turnos (roulement)			670	81,71
Otro			19	2,32

• *M - Media; †SD - Desviación típica; ‡n - Frecuencia absoluta; §% - Frecuencia relativa

El análisis descriptivo de los ítems del CCO (media, mediana, moda, desviación típica, asimetría y curtosis univariadas) demuestra que los mismos no presentan desviaciones severas a la normalidad univariada y multivariada, obstáculos del análisis factorial que presentan sensibilidad psicométrica apropiada.

El análisis factorial confirmatorio del modelo trifactorial del CCO demostró un mal ajuste a los datos de la muestra de 850 enfermeros (χ²/df=9,91; CFI=0,78; GFI=0,83; RMSEA=0,10; MECVI=1,84), de acuerdo con la Figura 2.

Figura 2
Estructura trifactorial del modelo original del Cuestionario de Compromiso Organizacional (χ²/df = 9,91; CFI = 0,78; GFI = 0,83; RMSEA = 0,10; MECVI = 1,84)

Analizados los pesos factoriales y la confiabilidad individual, se constató que el ítem 1 (“Creo que hay muy pocas alternativas para pensar en salir de esta institución”), de la escala COC, detenía valores inferiores a los establecidos previamente (λ<0,30; λ²<0,09), sugiriendo su remoción del modelo. En cuanto al presupuesto de normalidad, todos los ítems presentan valores considerados adecuados. Sin embargo, se comprobó la presencia de varias observaciones consideradas outliers multivariados (p₁ y p₂<0,001). En una estrategia conservadora, se rehízo el análisis tras excluir ocho observaciones con valores elevados de D², sin evidencia de mejoría en la calidad del ajuste, decidiéndose, por lo tanto, mantener estas observaciones.

Con el fin de proceder al refinamiento del modelo, el análisis de los índices de modificación permitió identificar ítems poco ajustados al modelo factorial, debido a la covarianza entre los residuos de los ítems y los factores latentes y la posible existencia de trayectorias adicionales entre los mismos, es decir, los ítems 1, 2, 9, 10, 11, 14, 15, 16, 17 e 19. En este contexto, dado el elevado número de ítems que podrían saturar en más de un factor, condicionando la definición clara de los mismos, se optó por una estrategia complementaria, exploratoria, para evaluar la plausibilidad de otra estructura factorial, recurriendo a la investigación de especificación heurística. De acuerdo con el referencial teórico previo, se mantuvieron los factores latentes y se identificaron las trayectorias opcionales, de acuerdo con la evaluación previa de los índices de modificación.

La investigación heurística exhaustiva permitió, de acuerdo con los criterios estadísticos, identificar el modelo considerado más parsimonioso y con mejor calidad de ajuste (χ²/df=7,81; p<0,001). Después de analizar la disposición de los ítems, se comprobó que la trayectoria del 9, 14 y 19 (“En realidad, siento los problemas de esta institución como si fueran míos”; “En este momento, quedarme en esta institución es una cuestión de necesidad material y de voluntad personal”; “Como ya le he dado tanto a esta institución, no considero actualmente la posibilidad de trabajar en otra”) fue alterada para el factor CON. Sobre el ítem 1, en concordancia con el resultado del análisis confirmatorio, la investigación de especificación demostró que el mismo no satura en la escala COC, ni en ninguna de las otras. Los ítems restantes se mantuvieron de acuerdo con la solución factorial original.

En este contexto, atendiendo al referencial teórico conceptual y al encuadre de los ítems en los factores latentes originales, se optó por la remoción de los ítems 1, 9, 14 y 19. El modelo simplificado reveló, de este modo, una calidad de ajuste mejor (χ²/df=8,30; CFI=0,87; GFI=0,89; RMSEA=0,09; MECVI=0,93) comparado con el modelo original, aunque globalmente sufrible.

El análisis de los ítems de modificación de este modelo simplificado demostró alta correlación entre los errores de medida de los ítems 7 (“No me siento “parte de la familia” en esta institución) y 15 (“No me siento parte de esta institución”) pertenecientes al factor COA. Dada la similitud y la proximidad de formulación y contenido de los ítems, se optó por la remoción del ítem 7, por presentar peso factorial inferior. El análisis sustentó la decisión de remover el ítem 10 (“Esta institución merece mi lealtad”) de la escala CON, dada su correlación con otros factores.

El modelo refinado obtenido demuestra una adecuación aceptable a la muestra en estudio, en la mayoría de los índices (χ²/df=6,56; CFI=0,91; GFI=0,93; RMSEA=0,08; MECVI=0,55), conforme representado en la Figura 3. En esta muestra se comprueba que el modelo simplificado se ajusta mejor a la estructura correlacional observada entre los ítems comparado con el modelo original (χ² ₍₈₇₎=1069,77; p<0,05), presentando, también, un MECVI menor (0,55 vs. 1,84).

Figura 3
Estructura factorial del modelo refinado del Cuestionario de Compromiso Organizacional (χ²/df=6,56; CFI=0,91; GFI=0,93; RMSEA=0,08; MECVI=0,55)

Se constata la existencia de una correlación moderada entre las escalas COA y CON (r=0,68), siendo muy baja entre la escala COC y las escalas COA y CON, tal como se ve en la Figura 3.

La confiabilidad del constructo, evaluada por la confiabilidad compuesta y el alfa de Cronbach reveló una consistencia interna adecuada de las escalas COA y CON (CC y α≥0,70), presentando, la escala COC, valores ligeramente más bajos, conforme la Tabla 2. Los pesos factoriales estandarizados variaban entre 0,38 y 0,88 y la confiabilidad individual de cada uno de los ítems, entre 0,15 y 0,78 (Figura 3).

Tabla 2
Análisis de la confiabilidad de constructo, validez convergente y validez discriminante de los factores del Cuestionario del Compromiso Organizacional (modelo refinado), en una muestra de enfermeros de las regiones Centro y Norte de Portugal, 2015

Factores	N.º de itens	CC⃰	α†	VEM‡	ρ2§
COA||	4	0,81	0,82	0,52	0,01 - 0,46
COC¶	4	0,67	0,65	0,36	0,01 - 0,05
CON**	5	0,82	0,81	0,49	0,05 - 0,46

• *CC - Confiabilidad compuesta; †α - alfa de Cronbach; ‡VEM - Varianza extraída de la media; §ρ² - Cuadrado de la correlación entre los factores; ||COA - Compromiso organizacional afectivo; ¶COC - Compromiso organizacional de continuidad; **CON - Compromiso organizacional normativo

En lo que se refiere a la validez convergente, es adecuada en la escala COA, encontrándose VEM en el umbral de aceptabilidad para la escala CON, con valor inferior en la escala COC. La comparación de las VEM con los cuadrados de correlación entre los factores reveló validez discriminante de las escalas.

El análisis de la invarianza factorial del modelo, simultánea, en las dos muestras independientes (prueba y validación), demostró índices de ajuste adecuados en la solución factorial final (χ²/df = 4,18; CFI=0,89; GFI=0,91; RMSEA=0,06; MECVI=0,82). No se comprueban diferencias estadísticamente significativas en el ajuste global del modelo entre las dos muestras, al comparar el modelo libre con un modelo contrito, con relación a la estructura de pesos factoriales, interceptos y covarianzas de los factores (λ:Δχ²(10)=16,37; p=0,090; Interceptos: Δχ²(13)=21,73; p=0,060; Covarianza: Δχ²(6)=8,89; p=0,180; Residuos: Δχ²(13)=23,32; p=0,038). Se comprueba, de esta manera, la invarianza de medida fuerte, en las dos muestras, confirmando la validez externa de esta estructura factorial en esta versión reducida del instrumento, conforme la Figura 3.

Discusión

El presente estudio examinó las propiedades psicométricas de una muestra de CCO en el contexto de la enfermería portuguesa confirmándose así la estructura tridimensional para evaluación del compromiso organizacional

en los componentes afectivo, de continuidad y normativo, como postulado por los autores del modelo(2,8).

Dada la importancia de este instrumento para la definición y operacionalización del constructo del compromiso organizacional en enfermería, este estudio tuvo como objetivo contribuir para la evaluación de la validez, la fiabilidad y la invarianza de un modelo adaptado a la realidad portuguesa, estableciéndose como una etapa preliminar al desarrollo de otras investigaciones.

Teniendo en cuenta esta evaluación objetiva de las propiedades psicométricas de la versión portuguesa del CCO y a pesar de haberse determinado como adecuada una muestra de 255 individuos, se decidió utilizar una muestra de tamaño mayor que la recomendada normalmente, para realizar el análisis de las ecuaciones estructurales, con el intuito de traducir adecuadamente la variabilidad poblacional, así como permitir el análisis de invarianza.

Los resultados de la investigación, sostenidos por fundamentación teórica, semántica y conceptual, condujeron a la necesidad de adaptar la versión original, obteniendo un modelo simplificado, con la remoción de un ítem de las escalas COA y CON y de tres ítems de la escala COC. Este modelo evidencia un ajuste mejor a las características de la muestra en estudio, en comparación con los resultados obtenidos para el modelo original.

Los estudios anteriores evidenciaron que ya era una práctica común adaptar las versiones simplificadas del CCO por modelos anidados, de acuerdo con los diversos contextos culturales, identificándose modelos con diferente número de ítems^3,10,32-34.

En el trabajo de traducción y validación inicial para el contexto portugués, se eliminó el ítem 10 por inadecuación a la estructura factorial. Este estudio sugiere que en investigaciones futuras, se elimine el ítem 19, por encontrarse en el umbral de aceptabilidad³.

Un estudio de validación para el contexto brasileño identifica también el ítem 10 en el componente afectivo³³. Cabe señalar que la palabra lealtad, presente en este ítem, clasificada como normativa, podría ser, según algunos autores, un indicador de compromiso afectivo, como interpretación de la cultura portuguesa^33,35-36.

Las divergencias encontradas entre los diferentes modelos se pueden deber al hecho de que las soluciones resultantes del análisis factorial exploratorio, con recurso a rotación ortogonal de los factores, consideren que cada elemento satura sólo en un factor. Por esta razón, en la evaluación de estos modelos a través del análisis confirmatorio, es común que los índices de modificación identifiquen ítems que se reflejan en diferentes factores, condicionando la calidad del ajuste, hecho frecuente en el caso de las ciencias sociales y humanas²⁴.

El análisis de la confiabilidad y la consistencia interna del modelo reveló adecuación en las escalas COA y CON, con valor ligeramente inferior en la escala COC, aunque otros autores los consideren adecuados. Estos resultados se aproximan a los valores de la escala original y de otros estudios^12,31-32,37, a pesar de ser inferiores a los del estudio anterior de esta versión portuguesa³.

Con respecto a la validez de constructo, en general los pesos factoriales son superiores a 0,50, existiendo apenas dos ítems de la escala COC con valores inferiores, lo que condiciona su fiabilidad individual y la validez factorial. La validez convergente, evaluada por la VEM, se reveló en el umbral de aceptabilidad en las escalas COA y CON, ligeramente inferior en la escala COC, debido a la elevada variabilidad en los pesos factoriales de los ítems. Sin embargo, se comprueba la validez discriminante de todas las escalas.

De acuerdo con algunos autores, los pesos factoriales iguales o superiores a 0,30 o 0,40 son aceptables en un análisis exploratorio de ciencias sociales^30,38. Sin embargo, en un análisis factorial confirmatorio, valores inferiores a 0,50 ponen en cuestión la validez factorial y, como consecuencia, la convergente, al condicionar el valor de la VEM²⁴. No obstante, en Portugal, estudios anteriores evidenciaron pesos factoriales en el orden de 0,35 en el estudio inicial de validación del CCO para el contexto portugués, igual a un estudio de validación de las escalas COA y COC para trabajadores de call center portugueses^3,32.

Los valores bajos comprobados en los ítems 3 (λ=0,44) y 13 (λ=0,38) pueden estar asociados a problemas de interpretación cultural de los mismos, derivados del proceso de adaptación para el contexto de enfermería portuguesa. Cabe resaltar que también el ítem 1 ha sido removido del modelo simplificado por presentar peso factorial muy bajo.

Sin embargo, por cuestiones teóricas y dado que estos elementos pertenecen a la escala COC, a nivel de la cual se verificó una mayor necesidad de ajuste con la remoción de tres ítems (1, 14 y 19), se optó por mantener los ítems 3 y 13, en el modelo en estudio, dada su importancia para la garantía de la evaluación de constructo latente del compromiso de continuidad.

Todas las modificaciones asociadas a la escala COC podrían deberse al hecho de que, en teoría, este factor puede ser subdividido. El enfoque bidimensional incluye un factor relacionado con la percepción de la ausencia de alternativas y oportunidades de empleo y otro asociado a la percepción de sacrificios derivados de la salida de la organización. Sin embargo, es frecuente que estos dos factores estén fuertemente correlacionados aunque la evidencia científica sea ambivalente en lo que se refiere a la dimensión del COC, con estudios que sostienen ambas perspectivas, unidimensionales y bidimensionales³⁹.

En el contexto de la estructura factorial, los autores de la escala^2,8 afirman que los componentes afectivo, continuidad y normativo son independientes, pensamiento sustentado por diversos estudios. No obstante, dada la evidencia de correlación fuerte entre las escalas COA y CON, presente en la mayoría de los estudios, incluyendo el actual, se ha cuestionado la pertinencia de su utilización de manera disociada, habiendo estudios que consideran la escala COA y la COC solamente^7,32.

A pesar de las limitaciones encontradas sobre la validez de constructo, cabe destacar la estabilidad de esta solución factorial, comprobándose la invarianza de medida fuerte del modelo en dos muestras independientes.

Por lo tanto, estos resultados expresan que el modelo propuesto demuestra idoneidad para evaluar el compromiso de la organización en el contexto de la enfermería portuguesa.

Sin embargo, cabe señalar que los resultados obtenidos deben analizarse teniendo en cuenta las limitaciones del estudio, en particular, en relación con la validez de constructo y el tipo de muestra.

En este contexto, es necesario realizar estudios adicionales, principalmente con diferentes unidades de la muestra para el análisis de las diversas estructuras de los factores, teniendo en cuenta la posibilidad de disociación de la escala del compromiso afectivo con el intuito de identificar el modelo más apropiado para el contexto cultural de la enfermería portuguesa.

Conclusión

Esta investigación contribuye para el estudio de las cualidades psicométricas del CCO en el contexto de la enfermería portuguesa. El análisis factorial confirmatorio y la investigación de la especificación sustentaron el refinamiento del modelo original, confirmando la invarianza de medida fuerte del modelo tridimensional simplificado, en dos muestras independientes. No obstante, se identificaron algunas limitaciones en el nivel de confiabilidad y validez de constructo, mostrando la necesidad de estudios adicionales.

El CCO se muestra, de esta manera, como un instrumento ajustado para el monitoreo y la evaluación del compromiso organizacional de los recursos humanos de enfermería, en el contexto portugués.

References

• ¹
  Lima MP, Costa VMF, Lopes LFD, Balsan LAG, Santos AS, Tomazzoni GC. Levels of career commitment and career entrenchment of nurses from public and private hospitals. Rev. Latino-Am. Enfermagem. 2015; 23(6):1033-40. doi: http://dx.doi.org/10.1590/0104-1169.0211.2646.
  » https://doi.org/10.1590/0104-1169.0211.2646
• ²
  Meyer JP, Allen NJ. A Three-Component Conceptualization of Organizational Commitment. Hum Resour Manag Rev. 1991; 1(1):61-89. doi: http://dx.doi.org/10.1016/1053-4822(91)90011-Z.
  » https://doi.org/10.1016/1053-4822(91)90011-Z
• ³
  Nascimento JL, Lopes A, Salgueiro MF. Estudo sobre a validação do "Modelo de Comportamento Organizacional" de Meyer e Allen para o contexto português. Comport Organ Gest. [Internet]. 2008 [cited Apr 8, 2017]; 14(1):115-33. Available from: http://www.scielo.mec.pt/pdf/cog/v14n1/v14n1a08.pdf Portuguese.
  » http://www.scielo.mec.pt/pdf/cog/v14n1/v14n1a08.pdf
• ⁴
  Franco M, Franco S. Organizational commitment in family SMEs and its influence on contextual performance. Team Perform Manag An Int J. 2017; 23(7/8):364-84. doi: http://dx.doi.org/10.1108/TPM-05-2016-0020
  » http://dx.doi.org/10.1108/TPM-05-2016-0020
• ⁵
  Kim YI, Geun HG, Choi S, Lee YS. The impact of organizational commitment and nursing organizational culture on job satisfaction in Korean American Registered Nurses. J Transcult Nurs. 2017; 28(6):590-7. doi: http://dx.doi.org/10.1177/1043659616666326.
  » https://doi.org/10.1177/1043659616666326
• ⁶
  Karami A, Farokhzadian J, Foroughameri G. Nurses' professional competency and organizational commitment: Is it important for human resource management? PLoS One. 2017; 12(11):e0187863. doi: http://dx.doi.org/10.1371/journal.pone.0187863.
  » https://doi.org/10.1371/journal.pone.0187863
• ⁷
  Jaros S. Meyer and Allen Model of Organizational Commitment?: Measurement Issues. Icfai J Organ Behav. [Internet]. 2007 [cited Apr 11, 2017]; 6(4):7-26. Available from: https://pdfs.semanticscholar.org/7546/2d9094b420466ad68c404527c7b6cb38d040.pdf
  » https://pdfs.semanticscholar.org/7546/2d9094b420466ad68c404527c7b6cb38d040.pdf
• ⁸
  Meyer JP, Allen NJ. Commitment in the Workplace: Theory, Research and Application. Thousand Oaks: SAGE Publications; 1997. 150 p. doi: http://dx.doi.org/10.4135/9781452231556.
  » https://doi.org/10.4135/9781452231556
• ⁹
  Gabrani A, Hoxha A, Gabrani J, Petrela E, Zaimi E, Avdullari E. Perceived organizational commitment and job satisfaction among nurses in Albanian public hospitals: A cross-sectional study. Int J Healthc Manag. 2016; 9(2):110-8. doi: http://dx.doi.org/10.1179/2047971915Y.0000000019.
  » https://doi.org/10.1179/2047971915Y.0000000019
• ¹⁰
  Meyer JP, Stanley DJ, Jackson TA, McInnis KJ, Maltin ER, Sheppard L. Affective, normative, and continuance commitment levels across cultures: A meta-analysis. J Vocat Behav. 2012; 80(2):225-45. doi: http://dx.doi.org/10.1016/j.jvb.2011.09.005.
  » https://doi.org/10.1016/j.jvb.2011.09.005
• ¹¹
  Goh CY, Marimuthu M. The Path towards Healthcare Sustainability: The Role of Organisational Commitment. Procedia Soc Behav Sci. 2016; 224:587-92. doi: http://dx.doi.org/10.1016/j.sbspro.2016.05.445.
  » https://doi.org/10.1016/j.sbspro.2016.05.445
• ¹²
  Nunes EMGT, Gaspar MFM. Quality of the leader-member relationship and the organizational commitment of nurses. Rev Esc Enferm USP. 2017; 51:e03263. doi: http://dx.doi.org/10.1590/S1980-220X2016047003263.
  » https://doi.org/10.1590/S1980-220X2016047003263
• ¹³
  Wong CA, Spence Laschinger HK. The influence of frontline manager job strain on burnout, commitment and turnover intention: A cross-sectional study. Int J Nurs Stud. 2015; 52(12):1824-33. doi: http://dx.doi.org/10.1016/j.ijnurstu.2015.09.006.
  » https://doi.org/10.1016/j.ijnurstu.2015.09.006
• ¹⁴
  Nunes EMGT, Gaspar MFM. Meyer and Allen's Organizational Behavior Model: Study with Nurses. Pensar Enferm. [Internet]. 2014 [cited Apr 8, 2017]; 18(1):14-26. http://pensarenfermagem.esel.pt/files/Artigo2_14_26.pdf Portuguese.
  » http://pensarenfermagem.esel.pt/files/Artigo2_14_26.pdf
• ¹⁵
  Vagharseyyedin S. An integrative review of literature on determinants of nurses&apos; organizational commitment. Iran J Nurs Midwifery Res. 2016; 21(2):107-17. doi: http://dx.doi.org/10.4103/1735-9066.178224.
  » https://doi.org/10.4103/1735-9066.178224
• ¹⁶
  Baird KM, Tung A, Yu Y. Employee organizational commitment and hospital performance. Health Care Manage Rev. 2017; Sep 15. doi: http://dx.doi.org/10.1097/HMR.0000000000000181
  » http://dx.doi.org/10.1097/HMR.0000000000000181
• ¹⁷
  Ordem dos Enfermeiros. Dados estatísticos dos membros activos em 31-12-2016. [Internet]. 2017. [Acesso 11 abril 2017]; 2017. Disponível em: http://www.ordemenfermeiros.pt/Documents/2016_DadosEstatisticos_00_Nacionais.pdf Portuguese.
  » http://www.ordemenfermeiros.pt/Documents/2016_DadosEstatisticos_00_Nacionais.pdf
• ¹⁸
  Gupta V, Agarwal UA, Khatri N. The relationships between perceived organizational support, affective commitment, psychological contract breach, organizational citizenship behaviour and work engagement. J Adv Nurs. 2016; 72(11):2806-17. doi: http://dx.doi.org/10.1111/jan.13043.
  » https://doi.org/10.1111/jan.13043
• ¹⁹
  Santos A, Chambel MJ, Castanheira F. Relational job characteristics and nurses' affective organizational commitment: The mediating role of work engagement. J Adv Nurs. 2016; 72(2):294-305. doi: http://dx.doi.org/10.1111/jan.12834.
  » https://doi.org/10.1111/jan.12834
• ²⁰
  Rodrigues A, Queirós A, Pires C. A influência do marketing interno nas atitudes e comportamentos dos colaboradores: aplicação a uma organização de cuidados sociais e de saúde. Rev Port Saúde Pública. 2016; 34(3):292-304. doi: http://dx.doi.org/10.1016/j.rpsp.2016.08.001. Portuguese.
  » https://doi.org/10.1016/j.rpsp.2016.08.001
• ²¹
  Osei HV, Osei-Kwame D, Osei Amaniampong L. The effects of individual mechanisms on work self-efficacy of nurses: The mediating role of organizational commitment. Int J Healthc Manag. 2017; 10(4):219-37. doi: http://dx.doi.org/10.1080/20479700.2016.1268798.
  » https://doi.org/10.1080/20479700.2016.1268798
• ²²
  Pereira I, Veloso A, Silva IS, Costa P. Compromisso organizacional e satisfação laboral: um estudo exploratório em unidades de saúde familiar portuguesas. Cad Saúde Pública. 2017; 33(4):e00153914. doi: http://dx.doi.org/10.1590/0102-311x00153914. Portuguese.
  » https://doi.org/10.1590/0102-311x00153914
• ²³
  Westland JC. Lower bounds on sample size in structural equation modeling. Electron Commer Res Appl. 2010; 9(6):476-87. doi: http://dx.doi.org/10.1016/j.elerap.2010.07.003.
  » https://doi.org/10.1016/j.elerap.2010.07.003
• ²⁴
  Marôco J. Análise de Equações Estruturais: Fundamentos teóricos, Software & Aplicações. 2nd ed. Pêro Pinheiro: Report Number; 2014. 389 p. Portuguese.
• ²⁵
  Souza AC, Alexandre NMC, Guirardello EB. Psychometric properties in instruments evaluation of reliability and validity Propiedades. Epidemiol Serv Saúde. 2017; 26(3):649-59. doi: http://dx.doi.org/10.5123/S1679-49742017000300022.
  » https://doi.org/10.5123/S1679-49742017000300022
• ²⁶
  Hair JF, Babin BJ, Krey N. Covariance-Based Structural Equation Modeling in the Journal of Advertising: Review and Recommendations. J Advert. 2017; 46(1):163-77. doi: http://dx.doi.org/10.1080/00913367.2017.1281777.
  » https://doi.org/10.1080/00913367.2017.1281777
• ²⁷
  Rios J, Wells C. Validity evidence based on internal structure. Psicothema. 2014; 26(1):108-16. doi: http://dx.doi.org/10.7334/psicothema2013.260.
  » https://doi.org/10.7334/psicothema2013.260
• ²⁸
  Damásio BF. Contribuições da Análise Fatorial Confirmatória Multigrupo (AFCMG) na avaliação de invariância de instrumentos psicométricos. Psico-USF. 2013; 18(2):211-20. doi: http://dx.doi.org/10.1590/S1413-82712013000200005. Portuguese.
  » https://doi.org/10.1590/S1413-82712013000200005
• ²⁹
  Fornell C, Larcker DF. Evaluating Structural Equation Models with Unobservable Variables and Measurement Error. J Mark Res. 1981;18(February):39-50. doi: http://dx.doi.org/10.2307/3151312.
  » https://doi.org/10.2307/3151312
• ³⁰
  Matsunaga M. How to Factor-Analyze Your Data Right: Do's, Don'ts, and How-To's. Int J Psychol Res. 2010; 3(1):97-110. doi: http://dx.doi.org/10.21500/20112084.854.
  » https://doi.org/10.21500/20112084.854
• ³¹
  Allen NJ, Meyer JP. The measurement and antecedents of affective, continuance and normative commitment to the organization. J Occup Psychol. 1990; 63:1-18. doi: http://dx.doi.org/10.1111/j.2044-8325.1990.tb00506.x.
  » https://doi.org/10.1111/j.2044-8325.1990.tb00506.x
• ³²
  Pais L, Castro CS, Mónico LSM. Affective and Continuance Commitment in Call Centres: Validation of Meyer and Allen Questionnaire. In: International Multidisciplinary Scientific Conference on Social Sciences and Arts SGEM2014. 2014. p. 11-8. doi: http://dx.doi.org/10.5593/sgemsocial2014/B11/S1.002
  » http://dx.doi.org/10.5593/sgemsocial2014/B11/S1.002
• ³³
  Medeiros CAF, Enders WT. Validação do modelo de conceitualização de três componentes do comprometimento organizacional (Meyer e Allen, 1991). Rev Adm Contemp. 1998; 2(3):67-87. doi: http://dx.doi.org/10.1590/S1415-65551998000300005. Portuguese.
  » https://doi.org/10.1590/S1415-65551998000300005
• ³⁴
  Chang HY, Shyu YIL, Wong MK, Chu TL, Lo YY, Teng CI. How does burnout impact the three components of nursing professional commitment? Scand J Caring Sci. 2017; 31(4):1003-11. doi: http://dx.doi.org/10.1111/scs.12425.
  » https://doi.org/10.1111/scs.12425
• ³⁵
  Lapointe É, Vandenberghe C. Supervisory mentoring and employee affective commitment and turnover: The critical role of contextual factors. J Vocat Behav. 2017; 98:98-107. doi: http://dx.doi.org/10.1016/j.jvb.2016.10.004.
  » https://doi.org/10.1016/j.jvb.2016.10.004
• ³⁶
  Ruiller C, Van Der Heijden BIJM. Socio-emotional support in French hospitals: Effects on French nurses' and nurse aides' affective commitment. Appl Nurs Res. 2016; 29:229-36. doi: http://dx.doi.org/10.1016/j.apnr.2015.06.006.
  » https://doi.org/10.1016/j.apnr.2015.06.006
• ³⁷
  Betanzos-Díaz N, Rodríguez-Loredo CS, Paz-Rodríguez F. Development and validation of a questionnaire on normative organizational commitment?: A pilot study in Mexicans workers The construct of the organizational commitment has its. An Psicol. 2017; 33(2):393-402. doi: http://dx.doi.org/10.6018/analesps.33.2.235211.
  » https://doi.org/10.6018/analesps.33.2.235211
• ³⁸
  Floyd FJ, Widaman KF. Factor analysis in the development and refinement of clinical assessment instruments. Psychol Assess. 1995; 7(3):286-99. doi: http://dx.doi.org/10.1037/1040-3590.7.3.286.
  » https://doi.org/10.1037/1040-3590.7.3.286
• ³⁹
  Meyer JP, Morin AJS, Vandenberghe C. Dual commitment to organization and supervisor: A person-centered approach. J Vocat Behav. 2015; 88:56-72. doi: http://dx.doi.org/10.1016/j.jvb.2015.02.001.
  » https://doi.org/10.1016/j.jvb.2015.02.001

• 1
  Apoyo financiero de la Escola Superior de Enfermagem de Coimbra (ESEnfC), Portugal, de la Unidade de Investigação em Ciências da Saúde: Enfermagem (UICISA:E), Portugal, y de la Fundação para a Ciência e a Tecnologia, I.P. (FCT), Projecto Ref.ª UID/DTP/00742/2013, Portugal.

Fechas de Publicación

• Publicación en esta colección
  2018

Histórico

• Recibido
  28 Jul 2017
• Acepto
  06 Mayo 2018