Acessibilidade / Reportar erro

Construcción y validación de instrumento para evaluación de egresados de la graduación en enfermería1 1 Artículo parte de la tesis doctoral "Development and validation of an instrument for the assessment of graduates of undergraduate nursing", presentada a la Escola Paulista de Enfermagem, Universidade Federal de São Paulo, São Paulo, SP, Brasil. Apoyo financiero de la Fundação de Amparo à Pesquisa do Estado de Minas Gerais (FAPEMIG), proceso nº 91608/11.

Resumen

Objetivo:

construir un instrumento para evaluación de egresados de cursos de graduación en enfermería y validar ese instrumento a través del consenso de especialistas.

Método:

estudo metodológico. Para la elaboración del instrumento, se realizó análisis documental y revisión de literatura. La validación se realizó por Conferencia Delphi, entre septiembre de 2012 y septiembre de 2013, de la cual participaron 36 especialistas de la Enfermería brasileña. Para el análisis de confiabilidad, se calculó el coeficiente alfa de Cronbach, la correlación ítem/total y el coeficiente de correlación de Pearson.

Resultados:

el instrumento fue construido con la participación de especialistas enfermeros, representantes de todas las regiones del país, con experiencia en docencia e investigación. La primera rodada Delphi generó alteraciones en el primer instrumento, el que fue reestructurado y sometido a una nueva rodada, con tasa de respuesta de 94,44%. En la segunda rodada, se validó el instrumento con alfa de Cronbach de 0,75.

Conclusión:

el instrumento final posee tres dimensiones: caracterización del egresado, introducción en el mercado de trabajo y evaluación del proceso de formación profesional. El instrumento podrá ser utilizado en el territorio nacional por basarse en las directrices curriculares y contribuir con el proceso de regulación de la calidad de los cursos de graduación en enfermería.

Descriptores:
Estudios de Validación; Enfermeros; Evaluación en Enfermería; Educación en Enfermería

Abstract

Objective:

to construct an instrument for the assessment of graduates of undergraduate nursing courses and to validate this instrument through the consensus of specialists.

Method:

methodological study. In order to elaborate the instrument, documental analysis and a literature review were undertaken. Validation took place through use of the Delphi Conference, between September 2012 and September 2013, in which 36 specialists from Brazilian Nursing participated. In order to analyze reliability, the Cronbach alpha coefficient, the item/total correlation, and the Pearson correlation coefficient were calculated.

Results:

the instrument was constructed with the participation of specialist nurses representing all regions of Brazil, with experience in lecturing and research. The first Delphi round led to changes in the first instrument, which was restructured and submitted to another round, with a response rate of 94.44%. In the second round, the instrument was validated with a Cronbach alpha of 0.75.

Conclusion:

the final instrument possessed three dimensions related to the characterization of the graduate, insertion in the job market, and evaluation of the professional training process. This instrument may be used across the territory of Brazil as it is based on the curricular guidelines and contributes to the process of regulation of the quality of the undergraduate courses in Nursing.

Descriptors:
Validation Studies; Nurses; Nursing Assessment; Education, Nursing

Resumo

Objetivo:

construir um instrumento para a avaliação de egressos de cursos de graduação em enfermagem e validar esse instrumento pelo consenso de especialistas.

Método:

estudo metodológico. Para a elaboração do instrumento, realizou-se análise documental e revisão de literatura. A validação ocorreu por Conferência Delphi, entre setembro de 2012 e setembro de 2013, da qual participaram 36 especialistas da Enfermagem brasileira. Para a análise de confiabilidade, calculou-se o coeficiente alfa de Cronbach, a correlação item/total e o coeficiente de correlação de Pearson.

Resultados:

o instrumento foi construído com a participação de especialistas enfermeiros, representantes de todas as regiões do país, com experiência em docência e pesquisa. A primeira rodada Delphi gerou alterações no primeiro instrumento, que foi reestruturado e submetido a nova rodada, com taxa de resposta de 94,44%. Na segunda rodada, validou-se o instrumento com alfa de Cronbach de 0,75.

Conclusão:

o instrumento final possui três dimensões relacionadas à caracterização do egresso, inserção no mercado de trabalho e avaliação do processo de formação profissional. Esse instrumento pode ser utilizado em território nacional por basear-se nas diretrizes curriculares e contribuir com o processo de regulação da qualidade dos cursos de graduação em enfermagem.

Descritores:
Estudos de Validação; Enfermeiras e Enfermeiros; Avaliação em Enfermagem; Educação em Enfermagem

Introducción

La educación es un derecho social y un deber del Estado, esto de acuerdo con la constitución brasileña. Ese principio es el fundamento de la responsabilidad social de las instituciones educativas. Las Instituciones de Enseñanza Superior (IES) deben prestar cuentas a la sociedad sobre el cumplimiento de sus responsabilidades, en relación a: formación académica científica, profesional, ética y política de los ciudadanos; producción de conocimientos; y, promoción del avance de la ciencia y de la cultura11. Ministério da Educação (BR). Instituto Nacional de Estudos e Pesquisas Educacionais. SINAES - Sistema Nacional de Avaliação da Educação Superior: da concepção à regulamentação. 2 ed. Ampliada. Brasília: INEP; 2004..

En ese contexto, es necesaria la evaluación de cursos, aspecto éste complejo en el panorama de la educación universitaria, una vez que en la calidad de esos cursos - incluyendo los de formación en Enfermería - participan múltiples dimensiones que deben tener interconexiones e incorporar los deseos de la profesión y de la comunidad de introducción, considerando la realidad concreta y el futuro a ser construido22. Teixeira E, Fernandes JD, Andrade AC, Silva KL, Rocha MEMO, Lima RJO. Panorama dos cursos de graduação em enfermagem no Brasil na década das Diretrizes Curriculares Nacionais. Rev Bras Enferm. [Internet]. 2013 [Acesso 29 ago 2014];66(n. esp):102-10. Disponível em: http://dx.doi.org/10.1590/S0034-71672013000700014
http://dx.doi.org/10.1590/S0034-71672013...
-33. Ide CAC, Arantes SL, Mendonça MK, Silva VR, Del Corona ARP. Evaluation of the implementation of the integrated curriculum in the nursing undergraduate program. Acta Paul Enferm. [Internet]. 2014 [Acesso 30 jan 2015];27(4):340-7. Disponível em: http://dx.doi.org/10.1590/1982-0194201400057
http://dx.doi.org/10.1590/1982-019420140...
. En el proceso de evaluación de la adecuación de la formación superior, el egresado es una importante fuente de información que debe componer otras iniciativas de evaluación institucional44. Higa EFR, Gomes R, Carvalho MHR, Guimarães APC, Taipeiro EF, Hafner MLMB, et al. Perceptions of nursing alumni regarding the course contribution in providing health care. Texto Contexto Enferm. [Internet]. 2013 [Acesso 30 ago 2014];22(1):97-105. Disponível em: http://dx.doi.org/10.1590/S0104-07072013000100012
http://dx.doi.org/10.1590/S0104-07072013...
.

La práctica de la evaluación de egresados en territorio nacional todavía es incipiente, considerando el acelerado y desordenado crecimiento de cursos y la oferta de cupos de graduación en Enfermería, sin el debido acompañamiento de su calidad y sin considerar las diferentes realidades sociodemográficas del país, a pesar de la existencia de relevantes investigaciones con egresados de cursos de Enfermería, los que aportaron importantes informaciones para la elaboración de otras investigaciones acerca de la Educación en Enfermería. Existe la necesidad de ampliarlas en las instituciones de enseñanza, tanto públicas como privadas, con la finalidad de conocer: las dificultades y las facilidades; los mecanismos de enfrentamiento y cómo la formación ha contribuido durante ese proceso; y, las particularidades del proceso de formación en Enfermería en las diferentes regiones del país, con la finalidad de suministrar informaciones para realizar mejorías que puedan perfeccionar las prácticas pedagógicas, en esa trayectoria, y el desarrollo profesional del Enfermero22. Teixeira E, Fernandes JD, Andrade AC, Silva KL, Rocha MEMO, Lima RJO. Panorama dos cursos de graduação em enfermagem no Brasil na década das Diretrizes Curriculares Nacionais. Rev Bras Enferm. [Internet]. 2013 [Acesso 29 ago 2014];66(n. esp):102-10. Disponível em: http://dx.doi.org/10.1590/S0034-71672013000700014
http://dx.doi.org/10.1590/S0034-71672013...
,55. Canever BP, Gomes DC, Jesus BH, Spillere LB, Prado ML, Backes VMS. Process of training and insertion in the labor market: a vision of nursing graduates. Rev Gaúcha Enferm. [Internet]. 2014 [Acesso 30 jan 2015];35(1):87-93. Disponível em: http://dx.doi.org/10.1590/1983-1447.2014.01.43279
http://dx.doi.org/10.1590/1983-1447.2014...

6. Colenci R, Berti HW. Professional development and entering the labor market: the perceptions of nursing graduates. Rev Esc Enferm USP. [Internet]. 2012 [Acesso 30 ago 2014];46(1):153-61. Disponível em: http://dx.doi.org/10.1590/S0080-62342012000100022
http://dx.doi.org/10.1590/S0080-62342012...
-77. Jesus BH, Gomes DC, Spillere LBB, Prado ML, Canever BP. Inserção no mercado de trabalho: trajetória de egressos de um curso de graduação em enfermagem. Esc Anna Nery. [Internet]. 2013 [Acesso 8 ago 2014];17(2):336-45. Disponível em: http://dx.doi.org/10.1590/S1414-81452013000200019
http://dx.doi.org/10.1590/S1414-81452013...
.

Conocer la trayectoria profesional de los egresados es una forma de analizar, comprender y reflexionar sobre cuestiones relativas a la enseñanza de Enfermería y a las características inherentes al potencial formador de la institución: las exigencias de la sociedad: el producto final del trabajo pedagógico; y, la absorción de esos profesionales en el mercado de trabajo. La búsqueda por la excelencia precisa de evaluación continua, para realizar los ajustes, las construcciones y reformulaciones en el proceso de enseñanza-aprendizaje55. Canever BP, Gomes DC, Jesus BH, Spillere LB, Prado ML, Backes VMS. Process of training and insertion in the labor market: a vision of nursing graduates. Rev Gaúcha Enferm. [Internet]. 2014 [Acesso 30 jan 2015];35(1):87-93. Disponível em: http://dx.doi.org/10.1590/1983-1447.2014.01.43279
http://dx.doi.org/10.1590/1983-1447.2014...
-66. Colenci R, Berti HW. Professional development and entering the labor market: the perceptions of nursing graduates. Rev Esc Enferm USP. [Internet]. 2012 [Acesso 30 ago 2014];46(1):153-61. Disponível em: http://dx.doi.org/10.1590/S0080-62342012000100022
http://dx.doi.org/10.1590/S0080-62342012...
. A partir del conocimiento de la real influencia de la educación superior en la Enfermería, en la introducción del egresado en el mercado de trabajo, de las fragilidades y potencialidades de esa formación en la carrera profesional, es que se podrá evaluar cualitativamente, la efectividad de los cursos de graduación en la formación de sujetos críticos y reflexivos y capaces de lidiar con los desafíos sociales y éticos de su ejercicio profesional en el mundo actual55. Canever BP, Gomes DC, Jesus BH, Spillere LB, Prado ML, Backes VMS. Process of training and insertion in the labor market: a vision of nursing graduates. Rev Gaúcha Enferm. [Internet]. 2014 [Acesso 30 jan 2015];35(1):87-93. Disponível em: http://dx.doi.org/10.1590/1983-1447.2014.01.43279
http://dx.doi.org/10.1590/1983-1447.2014...
.

Algunos estudios y publicaciones gubernamentales - descritos en una revisión - publicados en el período de 2001 a 2011, mostraron una gran diversidad relativa a los instrumentos de recolección de datos que buscaban evaluar el egresado en lo que se refiere a su formación profesional88. Vieira MA, Souza E Souza LP, Ohara CVS, De Domenico EBL. Avaliação com egressos da graduação em enfermagem: publicações nacionais entre 2001-2011. Hist Enferm Rev Eletr. [Internet]. 2014 [Acesso 8 ago 2014];5(1):35-53. Disponível em: http://www.abennacional.org.br/centrodememoria/here/vol5num1artigo4.pdf
http://www.abennacional.org.br/centrodem...
. Se verificó, en esas publicaciones, que esos instrumentos enfatizaban determinados aspectos en detrimento de otros, que faltaban indicadores para reconocer e identificar la contribución del curso en el ámbito de la propuesta de la IES y de la sociedad y que había valorización, a veces excesiva, de datos cuantitativos, que poco posibilitaban a los egresados agregar a sus percepciones referentes a la composición y a la pertinencia del conjunto de los elementos evaluados, de modo a producir una visión integral e integrada del curso. Se observó, además, que faltaba consenso en los ítems y contenidos de evaluación presentes en esos instrumentos de recolección de dados y que había poca consonancia de esos con los presupuestos contenidos en las Directrices Curriculares Nacionales para el área de la Enfermería (DCN/ENF) que, desde 2001, deben guiar las propuestas pedagógicas curriculares en el Brasil88. Vieira MA, Souza E Souza LP, Ohara CVS, De Domenico EBL. Avaliação com egressos da graduação em enfermagem: publicações nacionais entre 2001-2011. Hist Enferm Rev Eletr. [Internet]. 2014 [Acesso 8 ago 2014];5(1):35-53. Disponível em: http://www.abennacional.org.br/centrodememoria/here/vol5num1artigo4.pdf
http://www.abennacional.org.br/centrodem...
-99. Ministério da Educação (BR) Conselho Nacional de Educação. Câmara de Educação Superior. Resolução CNE/CES N. 3, de 07 de novembro de 2001. Institui as Diretrizes Curriculares Nacionais do Curso de Graduação em Enfermagem. Diário Oficial da República Federativa da União. Brasília, 09 nov. 2001. Seção 1, p. 37. Brasília (DF): Ministério da Educação; 2001..

Esos hallazgos revelaron vacíos en relación a la evaluación de los cursos de Enfermería, a partir de la perspectiva de los egresados y, sobre todo, en consonancia con los presupuestos contenidos en las DNC/ENF. Dentro de esa perspectiva, se formuló la siguiente pregunta de investigación: ¿Cuáles son los contenidos o criterios de evaluación que deben constar en un instrumento de evaluación de egresados de Cursos de Graduación en Enfermería?

Este estudio tuvo como objetivos construir un instrumento de recolección de datos para la evaluación de egresados de Cursos de Graduación en Enfermería y validar ese instrumento por medio del consenso de un grupo de especialistas.

Método

Delineamiento de la investigación

Estudio metodológico, constituido por dos partes: a) construcción de instrumento de recolección de datos para la evaluación de egresados graduados en Enfermería, y b) validación de ese instrumento por medio de la técnica Delphi, que busca obtener consenso de opiniones de un grupo de especialistas, por medio de validaciones articuladas en fases, ciclos, rodadas (rounds)1010. Massaud C. Prospecção de cenário método Delphi [Interrnet]. 2008. [Acesso 28 jan 2014]. Disponível em: http://www.clovis.massaud.nom.br/prospec.htm.
http://www.clovis.massaud.nom.br/prospec...
. Se adoptó, en este estudio, un índice de 70% como siendo el nivel mínimo de consenso, en la etapa final de la técnica Delphi1111. Grant JS, Kinney MR. Using the Delphi technique to examine the content: vatity of nursing diagnoses. Nurs Diagn. 1992;3(1):12-22.-1212. Wright JTC, Giovinazzo RA. Delphi: uma ferramenta de apoio ao planejamento prospectivo. Cad Pesq Adm. 2000;1(12):54-65..

La validación del instrumento fue realizada por un grupo de especialistas, constituido por enfermeros brasileños, convidados para participar de este estudio. Los criterios para seleccionar los especialistas fueron los siguientes: ser enfermero; poseer experiencias profesionales en procesos educacionales en el área de la Enfermería; estar vinculado a instituciones de enseñanza, investigación, asistencia o órganos de clase de Enfermería en Brasil; tener título mínimo de doctor; y, aceptar ser integrante del cuadro de especialistas a través de firmar el Término de Consentimiento Libre e Informado (TCLI).

Para esto, fueron seleccionados, en un primer momento, 53 estudiosos del área de educación en Enfermería en Brasil, a los cuales se envió cartas de invitación, con informaciones sobre los objetivos, la descripción de este estudio y los derechos como participantes. De estos, 36 enfermeros respondieron positivamente a la intención de colaborar con esta investigación y devolvieron los TCLEs firmados, aceptando participar de la Conferencia Delphi.

Procedimiento para la recolección de datos

La recolección de datos se inició en septiembre de 2012 - cuando se inició la primera rodada Delphi, después de la aprobación del Comité de Ética en Investigación de la Universidad Federal de Sao Paulo (UNIFESP) - Parecer n°1997/10 - y continuó hasta septiembre de 2013, época de la conclusión de la segunda rodada Delphi.

El instrumento de la primera rodada fue elaborado a partir de una amplia revisión de la literatura para detectar y obtener informaciones acerca del conocimiento producido hasta entonces sobre esa temática88. Vieira MA, Souza E Souza LP, Ohara CVS, De Domenico EBL. Avaliação com egressos da graduação em enfermagem: publicações nacionais entre 2001-2011. Hist Enferm Rev Eletr. [Internet]. 2014 [Acesso 8 ago 2014];5(1):35-53. Disponível em: http://www.abennacional.org.br/centrodememoria/here/vol5num1artigo4.pdf
http://www.abennacional.org.br/centrodem...
. Ese instrumento contenía tres dimensiones: la primera para conocer el perfil personal y profesional del egresado - Caracterización del Egresado - con 10 preguntas cerradas. La segunda (con 8 preguntas cerradas) y la tercera dimensión (con 5 preguntas abiertas) recibieron la denominación de Evaluación del Proceso de Formación Profesional, el que objetiva evaluar los conocimientos requeridos para el ejercicio profesional, de conformidad a lo preconizado por las DCN/ENF99. Ministério da Educação (BR) Conselho Nacional de Educação. Câmara de Educação Superior. Resolução CNE/CES N. 3, de 07 de novembro de 2001. Institui as Diretrizes Curriculares Nacionais do Curso de Graduação em Enfermagem. Diário Oficial da República Federativa da União. Brasília, 09 nov. 2001. Seção 1, p. 37. Brasília (DF): Ministério da Educação; 2001.. Inclusive, considerando el real significado de las directrices en la formación profesional en Enfermería, se debe estar al tanto de las consistencias e inconsistencias retratadas en la literatura científica acerca de las DCN/ENF1313. Fernandes JD, Silva RMO, Teixeira GA, Florencio RMS, Silva LS, Rebouças LCC. Aderência de cursos de graduação em enfermagem às diretrizes curriculares nacionais na perspectiva do Sistema Único de Saúde. Esc Anna Nery. [Internet]. 2013 [Acesso 21 ago 2014];17(1):82-9. Disponível em: http://dx.doi.org/10.1590/S1414-81452013000100012
http://dx.doi.org/10.1590/S1414-81452013...
-1414. Fernandes JD, Rebouças LC. Uma década de Diretrizes Curriculares Nacionais para a Graduação em Enfermagem: avanços e desafios. Rev Bras Enferm. [Internet]. 2013 [Acesso 19 ago 2014];66(n. esp.):95-101. Disponível em: http://dx.doi.org/10.1590/S0034-71672013000700013
http://dx.doi.org/10.1590/S0034-71672013...
.

En ese sentido, la presente investigación se guió en esas directrices, respetándolas como orientadoras de la formación profesional en la graduación en enfermería, en el territorio nacional. Se comprende que, para el proceso de evaluación de egresados, las DCN/ENF, actualmente, constituyen un documento de gran valor y que los resultados de este estudio podrán ayudar a investigadores/educadores a realizar sus actividades y también a reconocer sus potencialidades y fragilidades.

Para responder a las preguntas cerradas del cuestionario referente a la Evaluación del Proceso de Formación Profesional, fue utilizada una escala de tipo Likert, la que trata de un conjunto de ítems presentados como afirmaciones u opiniones para las cuales se solicita la reacción de los participantes, o sea, se presenta cada afirmación y se solicita al sujeto que manifieste su reacción, escogiendo uno de los puntos o categorías de la escala1515. Sampieri RH, Collado CF, Lucio MPB. Metodologia de Pesquisa. 5. ed. Porto Alegre: Mc Graw Hill/Penso; 2013.. Los grados de concordancia de la escala Likert, en este estudio, fueron los siguientes: 1- concuerdo totalmente; 2- concuerdo; 3- no concuerdo ni discuerdo; 4- discuerdo y 5- discuerdo totalmente.

El referido instrumento fue enviado a los 36 especialistas, utilizando el software LimeSurvey, acompañado de una Ficha de Identificación de los Participantes del Panel Delphi e instrucciones de cómo proceder a la evaluación para su validación. Para que los especialistas pudiesen realizar el juzgamiento de cada pregunta presentada en ese primer cuestionario, fue introducido un espacio, al lado de cada pregunta, y, también, se reservaron espacios para la introducción de comentarios y sugestiones, que fuesen necesarias.

Después del recibimiento de los cuestionarios de la primera rodada, estos fueron analizados estadísticamente para determinar la confiabilidad y la validez. A partir de ese análisis, un segundo cuestionario fue elaborado, reflejando las informaciones emitidas por los especialistas en la primera rodada Delphi para asociar los principales argumentos a las diferentes tendencias de las respuestas. También fue enviado un resumen de la etapa anterior al grupo Delphi (para reducir el "ruido semántico", evitando que los participantes se desviasen de los puntos centrales del problema16. Souza PAF, Frade MHLBC, Mendonça DMMV. Um modelo de organização e partilha de informação de enfermagem entre hospital e centro de saúde: estudo Delphi. Acta Paul Enferm [Internet]. 2005 [Acesso 25 ago 2014];18(04):368-81. Disponível em: http://dx.doi.org/10.1590/S0103-21002005000400005
http://dx.doi.org/10.1590/S0103-21002005...
)) y las instrucciones específicas para ese segundo cuestionario.

Análisis de los datos

Para analizar los datos de los cuestionarios de la primera y segunda rodada de la técnica Delphi, fueron utilizados el calculo de porcentaje para comparar la concordancia entre los especialistas, el coeficiente alfa de Cronbach para medir la consistencia interna entre los ítems del cuestionario y, el coeficiente de correlación de Pearson para analizar la relación entre cada una de las tres dimensiones constantes en el cuestionario y el indicador general1515. Sampieri RH, Collado CF, Lucio MPB. Metodologia de Pesquisa. 5. ed. Porto Alegre: Mc Graw Hill/Penso; 2013.,1717. Nunnally JC, Bernstein IH. Psychometric theory. 3 ed. Nova York: McGraw-Hill; 1994.-1818. Pereira JCR. Análise de dados qualitativos: estratégias metodológicas paras as ciências da saúde, humanas e sociais. 3 ed. São Paulo: Editora da Universidade de São Paulo; 2004..

Resultados

Los especialistas, participantes de este estudio, se encontraban, en su mayoría, en el intervalo etario entre 50 y 59 años (44,4%), sexo femenino 33 (91,7%) y residentes en la Región Sur 15 (41,7%), Sureste 11 (30,6%), Centro Oeste 5 (13,8%), Noreste 4 (11,1%) y Norte 1 (2,8%). La mayoría se graduó en la década de los 80 (52,8%), realizó la formación en Stricto Sensu en instituciones universitarias públicas, actuante en la docencia y en la investigación, también en universidades públicas y con tiempo de trabajo de 11 a 20 años (13: 36,0%), seguido de 21 a 30 años (10; 27,8%).

Primera rodada Delphi

Al analizar los índices de alteraciones, de acuerdo con las tres dimensiones del instrumento de evaluación de egresados, a partir de las respuestas de los especialistas al cuestionario de la primera rodada, se verificó que la mayoría de los ítems constantes en la Dimensión 1 - caracterización del egresado: identificación e introducción en el mercado de trabajo, obtuvo un porcentaje inferior a 70%, en la descripción de los ítems de esa dimensión, indicando necesidad de efectuar alteraciones.

Todos los ítems presentes en la Dimensión 2: evaluación del proceso de formación profesional (preguntas cerradas) y en la Dimensión 3: evaluación del proceso de formación profesional (preguntas abiertas) - en la primera rodada Delphi, también necesitaron de modificaciones.

Los resultados del análisis de consistencia interna de los ítems del instrumento utilizado, en la primera rodada de la Conferencia Delphi, se presentan en la Tabla 1.

Tabla 1
Alfa de Cronbach para el instrumento de la primera rodada de la Conferencia Delphi. São Paulo, SP, Brasil, 2014

Según la Tabla 1, el valor del alfa de Cronbach de 0,694 indicó que no hubo consenso entre los especialistas y, por consiguiente, no ocurrió la calibración del instrumento en la primera rodada Delphi. El promedio de la escala del indicador, si el ítem es excluido, reduciría para 4,47 en la dimensión 1, 5,64 en la dimensión 2 y 6,72 en la dimensión 3, mostrando que la mera exclusión no mejoraría la calidad del instrumento en esa primera rodada. La imperfección del instrumento puede ser percibida en la variabilidad acentuada en las respuestas de los participantes, en caso de que el ítem fuese excluido. Mostró, además, la fragilidad existente en la segunda dimensión que exigió cuidado en su reelaboración. En la evaluación de la confiabilidad, por medio del coeficiente de correlación de Pearson, se identificó una relación más ajustada entre la primera y la tercera dimensión. Sin embargo, el valor encontrado en la segunda dimensión indicó discrepancia acentuada entre ese bloque y los demás y esa ocurrencia enfatizó que los ítems de esa dimensión necesitaban de revisión para mejor calibración. También la correlación múltiple al cuadrado mostró que la segunda dimensión expresaba especial cuidado en cuanto a posibles alteraciones en su contenido y forma.

Así, varios ítems del cuestionario de la primera rodada fueron modificados en sus tres dimensiones para atender a los análisis estadísticos y a lo expuesto por los especialistas, con la finalidad de obtener una mayor convergencia entre las dimensiones propuestas en el cuestionario. En relación a las preguntas abiertas de la Dimensión 3, se optó por rehacerlas e introducir la Escala de Referencial Semántica, que ha sido frecuentemente utilizada para evaluar la percepción afectiva de las personas sobre situaciones objetivas y subjetivas, como forma de cuantificar el significado afectivo de las actitudes, opiniones, percepciones, imagen social, personalidad, preferencias e intereses con relación a diferentes contenidos1515. Sampieri RH, Collado CF, Lucio MPB. Metodologia de Pesquisa. 5. ed. Porto Alegre: Mc Graw Hill/Penso; 2013.,1919. Scarparo AF, Laus AM, Azevedo ALCS, Freitas MRI, Gabriel CS, Chaves LDP. Reflexões sobre o uso da Técnica Delphi em pesquisas de enfermagem. Rev RENE. [Internet]. 2012 [Acesso 25 ago 2014];13(1):242-51. Disponível em: http://www.revistarene.ufc.br/revista/index.php/revista/article/view/36/31
http://www.revistarene.ufc.br/revista/in...
. En este estudio, esa escala varió de 1- inadecuado hasta 5- adecuado.

Segunda rodada Delphi

La segunda rodada se inició en agosto de 2013 y tuvo su término en septiembre de 2013, con el retorno de los últimos cuestionarios por los especialistas. Fueron enviados a los 36 especialistas: a) Carta Explicativa - documento con informaciones sobre los análisis estadísticas realizados, las decisiones tomadas por las investigadoras y las instrucciones referentes a la segunda rodada; b) Cuestionario de la Segunda Rodada de Aplicación de la técnica Delphi y agradecimientos por la participación y contribuciones. Fueron recibidos 34 cuestionarios, hubo dos abandonos, hecho que no afectó la validez y la calidad de los resultados de la investigación, porque los abandonos son previstos en el uso de esta técnica, obteniéndose números diferentes de participantes en las rodadas1919. Scarparo AF, Laus AM, Azevedo ALCS, Freitas MRI, Gabriel CS, Chaves LDP. Reflexões sobre o uso da Técnica Delphi em pesquisas de enfermagem. Rev RENE. [Internet]. 2012 [Acesso 25 ago 2014];13(1):242-51. Disponível em: http://www.revistarene.ufc.br/revista/index.php/revista/article/view/36/31
http://www.revistarene.ufc.br/revista/in...
.

Los análisis de las respuestas de los especialistas al cuestionario de la segunda rodada mostraron que, entre los ítems constantes en la Dimensión 1- caracterización del egresado: identificación e introducción en el mercado de trabajo, solamente dos ítems necesitaban de alteraciones. Las demás dimensiones: evaluación del proceso de formación profesional (preguntas cerradas y semiestructuradas), en la segunda rodada de la Conferencia Delphi, no necesitaron de alteración. El análisis de consistencia interna de los ítems del instrumento de la segunda rodada Delphi se encuentra descrita en la Tabla 2.

Tabla 2
Alfa de Cronbach para el Instrumento de la Segunda Rodada de la Conferencia Delphi. São Paulo, SP, Brasil, 2014

La Tabla 2 presentó un valor de alfa=0,750, indicando que el consenso fue alcanzado en relación a lo establecido anteriormente. Así, en esa etapa, se verificó la concordancia entre los especialistas de la Conferencia Delphi, relacionada a la consistencia interna del instrumento para la evaluación de egresados de la Graduación en Enfermería. La tabla muestra, también, los valores de alfa, en caso de excluir el ítem. Se nota que apenas el ítem ¿Con cuanto tiempo de graduada consiguió su primer empleo como enfermera? - mejoraría el indicador, en caso de ser excluido del cuestionario. Entre tanto, esa exclusión no mejoraría significativamente el instrumento, dado que el indicador pasaría de 0,750 para 0,751. En ese sentido, se optó por la no excluirlo y si por modificar el contenido de ese ítem, de conformidad con lo sugerido por los especialistas y por las autoras. Esos análisis y algunas modificaciones en la reconstrucción del segundo instrumento permitieron la construcción y validación del instrumento final de recolección de datos para la evaluación de egresados de Cursos de Graduación en Enfermería, denominado IAE-ENF, que se encuentra en el link https://drive.google.com/file/d/0B2ypGPriU5O1eUxRTGhBTmhMMFU/view

Discusión

Considerando que el panel Delphi debe ser compuesto por expertos sobre el tema, lo que es divulgado por la literatura ampliamente como imprescindible1919. Scarparo AF, Laus AM, Azevedo ALCS, Freitas MRI, Gabriel CS, Chaves LDP. Reflexões sobre o uso da Técnica Delphi em pesquisas de enfermagem. Rev RENE. [Internet]. 2012 [Acesso 25 ago 2014];13(1):242-51. Disponível em: http://www.revistarene.ufc.br/revista/index.php/revista/article/view/36/31
http://www.revistarene.ufc.br/revista/in...
-2020. Lopes JL, Martins LAN, Andrade AL, Barros ALBL. Semantic differential scale for assessing perceptions of hospitalized patients about bathing. Acta Paul Enferm. [Internet]. 2011 [Acesso 24 ago 2014];24(6):815-20. Disponível em: http://dx.doi.org/10.1590/S0103-21002011000600015
http://dx.doi.org/10.1590/S0103-21002011...
, se puede afirmar que esa configuración estuvo presente en la calidad de la composición de la Conferencia Delphi de esta investigación. Se identificó que sus participantes poseían madurez profesional, asociada a una amplia experiencia y al desarrollo de la capacidad de crítica social y autocrítica profesional, comprobado por sus producciones técnico científicas y por los vínculos de empleo en renombradas instituciones públicas brasileñas. La técnica Delphi se mostró adecuada a la propuesta de esta investigación, económicamente viable, posibilitó la participación de profesionales altamente calificados en una temática en la cual la investigación es todavía incipiente y el desempeño de la técnica on-line permitió rapidez en la conclusión y facilitó esa participación.

La mayoría de los especialistas residía en las Regiones Sur y Sureste del país, en donde existe una mayor concentración de programas, cursos e inversiones académicas2121. SENPE. Pós-graduação stricto sensu em enfermagem no Brasil: tendências e perspectivas de expansão. 17º SENPE; 03-05 de junho 2013; Natal, Rio Grande do Norte. Brasília; 2013., pero se destaca que había representantes de todas las regiones de Brasil, asegurando las diferencias regionales que también están presentes en los procesos educativos.

Además de eso, la adecuada tasa de respuesta y/o devolución de los cuestionarios en la segunda rodada - 94,44%, agregó más poder y fuerza para el proceso de validación2222. Argimón JM, Jiménez J. Métodos de investigación clínica y epidemiológica. Madrid: Harcourt; 2000.. Se destaca la oportuna utilización de la escala de tipo Likert, en la segunda dimensión, una vez que los especialistas se declararon solamente en relación a las competencias y habilidades presentes en esa dimensión. También la Escala de Referencial Semántico, en la tercera dimensión, fue oportuna, porque no hubo necesidad de realizar alteraciones en esa dimensión en la segunda rodada. En cuanto al tiempo de devolución de los cuestionarios, fue moroso en la primera rodada, y rápido en la segunda, lo que mostró el comprometimiento de los especialistas que permanecieron participando de la Conferencia Delphi.

Se debe destacar que el instrumento IAE-ENF pretende alcanzar a todos los egresados de una Institución de Enseñanza Superior, independientemente del tiempo en que está graduado en Enfermería, a pesar de considerar que, si el tiempo es muy distante de la graduación, el egresado puede olvidar aspectos de su formación profesional requeridos para el ejercicio profesional. Sin embargo, evaluar egresados de períodos prolongados puede traer para la IES datos sobre la formación académica a lo largo de una trayectoria profesional, delante de los desafíos de la realidad de su trabajo, considerando que la teoría ofrece lo que puede ser aprendido y comprendido por todos, en cuanto la práctica en el trabajo, por su singularidad y complejidad, proporcionan un aprendizaje más rico y productivo en términos de significado para el profesional. Al enfrentar esa realidad, el egresado podrá comparar las competencias desarrolladas durante el curso con las requeridas en el ejercicio profesional, tornando, así, fundamental su participación en un sistema de evaluación que posibilite la construcción de un proceso educativo con características emancipadoras y transformadoras2323. Meira MDD, Kurcgant P. Avaliação da formação de enfermeiros segundo a percepção de egressos. Acta Paul Enferm. [Internet]. 2008 [Acesso 16 ago 2014];21(4):56-61. Disponível em: http://dx.doi.org/10.1590/S0103-21002008000400004
http://dx.doi.org/10.1590/S0103-21002008...
. Es necesario que se repiensen las prácticas educativas en Enfermería, considerando que la realidad y lo cotidiano demuestran que se debe ir más allá del proceso de enseñanza-aprendizaje. Es preciso transcender la concepción académica de la enseñanza que crea un ideario profesional de Enfermería que no condice con la realidad humana y social experimentada2424. Ferla JBS. Ênfase nas relações interpessoais na formação do enfermeiro sob o paradigma ético-humanista. Trab Educ Saúde. [Internet]. 2013 [Acesso 16 jul 2014];11(3):633-57. Disponível em: http://dx.doi.org/10.1590/S1981-77462013000300010
http://dx.doi.org/10.1590/S1981-77462013...
.

La IES que opta por utilizar este instrumento para incluir, en su proceso de evaluación de cursos, la opinión del egresado, deberá definir el tiempo de graduado del egresado que desea analizar, de acuerdo con sus objetivos institucionales, que constan en el Proyecto Pedagógico del Curso (PPC), principal instrumento político y técnico de referencia para el quehacer universitario. Los análisis estadísticos demostraron que el IAE-ENF es válido y confiable por ser capaz de medir las variables que fueron definidas por el empleo de la técnica Delphi. De acuerdo con las intencionalidades de evaluación de cada IES, después de la aplicación del instrumento en su totalidad, los ítems podrán ser priorizados de acuerdo con sus objetivos institucionales, considerando las peculiaridades de cada IES y los PPCs, utilizando recursos estadísticos para esa finalidad.

Conclusión

El instrumento titulado IAE-ENF, fue construido y validado el basándose en una amplia revisión de literatura y en las DCN/ENF. Fueron realizadas dos rodadas Delphi, con valor del coeficiente alfa de Cronbach de 0,750, considerado satisfactorio en relación a lo establecido anteriormente. Se trata de una propuesta de sistema evaluativo existente en la graduación en Enfermería de Brasil, mediante la inclusión de la apreciación de los egresados en ese sistema. La existencia de un instrumento validado deberá favorecer la adopción de la práctica de la evaluación de egresados en las IESs brasileñas y suscitar nuevos estudios que promuevan su perfeccionamiento.

Como limitaciones del estudio podemos mencionar que no fue realizada la validación de criterio, en la cual se debe buscar evaluar el desempeño y el comportamiento del IAE-ENF con sus usuarios, en este caso, de los egresados. Otra limitación se refiere a la extensión y amplitud de contenidos en el IAE-ENF, a pesar de que estos son intrínsecos a las Directrices Curriculares para el área de la Enfermería.

References

  • 1
    Ministério da Educação (BR). Instituto Nacional de Estudos e Pesquisas Educacionais. SINAES - Sistema Nacional de Avaliação da Educação Superior: da concepção à regulamentação. 2 ed. Ampliada. Brasília: INEP; 2004.
  • 2
    Teixeira E, Fernandes JD, Andrade AC, Silva KL, Rocha MEMO, Lima RJO. Panorama dos cursos de graduação em enfermagem no Brasil na década das Diretrizes Curriculares Nacionais. Rev Bras Enferm. [Internet]. 2013 [Acesso 29 ago 2014];66(n. esp):102-10. Disponível em: http://dx.doi.org/10.1590/S0034-71672013000700014
    » http://dx.doi.org/10.1590/S0034-71672013000700014
  • 3
    Ide CAC, Arantes SL, Mendonça MK, Silva VR, Del Corona ARP. Evaluation of the implementation of the integrated curriculum in the nursing undergraduate program. Acta Paul Enferm. [Internet]. 2014 [Acesso 30 jan 2015];27(4):340-7. Disponível em: http://dx.doi.org/10.1590/1982-0194201400057
    » http://dx.doi.org/10.1590/1982-0194201400057
  • 4
    Higa EFR, Gomes R, Carvalho MHR, Guimarães APC, Taipeiro EF, Hafner MLMB, et al. Perceptions of nursing alumni regarding the course contribution in providing health care. Texto Contexto Enferm. [Internet]. 2013 [Acesso 30 ago 2014];22(1):97-105. Disponível em: http://dx.doi.org/10.1590/S0104-07072013000100012
    » http://dx.doi.org/10.1590/S0104-07072013000100012
  • 5
    Canever BP, Gomes DC, Jesus BH, Spillere LB, Prado ML, Backes VMS. Process of training and insertion in the labor market: a vision of nursing graduates. Rev Gaúcha Enferm. [Internet]. 2014 [Acesso 30 jan 2015];35(1):87-93. Disponível em: http://dx.doi.org/10.1590/1983-1447.2014.01.43279
    » http://dx.doi.org/10.1590/1983-1447.2014.01.43279
  • 6
    Colenci R, Berti HW. Professional development and entering the labor market: the perceptions of nursing graduates. Rev Esc Enferm USP. [Internet]. 2012 [Acesso 30 ago 2014];46(1):153-61. Disponível em: http://dx.doi.org/10.1590/S0080-62342012000100022
    » http://dx.doi.org/10.1590/S0080-62342012000100022
  • 7
    Jesus BH, Gomes DC, Spillere LBB, Prado ML, Canever BP. Inserção no mercado de trabalho: trajetória de egressos de um curso de graduação em enfermagem. Esc Anna Nery. [Internet]. 2013 [Acesso 8 ago 2014];17(2):336-45. Disponível em: http://dx.doi.org/10.1590/S1414-81452013000200019
    » http://dx.doi.org/10.1590/S1414-81452013000200019
  • 8
    Vieira MA, Souza E Souza LP, Ohara CVS, De Domenico EBL. Avaliação com egressos da graduação em enfermagem: publicações nacionais entre 2001-2011. Hist Enferm Rev Eletr. [Internet]. 2014 [Acesso 8 ago 2014];5(1):35-53. Disponível em: http://www.abennacional.org.br/centrodememoria/here/vol5num1artigo4.pdf
    » http://www.abennacional.org.br/centrodememoria/here/vol5num1artigo4.pdf
  • 9
    Ministério da Educação (BR) Conselho Nacional de Educação. Câmara de Educação Superior. Resolução CNE/CES N. 3, de 07 de novembro de 2001. Institui as Diretrizes Curriculares Nacionais do Curso de Graduação em Enfermagem. Diário Oficial da República Federativa da União. Brasília, 09 nov. 2001. Seção 1, p. 37. Brasília (DF): Ministério da Educação; 2001.
  • 10
    Massaud C. Prospecção de cenário método Delphi [Interrnet]. 2008. [Acesso 28 jan 2014]. Disponível em: http://www.clovis.massaud.nom.br/prospec.htm
    » http://www.clovis.massaud.nom.br/prospec.htm
  • 11
    Grant JS, Kinney MR. Using the Delphi technique to examine the content: vatity of nursing diagnoses. Nurs Diagn. 1992;3(1):12-22.
  • 12
    Wright JTC, Giovinazzo RA. Delphi: uma ferramenta de apoio ao planejamento prospectivo. Cad Pesq Adm. 2000;1(12):54-65.
  • 13
    Fernandes JD, Silva RMO, Teixeira GA, Florencio RMS, Silva LS, Rebouças LCC. Aderência de cursos de graduação em enfermagem às diretrizes curriculares nacionais na perspectiva do Sistema Único de Saúde. Esc Anna Nery. [Internet]. 2013 [Acesso 21 ago 2014];17(1):82-9. Disponível em: http://dx.doi.org/10.1590/S1414-81452013000100012
    » http://dx.doi.org/10.1590/S1414-81452013000100012
  • 14
    Fernandes JD, Rebouças LC. Uma década de Diretrizes Curriculares Nacionais para a Graduação em Enfermagem: avanços e desafios. Rev Bras Enferm. [Internet]. 2013 [Acesso 19 ago 2014];66(n. esp.):95-101. Disponível em: http://dx.doi.org/10.1590/S0034-71672013000700013
    » http://dx.doi.org/10.1590/S0034-71672013000700013
  • 15
    Sampieri RH, Collado CF, Lucio MPB. Metodologia de Pesquisa. 5. ed. Porto Alegre: Mc Graw Hill/Penso; 2013.
  • Souza PAF, Frade MHLBC, Mendonça DMMV. Um modelo de organização e partilha de informação de enfermagem entre hospital e centro de saúde: estudo Delphi. Acta Paul Enferm [Internet]. 2005 [Acesso 25 ago 2014];18(04):368-81. Disponível em: http://dx.doi.org/10.1590/S0103-21002005000400005
    » http://dx.doi.org/10.1590/S0103-21002005000400005
  • 17
    Nunnally JC, Bernstein IH. Psychometric theory. 3 ed. Nova York: McGraw-Hill; 1994.
  • 18
    Pereira JCR. Análise de dados qualitativos: estratégias metodológicas paras as ciências da saúde, humanas e sociais. 3 ed. São Paulo: Editora da Universidade de São Paulo; 2004.
  • 19
    Scarparo AF, Laus AM, Azevedo ALCS, Freitas MRI, Gabriel CS, Chaves LDP. Reflexões sobre o uso da Técnica Delphi em pesquisas de enfermagem. Rev RENE. [Internet]. 2012 [Acesso 25 ago 2014];13(1):242-51. Disponível em: http://www.revistarene.ufc.br/revista/index.php/revista/article/view/36/31
    » http://www.revistarene.ufc.br/revista/index.php/revista/article/view/36/31
  • 20
    Lopes JL, Martins LAN, Andrade AL, Barros ALBL. Semantic differential scale for assessing perceptions of hospitalized patients about bathing. Acta Paul Enferm. [Internet]. 2011 [Acesso 24 ago 2014];24(6):815-20. Disponível em: http://dx.doi.org/10.1590/S0103-21002011000600015
    » http://dx.doi.org/10.1590/S0103-21002011000600015
  • 21
    SENPE. Pós-graduação stricto sensu em enfermagem no Brasil: tendências e perspectivas de expansão. 17º SENPE; 03-05 de junho 2013; Natal, Rio Grande do Norte. Brasília; 2013.
  • 22
    Argimón JM, Jiménez J. Métodos de investigación clínica y epidemiológica. Madrid: Harcourt; 2000.
  • 23
    Meira MDD, Kurcgant P. Avaliação da formação de enfermeiros segundo a percepção de egressos. Acta Paul Enferm. [Internet]. 2008 [Acesso 16 ago 2014];21(4):56-61. Disponível em: http://dx.doi.org/10.1590/S0103-21002008000400004
    » http://dx.doi.org/10.1590/S0103-21002008000400004
  • 24
    Ferla JBS. Ênfase nas relações interpessoais na formação do enfermeiro sob o paradigma ético-humanista. Trab Educ Saúde. [Internet]. 2013 [Acesso 16 jul 2014];11(3):633-57. Disponível em: http://dx.doi.org/10.1590/S1981-77462013000300010
    » http://dx.doi.org/10.1590/S1981-77462013000300010
  • 1
    Artículo parte de la tesis doctoral "Development and validation of an instrument for the assessment of graduates of undergraduate nursing", presentada a la Escola Paulista de Enfermagem, Universidade Federal de São Paulo, São Paulo, SP, Brasil. Apoyo financiero de la Fundação de Amparo à Pesquisa do Estado de Minas Gerais (FAPEMIG), proceso nº 91608/11.

Fechas de Publicación

  • Publicación en esta colección
    2016

Histórico

  • Recibido
    07 Abr 2015
  • Acepto
    03 Dic 2015
Escola de Enfermagem de Ribeirão Preto / Universidade de São Paulo Av. Bandeirantes, 3900, 14040-902 Ribeirão Preto SP Brazil, Tel.: +55 (16) 3315-3451 / 3315-4407 - Ribeirão Preto - SP - Brazil
E-mail: rlae@eerp.usp.br