El método Delphi en Lingüística Aplicada a la luz de un análisis teórico y crítico

The Delphi Method in Applied Linguistics in the Light of a Theoretical and Critical Analysis

RESUMEN

El método Delphi ha ganado terreno como herramienta para llevar a cabo un diálogo en diferido entre especialistas de una materia determinada con la finalidad de responder a unos interrogantes de investigación y resolver problemas complejos. Su presencia, antes limitada a las Ciencias Sociales, se está extendiendo a otros ámbitos como el de la Lingüística y, concretamente, la Lingüística Aplicada. Este estudio persigue conocer en qué medida el método Delphi se está empleando en los estudios relativos a este ámbito disciplinar y con qué objetivos. Asimismo, busca indagar las potencialidades y limitaciones del método en dichos estudios. Para ello, se ha llevado a cabo una búsqueda sistemática de los artículos de los últimos cinco años y se han analizado metodológica y críticamente. Los resultados obtenidos confirman la validez de este método como herramienta metodológica en Lingüística Aplicada.

PALABRAS CLAVE:
Enseñanza de lenguas; estudios prospectivos; Método Delphi; metodología de investigación; revisión sistemática

ABSTRACT

The Delphi method has gained ground in research whose objective is to reach an agreement between specialists in a given subject and to solve complex problems. Several studies endorse its reliability and confirm the success of accomplishing a deferred dialogue in order to find answers to research questions. Although in the beginning it had a limited impact in Social Sciences, its presence is spreading to other fields such as Linguistics and, specifically, Applied Linguistics. It is precisely the object of this study to know to what extent studies related to this field use this method and with what objectives. This study also intends to investigate the potentialities and limitations of the method in these studies. For this, a systematic review of the scientific articles of the last five years has been carried out to answer the research questions posed. The results show an emerging number of works in which this method has been used, although there is no single trend around the design of data collection. The analysis of the benefits in its application and the results obtained in the works confirm the validity of the Delphi method as a methodological tool in Applied Linguistics.

KEYWORDS:
Delphi method; language teaching; prospective studies; research methodology; systematic review

1 Introducción

Numerosos estudios han empleado el método Delphi como herramienta de investigación y sus aplicaciones avalan su fiabilidad y confirman su vigencia científica. Este método, basado en la creación de un proceso comunicativo entre expertos en torno a un interrogante de investigación, ha ido cobrando fuerza desde su nacimiento en los años 50-60 (DALKEY; HELMER, 1963) hasta convertirse en una herramienta de uso extendido en diversas áreas científicas (CRUZ RAMÍREZ; RÚA VÁSQUEZ, 2018).

Desde los inicios de su aplicación, ha sido en las áreas de Economía y Política en las que más impacto ha tenido el uso de este método. Sin embargo, en la última década, investigadores de ámbitos tan diferentes como la Educación Física, la investigación en la educación superior o la Psicología han destacado las bondades de este método y han visto en su uso una oportunidad de aprendizaje, así como una herramienta para llegar a acuerdos entre expertos en una materia determinada (CRUZ RAMÍREZ; RÚA VÁSQUEZ, 2018). De ahí que cada vez sea más frecuente su consideración en tesis doctorales, artículos y otras contribuciones procedentes de distintas áreas de conocimiento. No obstante, a pesar de haber experimentado un gran desarrollo en los últimos años y de haberse reconocido su valor como método de pronosticación, el método Delphi ha contado también con detractores desde diversos campos.

Así, si bien es cierto que su presencia es cada vez mayor en diversos ámbitos disciplinares, en el de la Lingüística y, en concreto, en el de la Lingüística Aplicada no ha despertado el mismo interés. Como respuesta a esta ausencia, este trabajo surge con el objetivo de analizar la evolución de la presencia del método Delphi en el ámbito disciplinar de la Lingüística Aplicada. Asimismo, busca indagar cuándo y de qué manera se ha empleado en este ámbito, a partir de criterios específicos, y exponer, por extensión, una reflexión crítica sobre sus potencialidades y limitaciones en esta área interdisciplinar.

Para ello, en este estudio, en primer lugar, se ofrece una breve descripción de las características fundamentales del método Delphi para, a continuación, revisar los contextos en los que ha sido empleado. Una vez establecido el marco histórico, se lleva a cabo una revisión pormenorizada de aquellos estudios del ámbito de la Lingüística Aplicada en los que se constata un empleo de este recurso metodológico. La finalidad es conocer las características (tipo de autoría, idioma en que se publican, perfil de participantes, diseño de las fases del método, por mencionar algunas) que tienen esos estudios. Este análisis permitirá acometer, en último lugar, una reflexión acerca de las potencialidades y limitaciones de la aplicación de este método en los estudios de esta área.

2 Fundamentación teórica y estado de la cuestión

2.1 Aproximación conceptual al método Delphi

El método Delphi consiste en una herramienta metodológica que busca llegar a un acuerdo a partir de la creación de un diálogo en diferido entre expertos en la materia que es objeto de investigación (LANDETA, 1999). La base de dicho método reside en generar, estructurar y conducir un proceso comunicativo no presencial entre investigadores o profesores versados en la materia para esclarecer una serie de interrogantes en torno a un problema de investigación (LÓPEZ-GÓMEZ, 2018).

Parece, por tanto, coherente que una de las fases en la aplicación de este método sea la selección adecuada de los miembros que van a formar parte del panel de expertos. Para ello, resulta necesario, en primer lugar, establecer el tema que se va a abordar con los criterios de inclusión. Consecuente con el significado polisémico del término experto, la literatura en torno a este método señala que los criterios deben establecerse de acuerdo con los antecedentes profesionales, la experiencia práctica relacionada con el tema y la disposición o interés en participar en el proyecto. En función de estos resultados se podrá medir el índice de Competencia Experta (K) del panel que será, en definitiva, el índice que avalará su calidad y fiabilidad.

El índice de Competencia Experta se obtiene a partir del cálculo K= ½ (Kc + Ka); es decir, surge de una vinculación entre el Coeficiente de conocimiento del experto (Kc) y su Coeficiente de argumentación (Ka). El primero apunta a lo que sabe el experto acerca del tema o problema planteado. Este “es calculado a partir de la valoración que realiza el propio experto en la escala del 0 al 10, multiplicado por 0,1 (ALMENARA; OSUNA, 2013, p. 29); el segundo se calcula “a partir de la asignación de una serie de puntuaciones a las distintas fuentes de argumentación que ha podido esgrimir el experto” (ALMENARA; OSUNA, 2013, p. 29).

El número de expertos de los que consta el panel estará condicionado por el problema de investigación que se acometa y por los recursos de los cuales dispone quien esté llevando a cabo la investigación (POWELL, 2003). De la misma manera, el tema que se aborde será clave a la hora de determinar si el perfil de los informantes será o no heterogéneo (SKULMOSKI; HARTMAN; KRAHN, 2007). La finalidad última, en cualquier caso, será que el número que se establezca arroje un elevado porcentaje de fiabilidad sin que esto suponga un coste elevado a los investigadores. En este sentido, también es importante añadir que el número inicial de expertos puede verse incrementado por sugerencias que puedan aportar los propios participantes. En todos los casos, su identidad será anonimizada.

Una vez definido el panel de expertos, comenzaría un proceso iterativo de recogida de datos cuyo número de rondas estará determinado por la fiabilidad de los datos recabados y el grado de acuerdo alcanzado entre los expertos. Esta recogida se produce, por lo general, mediante la administración de cuestionarios que diseña el investigador. Las preguntas que está conformado dicho cuestionario podrán ser de naturaleza tanto cualitativa como cuantitativa (LÓPEZ-GÓMEZ, 2018).

En concreto, en este proceso iterativo se lleva a cabo, primeramente, un cuestionario inicial para elicitar los juicios de los expertos con respecto a la materia analizada. A continuación, se analizan los datos obtenidos, se contrastan y se genera un nuevo cuestionario en el que se replantean las preguntas con el fin de consolidar posicionamientos, consensuar discrepancias y alcanzar acuerdos. Asimismo, se ofrece una retroalimentación de lo expresado por el conjunto que puede incluir extractos o información de las respuestas obtenidas en la fase previa. Una vez se recaben estos datos, se lleva a cabo, de nuevo, el análisis de estos y se valora si es necesaria o no la realización de una nueva recogida (REGUANT-ÁLVAREZ; TORRADO-FONSECA, 2016).

El objetivo de este método busca favorecer que las decisiones se adopten por parte de un grupo de expertos en diferido, por lo que será esa decisión la que determine cuándo se da por finalizado el proceso de recogida de datos. El consenso y la estabilidad de las respuestas se calculará de diversa manera en función del tipo de datos que se esté recabando, cuantitativo o cualitativo y, según los expertos, la investigación determinará cuáles son los cálculos que deben realizarse, ya que no existe una única manera con la que conocer cuál es el grado de convergencia. El fin último persigue obtener una opinión que represente a la totalidad de los participantes. En la Figura 1, se ilustra el proceso previamente descrito.

FIGURA 1
Proceso de aplicación del método Delphi

La naturaleza del proceso y de las fases de las que consta este método ponen de manifiesto la importancia de la labor de coordinación que debe llevar a cabo el o los investigadores. En él será en quien recaiga la toma de decisiones que, a su vez, condicionará los resultados del estudio (BELTON et al, 2019).

Por último, cabe añadir que la finalidad con la que puede llevarse a cabo esta recogida iterativa de datos también puede ser de diversa naturaleza. Gordon (1994) presenta las tres situaciones principales:

• Predicción de la ocurrencia de un evento y del momento en que este tendrá lugar.

• Recomendaciones en torno a la aplicación y evaluación de un cambio, programa o currículo.

• Posibilidad de que la aplicación de un método, política o programa alcance las metas previstas.

2.2 Orígenes y evolución del método Delphi

A principios de los años 60, en la Corporación RAND (Santa Monica, California), en el marco de los estudios prospectivos surge el método Delphi. Su nombre se inspiró en el lugar sagrado griego, ubicado en el valle del Pleisto, donde las sacerdotisas del templo consagrado a Apolo emitían mensajes que ayudaban en la toma de decisiones de sus visitantes. De ahí que, ya en el siglo XX, este método se ideara en el ámbito militar y político con el objetivo de resolver acontecimientos futuros relacionados con la tecnología u otros problemas. Con la idea de que “quantitative simulation modeling was quite primitive, and computers […] were a decade away” (GORDON, 1994, p. 1), un equipo de investigadores, entre los que se encontraban Olaf Helmer, Nicholas Rescher y Norman Dalkey, trabajaron en esta línea.

En un primer momento, estos investigadores valoraron la posibilidad de reunir a diferentes expertos en torno a un panel para debatir sobre un tema problemático y lograr, así, un consenso. Una situación que, en principio, no dista demasiado de la que tiene lugar en cualquier evento científico presencial. Sin embargo, pronto se advirtió que, más allá del tema sobre el que se deseaba debatir y al que se pretendía dar una solución, numerosos factores impedían que opiniones diversas, expuestas visiblemente y cara a cara, pudieran dar lugar a un acuerdo. El equipo RAND continuó trabajando en la búsqueda de un consenso lo más real posible entre diversos expertos independientemente de su personalidad. Todo ello se vio materializado en la primera aplicación de Delphi, recogida años después por Gordon y Helmer-Hirschberg en 1964, en su Report on a Long-Range Forecast, en el que participaron numerosos panelistas y se discutieron temas sobre el avance tecnológico y científico para el año 2000 y 2100 (GORDON, 1994; AMANT, 1970).

Tradicionalmente, en la evolución de este método se han distinguido dos etapas fundamentales. Si se presta atención al gráfico representado (ver FIGURA 2), se observa una acusada ausencia de trabajos que emplean este método durante la década de los 40 y 50, período que se ha denominado de “secretismo u oscuridad” (RIEGER, 1986, p. 196). A este le siguió un segundo, caracterizado por su auge, a partir de los 60, cuando la documentación sobre cuestiones militares comenzó a desclasificarse (DALKEY; HELMER, 1963). Al revisar las ocurrencias del método desde 1800 (ver FIGURA 2), se advierte una tendencia que coincide con la evolución descrita.

FIGURA 2
Gráfico de ocurrencias de términos relacionados con Delphi en Google Books

No obstante, con apenas media década desde que fue concebido, resulta necesario tener en cuenta una serie de cuestiones que permiten entender mejor la historia de este método. Por ello, a continuación, se presenta una reflexión sobre su denominación, su definición, su taxonomía y su desarrollo disciplinar (CRUZ RAMÍREZ; RÚA VÁSQUEZ, 2018).

En primer lugar, el empleo de diversos términos para referirse a este en la bibliografía (método, técnica, estudio, tecnología o diseño, entre otros) impide que cualquier búsqueda en bases de datos (en inglés y en español, fundamentalmente) pueda ofrecer una radiografía exacta sobre su dimensión en los trabajos científicos. Según los datos analizados en su estudio cienciométrico, Cruz Ramírez y Rúa Vásquez (2018) se decantan por “método” debido a razones históricas, tras una exploración en Google Académico (9 de marzo de 2019) en la que se destacan por este orden de uso las voces method, study y technique frente a methodology, research o design. Asimismo, se puede apreciar esta presencia en volúmenes publicados, como queda registrado en la base de Google Books (obtenida de Ngram Viewer, 15 de enero de 2019) (ver FIGURA 2). Esta base de datos no debe considerarse representativa del número exacto de referencias, pero sí ilustrativa de su evolución.

Aunque puede ser ilustrativo de otros datos referenciados en la bibliografía, conviene realizar una lectura más profunda. Por un lado, esta base no contiene todas las publicaciones de libros y no todas las publicaciones pueden contar con el criterio de selección de calidad que, por ejemplo, puede hacerse a partir de las bases de datos con artículos. Por otro, también conviene apuntar que esta búsqueda está limitada a una lengua, el inglés.

En segundo lugar, su definición, como ya se ha descrito, recoge elementos clave: el anonimato, la iteración, la retroalimentación controlada y la respuesta estadística de grupo (ROWE; WRIGHT, 1999). Con todo ello, estas características pueden introducir alternativas en su proceso, su organización o soporte, lo que se ve reflejado, a su vez, en el modo de clasificarse por tipos, como se observa a continuación.

En tercer lugar, en cuanto a su tipología, pueden distinguirse un Delphi clásico o convencional, un Delphi para la toma de decisiones y una política Delphi, que pueden, a su vez, generar versiones distintas en función de la aplicación de algunos cambios (e-Delphi, Delphi Online, Hybrid Delphi, Real-time Delphi, Decision Delphi o max-min Delphi, entre otras). Esta variedad, en ocasiones, ha contribuido a una fusión terminológica según el tipo de estudio o de las necesidades de los investigadores. Esto ha llegado a generar usos del método sin que se cumplan, al menos, los rasgos básicos a los que se aludía anteriormente (anonimato, iteración, retroalimentación controlada y respuesta estadísticas de grupo). Unido a esto, no cabe duda de que el desarrollo de este método ha venido de la mano de los avances tecnológicos y del papel que Internet tiene en la comunicación y colaboración (ROWE; WRIGHT, 2011).

En cuarto lugar, su alcance disciplinar ha llegado hasta la Medicina, la Política, las Ciencias de la Salud, el Mercado Financiero, el Turismo, la Investigación Educativa, la Ingeniería de la Construcción, entre otros ámbitos emergentes (CRUZ RAMÍREZ; RÚA VÁSQUEZ, 2018; BOILLOS; RODRÍGUEZ-LIFANTE, 2018; LÓPEZ GÓMEZ, 2018; TAMAYO CANO, 2019) con un pormenorizado análisis de su viabilidad en Ciencias Sociales (LANDETA, 2006). Debe considerarse que esta diversidad aporta al método un bagaje interdisciplinar en los nuevos ámbitos disciplinares que están emergiendo, como sucede con el de la Lingüística, por ejemplo. En este sentido, no parece ser casualidad que el carácter novedoso -y a veces en proceso de construcción- que ofrecen estos ámbitos se nutra, a su vez, de este método para detectar posibles conexiones, relaciones o vías de exploración orientadas a una actuación concreta.

3 Marco metodológico

A continuación, se presentan los interrogantes de esta investigación, así como el procedimiento que se ha seguido en la recogida de los datos.

3.1 Preguntas de investigación

Los dos interrogantes principales que emergen de la revisión llevada a cabo en torno a este método son los siguientes:

P1. ¿Qué características metodológicas y teóricas tienen los estudios de Lingüística Aplicada en los que se emplea el método Delphi?

P2. ¿Qué potencialidades y limitaciones se han observado en la aplicación de este método en los estudios de esta área?

3.2 Método de recogida de datos

Para dar respuesta a estas preguntas de investigación previamente formuladas, en primer lugar, se ha llevado a cabo una búsqueda de aquellos artículos científicos que se han publicado sobre temas de la Lingüística Aplicada, es decir, sobre aquellos que pertenecen a la “rama de la Lingüística cuya meta es la aplicación de las teorías, métodos y conocimientos propios de la Lingüística a la resolución de problemas diversos en los que está implicado el uso de la lengua; en otros términos, se interesa por las aplicaciones de la Lingüística en otras áreas de la experiencia humana” (CENTRO VIRTUAL CERVANTES, 2008). Esta se llevó a cabo en marzo de 2019. El rastreo se ha realizado en bases de datos de reconocido prestigio tales como Web of Science, Scopus, Dialnet y SciELO. Los criterios para acotar la búsqueda han sido los siguientes:

• Género discursivo: artículo científico

• Trabajos realizados en los últimos 5 años (2014-2018, ambos incluidos). Este criterio permite obtener una panorámica de la situación más reciente en este campo.

• Resultados de la búsqueda de palabras clave “Delphi AND language” y “Delphi AND linguistics”, así como del término “Delphi” en el área “language y linguistics” para acotar los estudios correspondientes al ámbito disciplinar de la Lingüística. Se emplearon los mismos términos de búsqueda en todas las bases de datos.

• Diversidad de las lenguas de búsqueda (sin limitación al español o el inglés).

Una vez llevada a cabo la primera búsqueda, los artículos se han filtrado como consecuencia de una lectura detallada de sus resúmenes y palabras clave. Este filtro ha permitido, de la misma manera, identificar duplicidades. Ello ha dado lugar a un total de 17 trabajos que se han leído y analizado rigurosamente con el fin de dar respuesta a las preguntas previamente expuestas. Han tenido que obviarse en el análisis trabajos publicados únicamente en lenguas como el farsi y el coreano por la imposibilidad de acceder a versiones traducidas de dichos estudios. Asimismo, no se han incluido en el estudio los artículos que, a pesar de aparecer en esta búsqueda, corresponden al área de la Lingüística Clínica, en la cual, por otra parte, se ha observado un número significativo de contribuciones en las que se ha empleado este método, cuya consideración correspondería a otro estudio.

En la lectura pormenorizada de los trabajos mencionados se han tenido en consideración los criterios siguientes: objetivos de la investigación, número de participantes y criterios de selección, número de rondas y criterios para el establecimiento de rondas, contexto de estudio, potencialidades y limitaciones diagnosticadas y otras observaciones de interés. Todo este proceso fue realizado por dos jueces para garantizar la fiabilidad de los resultados.

4 Resultados y discusión

4.1 El método Delphi en Lingüística Aplicada¹

Desde un punto de vista temático, los estudios en Lingüística Aplicada en los que se emplea el método Delphi se centran en los procesos de aprendizaje y enseñanza, en percepciones de los participantes de estos procesos y en elementos que superan a cuestiones puramente lingüísticas. Este hecho está estrechamente relacionado con la función del Delphi, como se explica en la introducción, y su búsqueda de consenso en torno a un asunto. Por tanto, no es casual que los objetivos de las investigaciones analizadas coincidan con aspectos que forman parte del objetivo con el que surgió este método (descubrir, evaluar, examinar, analizar o articular un determinado aspecto a partir de diversas opiniones de expertos) (p. ej. UZTOSUN, 2018; HSIN et al., 2016; GARCÍA-JIMÉNEZ; RODRIGO-ALSINA; PINEDA, 2017).

Asimismo, se observan algunas características generales en estos trabajos que se describen a continuación.

Hay una predominancia de trabajos firmados en coautoría (n=11), que varía entre 2, 3 y más de 4 autores, a pesar de que se mantiene la presencia de una única autoría en algunos casos (n=6). Esta tendencia, contraria a la del ámbito de las humanidades y ciencias sociales en general, parece ser lógica si se tiene en cuenta el esfuerzo que implica el desarrollo de algunos de estos trabajos (TSAI; CORLEY; BOZEMAN, 2016). En esta línea, Cruz Ramírez y Rúa Vásquez (2018, p. 98) en su estudio cienciométrico lo recogen así:

La productividad unipersonal viene decreciendo progresivamente de forma relativa. En el periodo analizado [desde 1969], un total de 1333 documentos (12,89%) han sido publicados individualmente. [...]. Como puede apreciarse, existe tendencia a predominio del trabajo colectivo sobre el individual.

Relacionado con lo mencionado anteriormente, las afiliaciones de los investigadores son muy diversas y, en su mayoría, intervienen departamentos e instituciones universitarias de diferentes países (n=11). Solo en seis contribuciones participan centros latinoamericanos y españoles (O’DOWD, 2015; BOSQUE CRUZ et al., 2015; GARCÍA-JIMÉNEZ; RODRIGO-ALSINA; PINEDA, 2017; SEVILLA-PAVÓN; GIMENO-SANZ; GARCÍA-LABORDA, 2017; ARROYO GONZÁLEZ; BERZOSA RAMOS, 2018; HILINGER; PÉREZ, 2019). Este dato apoya el diálogo que persigue que el empleo del Delphi se vea materializado también en la diversidad de firmantes y ámbitos disciplinares procedentes de diferentes contextos geográficos.

El código lingüístico más empleado en los estudios analizados es el inglés (n= 13), aunque el español está presente en cuatro de ellos (BOSQUE CRUZ et al., 2015; SEVILLA-PAVÓN; GIMENO-SANZ; GARCÍA-LABORDA, 2017; ARROYO GONZÁLEZ; BERZOSA RAMOS, 2018; HILINGER; PÉREZ, 2019). Como se ha mencionado, hay otros trabajos en idiomas como farsi y coreano, cuyo análisis no ha sido llevado a cabo por los motivos especificados en el apartado de metodología.

Dentro de la cronología estudiada (2014-2018), se observa la existencia de un mayor número de estudios publicados en los años 2017 (n= 6) y 2018 (n= 5), respectivamente. Es una tendencia que, como se refleja en los apartados anteriores, surge del interés no solo por el intercambio entre disciplinas, sino también de la necesidad que plantean los nuevos marcos epistemológicos emergentes (CRUZ RAMÍREZ; RÚA VÁSQUEZ, 2018). De hecho, esta tendencia puede convertirse en una norma en las nuevas reflexiones sobre el conocimiento científico de este siglo.

La aplicación del método Delphi en el corpus de trabajo responde a la necesidad de lograr un consenso en torno a definiciones, la evaluación de programas de aprendizaje o implementación de algunas herramientas o la validación de aspectos entre diferentes expertos, como señala Gordon (1994) al referirse a las posibles situaciones en las que se puede desarrollar. En ocasiones, los objetivos del estudio requieren el empleo del método Delphi para poder responderse, pero eso conlleva una confusión terminológica entre el tipo de estudio y la metodología. Este fenómeno no es nuevo, si se recuerda la problemática sobre la unificación terminológica ya existente (MULLEN, 2003).

En este sentido, el número de participantes expertos oscila entre 12 y 214. Si bien no se ha realizado un estudio correlacional en el que se considera el número de rondas en cada situación concreta, 2 son las más frecuentes (n= 8), especialmente en casos en los que hay un grupo representativo de informantes o los instrumentos empleados han permitido recabar una mayor cantidad de datos. Asimismo, parece lógico pensar que el número de rondas realizadas dependerá no solo del número inicial y final de participantes, que varía en cada caso y depende de otros factores, sino también del punto de consenso al que lleguen por medio de las diversas rondas, comparable a la saturación de una muestra en estudios cualitativos como proceso de validación de los datos. Cabe destacar también que el número de participantes a los que se invita al comienzo de un estudio Delphi, como se pone de manifiesto en los trabajos analizados, es superior al final o definitivo, debido a que un porcentaje puede abandonar o desistir en algunas de las partes (p. ej. UZTOSUN, 2018). Se desconoce si ese es el motivo por el que, en alguno de los trabajos presentados, se opta por realizar diferentes rondas en las cuales participan grupos de expertos distintos con un perfil similar. Este procedimiento podría ser una solución a esa discrepancia entre estos números en detrimento de la validez de los resultados finales, al no poder contar con los mismos participantes en todas las rondas.

El número de rondas, que varía desde 1 hasta 4, no responde a una única justificación en los trabajos descritos, a pesar de que en este tipo de trabajo esta decisión está condicionada por el grado de consenso en cada una de las fases (p. ej. REGUANT-ÁLVAREZ; TORRADO-FONSECA, 2016). Entre los motivos que se señalan -cuando se explicitan- se encuentran los siguientes: un consenso por medio del análisis cualitativo o cuantitativo de los resultados (como el coeficiente de Kendall o el porcentaje de respuestas obtenidas en las escalas administradas), o una decisión a priori del número total como parte del diseño (p. ej. MIRBAGHERI, 2014; HSIN et al., 2016).

Los participantes que forman parte de la muestra seleccionada son también muy diversos. Sin embargo, en general, el perfil investigador, por medio de la figura del experto, está muy presente en todos los trabajos. Asimismo, el profesorado de lenguas, el alumnado y, en ocasiones, los familiares conforman el estudio. Los criterios de selección de la muestra dependen de los objetivos del estudio y, en parte, el tipo de participantes también condiciona el tipo de instrumentos y el número de rondas. De hecho, en uno de los estudios probablemente el número de rondas y los instrumentos empleados, así como el canal, pudieron estar relacionados con el abandono de algunos informantes (UZTOSUN, 2018).

Relacionado con el contexto, la mayor parte de las investigaciones se lleva a cabo en un único espacio, limitado por los objetivos del estudio, la lengua vehicular o la selección de los expertos. Este contexto coincide, a su vez, con el lugar de procedencia de las personas firmantes del artículo, como se ha descrito al analizar las afiliaciones institucionales.

Entre los instrumentos más frecuentes, se distinguen escalas Likert como parte de cuestionarios en los que se integran preguntas abiertas, entrevistas y grupos de discusión (p. ej. VAN RIJT; COPPEN, 2017; WESTON; CRILLY; MOSSOP; FOSTER, 2017; RONCAKOVÁ, 2017). El empleo de herramientas cualitativas y cuantitativas en diversas rondas prevalece al de instrumentos de una única naturaleza metodológica. Predomina la modalidad de comunicación escrita a distancia (por ejemplo, el correo electrónico), si bien en algunos estudios se registran las conversaciones mediante grabaciones (RONCAKOVÁ, 2017). Asimismo, aunque no se identifica una única tendencia en el orden en que son administrados, en este corpus predomina, en primer lugar, el empleo de instrumentos cuantitativos y, en segundo, el de cualitativos. Según el tipo de estudio, las preguntas abiertas propuestas en un primer estadio permiten elaborar una escala Likert o, por el contrario, a partir de esta última se plantea un cuestionario con preguntas abiertas. Como en otros estudios mixtos, la combinación de paradigmas metodológicos contribuye a la triangulación de los datos obtenidos. En el caso del Delphi, el número de rondas permite, a su vez, una mayor precisión de los datos, cuantitativos y cualitativos (LÓPEZ-GÓMEZ, 2018), como se describe en el apartado teórico de este trabajo.

El análisis pormenorizado de los estudios del corpus sobre Lingüística Aplicada a la luz de la revisión teórica sobre el método Delphi plantea una serie de consideraciones. En primer lugar, los estudios que emplean este método responden a los objetivos del Delphi, pero no describen con detalle algunas fases que pueden ser relevantes para entender la confiabilidad del instrumento y la validez de los datos (por ejemplo, el proceso de análisis).

En segundo lugar, como ya se anotaba en la revisión teórica como una de las dificultades de este método, la terminología empleada varía de un trabajo a otro y, a veces, se trata de un tipo de estudio diferente, pero con algunos rasgos comunes que podrían asemejarse a un Delphi. Asimismo, algunas contribuciones combinan el empleo del Delphi con otro tipo de estudios, quizás como parte de una investigación de Delphi híbrido, pero esta información no se proporciona. Y en tercer lugar, aunque el número de trabajos en este ámbito aún es muy reducido, se observa que, debido a la complejidad del método Delphi, los artículos no describen con detalle cada una de las tomas de decisiones en los procedimientos.

4.2 Potencialidades y limitaciones del método Delphi en Lingüística Aplicada

Además de obtener una radiografía de la presencia que tiene el método Delphi en los estudios más recientes de Lingüística Aplicada, la revisión llevada a cabo permite también confeccionar un mapa acerca de las potencialidades y las limitaciones que se advierten en la aplicación de dicho método en estudios del área. Se responde, así, a la segunda pregunta de investigación formulada al inicio.

Se observa unanimidad al afirmar que los acuerdos in absentia alcanzados gozan del suficiente rigor científico para ser considerados fiables, resultado de un consenso entre expertos (PRAZERES; SANTIAGO; SIMÕES, 2015). Además, esa interacción en diferido entre personas geográficamente alejadas favorece la obtención de opiniones autónomas y de visiones basadas en el conocimiento y en la experiencia sobre temas complejos (ABDULLAH; SIRAJ, 2018; ARROYO GONZÁLEZ; BERZOSA RAMOS, 2018; RONCAKOVÁ, 2017). Se considera que preguntar de manera anónima y gradual permite responder de forma independiente, sin que exista presión de grupo, como podría ocurrir en los grupos focales (RONCAKOVÁ, 2017; UZTOSUN, 2018). García-Jiménez, Rodrigo-Alsina y Pineda (2017), en este sentido, apuntan a que el método Delphi neutraliza, en gran medida, las opiniones condicionadas por el rango, estatus o por la personalidad de los participantes y contribuye a que el grado de participación sea equitativo.

En cuanto a los participantes, en los estudios que han sido analizados en esta investigación se subraya el aspecto positivo de elegir a los participantes de perfiles diferentes y con un elevado grado de especialización en la materia (ASSENOVA et al., 2015). Ello supone tener un espectro de opiniones mucho más amplio de respuestas y, por ende, más autenticidad y confiabilidad (AMARAL et al., 2016).

Asimismo, se resalta el beneficio de aplicar este método en distintas rondas. El hecho de que haya más de una fase y que se puedan conocer los resultados del grupo ayuda a profundizar más en el tema y a abordar, en las fases intermedias, temas de mayor complejidad no previstos por los investigadores en una primera fase. Estos temas, en gran medida, surgen de lo que los participantes han considerado relevante para la investigación (VAN RIJT; COPPEN, 2017). Además, las fases permiten que estos puedan cuestionarse sus propias respuestas y reflexionar al respecto. Esto se debe, en gran parte, al hecho de que las preguntas dentro de este método puedan ser tanto cualitativas como cuantitativas (UZTOSUN, 2018).

Sin embargo, también resulta de interés centrarse en las potencialidades que se han considerado con relación al uso del método en los temas de investigación de manera concreta y no en las potencialidades del método en general. Abdullah y Siraj (2018), por ejemplo, consideran que este método tiene cabida en el ámbito de los modelos educativos mediados con la tecnología y señalan que podría aplicarse en más investigaciones en esa área.

Amaral et al. (2016) y Prazeres, Santiago y Simões (2015), por su parte, coinciden en que el Delphi es un método óptimo para llevar a cabo traducciones con un elevado grado de adecuación. En primer lugar, debido a que favorece una mayor equivalencia semántica. En segundo lugar, porque se pueden diagnosticar los puntos en los que hay o puede haber mayor controversia. Y en tercer lugar, por tratarse de un sistema que, al poder involucrar a participantes de diferentes perfiles, facilita el que se trate un mayor espectro de errores posibles y se cuestionen aspectos de índole cultural.

García-Jiménez, Rodrigo-Alsina y Pineda (2017) traen también la cultura a colación al considerar que este método es apropiado para llegar a consensos en cuestiones de naturaleza cultural. Afirman que se trata de un tema, el de la cultura y las lenguas, en el que no se manejan datos objetivos y en el que no existen modelos analíticos válidos. Así,

Delphi method - which reinforces interaction when interpreting and judging the news - particularly fits an interactionist conception of culture, that is, a paradigm that defines culture as the values, ways of thinking, feeling and acting where people are socialized. (GARCÍA-JIMÉNEZ; RODRIGO-ALSINA; PINEDA, 2017, p. 231)

En consecuencia, aplicar Delphi va más allá de relatar resultados de otros cuestionarios y compartir ideas (HSIN et al., 2016). Se trata de trabajar temas complejos desde miradas poliédricas y con el afán de superar un análisis superficial de la realidad y extraer un conocimiento que, a priori, no es perceptible.

Sin embargo, en los estudios también se ponen de manifiesto las limitaciones que conlleva el empleo de este método. En ese sentido, Abdullah y Siraj (2018) señalan que, si bien es una herramienta científicamente válida, esta no reemplaza a otras como la entrevista o los cuestionarios, sino que las complementa. De ahí que Uztosun (2018, p. 562), por ejemplo, añada que

the data were collected by administering three questionnaires through the Delphi technique. This repetition may have resulted in a limited perspective on the concept, and, therefore, further studies should be conducted using different data collection methods such as interviews and diaries.

Así lo percibe también O’Dowd (2015), quien recomienda complementar los resultados de su estudio con entrevistas de tipo cualitativo.

Por otra parte, a pesar de que se obtiene una visión consensuada de expertos, este método no permite inferir la opinión de una gran población (O’DOWD, 2015). Asimismo, nunca se puede saber si el número de expertos con el que se ha trabajado ha sido el más adecuado o si llevar a cabo otra fase permitiría confirmar más aún el consenso alcanzado. Esto se debe a que, como destacan Prazeres, Santiago y Simões (2015), no existen unas directrices universales o específicas según el tipo de investigación. Además, puede haber factores y variables que, al no haberse controlado, resten validez al consenso que se ha logrado (ASSENOVA et al., 2015). Todas esas afirmaciones llevan a destacar la importancia de hacer una buena selección de los participantes, decisiva a la hora de paliar estas carencias (UZTOSUN, 2018).

Por último, cabría mencionar todo lo relativo al tiempo que exige la recogida de datos por fases (UZTOSUN, 2018), lo laborioso de crear y recrear la herramienta, que son cuestiones consustanciales al método, como se comentó en el marco teórico de este trabajo. Estos y otros aspectos mencionados han hecho plantearse la integración de características de diferentes métodos cualitativos (grupos focales, grupo nominal y método Delphi) para aumentar las potencialidades y reducir las limitaciones mediante el denominado Delphi híbrido (LANDETA; BARRUTIA; LERTXUNDI, 2011), sobre todo cuando se trabaja con expertos en contextos profesionales.

5 Conclusiones

Este trabajo ha tenido como objetivo analizar la presencia del método de investigación Delphi en el ámbito de la Lingüística Aplicada. Para ello, además de ofrecer una descripción de los fundamentos instrumentales de este método, se ha realizado una revisión de su impacto en diversas áreas de investigación, así como su desarrollo en el ámbito científico en general. Esta revisión ha observado que, a pesar de su reciente desarrollo en este ámbito, aún parece existir falta de consenso a nivel terminológico, epistemológico e, incluso, axiológico.

Por otra parte, a la luz del análisis de las contribuciones publicadas en el ámbito concreto de la Lingüística Aplicada, este método está experimentando un desarrollo incipiente y su presencia está extendiéndose a disciplinas de diversa naturaleza. Esta emergencia, con destacada presencia en países hispanohablantes, persigue en su esencia generar consenso en torno a cuestiones terminológicas, establecer criterios comunes de evaluación o validar herramientas empíricas. Sin embargo, pese a su proliferación, no se han hallado indicios de homogeneidad metodológica y las breves descripciones que se ofrecen en torno al procedimiento de recogida de datos (número de rondas, proceso de selección de expertos o cálculo del grado de acuerdo, entre otros) no permiten medir la confiabilidad de los estudios.

A su vez, como se ha puesto de manifiesto, este consenso puede promover la creación de una reflexión dialógica ante el vacío epistemológico y metodológico presente en algunos campos emergentes de las Ciencias del Lenguaje en las últimas décadas. Se trata de un avance necesario que, bajo una mirada interdisciplinar, debe reconsiderarse desde las bases de la Lingüística Aplicada.

Por último, las limitaciones y potencialidades diagnosticadas llevan a considerar el método Delphi como una herramienta prometedora para este campo de estudio. Entre los aspectos positivos se destacan cuestiones propias de su naturaleza como el debate en diferido, el acuerdo entre expertos de diversos perfiles o la realización de un proceso de recogida mixto (cuantitativo y cualitativo) en rondas consecutivas. No obstante, esta naturaleza es también la causante de las limitaciones más destacadas: el tiempo, las variables no controladas o la necesidad de datos complementarios, entre otras. Con todo ello, una lectura reflexiva y crítica de esas limitaciones puede ofrecer el caldo de cultivo idóneo para su transformación en potencialidades y, así, generar el consenso tan necesario en numerosos estudios en el marco de este ámbito disciplinar.

Agradecimientos

Este estudio se ha llevado a cabo gracias al proyecto de investigación del Plan Nacional Estatal de I+D+i Orientada a los Retos de la Sociedad, Comunicación, emoción e identidad en la adquisición y aprendizaje del español como segunda lengua (FFI2017-83166-C2-1-R), financiado por FEDER/Ministerio de Ciencia, Innovación y Universidades, Agencia Estatal de Investigación, y al proyecto del Grupo Consolidado de Investigación LAIDA (Literatura eta Identitatea), reconocido por la Universidad del País Vasco/Euskal Herriko Unibertsitatea (PPGA 20/19) y perteneciente a la red de Grupos de Investigación del Gobierno Vasco (IT 1397/19). Asimismo, las diversas fases de esta investigación se han desarrollado en el marco de AcqUA (Grupo de Investigación en Adquisición y enseñanza de segundas lenguas y lenguas extranjeras) de la Universidad de Alicante (VIGROB-239) y del Grupo de Investigación Reconocido de la Universidad de Valladolid “Lenguas europeas: enseñanza/aprendizaje, pragmática intercultural e identidad lingüística”.

Referencias

• ABDULLAH, M. R. T. L.; SIRAJ, S. The Evaluation of mLearning Implementation of Model for English Language Learning Via Fuzzy Delphi Method. Pertanika Journal - Social Sciences y Humanities, Selangor, v. 26, n. s, p. 33-54, 2018.
• AL LILY, A. E. Crowd-authoring versus peer-reviewing: An epistemic clash in the field of educational technology. Digital Scholarship in the Humanities, Oxford, v. 33, n. 1, p. 29-45, 2018. DOI: httsp://doi.org/10.1093/llc/fqx002
  » https://doi.org/httsp://doi.org/10.1093/llc/fqx002
• ALMENARA, J. C.; OSUNA, J. B. La utilización del juicio de experto para la evaluación de TIC: el coeficiente de competencia experta. Bordón, Madrid, v. 65, n. 2, p. 25-38, 2013. DOI: https://doi.org/10.13042/brp.2013.65202.
  » https://doi.org/https://doi.org/10.13042/brp.2013.65202
• AMANT, R. Comparison of Delphi Forecasting Studies in 1964 and 1969. Futures, Amsterdam, v. 2, n. 1, p. 35-44, 1970. DOI: https://doi.org/10.1016/0016-3287(70)90006-6
  » https://doi.org/https://doi.org/10.1016/0016-3287(70)90006-6
• AMARAL, A. B.; RIDER, E. A.; LAJOLO, P. P.; TONE, L. G.; PINTO, R. M. C.; LALOJO, M. P.; CALHOUN, A. W. Development of the Brazilian Portuguese adapted version of the Gap-Kalamazoo communication skills assessment form. International Journal of Medical Education, Nottingham, v. 7, p. 400-405, 2016. DOI: https://doi.org/10.1016/0016-3287(70)90006-6
  » https://doi.org/https://doi.org/10.1016/0016-3287(70)90006-6
• ARROYO GONZÁLEZ, M. J.; BERZOSA RAMOS, I. Atención educativa al alumnado inmigrante: en busca del consenso. Revista de Educación, Madrid, v. 379, p. 192-215, 2018. DOI: 10.4438/1988-592X-RE-2017-379-367
  » https://doi.org/10.4438/1988-592X-RE-2017-379-367
• ASSENOVA, R. S.; LE RESTE, J. Y.; FOREVA, G. H.; MILEVA, D. S. CZACHOWSKI, S.; SOWINSKA, A., et al. Cross-cultural validation of the definition of multimorbidity in the Bulgarian language. Folia Medica, Plovdiv, v. 57, n. 2, p. 127-132, 2015. DOI: https://doi.org.10.1515/folmed-2015-0031
  » https://doi.org/https://doi.org.10.1515/folmed-2015-0031
• BELTON, I.; MACDONALD, A.; WRIGHT, G.; HAMLIN, I. Improving the practical application of the Delphi method in group-based judgment: A six-step prescription for a well-founded and defensible process. Technological Forecasting and Social Change, Amsterdam, v. 147, p. 72-82, 2019. DOI: https://doi.org/10.1016/j.techfore.2019.07.002
  » https://doi.org/https://doi.org/10.1016/j.techfore.2019.07.002
• BOILLOS, M. M.; RODRÍGUEZ-LIFANTE, A. Desarrollo y aplicaciones del método Delphi en la investigación de enseñanza de segundas lenguas. In: CONGRESO INTERNACIONAL DE LINGÜÍSTICA XERAL, 13., 2018, Vigo. Presentación. Vigo: Universidad de Vigo, 2018.
• BOSQUE CRUZ, M.; CABRERA ALBERT, J. S. C.; IVIZATE CRUZ, M. E.; ECHEVARRÍA CABAÑA, G.; PORTILLA NEGRÍN, R. de la. Estrategia para implementar la concepción didáctica del proceso de formación en idioma Inglés a estudiantes de Medicina. Revista de Ciencias Médicas de Pinar del Río, Pinar del Río, v. 19, n. 2, p. 304-319, 2015.
• Centro Virtual Cervantes. “Lingüística aplicada”. Diccionario de términos clave de ELE, 2008. Instituto Cervantes, Madrid. Disponible en: Disponible en: https://bit.ly/3pP3q9i Acceso en: 20 mar. 2019.
  » https://bit.ly/3pP3q9i
• CRUZ RAMÍREZ, M.; RÚA VÁSQUEZ, J. A. Surgimiento y desarrollo del método Delphi: Una perspectiva cienciométrica. Biblios, Tacna, n. 71, p. 90-107, 2018. DOI: https://doi.org/10.5195/BIBLIOS.2018.470
  » https://doi.org/https://doi.org/10.5195/BIBLIOS.2018.470
• DALKEY, N.; HELMER, O. An experimental application of the Delphi method to the use of experts. Management Science, Mandsaur, v. 9, n. 3, p. 458-467, 1963. DOI: https://doi.org/10.1287/mnsc.9.3.458.
  » https://doi.org/https://doi.org/10.1287/mnsc.9.3.458
• GARCÍA-JIMÉNEZ, L.; RODRIGO-ALSINA, M.; PINEDA, A. The Social Construction of Intercultural Communication: A Delphi Study. Journal of Intercultural Studies, London, v. 38, n. 2, p. 228-244, 2017. DOI: https://doi.org/10.1080/ 07256868.2017.1289903
  » https://doi.org/https://doi.org/10.1080/ 07256868.2017.1289903
• GORDON, T. J. The Delphi Method. Washington: The Millennium Project, 1994.
• GORDON, T. J.; HELMER-HIRSCHBERG, O. Report on a Long-Range Forecasting Study. Santa Monica: RAND Corporation, 1964.
• HILINGER, A.; PÉREZ, V. Análisis comparativo y evaluación de la calidad de los recursos electrónicos para aprender lenguas extranjeras: el caso de Cambridge English y Aveteca. EDMETIC, Córdoba, España, v. 8, n. 1, p. 36-54, 2019. DOI: https://doi.org/10.21071/edmetic.v8i1.11156
  » https://doi.org/https://doi.org/10.21071/edmetic.v8i1.11156
• HSIN, M.-C.; CHIEN, S.-P.; HSU, Y.-S.; LIN, C.-Y.; YORE, L. D. Development and Validation of a Taiwanese Communication Progression in Science Education. International Journal of Science and Mathematics Education, Berlin, v. 14, n. 1, p. 125-143, 2016. DOI: https://doi.org/10.1007/s10763-014-9589-y
  » https://doi.org/https://doi.org/10.1007/s10763-014-9589-y
• LANDETA, J. El método Delphi: Una técnica de previsión para la incertidumbre. Barcelona: Ariel, 1999.
• LANDETA, J. Current validity of the Delphi method in social sciences. Technological Forecasting and Social Change, Amsterdam, v. 73, n. 5, p. 467-482, 2006. DOI: https://doi.org/10.1016/j.techfore.2005.09.002
  » https://doi.org/https://doi.org/10.1016/j.techfore.2005.09.002
• LANDETA, J.; BARRUTIA, J.; LERTXUNDI, A. Hybrid Delphi: A methodology to facilitate contribution from experts in professional contexts. Technological Forecasting and Social Change, Amsterdam, v. 78, n. 9, p. 1629-1641, 2011. DOI: http://doi.org/10.1016/j.techfore.2011.03.009
  » https://doi.org/http://doi.org/10.1016/j.techfore.2011.03.009
• LÓPEZ-GÓMEZ, E. El método Delphi en la investigación actual en educación: una revisión teórica y metodológica. Educación XX1, Madrid, v. 21, n. 1, p. 17-40, 2018. DOI: http://doi.org/10.5944/educxx1.20169
  » https://doi.org/http://doi.org/10.5944/educxx1.20169
• MIRBAGHERI, S. A. A knowledge management view of teaching English as a foreign language (TEFL) in General Educational System (GES) of Iran. Procedia: Social and Behavioral Sciences, Amsterdam, v. 136, p. 148-152, 2014. DOI: http://doi.org/10.1016/j.sbspro.2014.05.305
  » https://doi.org/http://doi.org/10.1016/j.sbspro.2014.05.305
• MULLEN, P. M. Delphi: Myths and Reality. Journal of Health Organization and Management, Bingley, v. 17, n. 1, p. 37-52, 2003. DOI: https://doi.org/10.1108/14777260310469319
  » https://doi.org/https://doi.org/10.1108/14777260310469319
• O’DOWD, R. Supporting In-Service Language Educators in Learning to Telecollaborate. Language Learning & Technology, Mānoa, v. 19, n. 1, p. 63-82, 2015.
• POWELL, C. The Delphi Technique: Myths and realities. Journal of Advanced Nursing, Hoboken, v. 41, n. 4, p. 376-382, 2003. DOI: https://doi.org/10.1046/j.1365-2648.2003.02537.x.
  » https://doi.org/https://doi.org/10.1046/j.1365-2648.2003.02537.x
• PRAZERES, F.; SANTIAGO, L. M.; SIMÕES, J. A. Defining Multimorbidity: Form English to Portuguese Using a Delphi Technique. BioMed Research International, London, v. 2015, p. 1-4, 2015. DOI: https://doi.org/10.1155/2015/965025
  » https://doi.org/https://doi.org/10.1155/2015/965025
• PRITCHARD, R.; O’HARA, S. Framing the Teaching of Academic Language to English Learners: A Delphi Study of Expert Consensus. TESOL Quarterly, Hoboken, v. 51, n. 2, p. 418-428, 2017. DOI: https://doi.org/10.1002/tesq.337
  » https://doi.org/https://doi.org/10.1002/tesq.337
• REGUANT-ÁLVAREZ, M.; TORRADO-FONSECA, M. El método Delphi. REIRE, Revista d’Innovació i Recerca en Educació, Barcelona, v. 9, n. 1, p. 87-102, 2016. DOI: https://doi.org/10.1344/reire2016.9.1916
  » https://doi.org/https://doi.org/10.1344/reire2016.9.1916
• REYES, C. E. G.; LIÑÁN, L. T. Aplicación del método Delphi modificado para la validación de un cuestionario de incorporación de las TIC en la práctica docente. Revista Iberoamericana de Evaluación Educativa, Madrid, v. 11, n. 1, p. 113-135, 2018. DOI: https://doi.org/10.15366/riee2018.11.1.007
  » https://doi.org/https://doi.org/10.15366/riee2018.11.1.007
• RIEGER, W. G. Directions in Delphi developments: dissertations and their quality. Technological Forecasting & Social Change, Amsterdam, v. 29, n. 2, p. 195-204, 1986. DOI: https://dx.doi.org/10.1016/0040-1625(86)90063-6
  » https://doi.org/https://dx.doi.org/10.1016/0040-1625(86)90063-6
• RONCAKOVÁ, T. Religious messages and the media code: Inherent features of the media language code and the transmission of religious messages. Kome - An International Journal of Pure Communication Inquiry, Budapest, v. 5, n. 2, p. 19-37, 2017. DOI: https://doi.org/10.17646/KOME.2017.22
  » https://doi.org/https://doi.org/10.17646/KOME.2017.22
• ROWE, G.; WRIGHT, G. The Delphi Technique as a Forecasting Tool: Issues and Analysis. International Journal of Forecasting, Amsterdam, v. 15, n. 4, p. 353-375, 1999. DOI: https://doi.org/10.1016/S0169-2070(99)00018-7
  » https://doi.org/https://doi.org/10.1016/S0169-2070(99)00018-7
• ROWE, G.; WRIGHT, G. The Delphi Technique: Past, Present, and Future Prospects-Introduction to the special issue. Technological Forecasting & Social Change, Amsterdam, v. 78, p. 1487-1490, 2011. DOI: https://doi.org/10.1016/j.techfore.2011.09.002
  » https://doi.org/https://doi.org/10.1016/j.techfore.2011.09.002
• SEVILLA-PAVÓN, A.; GIMENO-SANZ, A.; GARCÍA-LABORDA, J. Actitudes docentes hacia los ejercicios de la Prueba de Acceso a la universidad informatizada. Educação e Pesquisa, São Paulo, v. 43, n. 4, p. 1179-1200, 2017. DOI: https://doi.org/10.1590/S1517-9702201612149283
  » https://doi.org/https://doi.org/10.1590/S1517-9702201612149283
• SKULMOSKI, G. J.; HARTMAN, F. T.; KRAHN, J. The Delphi method for graduate research. Journal of Information Technology Education, Santa Rosa, v. 6, p.1-21, 2007. DOI: https://doi.org/10.28945/199.
  » https://doi.org/https://doi.org/10.28945/199
• TAMAYO CANO, L. H. The Delphi Technique as a Strategy for English for General Academic Purposes Online Material Design. In: COLOQUIO INTERNACIONAL EN INVESTIGACIÓN DE LENGUAS EXTRANJERAS, 11., 2019. Presentación. Bogotá. Bogotá: Universidad Nacional de Colombia, 2019.
• TSAI, C.-C.; CORLEY, E. A.; BOZEMAN, B. Collaboration experiences across scientific disciplines and cohorts. Scientometrics, New York, v. 108, n. 2, p. 505-529, 2016. DOI: https://doi.org/10.1007/s11192-016-1997-z
  » https://doi.org/https://doi.org/10.1007/s11192-016-1997-z
• UZTOSUN, M. S. Professional Competences to Teach English at Primary Schools in Turkey: a Delphi Study. European Journal of Teacher Education, Oxfordshire, v. 41, n. 4, p. 549-565, 2018. DOI: https://doi.org/10.1080/02619768.2018.1472569
  » https://doi.org/https://doi.org/10.1080/02619768.2018.1472569
• VAN RIJT, J.; COPPEN, P.-A. Bridging the Gap Between Linguistic Theory and L1 Grammar Education - Experts’ Views on Essential Linguistic Concepts. Language Awareness, New York, v. 26, n. 4, p. 360-380, 2017. DOI: https://doi.org/10.1080/09658416.2017.1410552
  » https://doi.org/https://doi.org/10.1080/09658416.2017.1410552
• WESTON, E.; CRILLY, J.; MOSSOP, L.; FOSTER, T. Competencies for Food Graduate Careers: Developing a Language Tool. Higher Education Pedagogies, Oxfordshire, v. 2, n. 1, p. 101-115, 2017. DOI: https://doi.org/10.1080/23752696. 2017.1366275
  » https://doi.org/https://doi.org/10.1080/23752696. 2017.1366275

• 1
  Las referencias utilizadas en la búsqueda sistemática son, por orden alfabético, las siguientes: ABDULLAH; SIRAJ, 2018; AL LILY, 2018; AMARAL et al., 2016; ARROYO GONZÁLEZ; BERZOSA RAMOS, 2018; ASSENOVA et al., 2015; GARCÍA-JIMÉNEZ; RODRIGO-ALSINA; PINEDA, 2017; HILINGER; PÉREZ, 2019; HSIN et al, 2016; MIRBAGHERI, 2014; O’DOWD, 2015; PRAZERES; SANTIAGO; SIMOES, 2015; PRITCHARD; O’HARA, 2017; RONCAKOVÁ, 2017; SEVILLA-PAVÓN, A.; GIMENO-SANZ, A.; GARCÍA-LABORDA, 2017; UZTOSUN, 2018; VAN RIJT; COPPEN, 2017; WESTON et al., 2017.

Fechas de Publicación

• Publicación en esta colección
  26 Feb 2021
• Fecha del número
  Jan-Mar 2021

Histórico

• Recibido
  21 Dic 2019
• Acepto
  01 Oct 2020