Método DELPHI: caracterização e potencialidades na pesquisa em Educação¹

The DELPHI method: characterization and potentialities for educational research

Resumo

Este artigo apresenta e discute o método Delphi e suas aplicações em Educação. Trata-se de um método com grande potencial como ferramenta metodológica, amplamente usado em pesquisas de várias áreas do conhecimento, mas ainda pouco utilizado no Brasil. Parece, então, pertinente ampliar a discussão sobre suas potencialidades, de modo a subsidiar a sua utilização tanto nas pesquisas em Educação como no planejamento e na gestão educacional. Assim, por meio de uma revisão narrativa da literatura da área, pretende-se dar a conhecer suas características e pressupostos, bem como descrever seu processo de implementação e análise. Serão ainda discutidas as principais vantagens e desvantagens do método, descritas as aplicações mais comuns e apontadas as suas potencialidades nas pesquisas em Educação.

Palavras-chave
método Delphi; metodologias de pesquisa; educação; revisão narrativa

Abstract

This article introduces and discusses the Delphi method and its applications in education. It is a method with enormous potential as a methodological tool, widely used in research of various fields of knowledge, but still poorly used in Brazil. Therefore, it seems relevant to broaden the discussion about its potential, in order to subsidize its use both in research in education and in educational planning and management. Thus, through a narrative review of the literature, its characteristics and assumptions are presented, and its implementation and analysis process are described. Furthermore, the main advantages and disadvantages of the method are discussed, the most common applications are described, and the potential for research in education is pointed out.

Keywords
Delphi method; research methodologies; education; narrative review

Introdução

Dentre as metodologias de pesquisa qualitativas, o método Delphi é uma poderosa técnica de investigação (Facione, 1990), pois permite reunir um conjunto de opiniões de especialistas separados geograficamente, levando a resultados densos sobre temáticas complexas e abrangentes. Tal potencialidade possibilita fazer leituras profundas da realidade e serve de base para uma melhor compreensão dos fenômenos e, principalmente, também, para orientar a tomada de decisões informadas e transformar a realidade com base nas opiniões dos intervenientes e dos especialistas envolvidos. O método Delphi é definido como “um método para estruturar um processo de comunicação coletiva de modo que este seja efetivo, ao permitir a um grupo de indivíduos, como um todo, lidar com um problema complexo” (Linstone & Turoff, 2002, p. 3). Esses autores sublinham que a variedade de tipologias Delphi existentes não deixa construir uma definição muito mais fechada ou explícita, no entanto, o mais comum é estarmos perante utilizações com o objetivo de “encontrar consenso fundamentado entre um grupo de especialistas em relação a um determinado assunto ou problema” (Facione, 1990, p. 54).

O Delphi é uma técnica amplamente usada em várias áreas, incluindo a Educação, mas no Brasil parece pouco conhecida, pois não são encontrados muitos trabalhos que utilizem esta ferramenta metodológica. Assim, este artigo se propõe a apresentar e discutir o método Delphi e suas possíveis aplicações na pesquisa em Educação, área na qual, em nosso entender, este método tem enormes potencialidades de utilização.

Por meio de uma revisão narrativa da literatura, daremos a conhecer os pressupostos e as características desta técnica, os processos de implementação e análise, suas vantagens e desvantagens e as suas aplicações e potencialidades, principalmente na área da Educação, visando subsidiar a sua utilização tanto em pesquisas como em planejamento e gestão educacional.

Caracterização do método

O método Delphi deve o seu nome ao Oráculo de Delphos e foi desenvolvido em órgãos associados à Defesa Estadunidense no início da década de 1950, em plena Guerra Fria (Linstone & Turoff, 2002). O seu objetivo principal era “obter um consenso fiável de um grupo de militares especialistas em defesa sobre possíveis ataques com bombas atômicas” (Boberg & Morris-Khoo, 1992, p. 27).

A partir dos anos 1960, essa técnica começou a ser aplicada na previsão de acontecimentos em diversos outros setores (Linstone & Turoff, 2002) e, hoje em dia, é usada em várias áreas.

É um método que “busca facilitar e melhorar a tomada de decisões feitas por um grupo de especialistas, sem interação cara-a-cara” (Osborne, Collins, Ratcliffe, Millar, & Duschl, 2003, p. 697). Normalmente consiste num conjunto de questionários que são respondidos, de maneira sequencial, individualmente pelos participantes, com informações resumidas sobre as respostas do grupo aos questionários anteriores (Osborne et al., 2003), de modo a se estabelecer uma espécie de diálogo entre os participantes e, gradualmente, ir construindo uma resposta coletiva.

Os resultados são analisados pelos pesquisadores entre cada rodada de questionários. São observadas as tendências e as opiniões dissonantes, bem como suas justificativas, sistematizando-as e compilando-as para, posteriormente, as reenviar ao grupo. Assim, depois de conhecer as opiniões dos outros membros e a resposta do grupo, os participantes têm a oportunidade de refinar, alterar ou defender as suas respostas e enviar novamente aos pesquisadores, para que eles reelaborem o novo questionário a partir dessas novas informações. Esse processo é repetido até se atingir um consenso (Grisham, 2009; Miranda, Nova, & Cornacchione JR., 2012; Serra, Locks, Martignago, Evangelista, & Palumbo, 2009).

É de sublinhar que atingir o consenso por meio do Delphi não é uma questão de contar votos ou meramente apresentar dados quantitativos (Facione, 1990). Os especialistas, ao longo das diferentes rodadas de questionários, vão apresentando as suas opiniões, vão comparando com as do grupo, vão argumentando e defendendo as suas posições e, ao mesmo tempo, estão abertos a reconsiderar e a alterá-las perante os argumentos de outros colegas ou a tendência geral do grupo. “No método Delphi é suposto que as pessoas partilhem as suas premissas e não apenas as suas conclusões” (Facione, 1990, p. 55), sendo por isso muito importante que as opiniões dissidentes e minoritárias sejam também partilhadas e relatadas, de modo que o painel de especialistas tenha acesso a elas e as possa integrar nas suas reflexões e nas suas argumentações.

Vários autores frisam que a obtenção de consenso não é sempre possível ou desejável. Por exemplo, Gupta e Clarke (1996) afirmam que

ao contrário de outros métodos de planejamento e previsão, o objetivo do Delphi não é chegar a uma reposta única ou a um consenso, mas simplesmente obter o maior número possível de respostas e opiniões de grande qualidade, de um grupo de especialistas, de modo a subsidiar tomadas de decisão. (p. 186)

Tudo vai depender do caso particular em estudo e, consequentemente, do tipo de Delphi a aplicar.

Na literatura consultada, encontram-se descritos três tipos de estudos Delphi – o convencional, o normativo e o Policy Delphi.

O Delphi convencional busca uma opinião de grupo sobre um determinado assunto, muitas vezes associada a previsões de algum tipo.

Já o chamado Delphi normativo, foca-se na identificação e no estabelecimento de objetivos e prioridades, no lugar de especulações e previsões. Com este tipo de Delphi procura-se estruturar e projetar um determinado assunto, mas com base no que é desejável e não no que é provável que aconteça (Yousuf, 2007).

Finalmente, no Policy Delphi, procura-se gerar pontos de vista opostos sobre um determinado assunto, normalmente envolvendo políticas e sua implementação. “Ao invés de consenso, a ênfase é dada à identificação das opiniões divergentes” (Yousuf, 2007, p. 2). É útil para explorar e discutir alternativas, alterar e melhorar políticas e, por exemplo, “pode ser usado por agências de planejamento para interagir melhor com representantes da comunidade e pode ter uma função educativa para ambos os grupos” (Linstone & Turoff, 2002, p. 90).

Em todas as tipologias de Delphi descritas, existe um núcleo de caraterísticas comuns que definem e distinguem esta técnica de outras. São elas: i) anonimato; ii) feedback das contribuições individuais; iii) construção e apresentação da resposta do grupo como um todo; iv) possibilidade de revisão e alteração das respostas (Linstone & Turoff, 2002; Osborne et al., 2003; Rowe & Wright, 1999; Silva & Tanaka, 1999; Yousuf, 2007).

Segundo Kayo e Securato (1997), o anonimato é a característica mais importante do método Delphi. Permite ultrapassar barreiras e problemas da comunicação cara a cara (Gupta & Clarke, 1996) como, por exemplo, capacidade de persuasão e domínio psicológico de alguns membros do painel de participantes, relutância natural em exprimir opiniões impopulares ou em modificar pontos de vista e efeitos de convencimento de minorias, cujas opiniões e argumentos são fundamentais no processo (Kayo & Securato, 1997; Yousuf, 2007).

Como consequência, o anonimato assegura a redução dos efeitos de vieses pessoais (Grisham, 2009). Preservando o anonimato, é possível “permitir que todos participem e ofereçam a sua contribuição” (Kayo & Securato, 1997, p.54) e, também, captar a opinião e o conhecimento pessoal de cada membro do painel e evitar as distorções associadas às interações entre participantes (Grisham, 2009).

As outras três características fundamentais do Delphi anteriormente referidas estão todas interligadas pelas múltiplas rodadas de questionários sequenciais com feedback das respostas.

As várias iterações, associadas aos feedbacks disponibilizados ao painel de especialistas, permitem que os membros reavaliem as suas posições, ao compará-las com a opinião do grupo (Yousuf 2007). O processo de feedback tem como missão disponibilizar aos especialistas as opiniões proferidas pelos participantes entre diferentes rodadas de questionários, assim como apresentar a opinião geral deles, como um grupo. Um feedback controlado facilita a redução da quantidade de desacordo entre os membros do painel (Yousuf, 2007) e possibilita caminhar em direção ao consenso, se assim desejado. Para Linstone e Turoff (2002), é precisamente “o feedback das informações recolhidas a partir do grupo e a oportunidade dos indivíduos para modificar ou aperfeiçoar seus julgamentos em reação e resposta aos pontos de vista coletivas do grupo” (p. 22) que distingue o método Delphi de um processo comum de sondagem de opinião.

Processo de implementação e análise

O processo de implementação do método Delphi dá-se em várias etapas, que, segundo a literatura consultada (Grisham, 2009; Kayo & Securato, 1997; Linstone & Turoff, 2002; Serra et al., 2009; Silva & Tanaka, 1999; Yousuf, 2007), podem ser divididas em:

• Escolha do grupo de especialistas.

• Construção do questionário 1.

• Primeiro contato com os especialistas e convite para participação na pesquisa.

• Envio do questionário 1.

• Recebimento das respostas ao questionário 1.

• Análise qualitativa e quantitativa das respostas.

• Construção e envio do questionário 2 com feedback.

• Recebimento das respostas ao questionário 2 e sua análise.

• Envio das seguintes rodadas de questionários, intercalando com as respetivas análises.

• Final do processo e escrita do relatório final.

Cada uma dessas etapas deve ser cuidadosamente preparada e implementada, e todo o processo deve ser registrado e descrito. Em seguida, descrevemos as principais características e fatores a ter em conta nas etapas referidas. Um esquema da implementação do método pode ser observado na Figura 1.

Figura 1
Esquema genérico de implementação do método Delphi com três rodadas.

Escolha dos especialistas

A seleção dos especialistas é fundamental. Powell (2003) lembra que grupos heterogêneos produzem tendencialmente soluções de maior qualidade e aceitação. Além disso, se não existir variedade de informação a ser partilhada, pouco se tem a ganhar com um procedimento desse tipo (Rowe & Wrigth, 1999). Assim, é importante que o painel seja equilibrado entre imparcialidade e interesse no assunto e que seja variado em termos de experiência, áreas de especialidade e perspectivas em relação ao problema. A inclusão de acadêmicos e practitioners no painel pode ser uma solução que ajuda a preencher esses critérios (Grisham, 2009).

Mas a definição de especialista não é consensual (Gupta & Clarke, 1996; Kayo & Securato, 1997) e vai depender do estudo em causa. Yousuf (2007) aponta ainda que um elevado grau de especialidade não é necessário, e há revisões que indicam que “o grau de especialização só é útil até determinado nível em tarefas de previsão, mas é de grande importância em processos de estimação” (Rowe & Wrigth, 1999, p. 372).

O número de especialistas encontrado na literatura é muito variado (Powell, 2003), mas os estudos indicam que um número ótimo deles não deve ser inferior a 10 e, na maioria dos casos, os painéis têm no máximo algumas dezenas de membros (Grisham, 2009; Miranda et al., 2012; Osborne et al., 2003). Um número abaixo de 10 pessoas compromete os resultados em termos de consenso efetivo e relevância das informações obtidas. Já um número muito elevado gera uma quantidade enorme de dados e torna a administração e a análise muito complexas (Miranda et al., 2012). Por outro lado, há pouca produção de novas ideias quando os grupos excedem os 30 membros (Osborne et al., 2003).

É importante sinalizar que, normalmente, no máximo metade das pessoas responde ao primeiro contato e é comum alguns participantes desistirem no meio do processo, levando o tamanho do painel a diminuir de rodada para rodada. Assim, é aconselhável começar com um grupo de especialistas de tamanho confortavelmente superior ao mínimo que se quer atingir.

As pessoas escolhidas para o painel devem estar comprometidas com todo o processo. Para tal, é muito importante explicar em detalhe em que consiste o estudo e o que é pedido (Grisham, 2009). Na literatura existem exemplos da correspondência trocada entre pesquisadores e o painel de especialistas, que podem ilustrar o processo de comunicação desde o convite até às rodadas finais, por exemplo Facione, 1990 e Marques, 2014.

Questionários e rodadas

Em relação aos questionários, o mais comum é que o primeiro seja constituído por perguntas abertas. Essa escolha oportuniza que os participantes se exprimam livremente sobre o tópico em causa (Powell, 2003) e pode contribuir para minimizar os vieses resultantes da intervenção do pesquisador ao estabelecer as questões. Mas, apesar de ser reconhecido que questões abertas aumentam a riqueza dos dados recolhidos, na literatura estão descritos exemplos que não seguem esse formato (Powell, 2003). Há estudos que começam de maneira mais direcionada, com questionários semiestruturados ou fechados na primeira rodada, construídos a partir da literatura da área ou de outros instrumentos de recolha de dados, como por exemplo, surveys. No entanto, Powell (2003) refere críticas a essas alternativas, questionando principalmente o fato de que, assim, a subjetividade introduzida no processo é a do pesquisador e não a do painel de especialistas.

Regra geral, as versões seguintes dos questionários são mais estruturadas, sendo as perguntas compostas por temas e itens surgidos nas respostas ao primeiro questionário. Normalmente é pedido aos especialistas que respondam classificando ou ordenando itens (Yousuf, 2007), por exemplo, por meio de escalas de importância, como a escala de Likert. Essas escalas são as mais comuns nesses estudos, principalmente as de cinco pontos, mas há quem use escalas com mais pontos (Miranda et al., 2012) ou outras opções de resposta.

É também importante não esquecer que, apesar de os questionários a seguir ao primeiro serem maioritariamente de resposta fechada, é fundamental que haja espaço para os membros do painel comentarem, sugerirem alterações, argumentarem a favor das suas posições, etc. (Kayo & Securato, 1997).

Olhando para o processo de implementação do Delphi como um todo, a maioria das pesquisas tem entre duas e quatro rodadas. “Um número maior não é aconselhável em virtude de restrições de tempo e pelo fato de não existirem mudanças de opinião significativas nas rodadas posteriores, conforme atestam experiências já realizadas” (Kayo & Securato, 1997, p. 53).

Rowe e Wright (1999) e Yousuf (2007) descrevem as rodadas típicas de maneira concisa, como representado no Quadro 1.

Quadro 1
Descrição das diferentes rodadas de implementação do Delphi

RODADA	DESCRIÇÃO
1º	Questionário não estruturado, que permite aos membros expressarem livremente a sua opinião de forma que os fatores e os temas importantes emerjam. Normalmente é solicitada a opinião sobre determinada temática ou um conjunto de previsões, objetivos, preocupações, ou outras, e também a descrição e a justificação deles de modo o mais completo possível.
2º	Questionário estruturado a partir da análise das respostas da 1ª Rodada. Normalmente, o questionário apresenta a lista de itens referidos pelos especialistas, de maneira agrupada, e é pedido a eles que os classifiquem ou ordenem, segundo critérios claros. É facultado também o sumário estatístico das respostas do grupo e exemplos de afirmações do painel como ilustração.
3º e seguinte	Questionário mais apurado. Sumário estatístico das respostas com informações sobre o grau de consenso. O painel tem oportunidade de alterar suas respostas com base na resposta do grupo. Os especialistas que derem respostas dissonantes são convidados a justificar as suas escolhas.

• Fonte: Elaborado pelas pesquisadoras.

É importante não esquecer que é preciso ter consideração pelo tempo dos participantes. O longo tempo entre as rodadas e os questionários longos podem ser fatores que levam alguns especialistas a desistir do Delphi ou a refletir pouco em suas respostas (Grisham, 2009). Assim, o tempo de participação no Delphi não deve ser exagerado, ou seja, não devem existir rodadas desnecessárias, e os questionários não devem ser longos demais, o que muitas vezes interfere na possibilidade de explorar várias dimensões do tema em questão. No entanto, cada caso é um caso, e não existe uniformidade na literatura em relação aos tamanhos dos questionários.

Um fator que pode melhorar a implementação do Delphi e, consequentemente, minimizar o tempo gasto pelos especialistas é a realização de pré-testes. Powell (2003) frisa que “podem ajudar a identificar ambiguidades e melhorar o processo de administração” (p. 378), mas, regra geral, os pré-testes não são referidos na maioria dos estudos consultados.

Ainda em relação aos questionários, há que fazer referência aos meios de comunicação. Originalmente os questionários eram enviados através dos serviços postais, mas hoje em dia dá-se preferência à internet (Serra et al., 2009) por razões de comodidade, rapidez e redução de custos. O surgimento da internet facilitou também a criação dos chamados “Delphi em tempo real”, em que os especialistas acedem aos questionários num website e respondem na hora. Este não envolve rodadas sequenciais, pois as análises são realizadas e apresentadas no site imediatamente, e os especialistas também podem mudar as suas respostas a qualquer momento (Kayo & Securato, 1997).

Análise dos dados e feedback

Na construção dos questionários a seguir ao primeiro, parte-se da análise das respostas do grupo de especialistas ao primeiro questionário. É muito importante que nesses questionários haja retorno da informação anterior, analisada e resumida, para apreciação do painel de especialistas. Powell (2003) lembra que o feedback dado aos participantes é fundamental no método Delphi, por ser a única maneira que eles têm de comunicar entre si, ainda que com a mediação dos pesquisadores. Assim, eles devem ter cautela na síntese dos resultados de cada rodada. As agregações de itens ou temas devem ser sempre justificadas pelos pesquisadores com base nas opiniões e nas afirmações do grupo, e os resultados apresentados de maneira clara, pondo em evidência as tendências e os pontos discordantes. (Kayo & Securato, 1997, p. 53).

Devem ainda ser facultados os resultados estatísticos da resposta do grupo. Esta análise deve ser sempre aliada a excertos anônimos de opiniões de membros do painel, escolhidos por serem representativos da opinião do grupo ou por serem discordantes, e que ajudem a construir uma imagem da opinião do grupo, com os seus consensos e dissensos. (Powell, 2003; Rowe & Wright, 1999; Yousuf, 2007). É também importante que as respostas e as posições particulares de cada especialista lhes sejam relembradas individualmente, para que possam posicionar-se em relação ao grupo.

A análise dos dados é, então, qualitativa e quantitativa. A análise qualitativa é aplicada principalmente ao resultado do primeiro questionário (aberto) e normalmente é usada a análise de conteúdo, criando-se categorias e agrupando-se itens de resposta. Em relação à análise quantitativa, são normalmente usadas técnicas de estatística descritiva (médias, desvios padrão e variâncias). Alguns autores utilizam testes estatísticos para procurar relações entre respostas e entre respostas de subgrupos de especialistas.

Critérios para terminar a consulta

O processo de rodadas de questionários termina quando são atingidos os níveis pretendidos de estabilidade e consenso nas respostas. Há consenso, em termos gerais, quando há baixa divergência na distribuição das respostas a um determinado item em torno de uma resposta média (Osborne et al., 2003). Já a estabilidade pode ser definida como a ausência de contribuições novas e a pouca alteração das respostas do painel entre rodadas (Miranda et al., 2012).

No entanto, não há regras bem definidas para o estabelecimento desses critérios (Powell, 2003). Osborne et al. (2003) encontraram pouca informação na literatura e acabaram por considerar que o consenso foi atingido quando pelo menos dois terços dos participantes classificaram um item com quatro ou cinco na escala de Likert de cinco pontos, e a estabilidade quando menos de um terço mudou as suas respostas entre rodadas. Para Rowe e Wright (1999), “empiricamente, o consenso tem sido determinado medindo a variância das respostas dos membros do painel Delphi ao longo das rodadas, com uma redução na variância a ser tida com indicação de que um maior consenso foi atingido” (p. 363). Pizani, Seron e Rinaldi (2009) e Mendes, Nascimento, Nahas, Fensterseifer, & Jesus, (2006) consideraram que o nível de consenso esperado era de que todas as respostas possuíssem mediana, moda e média igual ou superior a quatro na importância atribuída (mais uma vez numa escala de Likert de cinco pontos). Outros autores, por exemplo, Grisham (2009), afirmam que 80% de consenso é um bom objetivo, e há ainda quem defenda que mais importante que o consenso é a estabilidade das respostas, a qual deve ditar o final do processo (Grisham, 2009). Miranda et al. (2012) definiram esse critério por meio do cálculo do coeficiente entre desvio padrão e média das respostas, determinando que há baixa dispersão de respostas para valores do quociente menores que 15%.

A variação de critérios encontrada na literatura é grande, mas, sejam quais forem os utilizados, esses devem ser estabelecidos antes de começar o estudo (Silva & Tanaka, 1999).

Vantagens e desvantagens do método

Vantagens e potencialidades

O método Delphi tem várias vantagens e potencialidades, muitas delas já abordadas ao longo deste artigo e largamente comentadas na literatura.

Uma das principais e mais referida é o anonimato, que permite evitar conflitos dentro do grupo e domínio de alguns indivíduos, levando tendencialmente a opiniões mais honestas e com menos vieses (Gupta & Clarke, 1996; Osborne et al., 2003; Polland & Polland, 2004; Powell, 2003; Silva & Tanaka, 1999; Yousuf, 2007).

Para Gupta e Clarke (1996), o método também favorece capturar “uma grande variedade de variáveis interrelacionadas e características multidimensionais comuns à maioria dos problemas complexos” e lidar com “aspetos criativos e abertos de um problema, pois motiva o pensamento independente e a formação gradual de soluções de grupo” (pp. 186-187).

Osborne et al. (2003) e Rowe e Wright (1999) acrescentam que o uso de um grupo de especialistas é outra das vantagens, pois o contributo deles é, à partida, mais válido do que o contributo de não especialistas, e o resultado gerado por um grupo tem normalmente mais validade do que a opinião de um só indivíduo. Além disso, o consenso a que o grupo chega é fruto de opiniões bem refletidas, pois, pela natureza da técnica, as opiniões são apresentadas de forma escrita, forçando os especialistas a apresentá-las de maneira clara e precisa e a pensar o problema em profundidade (Osborne et al., 2003; Polland & Polland, 2004).

Outra vantagem refere-se ao fato de que o “controlo sistemático do Delphi tem sido visto como responsável por trazer objetividade aos resultados e por proporcionar a partilha de responsabilidades, que é reconfortante e liberta os participantes de inibições no grupo” (Powell, 2003, p. 377). Essa é uma das razões, que, em conjunto com o anonimato, pode permitir e facilitar que as pessoas revejam suas opiniões, característica também vista como uma das vantagens deste método (Gupta & Clarke, 1996; Silva & Tanaka, 1999). Os mesmos autores referem que este também ajuda a participação e a comunicação de pessoas de diferentes áreas de especialidade (Silva & Tanaka, 1999). Ao lidar com questões complexas e de diferentes dimensões, um estudo que use Delphi tem a ganhar com a possibilidade de utilizar especialistas de diferentes áreas e com diferentes experiências, que enriquecerão de várias maneiras o resultado final (Rowe & Wright, 1999). A flexibilidade de tempo oferecida aos respondentes é outra vantagem. Cada participante pode responder no momento que melhor lhe convier, ainda que dentro de um prazo previamente estabelecido (Silva & Tanaka, 1999; Yousuf, 2007). Acrescentamos ainda que o grupo de especialistas pode ser constituído por um número elevado de participantes, que podem estar dispersos geograficamente (Osborne et al., 2003; Silva & Tanaka, 1999). Assim, o processo tem custos muito mais baixos do que teria uma reunião presencial (Silva & Tanaka, 1999), o que muitas vezes nem seria viável.

Finalmente, alguns autores referem que o Delphi pode ser usado como ferramenta de aprendizagem, para além de instrumento de pesquisa (Gupta & Clarke, 1996; Powell, 2003). Sendo “bem projetado e gerido, o Delphi pode ser um ambiente altamente motivador para os respondentes” (Yousuf, 2007, p. 2).

Desvantagens e críticas

As desvantagens da técnica Delphi também estão bem documentadas na literatura e várias críticas lhe são apontadas. Dente elas, destacamos o fato de ser possível os pesquisadores influenciarem os resultados, quer através da formulação das questões, podendo levar à imposição de seus pontos de vista (Osborne et al., 2003), quer ao ignorar e não explorar pontos de discordância, gerando um consenso artificial (Kayo & Securato, 1997; Linstone & Turoff, 2002; Yousuf, 2007). A longa duração do processo é outra desvantagem que, às vezes, é subestimada (Kayo & Securato, 1997; Linstone & Turoff, 2002; Osborne et al., 2003). A fase das rodadas do Delphi pode durar vários meses, e cada questionário demanda tempo e concentração por parte dos participantes. Osborne et al. (2003) acrescentam ainda que, pelo fato de o grupo nunca se encontrar pessoalmente, há dificuldade em se aproveitar plenamente do seu conhecimento sobre o assunto em discussão. Tal característica acarreta outras desvantagens em relação aos métodos presenciais, nomeadamente o fato de o Delphi não permitir comunicação não verbal, que, normalmente, é uma enorme fonte de informações (Linstone & Turoff, 2002).

Para Gupta e Clarke (1996), algumas das vantagens do Delphi podem também ser vistas como desvantagens. Por exemplo, o anonimato e o feedback podem levar os respondentes a conformar-se, optando simplesmente por seguir a resposta do grupo (Gupta & Clarke, 1996; Powell, 2003), ou então a manipular, deliberada ou inadvertidamente, os resultados, levando os grupos a falsos consensos e opiniões distorcidas (Yousuf, 2007).

A existência de membros de diferentes especialidades e culturas nos painéis Delphi, visto como outro dos pontos fortes do método, pode também ser observada como fonte de dificuldades, quer em nível da comunicação entre os especialistas, quer em termos da análise dos resultados, devido a diferenças de linguagem e contexto (Kayo & Securato, 1997; Linstone & Turoff, 2002).

Serra et al. (2009) relembram que os resultados alcançados “dependem fortemente da qualidade dos questionários e da seleção dos especialistas” (p. 6). Sendo assim, é também importante estar atento a possíveis problemas associados ao design e à implementação do Delphi, como “inadequações conceptuais e metodológicas; execução desleixada; questionários pobres; má escolha dos especialistas; má utilização de técnicas de análise; feedback e consensos limitados e instabilidade nas respostas ao longo das diferentes rodadas” (Gupta & Clarke, 1996, p. 187).

Finalmente, a quantidade de dados gerada pelos questionários Delphi é grande, o que dificulta a análise, principalmente nas questões abertas (Boberg & Morris-Khoo, 1992) e quando o grupo de especialistas for grande.

Aplicações

O método Delphi pode ser aplicado numa grande variedade de áreas, incluindo a Educação (Linstone & Turoff, 2002; Rowe & Wright, 1999; Yousuf, 2007) e até “quando visto como processo de comunicação, há poucas áreas da atividade humana que não são candidatas à aplicação do Delphi” (Linstone & Turoff, 2002, p. 4). Gupta e Clarke (1996) dão prova disso, verificando que o Delphi é utilizado em mais de 20 áreas distintas, incluindo negócios, educação, saúde, turismo, estudos ambientais, engenharias, ciências sociais, administração, planejamento estratégico, entre outras. Esses autores, em sua extensiva revisão da literatura, encontraram um total de 463 artigos relacionados com o método Delphi, entre 1975 e 1994. Em 254 desses artigos, ele é o tema principal e, em 209, é tema secundário (Gupta & Clarke, 1996). Estudos focados em períodos semelhantes mostram que também as teses de doutorado usando Delphi aumentaram muito, passando de cerca de 60 na década de 1970, para 7 vezes esse número, na década seguinte (Grisham, 2009). O mesmo autor, pesquisando apenas na base de dados Academic Seach Premier em 2008, identificou 476 artigos que usavam a metodologia Delphi e, em abril de 2015, uma pesquisa simples feita por nós na base de dados de periódicos da CAPES, usando as palavras-chave “método Delphi”, teve como resultado 726 documentos (108 dos quais em português). Tais valores mostram que a técnica é usada e bem aceita (Grisham, 2009).

Ainda assim, apesar de ter inúmeras aplicações, é fundamental verificar a adequação da técnica aos objetivos e às características das pesquisas em causa. Yousuf (2007) afirma que o Delphi tem aplicação “sempre que políticas, planos ou ideias têm de ser baseados em acordos informados” (p. 1), e Powell (2003) acrescenta que o Delphi é “particularmente útil em situações em que opiniões individuais devem ser combinadas, de modo a resolver desacordos ou melhorar estados da arte incompletos” (p. 376). Já para Linstone e Turoff (2002), normalmente, um destes fatores a seguir leva à utilização do Delphi:

• O problema não se presta à utilização de técnicas de análise precisas, mas pode beneficiar de julgamentos subjetivos coletivos;

• Os indivíduos que devem participar não têm histórico de comunicação entre eles e podem representar especialidades e experiências diversas;

• São necessários mais participantes do que o que é plausível numa reunião cara-a-cara;

• Existem constrangimentos monetários e temporais que tornam a reunião presencial impraticável;

• A eficiência das reuniões presenciais pode ser aumentada por processos de comunicação alternativos;

• Desentendimentos ou posições políticas incompatíveis entre membros do painel tornam o anonimato necessário;

• A heterogeneidade dos participantes deve ser preservada para assegurar a validade dos resultados, sendo necessário evitar efeitos de dominância de personalidade ou pressões da maioria. (p. 4)

Em termos metodológicos mais gerais, e até epistemológicos, o método Delphi pode também ser utilizado em diferentes contextos e referenciais, desde pesquisas mais descritivas ou exploratórias até aquelas mais participativas. Por exemplo, Cohen, Manion e Morrison (2010) descrevem a técnica Delphi dentro do capítulo da pesquisa-ação e Mitroff e Turoff (2002) lembram que

subjacente a qualquer técnica científica, teoria ou hipótese, há sempre algumas bases filosóficas ou teoria sobre a natureza do mundo em que essa técnica, teoria ou hipótese fundamentalmente se baseia ou depende. ... dependendo da base que se presume, resulta uma história de desenvolvimento e aplicação dessa técnica radicalmente diferente. (p. 17)

Apesar disso, na maioria dos estudos Delphi falta clareza sobre os fundamentos epistemológicos e o enquadramento teórico em que os pesquisadores se baseiam (Powell, 2003).

Potencialidades na pesquisa em Educação

A técnica Delphi é uma excelente ferramenta para estudos na área de Educação (Rowe & Wright, 1999), e o seu potencial é conhecido e explorado desde o início da sua utilização. Por exemplo, dos artigos revistos por Gupta e Clarke (1996), aproximadamente 25% são da área da Educação, sendo essa a área com mais publicações.

No entanto, no Brasil a técnica tem sido pouco utilizada e, praticamente apenas, em áreas específicas da Educação como a Educação em Saúde, Educação Física, e a Educação ligada às Ciências contábeis e administração. Mas mesmo nessas áreas, em uma pesquisa simples no portal de periódicos da CAPES, encontram-se pouco mais de 20 documentos publicados em português. A eles se somam alguns trabalhos na área de Educação em Ciências (Marques, 2014; Ostermann, 1999; Tristão, 2011), mas que, tudo indica, são trabalhos pontuais.

Linstone e Turoff (2002) destacam algumas aplicações gerais da técnica que acreditamos terem também potencial de utilização na área da Educação:

• Recolher dados atuais ou históricos não disponíveis ou não conhecidos com precisão;

• Examinar o significado de acontecimentos históricos;

• Avaliar possíveis investimentos e distribuição de fundos;

• Explorar opções de planejamento urbano e regional;

• Planejar o desenvolvimento de campi universitários ou de currículos;

• Estruturar modelos;

• Delinear os prós e contras de potenciais políticas;

• Desenvolver relações causais em fenómenos económicos e sociais complexos;

• Clarificar e distinguir motivações reais e percebidas;

• Expor as prioridades de valores pessoais e objetivos sociais. ( p. 4)

E Yousuf (2007) resume que, no caso dos educadores, a técnica permite comunicar e perceber com eficácia tendências e necessidades.

A análise dos trabalhos revistos, brasileiros e internacionais, aponta para o uso desta técnica principalmente em estudos de currículo, definição de competências, construção ou melhoramento de cursos e percepções dos profissionais.

Por exemplo, Boberg e Morris-Khoo (1992) usaram o método Delphi para fazer uma avaliação e revisão de um programa de educação comunitária de adultos, oferecido no âmbito de um mestrado em Educação. Usou-se o Delphi

para averiguar as percepções sobre o programa tidas por grupos de partes interessadas relevantes, incluindo tanto professores como alunos.... O método Delphi foi escolhido por causa da necessidade de reconhecer a multiplicidade de percepções e valores, e ainda determinar consensos existentes no grupo

(Boberg & Morris-Khoo, 1992, p. 30).

Foi perguntado aos participantes quais as forças e as fraquezas do programa e foram pedidas recomendações para o futuro. No final, depois de identificados os aspectos consensuais, foi possível conhecer melhor o programa e resolver algumas das fraquezas apontadas. Os autores acabam por recomendar “o uso do método Delphi como um passo preliminar na avaliação de programas de ensino superior” (Boberg & Morris-Khoo, 1992, p. 37).

Também Mendes et al. (2006) avaliaram um programa de Ensino Superior usando o método Delphi, neste caso um programa de formação inicial de docentes de Educação Física, consultando docentes, discentes e egressos. “Os resultados evidenciaram diversos aspectos relacionados à estrutura curricular, pesquisa e extensão, recursos, corpo docente e discente, administração acadêmica, estágios e eventos científicos” (p. 53). Buscaram assim dar um contributo à reformulação curricular do curso, identificando aspectos que têm impacto positivo ou negativo na formação inicial. O uso deste método também lhes auxiliou a revelar as diferenças existentes entre as avaliações feitas pelos docentes e as feitas pelos alunos.

O potencial avaliativo da técnica não se esgota nos programas ou nos currículos, mas estende-se aos seus intervenientes. Por exemplo, Miranda et al. (2012) investigaram quais os fatores a considerar na avaliação de desempenho dos professores das graduações em Contabilidade no Brasil.

Ao levantar três qualificações consideradas essenciais na literatura específica (acadêmica, profissional e pedagógica), este estudo se propõe a validar os fatores componentes de cada uma dessas qualificações, por uma comissão de 21 especialistas nacionais e estrangeiros, utilizando-se da técnica Delphi. (p. 1)

O Delphi, por ser um método não presencial, permite acrescentar riqueza a certos estudos, como este referido, através da participação de especialistas estrangeiros ou simplesmente geograficamente distantes. Nesse caso específico, percebeu-se que “o grupo de especialistas estrangeiros valoriza mais a qualificação acadêmica do que os demais grupos, enquanto os contadores brasileiros são os que mais valorizam a formação profissional” (Miranda et al. 2012, p. 1).

Nos dois exemplos anteriores se vê que, se por um lado esta técnica tem o potencial de gerar e identificar consensos, por outro, possibilita perceber as diferenças de fundo entre grupos ou subgrupos distintos de especialistas que têm opiniões e visões diversas sobre um determinado problema ou assunto em estudo.

Outra potencialidade do Delphi é a identificação de saberes, competências ou habilidades de um determinado profissional, características essas que devem ser a linha mestra das construções dos currículos da sua formação.

Dentro dessa abordagem Pizani et al. (2008) procuraram saber “como os professores universitários de Maringá compreendem a ginástica geral e, quais saberes relacionados a ela julgam necessários à formação inicial em educação física” (p. 900). Como os próprios autores afirmam, “as informações derivadas do método podem constituir-se em valiosos dados para implementação curricular, pois os especialistas procuram predizer comportamentos, habilidades e conhecimentos necessários à preparação profissional” (p. 901).

A introdução de novas temáticas nos currículos ou a construção de currículos alternativos são também áreas em que o Delphi é vantajoso, devido, entre outros fatores, à potencialidade de reunir opiniões de especialistas de diversas áreas, construindo uma reflexão mais profunda e ampla. É o caso do trabalho de Osborne et al. (2003) que, utilizando um painel diversificado de cientistas, historiadores, filósofos e sociólogos da ciência, educadores na área de Ciências e comunicadores e divulgadores científicos, investigaram que ideias sobre a natureza da ciência deveriam ser parte integrante dos currículos das disciplinas de Ciências nas escolas do Reino Unido. Os autores dizem que nesta área existe controvérsia e que há pouca concordância sobre que perspectivas ou visões devem estar, ou já estão, presentes nos currículos, considerando que essa presença possa ser mais o resultado do “menor denominador comum em torno do qual é possível obter consenso em vez de uma visão coerente da natureza da ciência” (Osborne et al., 2003, p. 693). Diante disso, o Delphi auxiliou a determinar empiricamente o grau de concordância ou consenso no grupo de especialistas mencionado.

Também Ostermann (1999), na sua tese, utilizou o Delphi para fazer um “levantamento de tópicos de FMC [Física Moderna e Contemporânea] que deveriam ser ensinados na escola média” (p. 40), consultando um grupo de professores de Física do Ensino Médio, físicos e pesquisadores da área de ensino da Física. Esse trabalho fazia parte de uma pesquisa mais ampla que depois seguiu para a elaboração de materiais didáticos e a introdução de alguns dos tópicos emergentes em aulas experimentais de Física do Ensino Médio.

Noutro exemplo, Facione (1990) analisou o papel do pensamento crítico no ensino e na avaliação. Fê-lo usando um painel de especialistas composto por educadores, especialistas em pensamento crítico e acadêmicos das áreas de Filosofia, Ciências, Educação e Ciências Sociais. Com os resultados chegou a um conjunto de recomendações sobre as diferentes dimensões do pensamento crítico e sobre sua avaliação e ensino, incluindo o desenvolvimento de um currículo tendo por base o pensamento crítico. Além disso, listou um conjunto de características que deve ter um educador para que ensine dentro dessa visão e apresentou uma ferramenta para avaliação do pensamento crítico dos alunos.

Sendo uma ferramenta metodológica que em sua gênese era usada para previsões, é natural que o Delphi seja usado também com essa finalidade na Educação. Essa aplicação representa mais um potencial para a área, que pode ser ilustrado com o trabalho de Polland e Polland (2004). Estes autores conduziram um estudo Delphi, por meio de um painel composto por 30 especialistas em Tecnologia da Educação de diversas partes dos Estados Unidos, com o intuito de identificar as necessidades de pesquisa, neste campo, para os cinco anos seguintes. Como resultado, chegaram à identificação de oito áreas prioritárias de pesquisa nessa área.

Antunes (2014), em uma revisão recente, na plataforma Scielo e Scopus, de pesquisas científicas realizadas na área de Educação que adotaram o método Delphi, classificou os 19 artigos encontrados em 3 categorias de análise: avaliação de curso; planejamento educacional; e políticas educacionais. Concluiu sobre a facilidade de aplicação do método e dos resultados positivos encontrados, além de constatar a necessidade de maior avanço das pesquisas na área de políticas educacionais.

Esse tipo de estudos parece-nos particularmente útil em áreas em que é difícil fazer estados da arte por elas serem dispersas, amplas demais ou emergentes. E, para além do potencial para determinar lacunas e necessidades de pesquisa, o Delphi também pode ser usado para prever direções de pesquisa. Por outro lado, lembramos que, para além de refletir sobre o que é provável que aconteça, podemos antes perguntar o que é desejável que aconteça, abrindo um caminho de construção e transformação da realidade educativa.

Marques (2014) utilizou esse potencial do Delphi, fazendo um diagnóstico da área de educação não formal de Astronomia no Brasil. Um conjunto de 86 especialistas da área (astrônomos, pesquisadores de educação em astronomia, professores, divulgadores e astrónomos amadores) refletiu sobre o estado atual da área e foi convidado também a projetar como gostaria de vê-la no futuro. Como resultado foi identificado um conjunto de problemas em diferentes vertentes (oferta, financiamento, formação e condições de trabalho) e sugeridas soluções para resolvê-los.

A nosso ver, os exemplos anteriormente apresentados ilustram bem as principais potencialidades deste método de pesquisa. Entretanto, embora muitas das potencialidades e das aplicações referidas possam também ser alcançadas, como é natural, com outras metodologias e técnicas investigativas, o Delphi tem o potencial de construir reflexões muito ricas devido à sua facilidade de agregar, de forma anônima, especialistas dispersos e de permitir um diálogo refletido através das múltiplas rodadas com feedback. Outro aspecto a destacar está relacionado com a sua essência, uma vez que é um método de busca de consensos e construção de pontes. Numa área tão heterogênea como a Educação, em que tantos e tão distintos atores estão envolvidos na tomada de decisões e gestão de escolas, currículos, etc., muitas vezes com dificuldades de relações entre si, métodos que permitam ouvir os diferentes especialistas e refletir conjuntamente sobre os problemas e as características da Educação e o sistema de ensino e gerar consensos, têm um enorme potencial. Mas, pelo que apuramos, o Delphi está ainda por ser explorado no Brasil.

Considerações finais

O reconhecimento do amplo potencial deste método e, em simultâneo, a constatação do escasso uso dele nas pesquisas em Educação motivaram-nos a realizar e apresentar este estudo na literatura específica.

Numa época de crises locais e globais, marcadas por desigualdades, atitudes de indiferenças e intolerância e por diversas formas de violência e autoritarismo, que atingem todas as dimensões das ações humanas – econômicas, políticas, sociais, ambientais, etc, – são notáveis a fragilidade e os desafios que se interpõem às práticas educativas em todas as suas extensões: da produção de conhecimentos às ações educacionais.

É crescente a demanda por perspectivas mais inclusivas, democráticas e emancipatórias nas práticas educativas para dar conta da diversidade cultural e das temáticas e das questões polêmicas e controversas das sociedades atuais, cada vez mais presentes nos diferentes espaços educativos – formais, informais e não formais –, e que são acompanhadas por novas concepções, estratégias e métodos, tanto para o ensino como para a pesquisa.

À medida que novas práticas e relações sociais se alargam, diversificam e se tornam mais complexas no contexto educacional, elas acabam gerando questionamentos sobre os referenciais e os instrumentos teórico-metodológicos, bem como sobre os parâmetros adotados para orientar e avaliar a qualidade da pesquisa na Educação. Assim, modalidades de investigação que estimulem o diálogo entre especialistas de diversas áreas do conhecimento, que apresentem diferentes experiências e graus de inserção na prática profissional, são potencialmente mais abrangentes e inclusivas.

Em pesquisas e tomadas de decisões participativas, que envolvam a comunidade e os interessados, parece-nos pertinente e apropriado explorar métodos como este, que têm na sua essência o potencial para ouvir, de maneira conjunta, as vozes de professores, alunos, pesquisadores, políticos, etc.

O método Delphi é um método rico, que permite a prospecção de opiniões, o fomento de consensos e a identificação de temas de desacordo. Possibilita utilizar o potencial de diferentes áreas de especialidade na busca de soluções, previsões ou caracterização de problemas complexos e multidimensionais, como a maioria dos problemas educacionais. Favorece ouvir, de forma anônima, os diferentes atores dos processos educativos, evitando constrangimentos, conflitos e outros vieses. Auxilia na promoção do diálogo e na reflexão entre pessoas geograficamente distantes e grupos grandes. É uma ótima ferramenta metodológica para fomentar o debate, tendo também o potencial de ser educativa.

À guisa de conclusão, queremos trazer uma reflexão sobre as potencialidades de aplicação do método Delphi na Educação, especificamente em relação à elaboração de políticas educacionais, uma das dimensões já identificada como lacunar nos trabalhos revisados. A partir da aprovação do Plano Nacional de Educação (PNE) em 2014, que determina diretrizes, metas e estratégias para a política educacional para os próximos dez anos, vivemos momentos de profundos debates, difíceis de serem consensuados, e que requerem, para a sua legitimação, cada vez mais a participação ativa de diversas instâncias dos meios e dos atores educacionais. Sem entrar no mérito do processo em curso, tampouco na celeuma que atinge a elaboração e a implementação da Base Nacional Comum Curricular (BNCC) para a Educação Básica, cujo documento preliminar, neste momento, está colocado para debate nacional, julgamos pertinente focalizar a potencialidade da adoção deste método para a organização desse debate.

Como dito anteriormente, o método Delphi possibilita a reunião de um conjunto de opiniões de especialistas e profissionais, que atuam em diferentes instâncias e espaços educativos e que se encontram dispersos geograficamente, tendo como meta a compreensão e a busca de consensos acerca de temáticas complexas, polêmicas e abrangentes. Considerando a importância atual do debate nacional sobre a BNCC que, como dizemos, envolve divergências e necessita incorporar as realidades e as múltiplas vozes existentes numa diversidade de contextos escolares no território brasileiro, o uso desse método poderia possibilitar a efetiva participação de toda a comunidade educacional direta ou indiretamente envolvida – professores, pais, pesquisadores, técnicos educacionais, políticos, etc. –, tendo em vista a sua incorporação nos currículos escolares. Não desconsiderando o movimento atualmente instalado pelo MEC de consulta a especialistas e de abertura, em uma plataforma na internet, para participação de toda a comunidade brasileira que queira, salientamos pontos fundamentais e que a aplicação desse método poderia propiciar. Um deles é a existência de “feedback controlado”, que facilita a comunicação regular dos participantes a partir de sínteses das discussões de modo que todos possam acompanhar para compreender as diferentes posições e, também, identificar aqueles aspectos que podem ser consensuados. Outro ponto importante é o anonimato entre os participantes, o que pode reduzir a influência de um, considerado mais experiente, sobre outro. No caso desse painel que seria criado, teríamos pessoas de diferentes formações, vivências, experiências e influências. Outra vantagem é a possibilidade de mudar de opinião, sem que os diferentes e diversos participantes fiquem constrangidos. Dessa forma, cada participante pode defender as suas opiniões com tranquilidade, mesmo que equivocadas, sabendo que elas não ficarão sob jugo de especialistas ou superiores hierárquicos.

Em decorrência da imbricação que há entre as pesquisas e suas aplicações no campo educacional, poderíamos ainda inferir a importância de promover um painel com esses atores para saber a opinião da comunidade educacional mais ampla sobre, por exemplo, querer ou não uma Base Nacional Comum Curricular, como ela deve ser e por quem deverá ser elaborada, a quem interessa a BNCC. A nosso ver, esse conhecimento seria de grande valor para uma construção coletiva e democrática de debates sobre os rumos da Educação Básica no Brasil.

Esperamos que o estudo aqui apresentado possa ser esclarecedor das características e dos potenciais do método Delphi e, portanto, um ponto de partida para quem queira considerar sua utilização.

• 1
  Apoio: Fundação de Amparo à Pesquisa do Estado de São Paulo (FAPESP)

Referências

• Antunes, M. M. (2014). Técnica Delphi: metodologia para pesquisas em educação no Brasil. Revista de Educação PUC-Camp., 19(1), 63-71.
• Boberg, A. L., & Morris-Khoo, S. A. (1992). The Delphi method: a review of methodology and an application in the evaluation of a higher education program. The Canadian Journal of Program Evaluation, 7(1) 27-39.
• Cohen, l., Manion, l., & Morrison, K. (2010). Research methods in education (6a ed.). London: Routledge.
• Facione, P. A. (1990). Critical thinking: a statement of expert consensus for purposes of educational assessment and instruction. Research findings and recommendations (Report). Newark: American Philosophical Association.
• Grisham, T. (2009). The Delphi technique: a method for testing complex and multifaceted topics. International Journal of Managing Projects in Business, 2(1), 112-130.
• Gupta, U. G., & Clarke, R. E. (1996). Theory and application of the Delphi technique: a bibliography (1975-1994). Technological Forecasting and Social Change, 53, 185-211.
• Kayo, E. K., & Securato, J. R. (1997). Método Delphi: fundamentos, críticas e vieses. Cadernos de Pesquisa em Administração, 1(4), 51-61.
• Linstone, H. A., & Turoff, M. (2002). The Delphi method: Techniques and applications. Addison Wesley Newark, NJ: New Jersey Institute of Technology. Recuperado em março de 2015, de < https://web.njit.edu/~turoff/pubs/delphibook/index.html>.
  » https://web.njit.edu/~turoff/pubs/delphibook/index.html
• Marques, J. B. V. (2014). Educação não-formal e divulgação de Astronomia no Brasil: o que pensam os especialistas e o que diz a literatura. Dissertação de Mestrado em Educação, Programa de Pós-Graduação em Educação, Universidade Federal de São Carlos, São Carlos.
• Mendes, E. H., Nascimento, J. V. do, Nahas, M. V., Fensterseifer, A., & Jesus, J. F. (2006). Avaliação da formação inicial em educação física: um estudo Delphi. Revista da Educação Física, 17(1), 53-64.
• Miranda, G. J., Nova, S. P. C. C., & Cornacchione JR., E. B. (2012). Dimensões da qualificação docente em contabilidade: um estudo por meio da técnica Delphi. In Anais do 12 Congresso USP de Controladoria e Contabilidade (p. 18). São Paulo.
• Mitroff, I., & Turoff, M. (2002). Philosophical and methodological foundations of Delphi. In H. A. Linstone, & M. Turoff, The Delphi method: Techniques and applications (pp. 17-34). Newark, NJ: New Jersey Institute of Technology. Recuperado em março de 2015, de <https://web.njit.edu/~turoff/pubs/delphibook/index.html>.
  » https://web.njit.edu/~turoff/pubs/delphibook/index.html
• Osborne, Collins, S., Ratcliffe, M., Millar, R., & Duschl, R. (2003). What “Ideas-about-Science” should be taught in school science? A Delphi study of the expert community. Journal of Research in science teaching, 40 (7), 692-720.
• Ostermann, F. (1999). Tópicos de física contemporânea em escolas de nível médio e na formação de professores de física. Tese de Doutorado, Instituto de Física, Universidade Federal do Rio Grande do Sul, Porto Alegre.
• Pizani, J., Seron, V., & Barbosa-Rinaldi, I. P. (2009). Formação inicial em educação física na cidade de Maringá: a ginástica geral em questão. Motriz, 15(4), 900-910.
• Polland, C., & Polland, R. (2004). Research priorities in education technology: a Delphi study. Journal of Research on Technoloy in Education, 37 (2), 145- 160.
• Powell, C. (2003). The Delphi technique: myths and realities. Journal of Advanced Nursing, 41(4), 376-382.
• Rowe, G., & Wright, G. (1999). The Delphi technique as a forecasting tool: issues and analysis. International Journal of Forecasting, 15, 353-375.
• Serra, F. A. R, Locks, E. B. D., Martignago, G., Evangelista, S., & Palumbo, S. (2009). Pesquisa Delphi: O futuro do turismo de Santa Catarina – previsões entre 2007 e 2011. globADVANTAGE - Center of Research in International Business & Strategy. Working paper nº 45. Instituto Politécnico de Leiria. Recuperado em abril de 2014, de <http://www.turismoemanalise.org.br/turismoemanalise/article/view/33>.
  » http://www.turismoemanalise.org.br/turismoemanalise/article/view/33
• Silva, R. F., & Tanaka, O. Y. (1999, setembro). Técnica Delphi: identificando as competências gerais do médico e do enfermeiro que atuam em atenção primária de saúde. Revista da Escola de Enfermagem – USP, 33(3), 207-216.
• Tristão, V. T. V. (2011). Educação ambiental não formal: a experiência das organizações do terceiro sector. Tese de Doutorado, Faculdade de Educação, Universidade de São Paulo, São Paulo.
• Yousuf, M. I. (2007). Using experts’ opinions through Delphi technique. Practical Assessment, Research & Evaluation, 12(4), 1-9.

Datas de Publicação

• Publicação nesta coleção
  May-Aug 2018

Histórico

• Recebido
  01 Nov 2015
• Revisado
  24 Maio 2016
• Aceito
  23 Maio 2017