Contribuições da técnica Delphi para a validação de uma avaliação de terapia ocupacional em deficiência visual¹

Resumo

Introdução

A Técnica Delphi é utilizada para estabelecer consenso sobre determinado assunto, em áreas que precisam de construção, validação, revisão ou melhor exploração de conhecimentos e métodos de intervenção.

Objetivo

Apresentar as contribuições da Técnica Delphi como estratégia de validação de um instrumento em Terapia Ocupacional para avaliar adolescentes e adultos com deficiência visual.

Método

Pesquisa quali-quantitativa, exploratória e descritiva, com emprego da Técnica Delphi para validação do instrumento. Foi constituído um painel de especialistas por amostragem não probabilística por acessibilidade. Os questionários de opinião sobre a avaliação e a avaliação propriamente dita foram enviados na mesma data para todos os participantes. Utilizou-se exclusivamente o meio eletrônico como mecanismo de envio e recepção dos documentos. A análise dos dados transcorreu na coleta, tendo em vista que a rodada seguinte tinha início apenas após a análise do questionário anterior. Para obtenção do consenso, o resultado da rodada deveria apresentar IVCtotal≥0,90, IVCitem≥0,78 e estabilidade nas sugestões dos participantes.

Resultados

Foi formado um painel com 8 especialistas, realizadas três rodadas da Técnica, com duração total de 12 meses. Na terceira e última rodada, o IVCtotal=0,97 e não houve sugestões que provocassem alterações na avaliação, sendo considerada válida.

Conclusão

A Técnica Delphi se mostrou vantajosa por permitir sua realização online e anônima entre os participantes, possibilitando a participação de profissionais com expertises heterogêneas, que contribuíram e permitiram o estabelecimento do consenso quanto ao conteúdo, estrutura, linguagem, organização e a necessidade de itens para uma avaliação terapêutica ocupacional na área da deficiência visual, resultando em sua validação.

Palavras-chave:
Terapia Ocupacional; Pessoas com Deficiência Visual; Classificação Internacional de Funcionalidade; Incapacidade e Saúde; Avaliação da Deficiência; Estudo de Validação; Técnica Delfos

Abstract

Introduction

The Delphi Technique is used to establish consensus on a given subject, in areas that still need construction, validation, revision, or better exploration of knowledge and intervention methods.

Objective

To show the contributions of the Delphi Technique as a validation strategy for an Occupational Therapy assessment for visually impaired persons.

Method

Quali-quantitative research, descriptive and exploratory, using the Delphi Technique as a validation strategy for the assessment. A non-probabilistic accessibility sample was constituted for the composition of a panel of experts. The questionnaires and the Assessment were sent, by e-mail, on the same date to all participants. An electronic device was exclusively used as a mechanism for sending and receiving documents. Data analysis took place during the collection, considering that the next round started only after analyzing the data from the previous questionnaire. To achieve consensus, the result of the round should have CVItotal≥0.90 and CVIitem≥0.78 and stability in the participants' suggestions.

Results

A panel was formed with 8 experts, held three rounds of the Technique, with a total duration of 12 months. In the third and last round, the CVItotal=0.97, and there were no suggestions that would cause changes in the Assessment. Therefore, it was considered valid.

Conclusion

The Delphi Technique proved to be advantageous allowing its online and anonymous performance among the participants, permitting the participation of professionals with heterogeneous expertise, who contributed and granted the establishment of consensus regarding the content, structure, language, organization, and the need for items for an Occupational Therapy assessment in visual impairment field, resulting in its validation.

Keywords:
Occupational Therapy; Visually Impaired Persons; International Classification of Functioning; Disability and Health; Disability Evaluation; Validation Study; Delphi Technique

Introdução

A Técnica Delphi tem seu primeiro registro descrito durante a Guerra Fria, na ocasião, utilizada com propósitos militares (Grisham, 2009; Habibi et al., 2014; Waggoner et al., 2016; Massaroli et al., 2017; Marques & Freitas, 2018). Expandiu-se para o universo científico a partir de 1990 e hoje é utilizada em diversas áreas do conhecimento, incluindo pesquisas em saúde e educação (Faro, 1997; Almeida et al., 2009; Habibi et al., 2014; Marques & Freitas, 2018).

A referida técnica é utilizada com o objetivo de estabelecer consenso sobre determinado assunto, sendo uma ferramenta em áreas em que o conhecimento ainda precisa de construção, validação, revisão ou melhor exploração (Powell, 2003; Habibi et al., 2014; Revorêdo et al., 2015; Massaroli et al., 2017). Inspirada no oráculo do templo grego de Apolo, Delfos, busca consultar especialistas ou experts para projeções futuras ou conhecer melhor determinadas temáticas, sendo aplicada em rodadas de questionários (Faro, 1997; Kayo & Securato, 1997; Powell, 2003; Almeida et al., 2009; Grisham, 2009; Habibi et al., 2014; Waggoner et al., 2016; Marques & Freitas, 2018). O nome da Técnica Delphi já foi alvo de críticas por sua referência ao universo místico, embora não tenha esse caráter (Massaroli et al., 2017).

De abordagem mista, lança mão de estratégias qualitativas e quantitativas para a coleta e análise dos dados (Revorêdo et al., 2015; Massaroli et al., 2017). Por meio de estatísticas descritivas, calcula-se frequência e percentual de opiniões e caminha-se no estudo Delphi até a obtenção do grau de concordância estabelecido a priori, procedendo-se também à análise qualitativa dos comentários e sugestões dos participantes, incorporando-os, quando pertinente, ao produto que está sendo validado (Revorêdo et al., 2015; Marques & Freitas, 2018).

A Técnica Delphi tem algumas características que são consideradas vantajosas. O anonimato entre os participantes evita constrangimentos, inibições e intimidações que podem ocorrer em encontros presenciais, possibilitando a expressão de comentários de todos, mesmo daqueles juízes cujas opiniões são minoritárias (Kayo & Securato, 1997; Waggoner et al., 2016; Marques & Freitas, 2018). Outras vantagens dizem respeito à possibilidade de fornecer aos participantes feedback por suas contribuições, apresentação pelos responsáveis pelo estudo do que está sendo construído pelo grupo, à possibilidade de revisão das respostas dos especialistas, bem como à formação de grupos heterogêneos, quando o assunto ou produto a ser validado for multidimensional e multidisciplinar (Grant & Davis, 1997; Powell, 2003; Habibi et al., 2014; Revorêdo et al., 2015; Waggoner et al., 2016; Marques & Freitas, 2018). A oportunidade de aplicação da Técnica em meio virtual é identificada como outro diferencial e vantagem para sua utilização, o que permite maior tempo ao participante para reflexão em relação ao fenômeno estudado, pode levar à maior adesão, participação, além de menor custo e tempo despendido para sua realização (Grisham, 2009; Coutinho et al., 2013; Waggoner et al., 2016; Marques & Freitas, 2018).

A Técnica segue alguns passos. O primeiro deles é a definição do facilitador, sendo o responsável por analisar e sintetizar as respostas e gerar novas consultas aos participantes por meio de um novo questionário. Após, definem-se critérios para escolha dos participantes do painel de especialistas e a estratégia de coleta das informações, seja por meio de questionário, roteiro de entrevista ou enquete.

A literatura sugere o questionário como um dos melhores formatos para a realização da Técnica, apesar de não haver um modelo padronizado para sua construção (Faro, 1997; Almeida et al., 2009). Alguns autores apontam o cuidado na elaboração do instrumento para que não seja extenso, de modo a promover a desistência dos participantes, tampouco reduzido a ponto de gerar a possibilidade de respostas automáticas, com insuficiente reflexão sobre o fenômeno (Faro, 1997; Kayo & Securato, 1997; Marques & Freitas, 2018). Os questionários devem prever espaços para estimular os participantes a tecer suas considerações sem que fique preso às respostas estruturadas (Kayo & Securato, 1997).

Para a formação do painel de especialistas, o número de participantes ainda não é consenso na literatura (Faro, 1997; Grant & Davis, 1997; Powell, 2003; Habibi et al., 2014; Waggoner et al., 2016; Marques & Freitas, 2018). Segundo Lynn (1986), é necessário o mínimo de 5 sujeitos participantes. O número máximo não fora estabelecido, entretanto, sugere-se que não seja excedida a participação de 10 especialistas. Segundo essa autora (Lynn, 1986), a quantidade de juízes participantes dependerá de quantos experts podem ser identificados, quantos são acessíveis e concordam em participar.

Outra referência aponta para uma grande variedade no número de participantes. Coutinho et al. (2013), que realizaram uma revisão sistemática da literatura acerca da Técnica, sugerem que a decisão quanto ao número de juízes participantes irá variar com a natureza do objeto de estudo, o qual pode indicar uma disponibilidade maior ou menor de pessoas. Como resultado, identificaram pesquisas com uma variação de 6 a 305 juízes especialistas participantes (Coutinho et al., 2013).

Powell (2003) defende que, apesar de não haver consenso quanto ao número de participantes, não é necessário organizar um painel com um número representativo estatisticamente, uma vez que a representatividade para a Técnica Delphi está na qualidade do painel formado. Coutinho et al. (2013), em sua revisão sistemática, identificaram que a taxa de retorno era inversamente proporcional ao número de participantes das pesquisas que fizeram uso da Técnica Delphi; assim, quanto maior o número de participantes, conforme novas rodadas eram realizadas, menos pessoas mantinham a participação. A ocorrência de diminuição de participantes conforme aumenta o número de rodadas também é afirmada na pesquisa de Waggoner et al. (2016).

Inicia-se com a distribuição de um questionário, amplo e exploratório quanto ao tema em estudo. A partir da compilação das respostas dos participantes, novos questionários são construídos e modificações ao produto são sugeridas, buscando-se o aprofundamento nas opiniões e aprimoramento dos itens do instrumento de avaliação. As novas rodadas de distribuição dos questionários e análise dos dados devem ocorrer até a estabilidade das respostas, sem que haja novas sugestões de mudanças, baixa ou nenhuma divergência, e quando for estabelecido o consenso (Faro, 1997; Kayo & Securato, 1997; Powell, 2003; Almeida, 2004; Almeida et al., 2008, 2009; Grisham, 2009; Habibi et al., 2014; Revorêdo et al., 2015; Marques & Freitas, 2018).

A determinação quantitativa do consenso em uma pesquisa que utiliza a Técnica Delphi pode variar. Almeida et al. (2009) estabeleceram em sua pesquisa o índice de concordância de 0,70 ou 70%. Em revisão sistemática da literatura, Coutinho et al. (2013) identificaram vinte artigos científicos que fizeram uso da Técnica Delphi em pesquisas relacionadas à atenção primária em saúde. Os autores analisaram que as escolhas dos valores de consenso foram diferentes. Por exemplo, em cinco artigos o valor mínimo como critério de concordância foi de 75%, em outras pesquisas foi considerado 80%, duas não apresentaram a concordância mínima (Coutinho et al., 2013).

Alexandre & Coluci (2011) argumentam que deve ser considerado o número de participantes para estabelecer o Índice de Validade de Conteúdo (IVC). Para pesquisas com menos de 5 juízes, todos devem concordar para que seja considerado consenso; em pesquisas com mais de 6 participantes, deve-se considerar uma taxa de concordância superior a 0,78 ou 78% (Lynn, 1986; Polit & Beck, 2006; Alexandre & Coluci, 2011).

É possível calcular dois tipos de IVC. O IVC por item, que diz respeito à concordância entre os participantes quanto a cada um dos itens da rodada, e o IVC total, que corresponde à concordância do questionário da rodada como um todo. Entretanto, não somente o índice ou grau de concordância deve ser levado em conta para o estabelecimento do consenso, como também quando não há mais contribuições e sugestões dos especialistas que sejam pertinentes aos objetivos do estudo e que gerem mudanças no produto (Faro, 1997; Powell, 2003; Almeida, 2004; Almeida et al., 2008, 2009; Grisham, 2009; Habibi et al., 2014; Revorêdo et al., 2015; Marques & Freitas, 2018).

A revisão integrativa de Revorêdo et al. (2015), quanto à utilização da Técnica Delphi em pesquisas em saúde, identificou que a maior parte das publicações localizadas se referia a estudos de criação e validação de instrumentos de avaliação. Corroborando o achado de Revorêdo et al. (2015), no presente manuscrito são trazidos resultados de uma pesquisa de doutorado realizada com a finalidade de estabelecer a validade de face e conteúdo de uma avaliação, a Avaliação Terapêutica Ocupacional (ATO) para Adolescentes e Adultos com Deficiência Visual (Silva, 2020; Silva & Montilha, 2020, 2021). A ATO é composta pela entrevista direta para a identificação do desempenho ocupacional, influenciadores cotidianos, interesses, prioridades, expectativas, e a realização de tarefas funcionais para observação das capacidades em ambiente padrão e sua posterior qualificação na Classificação Internacional de Funcionalidade, Incapacidade e Saúde (CIF) (Silva, 2020; Silva & Montilha, 2020, 2021).

Para o estabelecimento da validade da ATO, a Técnica Delphi foi utilizada como ferramenta. Assim, o presente manuscrito tem como objetivo evidenciar as contribuições da Técnica como estratégia de validação de um novo instrumento de avaliação em Terapia Ocupacional, na área da deficiência visual.

Metodologia

Pesquisa quali-quantitativa, exploratória e descritiva, com emprego da Técnica Delphi, em três rodadas para a validação de face e de conteúdo de um instrumento de avaliação em Terapia Ocupacional na área da deficiência visual (Gil, 2008).

Local

Utilizou-se exclusivamente o meio eletrônico como mecanismo de envio e recepção dos documentos durante o processo de validação, não sendo necessário um local específico e o deslocamento do painel de especialistas.

Participantes

Foi constituída uma amostragem não probabilística por acessibilidade ou conveniência (Gil, 2008). Para o processo de validação foi composto um painel de juízes especialistas, em conformidade com a estratégia de validação de face e conteúdo e com a Técnica Delphi.

Os juízes especialistas compreenderam profissionais da área da saúde envolvidos em pesquisa e/ou ensino e/ou prática clínica, atuantes em deficiência visual e/ou com conhecimento no processo de construção e validação de instrumentos de avaliação e/ou conhecedores da Classificação Internacional de Funcionalidade, Incapacidade e Saúde (CIF). Foram excluídos profissionais que estivessem envolvidos, em qualquer momento, na construção da ATO e aqueles com conflito de interesse com a pesquisa.

Para compor o painel, cada participante deveria aceitar e assinar o Termo de Consentimento Livre e Esclarecido (TCLE). O TCLE foi encaminhado por e-mail e deveria ser respondido e devidamente assinado também por via digital.

Procedimento de coleta de dados

Todos os procedimentos de coleta de dados se desenvolveram por meio eletrônico. Foram enviados por correio eletrônico os convites para profissionais da saúde que correspondiam aos critérios da pesquisa, juntamente com o TCLE. O envio e a recepção de todos os documentos assinados foram realizados exclusivamente por e-mail, com prazo previamente estipulado. Após a devolutiva dos TCLE assinados, teve início a 1ª rodada do estudo Delphi, quando a ATO e o 1º questionário foram enviados, na mesma data, a todos os participantes, para consulta aos especialistas em relação à referida avaliação. O especialista teve acesso ao questionário, construído com a ferramenta Google Forms, por meio de um link. Todas as demais rodadas da Técnica ocorreram por meio da mesma estratégia on-line com envio da ATO e dos questionários subsequentes.

Procedimentos de análise dos dados

A análise dos dados do processo de validação de face e de conteúdo foi realizada por meio de estratégias descritivas, qualitativas e quantitativas, a fim de interpretar os resultados das coletas realizadas junto aos juízes especialistas no processo de validação do instrumento.

Pesquisas que utilizam a Técnica Delphi têm os procedimentos de análise dos dados transcorrendo durante a coleta, tendo em vista que a rodada seguinte tem início apenas após a análise dos dados do questionário anterior (Massaroli et al., 2017).

Os Índices de Validade de Conteúdo (IVC) por item (IVCitem) e total (IVCtotal) foram calculados com as fórmulas sugeridas na literatura de referência (Polit & Beck, 2006). Para o Índice de Validade de Conteúdo por item (IVCitem) foi utilizada a fórmula: IVC = nº de respostas positivas/nº total de respostas. O cálculo do IVC total pode ser obtido de três maneiras diferentes: IVCtotal = nº de respostas positivas/(nº juízes X nº itens); ou a soma das médias de concordância de cada juiz individualmente dividido pelo número total de juízes; bem como resultado da média dos valores do IVC item, somando-os e dividindo pelo número de itens. As três formas de cálculo devem resultar em um mesmo valor (Polit & Beck, 2006).

De acordo com a literatura, para estabelecer a validade em novos instrumentos de avaliação, o valor padrão esperado para os cálculos do IVC total é ≥0,90 ou 90% e para o IVC item é ≥0,78 ou 78% (Lynn, 1986; Polit & Beck, 2006).

Dessa forma, a pesquisa aqui relatada considerou tais valores padrão de IVC item e IVC total para estabelecer a validade da Avaliação Terapêutica Ocupacional (ATO) para Adolescentes e Adultos com Deficiência Visual. A questão que obteve ≤0,75 ou 75% de concordância entre os juízes especialistas foi compulsoriamente revista e o item que corresponde à ATO obrigatoriamente modificado ou excluído (Lynn, 1986). A questão com Índice compreendido no intervalo entre 0,75 (75%) e 0,78 (78%) foi revista, entretanto, não compulsoriamente excluída ou alterada.

Aspectos éticos

Esta pesquisa foi aprovada pelo Comitê de Ética em Pesquisa da Faculdade de Ciências Médicas, Universidade Estadual de Campinas, sob o parecer nº 2.167.526/17.

Resultados e Discussão

Os resultados descritos a seguir visam a evidenciar as contribuições da Técnica Delphi no processo de validação de face e conteúdo da Avaliação Terapêutica Ocupacional (ATO) para Adolescentes e Adultos com Deficiência Visual².

A Figura 1 retrata as etapas do processo de validação utilizando a Técnica Delphi e a Tabela 1 apresenta as rodadas, os materiais analisados pelos participantes e os resultados sumarizados.

Figura 1
Etapas do processo de validação utilizando a Técnica Delphi.

Tabela 1
Rodadas, materiais analisados e resultados sumarizados.

Rodada da Técnica Delphi		Resultado
1ª Rodada	Envio da ATO1	Adequação da ATO1 – ATO2
	Julgamento da clareza, objetividade, conteúdo, linguagem, estrutura	Construção de um manual
		IVCT=0,892 (89,2%)
2ª Rodada	Envio da ATO2	Adequação da ATO2 – ATO3
	Julgamento das adequações da 1ª Rodada	IVCT=0,941 (94,1%)
3ª Rodada	Envio da ATO3	Consenso
	Julgamento das adequações da 2ª Rodada	IVCT=0,979 (97,9%)

Para o desenvolvimento desta pesquisa, foram convidadas 13 pessoas, dentre terapeutas ocupacionais, fonoaudiólogos e médico oftalmologista. Os participantes em potencial foram identificados a partir do conhecimento da autora e em artigos científicos nas áreas relacionadas, que correspondessem aos critérios de inclusão e exclusão.

Os convites foram realizados por e-mail. Os profissionais que não tinham contato eletrônico conhecido pela pesquisadora foram questionados quanto ao interesse em participar por mensagens de texto via celular, explicando brevemente o objetivo da pesquisa e solicitando o e-mail para a realização do convite formal e envio do TCLE. Os convites aconteceram entre os meses de setembro e dezembro de 2017. Após o início da 1ª rodada do estudo, não seriam mais aceitos novos participantes.

Nove profissionais aceitaram participar, entretanto, oito retornaram os e-mails com TCLE assinados. Durante todo o processo, as oito pessoas se mantiveram como participantes da pesquisa, respondendo aos questionários sempre que solicitado.

Segundo Grisham (2009), é muito importante a seleção de um painel que tenha o equilíbrio entre imparcialidade e interesse no tópico, com conhecimento na área e comprometimento em participar de um processo que, geralmente, é composto por mais de uma rodada. Para Marques & Freitas (2018), o comprometimento e a disposição dos participantes são fundamentais, uma vez que perder sujeitos de pesquisa, quando envolve múltiplas rodadas, é considerado comum.

Os achados das pesquisas citadas evidenciam a importância no cuidado que se deve ter na escolha do painel de juízes especialistas, o que justificou a atenção dada na presente pesquisa de validação da ATO para a seleção de seus participantes, com utilização do método de amostra por conveniência.

Nesta pesquisa, participaram quatro terapeutas ocupacionais e quatro fonoaudiólogos. Durante o desenvolvimento da Técnica, um participante declarou mestrado em andamento, três com mestrado concluído, três com doutorado em andamento e um com doutorado concluído. Em relação ao conhecimento e experiência, todos declararam ser conhecedores da CIF, cinco referiram em deficiência visual e reabilitação em deficiência visual, quatro disseram ter conhecimento e experiência em avaliação da visão funcional e em Terapia Ocupacional, três juízes declararam conhecimentos quanto ao processo de avaliação em Terapia Ocupacional e um em processos de validação e confiabilidade de instrumentos de avaliação.

A 1ª rodada da Técnica Delphi teve início em dezembro de 2017. Foi enviado um e-mail, na mesma data, a todos os participantes, com o link do questionário (construído na plataforma Google Forms), para que opinassem sobre a Avaliação, e a ATO como anexo em Portable Document Format – pdf. O prazo estabelecido para a devolutiva desta rodada foi o mês de janeiro de 2018.

O questionário acerca da ATO era composto por treze questões (Tabelas 2 e 3). Algumas questões possibilitavam a emissão de opinião em escala de cinco pontos, que se estendiam de Concordo plenamente até Discordo completamente (Tabela 2), outras questões solicitavam respostas em escala dicotômica (sim/não) (Tabela 3), além de haver espaços para o participante dissertar, fornecendo opiniões e comentários, que permitissem o aprimoramento da ATO e aprofundamento de opiniões sobre a referida avaliação pelos especialistas na 2ª rodada.

Tabela 2
1ª rodada Técnica Delphi: Julgamento dos especialistas sobre a ATO₁ – Avaliação em cinco pontos.

Afirmações	Grau de concordância
	IVC item %
	n = 8
	DC	DP	NN	CP	CC	IVC item
1. Na minha opinião, a maneira como a ATO está organizada é adequada.	-	-	25%	12,5%	62,5%	0,75 ou 75%
2. Na minha opinião, a ordem dos tópicos da ATO está adequada.	-	-	12,5%	12,5%	75%	0,875 ou 87,5%
3. Na minha opinião, a ATO está escrita com linguagem acessível.	-	-	-	37,5%	62,5%	0,1 ou 100%
4. Na minha opinião, a ATO está escrita de forma clara.	-	-	-	25%	75%	0,1 ou 100%
5. Na minha opinião, a ATO está escrita de forma objetiva.	-	-	12,5%	12,5%	75%	0,875 ou 87,5%
6. Na minha opinião, a ATO apresenta informações suficientes para sua compreensão.	-	12,5%	12,5%	25%	50%	0,75 ou 75%

• DC: Discordo completamente; DP: Discordo parcialmente; NN: Nem concordo e nem discordo; CP: Concordo parcialmente; CC: Concordo completamente. Adaptado de Silva (2020).

Tabela 3
1ª rodada Técnica Delphi: Julgamento dos especialistas sobre a ATO₁ – Avaliação em dois pontos.

Questões	Grau de concordância
	IVC item %
	n=8
	Sim	Não
7. Você mudaria a sequência dos itens da ATO? (sequência atual: instruções gerais, dados pessoais, aspectos visuais, entrevista semiestruturada, atividade prática, instruções e quadros para atividade prática)	62,5%	37,5%
8. A ATO possui extensão adequada, tendo em vista os aspectos que pretende avaliar?	87,5%	12,5%
9. A ATO possui alguma palavra que seja difícil de compreender seu significado?	-	100%
10. A ATO possui alguma palavra que tenha duplo sentido ou dupla interpretação?	-	100%
11. Considero que a ATO contempla:
11.1 Aspectos visuais	100%	-
11.2 Funcionalidade da pessoa com deficiência visual	100%	-
11.3 Dificuldades cotidianas da pessoa com deficiência visual	100%	-
11.4 Restrições na participação da pessoa com deficiência visual	75%	25%
11.5 Limitação na realização das atividades da pessoa com deficiência visual	100%	-
11.6 Capacidades da pessoa com deficiência visual	87,5%	12,5%
11.7 Interesses da pessoa com deficiência visual	87,5%	12,5%
11.8 Expectativas da pessoa com deficiência visual	75%	25%
11.9 Barreiras ambientais da pessoa com deficiência visual	100%	-
11.10 Facilitadores ambientais da pessoa com deficiência visual	87,5%	12,5%
12. A ATO, como um todo, mostrou-se viável de ser aplicada?	100%	-
13. Na sua opinião, o nome da ATO é adequado? (Avaliação Terapêutica Ocupacional para Adolescentes e Adultos com Deficiência Visual)	100%	-

• Adaptado de Silva (2020).

O Índice de Validade de Conteúdo total (IVC total) obtido na 1ª rodada foi de 0,892 (89,2%), o que ainda não permite considerar a ATO válida. Uma questão obteve IVC item = 0,625 (62,5%), necessitando de modificações compulsórias, outras quatro questões obtiveram IVC item de 0,75 (75%), necessitando de revisão e adequação.

Todas as respostas foram analisadas considerando o IVC, entretanto, mesmo as questões com índice de concordância ≥0,78 ou 78% que continham comentários, sugestões e opiniões foram consideradas, permitindo modificações e adições na Avaliação Terapêutica Ocupacional.

Algumas considerações dos juízes especialistas necessitaram de feedback por e-mail, individualmente, para justificar a não inclusão ou adequação do material, por exemplo, pela sugestão de acréscimo de aspectos que não fazem parte das competências de atuação do profissional terapeuta ocupacional.

A ATO foi alterada com base nas sugestões da 1ª rodada, passando a chamar didaticamente de ATO₂. Um novo questionário foi construído aprofundando algumas questões e, anonimamente, compartilhando as opiniões geradas na 1ª rodada que levaram às modificações na Avaliação.

O início da 2ª rodada da Técnica Delphi se deu em março de 2018. A ATO₂ e o link do novo questionário foram enviados por correio eletrônico. O prazo inicial para as devolutivas era abril de 2018, entretanto, houve solicitação para que fosse prorrogado, passando a ser maio de 2018.

O questionário dessa rodada possuía dezessete perguntas com a possibilidade de respostas em escala dicotômica (sim/não) e um campo em aberto, em cada questão, para os participantes contribuírem com suas opiniões (Tabela 4). Ao final do questionário, outro espaço em aberto convidava o especialista a observar e sugerir aspectos que não estavam contemplados nas perguntas estruturadas.

Tabela 4
2ª rodada Técnica Delphi: Julgamento dos juízes especialistas sobre a ATO₂ – Avaliação em dois pontos.

Questões	Grau de concordância
	IVC item %
	n=8
	Sim	Não
1. Construção de um manual com informações sobre objetivo da ATO, estrutura da avaliação, métodos de aplicação e terminologias empregadas. Você acredita que o manual construído possui informações suficientes para a aplicação da ATO por terapeutas ocupacionais?	100%	-
2. Inclusão de breve explicação sobre a CIF, seus objetivos, componentes e qualificadores. Você acredita ser importante ter uma breve explicação sobre a CIF no manual?	75%	25%
3. Inclusão de breve explicação sobre a CIF, seus objetivos, componentes e qualificadores. Você acredita que as informações oferecidas sobre a CIF são suficientes para a aplicação da ATO?	100%	-
4. As instruções específicas de cada questão foram colocadas imediatamente antes da pergunta que lhe diz respeito. Você concorda com a nova disposição das instruções de cada pergunta?	87,5%	12,5%
5. Adequação da numeração das tabelas e quadros; revisão dos números das questões. Você concorda com essas alterações?	100%	-
6. Inclusão, no item dados pessoais, sobre religião. Você concorda com o acréscimo dessa questão?	87,5%	12,5%
7. Melhores descrições referentes à escolaridade e à atividade profissional, no item dados pessoais. Você concorda com essas alterações?	87,5%	12,5%
8. Alteração e adequação da questão 4.4 “Dificuldades nas atividades básicas e instrumentais de vida diária”. Você concorda com a mudança no quadro das atividades com a junção do quadro de magnitude da dificuldade?	100%	-
9. Inclusão de “relações íntimas” no quadro de atividades com possível dificuldade (pergunta 4.4). Você concorda com a inclusão desta atividade?	100%	-
10. Na pergunta 4.5, você concorda com o novo formato ao questionar sobre as atividades prioritárias para o processo de reabilitação?	100%	-
11. Inclusão de perguntas gerais sobre atividades domésticas, na questão 5. Você concorda com a inclusão de perguntas referentes às atividades e ao ambiente doméstico?	100%	-
12. Sobre a questão 5.1., acredita que as questões feitas sejam relevantes?	87,5%	12,5%
13. Inclusão e adequação de perguntas nas atividades profissionais, na questão 5.3. Você concorda com tais alterações e adequações?	87,5%	12,5%
14. Adequação e inclusão das instruções para aplicação da questão 6, “relacionamento interpessoal”. Você acredita que agora, com a presença das instruções, a questão 6 ficou mais fácil de interpretar e perguntar ao avaliado?	100%	-
15. Na questão 7, “aspecto socioemocional”, houve a inclusão de perguntas. Você concorda com o acréscimo?	100%	-
16. Inclusão de quadro final com a descrição dos códigos utilizados na ATO. Você acredita ser importante ter o quadro ao final da ATO?	87,5%	12,5%
17. Inclusão das receitas sugeridas para realização da atividade prática de culinária. Você acredita ser importante as receitas constarem ao final da ATO?	100%	-

• Adaptado de Silva (2020).

O IVC total foi 0,941 (94,1%), concordância entre os participantes em conformidade com os valores padronizados de IVC total≥0,90 (90%). Após análise, nenhuma questão da 2ª rodada recebeu IVC item <0,75 (75%). Uma questão recebeu IVC item=0,75 (75%), sendo compulsoriamente revista e adequada.

Apesar de o valor de IVC total, se analisado isoladamente, ser suficiente para considerar a ATO válida, os juízes especialistas contribuíram com sugestões relevantes e pertinentes para uma avaliação inicial em Terapia Ocupacional na área da deficiência visual, levando a modificações na ATO e impedindo que a Avaliação fosse considerada válida em face e conteúdo.

Para ser considerado o consenso, a partir da Técnica Delphi, é necessário não apenas a convergência estatística, por meio dos cálculos do Índice de Validade de Conteúdo, mas também da pouca ou nenhuma divergência de opiniões e ausência de sugestões que sejam importantes à proposta e acordadas com a literatura da área (Faro, 1997; Powell, 2003; Almeida, 2004; Almeida et al., 2008; Almeida et al., 2009; Grisham, 2009; Habibi et al., 2014; Revorêdo et al., 2015; Marques & Freitas, 2018). É necessário o consenso quantitativo e qualitativo, sendo este último possível apenas se forem disponibilizados os espaços em aberto (Kayo & Securato, 1997).

Como resultado da 2ª rodada, foi formulada a nova versão da ATO, chamada de ATO₃, com adequações estéticas, conteúdo reduzido, mais objetivo, possibilitando e estimulando o profissional terapeuta ocupacional a consultar as fontes originais na literatura para seu aprofundamento teórico, além da adição e reorganização de itens na Avaliação.

A 3ª rodada da Técnica Delphi teve início no começo do mês de junho de 2018, com o envio da ATO₃ e o link do terceiro questionário aos oito participantes. O prazo para o retorno das respostas da rodada estava previsto para o fim do mesmo mês, entretanto, foi solicitada a prorrogação da devolutiva, passando a ser em agosto de 2018.

O questionário da 3ª rodada tinha seis questões com possibilidade de respostas em escala dicotômica (sim/não) e um espaço, após cada questão, para os especialistas dissertarem (Tabela 5). Este foi construído com base nas sugestões dos participantes obtidas na 2ª rodada e nas alterações ocorridas na Avaliação Terapêutica Ocupacional para que tais modificações fossem avaliadas e julgadas.

Tabela 5
3ª rodada Técnica Delphi: Julgamento dos juízes especialistas sobre a ATO₃ – Avaliação em dois pontos.

Questões	Grau de concordância
	IVC item %
	n=8
	Sim	Não
1. O manual sofreu mudanças, resultando em um corpo de texto mais sucinto. Você está de acordo com as alterações no manual, como um todo?	100%	-
2. O texto sobre a explicação da CIF sofreu alterações, passando a se apresentar com menos detalhes sobre sua aplicabilidade, estrutura e códigos. O avaliador é convidado a consultar as referências da Organização Mundial da Saúde sobre o assunto. Você concorda com a alteração realizada?	100%	-
3. No item “dados pessoais – escolaridade” acrescentou-se a informação “pós-graduação”. Você concorda com a inserção?	100%	-
4. As instruções de cada item passaram a ter destaque em quadros para uma separação estética. Você concorda com a alteração e a nova apresentação?	100%	-
5. O item 5.1 “atividades domésticas” foi reorganizado e uma questão foi adicionada. Você concorda com as alterações realizadas?	100%	-
6. Após as alterações resultantes da 1ª e 2ª rodadas, você acredita que a ATO esteja pronta para ser utilizada?	87,5%	12,5%

• Adaptado de Silva (2020).

No mês de setembro de 2018, as análises da 3ª rodada foram encerradas. Nenhum item recebeu concordância ≤0,78 ou 78% e precisou ser compulsoriamente revisto ou excluído da Avaliação. O IVC total foi de 0,97 (97,91%), índice superior ao padrão para considerar a ATO válida. Os comentários realizados pelos participantes nessa rodada não levaram a alterações na Avaliação que justificassem a realização de uma nova rodada da Técnica. Caso os especialistas apresentassem novas contribuições ou divergências em relação às modificações na Avaliação realizadas até o momento, uma nova rodada de questionário seria organizada e gerariam novas alterações na ATO para uma nova oportunidade de julgamento.

Dessa forma, com índices de concordância acima do padrão estabelecido pela literatura e com a estabilidade das sugestões de mudanças na ATO, foi permitido considerá-la válida.

Ao total, foram realizadas três rodadas da Técnica, o que está em conformidade com a literatura. Embora não estabeleça um limite, a literatura aponta para a realização de duas a quatro rodadas como sendo usual para o alcance do consenso (Kayo & Securato, 1997; Powell, 2003; Almeida et al., 2009; Waggoner et al., 2016; Massaroli et al., 2017; Marques & Freitas, 2018). As colaborações para a validação foram obtidas a partir de expertises complementares e multidisciplinares, o que permitiu sugestões e comentários ricos e variados, e a ampliação das discussões. A heterogeneidade dos juízes participantes é referenciada em alguns artigos científicos como sendo o ideal para pesquisas exploratórias que fazem uso da Técnica (Grant & Davis, 1997; Powell, 2003; Habibi et al., 2014; Revorêdo et al., 2015; Waggoner et al., 2016; Marques & Freitas, 2018).

Por fim, outro aspecto que favoreceu o aprofundamento das questões e modificações foi a possibilidade de espaços em aberto, para que os juízes dissertassem e tivessem a liberdade para oferecerem suas opiniões (Kayo & Securato, 1997). Foi a abertura do espaço para comentários que permitiu a realização de três rodadas da Técnica, uma vez que as considerações nos questionários foram essenciais para o refinamento e validação da Avaliação Terapêutica Ocupacional (ATO) para Adolescentes e Adultos com Deficiência Visual.

Conclusão

A Técnica Delphi se mostrou uma ferramenta vantajosa para o estabelecimento da validade de conteúdo e de face, uma vez que a estratégia a distância e on-line na plataforma escolhida, sem o deslocamento dos participantes, evitou custos de pesquisa, que seriam gerados em encontros presenciais, facilitou o processo de envio e recepção dos materiais, a sistematização dos dados obtidos a cada rodada, o engajamento e continuidade na participação. Nesta pesquisa, não houve perda de juízes especialistas entre as rodadas, todos os participantes se mantiveram ativos durante todo o processo.

A distância e o anonimato permitiram que todos os juízes expressassem suas opiniões sem que fossem sobrepostas pelos demais participantes, nenhum desconforto foi relatado durante o processo. A Técnica Delphi também permitiu que os participantes revisassem as próprias sugestões a cada nova rodada e a disposição de espaços em aberto favoreceu o aprofundamento dos questionários e modificações na Avaliação, o que, apenas por meio da análise estatística com os cálculos de IVC, não seria possível.

Os prazos foram flexibilizados no decorrer do processo, por necessidades particulares expressas por alguns especialistas, fazendo com que o tempo de execução total da Técnica fosse estendido. Do envio dos convites até a análise da 3ª rodada, que descartou a necessidade de uma nova rodada, foram necessários doze meses ininterruptos de coleta e análise de dados utilizando a Técnica Delphi como ferramenta.

O tempo despendido para a participação na pesquisa, que inclui – em mais de uma rodada – o recebimento do material pelos participantes, a leitura crítica e a reflexão para responder às perguntas do questionário, e o posterior envio das respostas ao pesquisador, pode ser considerado um risco para a perda de especialistas no decorrer do processo de validação. Embora o número de participantes tenha permanecido inalterado durante este estudo, a queda expressiva de experts pode prejudicar a validação de um instrumento de avaliação. Assim sendo, a escolha do painel de especialistas deve ser atenta e cuidadosa por parte dos pesquisadores responsáveis.

A ferramenta possibilitou a adequação da Avaliação com base em conhecimentos e expertises complementares, com profissionais envolvidos em uma ou mais áreas relacionadas ao tema, enriquecendo as sugestões e, como consequência, a Avaliação Terapêutica Ocupacional. Uma dificuldade encontrada na etapa de seleção dos participantes em potencial foi atribuída à identificação e localização de profissionais que correspondessem aos critérios de inclusão, dispostos a participar de uma pesquisa que implica dedicação, motivação, interesse e conhecimento suficientes para a manutenção do envolvimento e disponibilidade para contribuir em profundidade com o material.

Finalmente, a Técnica Delphi se mostra potente para o auxílio do desenvolvimento científico, devendo ser uma ferramenta mais explorada para a elaboração, construção, identificação de indicadores e validação de avaliações em saúde. Após transcorrido todo o processo de validação da presente pesquisa, a Técnica é identificada como uma estratégia possível para o estabelecimento do consenso quanto ao conteúdo, estrutura, linguagem e organização e itens para uma avaliação terapêutica ocupacional, possibilitando a participação de profissionais, com formações e expertises heterogêneas, que contribuíram e permitiram a validação de uma avaliação em Terapia Ocupacional na área da deficiência visual.

• 1
  O presente artigo é parte integrante da pesquisa de doutorado desenvolvida no Programa de Pós-Graduação em Saúde, Interdisciplinaridade e Reabilitação/Faculdade de Ciências Médicas/UNICAMP, intitulada “Validação da Avaliação Terapêutica Ocupacional para Adolescentes e Adultos com Deficiência Visual”. Os procedimentos éticos vigentes foram cumpridos.
• 2
  Os questionários, as modificações e os resultados do processo de validação estão disponíveis em Silva (2020) e Silva & Montilha (2020).
• Como citar: Silva, M. R., & Montilha, R. C. I. (2021). Contribuições da técnica Delphi para a validação de uma avaliação de Terapia Ocupacional em deficiência visual. Cadernos Brasileiros de Terapia Ocupacional, 29, e2863. https://doi.org/10.1590/2526-8910.ctoAO2163

Referências

• Alexandre, N. M. C., & Coluci, M. Z. O. (2011). Validade de conteúdo nos processos de construção e adaptação de instrumentos de medidas. Ciência & Saúde Coletiva, 16(7), 3061-3068. http://dx.doi.org/10.1590/S1413-81232011000800006
  » http://dx.doi.org/10.1590/S1413-81232011000800006
• Almeida, M. H. M. (2004). Elaboração e validação do instrumento CICAc: classificação de idosos quanto à capacidade para o autocuidado. Revista de Terapia Ocupacional da Universidade de São Paulo, 15(3), 112-120. http://dx.doi.org/10.11606/issn.2238-6149.v15i3p112-120
  » http://dx.doi.org/10.11606/issn.2238-6149.v15i3p112-120
• Almeida, M. H. M., Spínola, A. W. P., Iwamizu, P. S., Okura, R. I. S., Barroso, L. P., & Lima, A. C. P. (2008). Confiabilidade do instrumento para classificação de idosos quanto à capacidade para o autocuidado. Revista de Saúde Pública, 42(2), 317-323. http://dx.doi.org/10.1590/S0034-89102008000200018
  » http://dx.doi.org/10.1590/S0034-89102008000200018
• Almeida, M. H. M., Spínola, A. W. P., & Lancman, S. (2009). Técnica Delphi: validação de um instrumento para uso do terapeuta ocupacional em gerontologia. Revista de Terapia Ocupacional da Universidade de São Paulo, 20(1), 49-58. http://dx.doi.org/10.11606/issn.2238-6149.v20i1p49-58
  » http://dx.doi.org/10.11606/issn.2238-6149.v20i1p49-58
• Coutinho, S. S., Freitas, M. A., Pereira, M. J. B., Veiga, T. B., Ferreira, M., & Mishima, S. M. (2013). O uso da técnica Delphi na pesquisa em atenção primária à saúde: revisão integrativa. Revista Baiana de Saúde Pública,37(3), 582-596. http://dx.doi.org/10.22278/2318-2660.2013.v37.n3.a398
  » http://dx.doi.org/10.22278/2318-2660.2013.v37.n3.a398
• Faro, A. C. M. (1997). Técnica Delphi na validação das intervenções de enfermagem. Revista da Escola de Enfermagem da USP, 31(2), 259-273. http://dx.doi.org/10.1590/S0080-62341997000200008
  » http://dx.doi.org/10.1590/S0080-62341997000200008
• Gil, A. C. (2008). Métodos e técnicas de pesquisa social. São Paulo: Atlas.
• Grant, J. S., & Davis, L. L. (1997). Selection and use of content experts for instrument development. Research in Nursing & Health, 20(3), 269-274. http://dx.doi.org/10.1002/(SICI)1098-240X(199706)20:3<269::AID-NUR9>3.0.CO;2-G
  » http://dx.doi.org/10.1002/(SICI)1098-240X(199706)20:3<269::AID-NUR9>3.0.CO;2-G
• Grisham, T. (2009). The Delphi technique: a method for testing complex and multifaceted topics. International Journal of Managing Projects in Business, 2(1), 112-130. http://dx.doi.org/10.1108/17538370910930545
  » http://dx.doi.org/10.1108/17538370910930545
• Habibi, A., Sarafrazi, A., & Izadyar, S. (2014). Delphi technique theoretical framework in qualitative research. The IJES, 3(4), 8-13.
• Kayo, E. K., & Securato, J. R. (1997). Método Delphi: fundamentos, críticas e vieses. Cadernos de Pesquisa em Administração, 1(4), 51-61.
• Lynn, M. R. (1986). Determination and quantification of content validity. Nursing Research, 35(6), 382-385. http://dx.doi.org/10.1097/00006199-198611000-00017
  » http://dx.doi.org/10.1097/00006199-198611000-00017
• Marques, J. B. V., & Freitas, D. (2018). Método Delphi: caracterização e potencialidades na pesquisa em Educação. Pro-Posições, 29(2), 389-415. http://dx.doi.org/10.1590/1980-6248-2015-0140
  » http://dx.doi.org/10.1590/1980-6248-2015-0140
• Massaroli, A., Martini, J. G., Lino, M. M., Spenassato, D., & Massaroli, R. (2017). Método Delphi como referencial metodológico para a pesquisa em enfermagem. Texto & Contexto Enfermagem, 26(4), 1-9. http://dx.doi.org/10.1590/0104-07072017001110017.
  » https://doi.org/10.1590/0104-07072017001110017
• Polit, D. F., & Beck, C. T. (2006). The content validity index: are you sure you know what’s being reported? Critique and recommendations. Research in Nursing & Health, 29(5), 489-497. http://dx.doi.org/10.1002/nur.20147
  » http://dx.doi.org/10.1002/nur.20147
• Powell, C. (2003). The Delphi technique: myths and realities. Journal of Advanced Nursing, 41(4), 376-382. http://dx.doi.org/10.1046/j.1365-2648.2003.02537.x
  » http://dx.doi.org/10.1046/j.1365-2648.2003.02537.x
• Revorêdo, L. S., Maia, R. S., Torres, G. V., & Maia, E. M. C. (2015). O uso da técnica Delphi em saúde: uma revisão integrativa de estudos brasileiros. Arquivos de Ciências da Saúde, 22(2), 16-21. http://dx.doi.org/10.17696/2318-3691.22.2.2015.136
  » http://dx.doi.org/10.17696/2318-3691.22.2.2015.136
• Silva, M. R. (2020). Validação da Avaliação Terapêutica Ocupacional (ATO) para Adolescentes e adultos com deficiência visual (Tese de doutorado). Universidade Estadual de Campinas, Campinas.
• Silva, M. R., & Montilha, R. C. I. (2020). Validação da Avaliação Terapêutica Ocupacional (ATO) para adolescentes de adultos com deficiência visual por painel de especialistas. Revista de Ocupación Humana, 20(1), 27-48. http://dx.doi.org/10.25214/25907816.947
  » http://dx.doi.org/10.25214/25907816.947
• Silva, M. R., & Montilha, R. C. I. (2021). A avaliação terapêutica ocupacional (ATO) para adolescentes e adultos com deficiência visual. Revista Interinstitucional Brasileira de Terapia Ocupacional, 5(2), 252-265. http://dx.doi.org/10.47222/2526-3544.rbto38127
  » http://dx.doi.org/10.47222/2526-3544.rbto38127
• Waggoner, J., Carline, J., & Durning, S. J. (2016). Is there a consensus on consensus methodology? Descriptions and recommendations for future consensus research. Academic Medicine, 91(5), 663-668. http://dx.doi.org/10.1097/ACM.0000000000001092
  » http://dx.doi.org/10.1097/ACM.0000000000001092

Editado por

Editora de seção Profa. Dra. Marcia Maria Pires Camargo Novelli

Datas de Publicação

• Publicação nesta coleção
  01 Out 2021
• Data do Fascículo
  2021

Histórico

• Recebido
  25 Set 2020
• Revisado
  04 Fev 2021
• Revisado
  05 Abr 2021
• Aceito
  15 Abr 2021