Validação de constructo de tecnologia educativa para pacientes mediante aplicação da técnica Delphi

Validación de un constructo de tecnología educativa para pacientes mediante la aplicación de la técnica Delphi

Resumos

OBJECTIVE: To describe the validation process of an educational technology for patients undergoing orthognathic surgery, through the application of the Delphi technique. METHODS: Participating in the study were ten experts (four maxillofacial surgeons, two nurses, two nutritionists and two speech therapists) who indicated the subjects to be covered in the material for the first phase of the Delphi technique. After constructing the material and obtaining the results of the first phase, the second and third phases of this technique were initiated with validation of the pertinence of the information contained in this educational technology. RESULTS: In the second round we obtained at least 90.0% agreement in all categories. In the third, the following improvements were noted: 12% for the content item, 6.7% for language, 12.5% for illustrations, 3.3% for layout, 10% for culture; the motivation item was unchaged. CONCLUSION: The Delphi technique can be an important tool in the construction and validation of educational technologies.

Health education; Delphi technique; Patient education handout; Validation studies

RELATO DE EXPERIÊNCIA

Validação de constructo de tecnologia educativa para pacientes mediante aplicação da técnica Delphi^*

Validación de un constructo de tecnología educativa para pacientes mediante la aplicación de la técnica Delphi

Cristina Silva Sousa^I; Ruth Natalia Teresa Turrini^II

^IPós-graduanda (Doutorado) do Programa de Pós-Graduação em Enfermagem na Saúde do Adulto do Departamento de Enfermagem Medico-Cirúrgica da Escola de Enfermagem, Universidade de São Paulo - USP, São Paulo (SP), Brasil

^IIProfessor Doutor do Departamento de Enfermagem Médico-Cirúrgica da Escola de Enfermagem, Universidade de São Paulo - USP, São Paulo (SP), Brasil

^{Autor Correspondente}

RESUMO

OBJETIVO: Descrever o processo de validação de uma tecnologia educativa para pacientes submetidos à cirurgia ortognática, mediante a aplicação da técnica Delphi.

MÉTODOS: Participaram do estudo, dez juízes (quatro cirurgiões bucomaxilofaciais, duas enfermeiras, duas nutricionistas e duas fonoaudiólogas) que indicaram os assuntos a serem abordados no material destinado à primeira fase da técnica Delphi. Após a construção do material e a obtenção dos resultados da primeira fase, iniciou-se as segunda e terceira fases dessa técnica com validação da pertinência das informações contidas nessa tecnologia educativa.

RESULTADOS: Na segunda rodada, obteve-se, pelo menos, 90,0% de concordância em todas as categorias. Na terceira, houve um aumento de 12% para o item conteúdo, melhora de 6,7% em linguagem, de 12,5% em ilustrações, de 3,3% no layout, de 10% em cultura, mantendo-se constante o item motivação.

CONCLUSÃO: A técnica Delphi, pode ser uma importante ferramenta na construção e validação de tecnologias educativas.

Descritores: Educação em saúde; Técnica Delfos; Prospecto para educação de pacientes; Estudos de validação

RESUMEN

OBJETIVO: Describir el proceso de validación de una tecnología educativa para pacientes sometidos a cirugía ortognática, mediante la aplicación de la técnica Delphi.

MÉTODOS: Participaron en el estudio, diez jueces (cuatro cirujanos bucomaxilofaciales, dos enfermeras, dos nutricionistas y dos fonoaudiólogas) que indicaron los asuntos a ser abordados en el material destinado a la primera fase de la técnica Delphi. Después de la construcción del material y la obtención de los resultados de la primera fase, se inició la segunda y tercera fases de esa técnica con validación de la pertinencia de las informaciones contenidas en esa tecnología educativa.

RESULTADOS: En la segunda vuelta, se obtuvo, por lo menos, el 90,0% de concordancia en todas las categorías. En la tercera, hubo un aumento del 12% para el item contenido, mejora del 6,7% en lenguaje, del 12,5% en ilustraciones, del 3,3% en el esbozo, del 10% en cultura, manteniéndose constante el item motivación.

CONCLUSIÓN: La técnica Delphi, puede ser una herramienta importante en la construcción y validación de tecnologías educativas.

Descriptores: Educación en salud; Técnica Delfos; Folleto informativo para pacientes; Estudios de validación

INTRODUÇÃO

Materiais educativos impressos contribuem, favoravelmente, para o processo de comunicação, além de aumentar a adesão ao tratamento e ao poder de decisão, pois oferecem informações consistentes, possibilitando a portabilidade, flexibilidade, o retorno do paciente e reforçam a instrução verbalizada⁽¹⁾. Na literatura, há um consenso sobre a orientação verbal com a escrita como mais efetiva, que aumenta a compreensão do paciente e promove melhor recuperação⁽²⁾.

Normalmente, a criação de um material educativo requer dois tipos de pesquisa: uma de tipo temático e outra de diagnóstico, em que será preciso ler, o que autores abordaram sobre determinado tema, conhecer a opinião de peritos, ou incorporar alguns destes peritos na equipe de produção. Depois desta etapa, será preciso escolher as ideias centrais que serão abordadas no material, bem como o tema por meio do qual se procurará gerar uma experiência de aprendizado. No entanto, a opinião de peritos ou a leitura de textos não bastará, pois é preciso conhecer também os contextos pedagógicos e, sobretudo, os sujeitos aos quais se destina o material^(3).

Uma metodologia que utilize a técnica Delphi poderá ser útil na elaboração de materiais educativos com a participação de peritos.

A técnica denominada "Delphi" permite consulta a um grupo de juízes a respeito de eventos futuros, por meio de um questionário, que é repassado continuadas vezes até que seja obtida uma convergência das respostas, um consenso, que representa a consolidação do julgamento intuitivo do grupo^(4).

Partindo das opiniões, pontos de acordo e divergências entre os peritos, pretende-se chegar a certos elementos de consenso. Diferente de outras estratégias de investigação, seu objetivo não é deduzir uma simples resposta ou chegar unicamente ao consenso, mas obter respostas e opiniões de qualidade para uma dada questão apresentada a um painel de especialistas⁽⁵⁾.

Iniciada na década de 1950 por pesquisadores da Rand Corporation, estes estudiosos tinham em vista buscar em suas pesquisas um método de previsão futura; quando encontraram um método de feedback denominaram-no de Delphi, que era fundamentado no pressuposto de que "duas cabeças pensam melhor do que uma"; e entendia-se que ter mais opiniões sobre determinado assunto estas ideias guiavam melhor a tomada de decisão^(6).

Essa técnica permaneceu esquecida por anos, mas, foi retomada em novas áreas como administração, planejamento social, pesquisa e educação. A partir da década de 1990, alguns trabalhos na área da enfermagem aplicaram esta técnica⁽⁷⁾; que apresenta características essenciais que a tornam facilitadora, tais como: anonimato (os juízes não se expõem e, assim, sentem-se livres para opinar), feedback (as respostas e os pareceres dos juízes, norteiam o trabalho do pesquisador) e flexibilidade (liberdade de horários, tempo e local para os juízes responderem ao questionário)^(6,8). Na prática, este feedback controlado consiste em remeter a todos os participantes, em rodadas sucessivas, a informação gerada em cada etapa⁽⁹⁾.

O processo da técnica Delphi começa com a elaboração do problema e a escolha dos juízes, seguidos de um questionário inicial que atua como estratégia de geração de ideias para descobrir o que se diz em relação ao tema do estudo (brainstorming). O feedback das respostas é oferecido em uma segunda rodada e um novo questionário é desenvolvido para recolher opiniões sobre o que foi levantado. Uma análise das respostas dos juízes e outras rodadas com as respostas destes é realizada, de forma a fazê-los refletir e opinar até a obtenção de um consenso aceitável sobre o tema determinado^(6,8,10).

A desvantagem é que as várias rodadas podem levar meses para serem concluídas, além de que requerem engajamento dos profissionais envolvidos na resposta para não desistirem entre os ciclos de rodadas.

Para este trabalho, a aplicação da técnica Delphi teve como objetivo auxiliar na construção de um material educativo para pacientes submetidos à cirurgia ortognática e avaliar com a equipe multiprofissional a pertinência das informações contidas nesta tecnologia.

MÉTODOS

Neste artigo, os dados apresentados são parte de um projeto temático que teve por finalidade elaborar uma tecnologia educativa para pacientes submetidos à cirurgia ortognática, aprovado pelo Comitê de Ética da Escola de Enfermagem da Universidade de São Paulo (Processo nº 972/2010). Aos participantes que consentiram com a pesquisa foi obtido Termo de Consentimento Livre e Esclarecido em duas vias.

A abordagem metodológica seguiu duas etapas: construção de um material educativo para o paciente submetido a cirurgia ortognática e validação das informações concebidas com auxilio de juízes.

Pela técnica Delphi foram propostas três rodadas de avaliação: a primeira constituída de uma questão aberta para brainstorming, "o que é importante para orientação do paciente de cirurgia ortognática?"; a segunda, avaliação do material educativo construído quanto à coerência/pertinência e ilustração da informação; a terceira, avaliação final do material após as correções realizadas baseadas nas sugestões da segunda rodada. As rodadas da técnica Delphi aplicadas podem ser visualizadas na Figura 1.

Para cada juiz foi enviado por correio um instrumento para caracterização do grupo com a primeira questão da técnica Delphi e uma carta de apresentação do material educativo.

Após a primeira rodada da Técnica Delphi, o material educativo denominado "Cirurgia Ortognática para pacientes" foi construído a partir dos dados relevantes obtidos em subprojetos do projeto temático: revisão de literatura⁽¹¹⁾, dos resultados obtidos com o grupo focal, na busca em blogs e na primeira rodada da técnica Delphi junto aos juízes. O programa Microsoft Publisher^® foi utilizado para a construção do material, escrito com linguagem simples voltada para público leigo (pacientes), seguindo as recomendações para confecção de material educativo citadas na literatura^(12-14). As ilustrações foram realizadas por um cartunista para melhor compreensão e adesão à leitura.

O instrumento elaborado para as avaliações dos juízes após a primeira rodada constituiu-se de 22 itens de avaliação separados em seis categorias (conteúdo, linguagem, ilustrações, layout, motivação e cultura) com respostas do tipo Likert, com cinco níveis (discordo totalmente, discordo, não discordo nem concordo, concordo, concordo totalmente) e três questões dissertativas que se referem a erros ou ideias prejudiciais, falta de alguma informação e comentários.

Os itens da escala Likert foram avaliados por propor ções. A avaliação da consistência interna do instrumento foi feita pelo alfa de Cronbach e a concordância entre os juízes pelo coeficiente de correlação intraclasse com nível de significância de 5%, utilizando-se o software Stathistical Package for Social Science.

RESULTADOS

Os resultados referentes à validação do conteúdo do material educativo serão apresentados, seguindo as fases de desenvolvimento da técnica Delphi.

Caracterização dos juízes: O grupo de juízes foi composto por dez profissionais de saúde que assistem pacientes submetidos à cirurgia ortognática (quatro cirurgiões bucomaxilofaciais, duas enfermeiras, duas nutricionistas e duas fonoaudiólogas). A idade dos profissionais variou entre 23 e 45 anos; três profissionais possuíam de 0 a 5 anos de formados, três de 6 a 10 anos, três de 11 a 15 anos e apenas um acima de 20 anos.

Primeira rodada: Esta rodada tinha o intuito de conhecer o que os juízes julgavam importante informar ao paciente durante os procedimentos referentes à cirurgia ortognática. As informações fornecidas relacionavam-se a orientações nas fases pré-operatória, intraoperatória e pós-operatória, listadas a seguir: documentação e guia cirúrgico; riscos inerentes ao procedimento; tempo cirúrgico previsto; necessidade de procedimentos adicionais; jejum absoluto; descrição do tipo de anestesia (geral); recuperação anestésica; sangramentos; parestesia; edema facial; cabeceira elevada para redução do edema e alteração temporária da audição; uso de compressas de gelo; dificuldade respiratória e mastigatória, alteração da voz e movimentos musculares pós-operatórios; dieta liquida; alimentação leve por 2 meses (sem alimentos duros); padrão de mastigação e deglutição; higiene oral; uso de elásticos inter-oclusão; hematoma; dor; uso de lubrificante labial; uso de descongestionantes nasais; risco de infecção; retorno ambulatorial por 30 dias; quebra da expectativa sobre a estética; postura da cabeça, corpo, lábios e língua; perda de peso; náuseas/vômitos/constipação; exposição ao sol após 4 meses; continuidade no uso do aparelho ortodôntico; não assoar o nariz; estratégias de comunicação e aprimoramento da fala; dificuldade de aceitação dos familiares; deiscência da sutura; afastamento do trabalho por tempo determinado.

Segunda rodada: A segunda rodada da técnica Delphi consistiu no envio do material educativo construído aos juízes para validação do material por meio do instrumento do tipo Likert (resultados no Quadro 1), e de três questões abertas.

A análise das respostas abertas contribuiu para alterações no texto. Os dados do Quadro 1 apresentam os resultados sobre equívocos de redação e alterações feitas.

A segunda questão, a respeito da falta de alguma informação, trouxe à tona itens relacionados a medicamentos, equipe multiprofissional e algumas sugestões para acréscimo de informações ou revisão de conteúdo. A terceira questão era sobre comentários, deixando o juiz livre para contribuir com sua experiência.

As alterações consideradas pertinentes pela pesquisadora foram realizadas e um novo material educativo foi impresso, reenviado aos juízes com o instrumento de avaliação, dando origem à terceira rodada da técnica Delphi.

Terceira rodada: Os resultados obtidos com o instrumento foram analisados de forma quantitativa

Tabela 1

Tabela 2

Nesta rodada, as respostas das questões dissertativas relativas às ideias faltantes ou pouco claras foram apresentadas por apenas dois dos juízes e abordaram aspectos relacionados à disposição de legendas, trecho-chave, tempos gramaticais e ortografia (Quadro 2).

As alterações propostas não interferiram no conteúdo do material e não tiveram impacto no layout. Com isso, encerrou-se a validação na terceira rodada da técnica Delphi.

DISCUSSÃO

Na primeira rodada, os resultados atingiram o objetivo proposto e nortearam a pesquisadora a construir a primeira prova do material educativo. A higiene oral foi o item mais recomendado pelos dez juízes (70%). Dos 44 itens mencionados, 56,8% foram indicados apenas uma vez.

Na segunda rodada, considerando os itens de cada categoria de avaliação, obtiveram-se 50 respostas para conteúdo, 30 para linguagem, 40 para ilustrações, 60 para layout, 30 para motivação e 10 para cultura, totalizando 220 respostas.

Para o mais elevado nível da escala do tipo Likert, obteve-se "concordo totalmente" em 32 (64%) das respostas para a categoria conteúdo, 15 (50%) na linguagem, 25 (62,5%) nas ilustrações, 37 (61,7%) no layout, 21 (70%) para a motivação e 5 (50%) para a cultura. Agregando-se os dados do nível "concordo", as respostas atingiriam, pelo menos, 90,0% para todas as categorias.

A consistência interna do instrumento na segunda rodada da técnica Delphi foi de 0,953 e do coeficiente de correlação intraclasse de 0,476 (p<0,000).

Para a menor percentagem de "concordo totalmente" obtida na categoria linguagem, poderia se indagar: os juízes julgam que o paciente não compreenderia a redação? ou os juízes têm pouco conhecimento sobre métodos de escrita? Com isso, este item seria reavaliado na terceira rodada da técnica Delphi ou, posteriormente, na avaliação com o paciente, com a categoria cultura por sua relação com a linguagem.

Ao avaliar os dados do Quadro 2, percebeu-se que as alterações sugeridas resultaram de detalhes para melhorar a compreensão do paciente e que foram acatadas por serem pertinentes ao conteúdo e por trazerem maior clareza ao item.

Na segunda questão qualitativa, referente à falta de informação, entendeu-se que os medicamentos de uso contínuo devem ser informados ao profissional durante o pré-operatório. Logo, a observação feita pelo juiz foi inserida no trecho "preparo para cirurgia", como um alerta ao paciente da seguinte forma: "lembre-se de avisar ao cirurgião os medicamentos de que faz uso e as doenças que possui".

A citação da equipe multiprofissional foi realizada no início do material educativo por meio da frase "no pós-operatório, os profissionais enfermeiros, nutricionistas, fonoaudiólogos podem estar presentes". A linguagem das descrições cirúrgicas foi melhorada, mas, termos técnicos são difíceis de serem alterados para a linguagem leiga. Optou-se então por aguardar a avaliação do paciente.

Na terceira questão sobre comentários, a maioria demonstrou satisfação quanto ao material apresentado. Entretanto, três comentários apresentaram críticas ao material educativo, relacionadas à descrição da dieta, estética e formato do texto.

A dieta proposta é um protocolo generalizado, mas alguns pacientes podem não conseguir realizá-la, e seguiram seu próprio planejamento para voltar à dieta normal. Caso o paciente apresente algum distúrbio alimentar ou se sua perda de peso for significativa, é indicada uma consulta com uma nutricionista.

A estética relacionou-se às ilustrações por não possuírem o mesmo estilo entre as imagens. Para um juiz, as imagens deveriam ter as mesmas cores e traços de desenho, o que para o pesquisador não é interessante, pois deixaria o trabalho monótono e não despertaria o interesse do paciente.

Outro profissional julgou o material longo, mas um número elevado de informações, às vezes, é necessário, e o espaçamento entre linhas facilita a leitura do material. Pelo tamanho reduzido do papel e a necessidade de imagens, o material permaneceria com 24 páginas.

Na terceira rodada, uma análise por categoria demonstrou que, com relação aos itens do conteúdo, foram obtidas 38 respostas (76%) de "concordam totalmente", um aumento de 12% se comparado a segunda rodada da técnica Delphi. Em linguagem, também houve uma melhora de 6,7%, em ilustrações de 12,5%, layout de 3,3%, cultura de 10% e a motivação manteve-se constante.

A consistência interna na terceira rodada Delphi foi de 0,972 e o coeficiente de correlação intraclasse de 0,601 (p<0,000). Embora mantendo a significância, observou-se nesta rodada melhora no valor do coeficiente intraclasse.

Esta análise por categoria permitiu concluir que as alterações realizadas no primeiro esboço do material proporcionaram alterações significativas para aprimoramento do material, conforme perspectivas dos juízes e do pesquisador.

Algumas sugestões foram propostas pelos juízes, tais como: colocar o texto ao lado das ilustrações e destacar a procura de um fonoaudiólogo. Estas foram vistas como melhorias e acatadas pela pesquisadora. Os comentários apresentados pelos cinco juízes foram de agradecimento e parabéns pelo trabalho.

Nesta pesquisa, a concordância dos profissionais com o material educativo, pesquisa, apresentou resultados crescentes entre as segunda e terceira fases da técnica Delphi. Os níveis da escala Likert, "concordo" e "concordo totalmente", apresentaram respectivamente 30,9% e 68,6% na terceira rodada, que se somados representariam 99,5% de concordância com o material educativo construído.

Estudo sobre a construção de material educativo para mulheres mastectomizadas⁽¹⁵⁾ também considerou os níveis "concordo" e "concordo totalmente", como semelhantes, podendo seus resultados serem somados. Outros estudos de avaliação de materiais educativos^(16-18) utilizaram instrumentos diferentes, impossibilitando seu uso para discussão dos presentes resultados.

Mesmo sem a padronização de instrumentos para avaliação de materiais educativos e método para sua validação, a construção de materiais educativos voltados ao público-alvo, com a participação de peritos, pode elevar a aceitação e adesão dos pacientes na utilização desse instrumento para a educação em saúde.

CONCLUSÃO

Nota-se que não há uma um instrumento padronizado para avaliar materiais educativos. Alguns estudos aplicam avaliação qualitativa, outros quantitativa, mas, sem um modelo padronizado. Os valores alcançados nesta pesquisa foram superiores a 70% de concordância entre os juízes, e, assim, considerados satisfatórios para a finalização do material educativo e prosseguimento do estudo para uma segunda etapa de avaliação com pacientes submetidos à cirurgia ortognática, objeto de futura investigação.

Concluiu-se que a técnica de Delphi pode ser uma importante ferramenta na construção e validação de conteúdo de uma tecnologia educativa para educação perioperatória de pacientes.

Artigo recebido em 26/02/2012 e aprovado em 31/05/2012

• 1. Hoffmann T, Worrall L. Designing effective written health education materials: considerations for health professionals. Disabil Rehabil. 2004;26(19):1166-73.
• 2. Alexander RE. Patient understanding of postsurgical instruction forms. Oral Surg Oral Med Oral Pathol Oral Radiol Endod. 1999;87(2):153-8.
• 3. Kaplún G. [Educational material: a learning experience]. Comun Educ. 2008;9(27):46-60. Portuguese
• 4. Wright JTC, Giovinazzo RA. [Delphi - a support tool for the prospective planning ]. Cad Pesqui Adm. 2000;1(12):54-65. Portuguese.
• 5. Gupta UG, Clarke RE. Theory and applications of the Delphi technique: A bibliography (1975-1994). Technol Forecast Soc Change. 1996;53(2):185-211.
• 6. Goodman CM. The Delphi technique: a critique. J Adv Nurs.1987;12(6):729-34.
• 7. Mancussi e Faro AC. [The Delphi technique to validate the nursing interventions]. Rev Esc Enferm USP. 1997;31(2):259-73. Portuguese.
• 8. Sousa PA, Frade MH, Mendonça DM. [A model of organization and nursing exchange information: a delphi study]. Acta Paul Enferm. 2005;18(4):368-81. Portuguese
• 9. Moreno-Casbas T, Martin-Arribas C, Orts-Cortes I, Comet-Cortes P. Identification of priorities for nursing research in Spain: a Delphi study. J Adv Nurs. 2001;35(6):857-63.
• 10. Keeney S, Hasson F, McKenna HP. A critical review of the Delphi technique as a research methodology for nursing. Int J Nurs Stud. 2001;38(2):195-200.
• 11. Sousa CS, Turrini RN. Complications in orthognathic surgery: a comprehensive review. J Oral Maxillofac Surg Med Pathol.2012;24:67-74.
• 12. Houts PS, Doak CC, Doak LG, Loscalzo MJ. The role of pictures in improving health communication: a review of research on attention, comprehension, recall, and adherence. Patient Educ Couns. 2006;61(2):173-90.
• 13. Pierce LL. How to choose and develop written educational materials. Rehabil Nurs. 2010;35(3):99-105.
• 14. Aldrigde MD. Writing and designing readable patient education materials. Nephrol Nurs J. 2004;31(4):373-7.
• 15. Oliveira MS, Fernandes AF, Sawada NO. [Educational handbook for self care in women with mastectomies: a validation study]. Texto & Contexto Enferm. 2008;17(1):115-123. Portuguese
• 16. Reberte LM, Hoga LA, Gomes AL. Process of construction of an educational booklet for health promotion of pregnant women]. Rev Latinoam Enferm. 2012;20(1):101-8.
• 17. Gonçalves MB, Barbieri M, Gabrielloni MC. Teste de Papanicolau: construction and validation of an educacional booklet for users of healthcare services [Pap Test: http://redalyc.uaemex.mx/src/inicio/ArtPdfRed.jsp?iCve=84202003] Saúde Coletiva. 2008;5(20):39-44. Portuguese.
• 18. Fonseca LM, Scochi CG, Rocha SM, Leite AM. [Educational guideline for the maternal orientation concerning the care with preterm infants]. Rev Latinoam. Enferm. 2004;12(1):65-75. Portuguese.

*

Extraído da Dissertação de Mestrado "Educação pós-operatória: construção e validação de uma tecnologia educativa para pacientes submetidos à cirurgia ortognática", defendida em 2011 na Escola de Enfermagem da USP.

Datas de Publicação

• Publicação nesta coleção
  04 Jan 2013
• Data do Fascículo
  2012

Histórico

• Recebido
  26 Fev 2012
• Aceito
  31 Maio 2012