Efetividade da formação profissional ofertada na educação a distância: validação teórica de um instrumento

Effectiveness of professional training offered in distance education: theoretical validation of an instrument

Efectividad de la capacitación formación profesional ofrecida en la educación a distancia: validación teórica de un instrumento

Resumo

O objetivo do estudo foi validar um instrumento de avaliação de efetividade da formação profissional, ofertada em cursos na modalidade de educação a distância (EaD), no que se refere aos procedimentos teóricos. Para tanto, optou-se pela utilização da técnica Delphi, com vistas à obtenção de consenso da opinião de especialistas, acerca do construto, por meio de uma série de questionários estruturados. Após duas rodadas de consulta aos especialistas, sendo 13 participantes na primeira rodada e nove na segunda rodada de aplicação da técnica Delphi, 17 itens, referentes ao desenvolvimento de habilidades, atitudes e motivação, em decorrência do curso de formação profissional ofertado na modalidade EaD, foram considerados válidos para avaliar a efetividade da formação profissional. A apresentação de evidências teóricas, acerca da validade da medida de efetividade da formação profissional ofertada no contexto da modalidade EaD, é relevante, pois poderá fomentar a discussão, reflexão e o avanço no conhecimento científico, relacionado à temática, bem como fornecer indicativos para a melhoria das políticas de oferta de cursos de formação profissional.

Efetividade; Formação profissional; Educação a distância; Instrumento de avaliação

Abstract

The aim of this study was to validate an instrument for evaluating the effectiveness of professional training offered in distance education courses in terms of theoretical procedures. In order to achieve this, the Delphi technique was used for obtaining a consensus of the experts’ opinion about the construct through a series of structured questionnaires. It took two rounds of query to the specialists; 13 experts participated in the first round and nine in the second round of the application of the Delphi technique. After that, 17 items related to the development of skills, attitudes and motivation as a result of the professional training course offered in distance education, were considered valid to evaluate the effectiveness of professional training. The presentation of theoretical evidences about the validity of the measure of effectiveness of the professional training offered in the context of the distance education modality is relevant, because it can foment discussion, reflection and advance in the scientific knowledge related to the thematic, as well as provide indicatives for the improvement of the policies of provision of professional training courses.

Effectiveness; Professional Training; Distance Education; Evaluation Tool

Resumen

El objetivo del estudio fue validar un instrumento para evaluar la efectividad de la formación profesional ofrecida en cursos en la modalidad de educación a distancia (EAD), en lo que se refiere a los procedimientos teóricos. Para ello, se optó por la utilización de la técnica Delphi, con el fin de obtener de consenso de la opinión de especialistas acerca del constructo, a través de una serie de cuestionarios estructurados. Después de dos rondas de consulta a los especialistas, siendo 13 participantes en la primera ronda y nueve en la segunda ronda de aplicación de la técnica Delphi, 17 ítems referentes al desarrollo de habilidades, actitudes y motivación como consecuencia del curso de formación profesional ofrecido en la modalidad de educación a distancia fueron considerados válidos para evaluar la efectividad de la formación profesional. La presentación de evidencias teóricas acerca de la validez de la medida de efectividad de la formación profesional ofrecida en el contexto de la modalidad EAD es relevante, ya que puede propiciar el debate, la reflexión y los avances en el conocimiento científico relacionado con el tema, así como proporcionar indicativos para la mejora de las políticas de oferta de cursos de formación profesional.

Efectividad; Formación Profesional; Educación a distancia; Instrumento de Evaluación

1 Introdução

A modalidade de educação a distância (EaD) tem evoluído junto com o desenvolvimento das tecnologias da informação e comunicação (TIC) e possui uma importância particular por possibilitar o acesso de inúmeras pessoas, com variadas profissões, à educação ao longo da vida, sem restrições de tempo e de espaço (GAZZA; HUNKER, 2014). Organizações públicas e privadas estão se apropriando cada vez mais desses recursos, incluindo-os nos seus processos de ensino (STADLER et al., 2017). Nesse contexto, os processos educativos podem ser classificados a partir do envolvimento das variáveis tempo e espaço. Diferentemente dos processos de educação tradicionais, em que estudantes e professores encontram-se no mesmo espaço e ao mesmo tempo, na modalidade de educação a distância ocorre essa separação, o que exige do estudante disciplina e estratégias adequadas de estudo (GARCIA; CARVALHO JUNIOR, 2015).

A aprendizagem on-line ou e-learning, termos adotados por diversos estudos internacionais, vem transformando o cenário educacional com o surgimento de novas formas de ensinar e aprender, provocando mudanças significativas no papel desempenhado pelos professores e alunos, com ênfase na necessidade de desenvolvimento de competências transversais, como a autonomia e o trabalho em equipe (IGLESIAS-PRADAS; RUIZ-DE-AZCÁRATE; AGUDO-PEREGRINA, 2015). O desenvolvimento dessas competências é um desafio presente na modalidade EaD, mas não o único. Embora essa modalidade seja uma realidade que atende às necessidades de diversos profissionais, a manutenção dos estudantes nos cursos é uma dificuldade bastante reportada no contexto da EaD (GAZZA; HUNKER, 2014), além da necessidade de constantes revisões nas iniciativas de EaD, haja vista que influenciam na formação dos sujeitos e nas práticas pedagógicas presentes em nossa cultura (HABOWSKI; CONTE; JACOBI, 2019).

A avaliação contínua é crucial para promover a melhoria da qualidade e garantir a efetividade da formação profissional ofertada no contexto da modalidade EaD (KENEFICH et al., 2014). A expressão qualidade educacional tem sido utilizada para fazer referência à eficiência, eficácia e efetividade dos processos educacionais e de suas instituições (COSTA et al., 2018). Sander (1995, p. 43, 46-47) busca fazer uma distinção entre esses conceitos ao mencionar a eficiência como “o critério econômico que revela a capacidade administrativa de produzir o máximo de resultados com o mínimo de recursos, energia e tempo”; eficácia “é o critério institucional que revela a capacidade administrativa para alcançar as metas estabelecidas ou os resultados propostos”; e efetividade, fenômeno cujo instrumento analisado no presente estudo pretende avaliar, “é o critério político que reflete a capacidade administrativa para satisfazer as demandas concretas feitas pela comunidade externa”. Assim, de acordo com o autor, a efetividade reflete a capacidade de a educação responder às preocupações, exigências e necessidades da sociedade.

O estudo está delimitado à validação teórica do instrumento de efetividade da formação profissional ofertada em cursos na modalidade EaD, por parte de especialistas na área do construto. A consulta a especialistas visa a identificar se os itens do instrumento representam, adequadamente, determinado construto. Essa avaliação é ainda teórica, pois consiste em solicitar outras opiniões sobre a hipótese (PASQUALI, 2017). O estudo, portanto, tem como objetivo validar um instrumento de avaliação de efetividade da formação profissional ofertada em cursos na modalidade EaD, no que se refere aos procedimentos teóricos. O instrumento proposto poderá auxiliar nos processos de gestão do ensino e da aprendizagem de instituições que ofertam cursos de formação profissional na modalidade EaD.

2 Referencial teórico

2.1 Efetividade da formação profissional

Diversos artigos científicos publicados nos últimos anos (2012-2018), tais como: Lavender et al. (2013), Wang et al. (2016), Aluko e Shonubi (2014), Lahti, Kontio e Valimaki (2016), têm utilizado o modelo mais conhecido para avaliação de efetividade de cursos de formação profissional, o modelo de Kirkpatrick (KIRKPATRICK; KIRKPATRICK, 2009). Esse modelo apresenta quatro níveis de avaliação: reação, aprendizagem, comportamento e resultados. No entanto, a maior parte desses estudos científicos utilizam os dois primeiros níveis do modelo, o que parece não fornecer uma indicação clara da efetividade da formação sobre o participante e sobre o ambiente de atuação profissional, aspectos identificados como uma lacuna na literatura (GOMES et al., 2017).

Neste sentido, revisamos estudos que tratam a transferência da aprendizagem como o principal indicador de efetividade (GOMES et al., 2017). Ao analisá-los, outro termo foi identificado – o “impacto” do treinamento no trabalho. Apesar de o termo não figurar com tanta frequência nos estudos de avaliação de efetividade realizados pela comunidade científica internacional, o conceito de impacto do treinamento no trabalho foi encontrado em diversos estudos nacionais e, por isso, também foi utilizado para constituir a definição de um modelo conceitual norteador deste estudo, conforme Quadro 1.

Quadro 1
Esquema do modelo conceitual do construto efetividade da formação profissional ofertada em cursos na modalidade de educação a distância.

Conceito	Definição
Transferência da aprendizagem	Aplicação eficaz, no trabalho, das habilidades, capacidades e atitudes adquiridas no curso de formação profissional (KIRKPATRICK; KIRKPATRICK, 2009; HAMBLIN, 1974; PILATI; ABBAD, 2005)
Impacto da formação no trabalho	Consequências positivas e duradouras do curso de formação profissional no desempenho global, na motivação e nas atitudes em relação ao trabalho e em atividades similares, bem como em outras que requeiram o uso das novas habilidades, capacidades e atitudes (MOURÃO; ABBAD; ZERBINI, 2014; FERREIRA; ABBAD, 2014)

• Fonte: Elaborado pelos autores (2018).

Neste estudo, o conceito de impacto da formação no trabalho foi considerado somente sob a perspectiva da amplitude, por abordar os efeitos gerais do curso sobre o desempenho do egresso (CARVALHO; ABBAD, 2006), e pela possibilidade de se estender o instrumento proposto à avaliação de cursos relacionados a diversos contextos de trabalho. Com base no esquema do modelo conceitual proposto, foi elaborada a seguinte definição constitutiva do construto efetividade da formação profissional, centrado no egresso: nível de desenvolvimento de habilidades, atitudes e motivação, relacionadas ao trabalho ou a atividades similares. As definições desses atributos foram elaboradas com base na literatura e estão apresentadas no Quadro 2.

Quadro 2
Definições dos atributos constitutivos do construto efetividade da formação profissional.

Atributo	Definição
Habilidades	Capacidade de fazer uso do conhecimento adquirido, em ações relacionadas ao trabalho ou a atividades similares (BOTERF, 2003), a fim de alcançar um propósito específico (SANTOS, 2014); está associada ao saber-fazer.
Atitudes	Predisposição do comportamento à modificação da forma de se realizar o trabalho (GAGNÉ; MEDSKER, 1996); envolve crenças e valores pessoais (ODELIUS et al., 2016) e está associada ao querer-saber-fazer (SANTOS, 2014).
Motivação	Estado interno que sustenta o comportamento orientado para o objetivo (VELAYUTHAM; ALDRIGE; FRASER, 2011). Interesse em aplicar no trabalho os conteúdos aprendidos na formação (LACERDA; ABBAD, 2003).

• Fonte: Elaborado pelos autores (2018).

As medidas de avaliação de efetividade de cursos de formação profissional, no contexto da modalidade EaD, estão apresentadas na sequência.

2.2 Medidas de avaliação de efetividade da formação profissional ofertada em cursos na modalidade de educação a distância

Os estudos científicos que realizaram avaliações de cursos de formação profissional ofertados na modalidade EaD, publicados no período de 2012 a 2017, utilizaram, em geral, dois tipos de instrumentos de coleta de dados: questionários e entrevistas. Para análise de dados, o predomínio foi para a análise estatística clássica, realizada em 40 artigos científicos dentre 49 analisados.

Em relação aos estudos que realizaram análise de conteúdo, os instrumentos de coleta de dados utilizados foram questionários com itens abertos (DECOSTA; BERGQUIST; HOLBECK, 2015; LAHTI; KONTIO; VÄLIMÄKI, 2016), entrevistas semiestruturadas (TANG; LAM, 2014; WILSON, 2012) e atividade de ensaio reflexivo na plataforma do curso (LAHTI et al., 2014). Foram avaliadas, em geral, as percepções dos participantes dos cursos sobre o papel dos professores mediadores, a avaliação do ensino, a contribuição dos participantes na plataforma de ensino, o acesso aos conteúdos, o cronograma do curso, o senso de comunidade e relacionamento, o nível de interação dos participantes, a transferência da aprendizagem para o trabalho, as vantagens e desvantagens resultantes do curso, a recomendação do curso para outros profissionais, entre outros. Portanto, estudos qualitativos que recorreram à análise de conteúdo como procedimento de análise de dados avaliaram, essencialmente, a percepção dos participantes sobre suas experiências no curso de formação profissional.

Dentre os estudos que utilizaram testes estatísticos como procedimento de análise de dados, 24 aplicaram questionários de pré e pós-teste com o objetivo de avaliar diferentes aspectos dos cursos, com destaque para a avaliação do ganho de conhecimento (BRESSEM et al., 2016; MCLEOD; MORCK; CURRAN, 2014; LAVENDER et al., 2013; MOREIRA et al., 2015; MICHELAZZO et al., 2015; KULIER et al., 2012; ILOTT et al., 2014; BROWNLOW et al., 2015; WANG et al., 2016; BLAZER et al., 2012; KENEFICK et al., 2014; CHO; SHIN, 2014). Instrumentos de pré e pós-teste também incluíram perguntas relacionadas às características sociodemográficas dos participantes (BRESSEM et al., 2016; MCLEOD; MORCK; CURRAN, 2014; MOREIRA et al., 2015; O’BRIEN; BROOM; ULLAH, 2015; MATSUBARA; DOMENICO, 2016).

Nos questionários aplicados antes e após a intervenção do curso de formação profissional foram solicitadas informações relacionadas à experiência na área do curso (BRESSEM et al., 2016; MATSUBARA; DOMENICO, 2016), metas em relação ao curso (BRESSEM et al., 2016), tempo previsto para dedicação ao curso (BRESSEM et al., 2016), atitudes e crenças relacionadas à área do curso (BROWNLOW et al., 2015; CHO; SHIN, 2014), habilidades profissionais na área do curso (BROWNLOW et al., 2015; BLAZER et al., 2012; KENEFICK et al., 2014), desenvolvimento de competências profissionais (O’BRIEN; BROOM; ULLAH, 2015) e confiança para trabalhar na área do curso (BROWNLOW et al., 2015; O’BRIEN; BROOM; ULLAH, 2015).

Para confirmar a validade de conteúdo dos questionários, alguns estudos recorreram a especialistas com ampla experiência nas áreas de intervenção. A fim de validar o conteúdo de um questionário, elaborado a partir de uma revisão de literatura, pesquisadores convidaram cinco especialistas para comentar a redação e relevância dos itens, o formato das respostas e a concepção geral do questionário (CHONG et al., 2016). Utilizou-se, no estudo de Chong et al. (2016), um índice de validade de conteúdo para calcular as classificações dos especialistas sobre a relevância de cada item. Dentre os 28 itens, os índices variaram de 0,82 a 1, considerados adequados por ultrapassarem a concordância mínima de 0,80, sugerida por Davis (1992) e Grant e Davis (1997).

A técnica Delphi foi utilizada para validação de um questionário elaborado para avaliar a formação profissional ofertada em um curso na modalidade EaD, relacionado à área da saúde (MATSUBARA; DOMENICO, 2016). Essa técnica parte das opiniões, pontos de acordo e divergências entre peritos, com o objetivo de chegar a certos elementos de consenso, por meio de uma série de questionários estruturados, refinados a cada fase do processo (SOUSA; TURRINI, 2012; LIMA-RODRIGUEZ et al., 2013).

Salienta-se que, apesar de a revisão de literatura ter contemplado somente estudos que avaliaram cursos EaD, não há evidências científicas de que essas formas de avaliar sejam aplicáveis apenas a cursos EaD.

2.3 Procedimentos teóricos para construção e validação de instrumentos

Os procedimentos teóricos dependem da literatura existente sobre o construto que o instrumento pretende medir. O pesquisador deve levantar toda a evidência empírica sobre o construto e sistematizá-la, a fim de chegar a uma teoria que possa orientar a elaboração de um instrumento de medida para o construto (PASQUALI, 2017). Assim, é necessário estabelecer a dimensionalidade do construto, suas definições constitutivas e operacionais e operacionalizá-lo em tarefas comportamentais.

Os dados empíricos a serem coletados por meio de um instrumento irão demonstrar se a teoria acerca do construto, elaborada pelo pesquisador, tem ou não alguma consistência (CUNHA; ALMEIDA NETO; STACKFLETH, 2016). Após determinar a dimensionalidade do construto, é necessário conceituá-lo de forma detalhada, com base na literatura pertinente, nos especialistas da área e da própria experiência. Os resultados dessa conceituação, que deve ser clara e precisa, são as definições constitutivas e operacionais do construto. Boas definições constitutivas permitem a avaliação posterior da qualidade do instrumento, no sentido de verificar quanto de sua extensão semântica é coberta pelo instrumento (PASQUALI, 2017).

A definição operacional do construto define os comportamentos concretos que devem ocorrer ou que devem ser exibidos por parte dos participantes da pesquisa, no caso do instrumento proposto neste estudo, dos egressos de cursos de formação profissional ofertados na modalidade EaD. Quanto mais completa for a especificação das categorias de comportamentos, maior será a garantia de que o instrumento é válido e útil. O pesquisador deve recorrer à literatura referente ao construto, à opinião de especialistas e à própria experiência para realizar esse procedimento (CUNHA; ALMEIDA NETO; STACKFLETH, 2016).

A etapa subsequente, para elaboração de um instrumento, contempla a operacionalização do construto, que é o passo da construção dos itens. Os itens são a expressão da representação comportamental do construto, ou seja, são as tarefas que as pessoas, nesse caso, os egressos, deverão executar para que seja avaliada a magnitude da presença do construto (PASQUALI, 2017).

3 Procedimentos metodológicos

A partir do modelo conceitual, referente à efetividade da formação profissional ofertada em cursos na modalidade EaD, baseado na revisão da literatura, foi elaborado um questionário composto por 20 itens, relacionados ao desenvolvimento de habilidades, atitudes e motivação em decorrência do curso de formação profissional, cujas categorias de resposta apresentadas foram: discordo totalmente, discordo, concordo, concordo totalmente e não sei avaliar. Os itens do instrumento foram submetidos ao processo de validação de conteúdo, conforme o apresentado na sequência acima citado.

De acordo com Colucci, Alexandre e Milani (2015) e Polit e Beck (2016), pelo menos cinco especialistas na área do construto são suficientes para ajuizar se os itens estão-se referindo ou não ao traço latente. Entretanto, tal informação não é um consenso na literatura científica, pois essa quantidade depende do contexto da pesquisa e de fatores que não dependem do pesquisador, como a disponibilidade dos especialistas (MUNARETTO; CORRÊA; CUNHA, 2013).

Neste estudo, o traço latente que está sendo avaliado corresponde à efetividade da formação profissional ofertada na modalidade EaD, o qual engloba os atributos: habilidades, atitudes e motivação, sendo, portanto, um traço latente mais generalista. A validação de conteúdo do instrumento representa um necessário e importante avanço no sentido de possibilitar que sua aplicabilidade mensure de forma confiável aquilo que se pretende avaliar (BELLUCCI JÚNIOR; MATSUDA, 2012).

Optou-se pela utilização da técnica Delphi, que visa a obter consenso de opiniões de especialistas sobre um assunto por meio de uma série de questionários estruturados. As respostas para cada questionário foram consideradas para as aplicações e possíveis reformulações subsequentes dos questionários, a fim de refinar o questionário inicial. A síntese do processo de execução da técnica Delphi está apresentada na Figura.

Figura
Processo de execução do método Delphi.

Com a finalidade de selecionar os especialistas para participarem do processo de validação de conteúdo do instrumento, foi realizada uma consulta junto à base de dados do Conselho Nacional de Desenvolvimento Científico (CNPq), aplicando-se os seguintes termos de busca nos nomes de grupos de pesquisa: “formação profissional”, “educação continuada” e “educação a distância”. Os resultados das buscas apresentaram um total de 154 grupos de pesquisa que possuíam o termo “formação profissional” no título; 45 grupos de pesquisa com o termo “educação continuada” no título; e 204 grupos de pesquisa com o termo “educação a distância” no título. Com a posse desse resultado, foram selecionados, aleatoriamente, 15 grupos de pesquisa de cada uma das três buscas e registrados os e-mails dos respectivos especialistas que lideravam esses 45 grupos de pesquisa de diferentes regiões do país. Além dos 45 especialistas selecionados, foram incluídos intencionalmente mais oito professores universitários, cujas atividades de pesquisa eram de conhecimento do pesquisador e estavam relacionadas ao conteúdo do instrumento a ser validado, totalizando, portanto, 53 especialistas convidados a participar do processo de validação de conteúdo do instrumento.

Dessa forma, um e-mail foi encaminhado aos 53 especialistas selecionados na primeira rodada de realização da técnica Delphi, dos quais 13 aceitaram participar da pesquisa, representando uma adesão de 24,52%. Na segunda e última rodada da técnica Delphi, um e-mail foi encaminhado novamente aos 53 especialistas, contendo somente três itens que necessitavam ser reavaliados. Nessa etapa, nove especialistas participaram da pesquisa (16,98%).

A abordagem aos especialistas se deu por meio da internet, por contato via correio eletrônico, no qual foram explicitados os objetivos do estudo e as concepções teóricas adotadas para os atributos do construto. O primeiro questionário foi encaminhado aos especialistas no dia 6 de novembro de 2017, e ficou disponível para respostas até o dia 6 de dezembro de 2017. Os especialistas foram convidados a participar voluntariamente, com garantia da confidencialidade e demais aspectos preconizados pelo Comitê de Ética em Pesquisa com Seres Humanos (CEPSH) da Universidade Federal de Santa Catarina (UFSC), cuja aprovação a tal estudo consta no Parecer Consubstanciado nº 2.051.634.

O grau de adequação de cada item foi estabelecido de acordo com uma pontuação de 1 até 5, em que 1 representa na adequação menor e 5 representa na maior adequação. Foram propostos, inicialmente, 20 itens e oportunizado aos especialistas sugerirem melhorias ou novos itens. Os itens foram validados ou eliminados de acordo com os seguintes critérios propostos por Lima-Rodriguez et al. (2013):

1. validar o item quando a média ≥ 3,5 e mediana ≥ 3, e quando o percentual de classificações elevadas (4-5) > 80% ou desvio-padrão < 0,90;

2. eliminar o item quando a média < 3,5 e mediana < 3.

Os itens não validados na primeira rodada foram reaplicados, passando, assim, para a fase seguinte. Variáveis demográficas dos especialistas também foram coletadas, tais como: sexo, idade, local de residência, nível de escolaridade e área de dedicação profissional, cuja finalidade foi caracterizar o perfil da amostra de peritos.

4 Resultados

Na primeira rodada de aplicação da técnica Delphi, a média de idade dos especialistas foi de 48 anos, com desvio-padrão de 11 anos. Os especialistas do sexo feminino totalizaram 11, e dois do sexo masculino. Quanto ao local de residência, cinco respondentes são provenientes do Estado de Santa Catarina, quatro do Paraná, dois do Rio de Janeiro, um do Rio Grande do Sul e outro de Minas Gerais. Em relação ao nível educacional, dez especialistas possuem doutorado, dentre os quais três cursaram pós-doutorado, e os outros três especialistas possuíam mestrado.

Dos 20 itens aplicados inicialmente, um foi invalidado pelos especialistas e excluído das análises subsequentes: Quando aplico o que aprendi no curso, executo meu trabalho com maior rapidez. Na opção de resposta aberta, alguns especialistas registraram que a velocidade com que alguém executa seu trabalho não está relacionada necessariamente com a qualidade dessa execução, indicando, assim, a inadequação do item em relação ao que o instrumento pretende medir.

Com a exclusão do item invalidado pelos especialistas, permaneceram no processo de validação de conteúdo 19 itens. Desses 19 itens, 16 apresentaram os índices de acordo com os critérios propostos por Lima-Rodriguez et al. (2013), tais como: média ≥ 3,5 e mediana ≥ 3, e classificações elevadas (4-5) > 80% ou desvio-padrão < 0,90. Dentre os 19 itens, os itens 8, 9 e 11 não cumpriram todos os critérios para validação de conteúdo, no entanto, também não cumpriram os critérios para invalidação automática, que seriam: média < 3,5 e mediana < 3. Esses itens não apresentaram percentuais de classificações elevadas (4-5) > 80% e desvio-padrão < 0,90, porém a média e mediana apresentaram resultados aceitáveis, o que justificou uma nova consulta aos especialistas.

Na Tabela 1, estão apresentados os 16 itens validados na primeira fase do processo de validação de conteúdo, bem como os três itens que passaram para a segunda fase desse processo, destacados em negrito, com seus respectivos resultados.

Tabela 1
Resultados da primeira fase do processo de validação de conteúdo do instrumento de avaliação de efetividade da formação profissional ofertada em cursos na modalidade EaD.

Atributo	Item	Média ≥ 3,5	Mediana ≥ 3	Desvio-padrão < 0,90	% (4-5) > 80%
Habilidades	1. Após realizar o curso, passei a utilizar com frequência o que aprendi.	4,46	4,0	0,51	100%
	2. Ensinei aos meus colegas de trabalho novas habilidades desenvolvidas no curso.	4,23	5,0	1,09	84%
	3. As habilidades que desenvolvi no curso fizeram com que eu cometesse menos erros em meu trabalho atual.	4,23	4,0	0,83	92%
	4. Recordo-me bem dos conteúdos abordados no curso.	4,33	4,0	0,65	84%
	5. A qualidade do meu trabalho melhorou nas atividades relacionadas diretamente ao conteúdo do curso.	4,30	4,0	0,85	92%
	6. Adquiri conhecimentos que melhoraram meu desempenho individual no trabalho.	4,46	5,0	0,87	92%
	7. Reconheço situações de trabalho em que é adequado aplicar o conteúdo aprendido.	4,46	5,0	0,87	92%
Atitudes	8. Após realizar o curso, passei a sugerir com mais frequência mudanças nas rotinas de trabalho.	4,00	4,0	1,08	76%
	9. Após realizar o curso, passei a aceitar com mais facilidade as mudanças no trabalho.	3,69	4,0	1,25	69%
	10. A partir da realização do curso, passei a buscar conteúdos atualizados relacionados à minha área de atuação.	4,30	4,0	0,85	92%
	11. A partir da realização do curso, passei a cooperar com mais frequência com meus colegas de trabalho na realização de suas atividades.	4,00	4,0	0,91	76%
	12. Tenho aproveitado as oportunidades para colocar em prática o que foi ensinado no curso.	4,23	4,0	0,83	92%
Motivação	13. Após a participação no curso, me sinto um profissional mais motivado do que antes.	4,33	4,0	0,65	91%
	14. Após realizar o curso, tenho mais confiança em minha capacidade de executar meu trabalho com sucesso.	4,63	5,0	0,67	91%
	15. Tenho interesse em continuar compartilhando com meus colegas de trabalho o que aprendi no curso.	4,25	4,0	0,62	91%
	16. Tenho interesse em ler conteúdos relacionados ao tema do curso.	4,50	5,0	0,67	91%
	17. Tenho interesse em aplicar no trabalho os conteúdos aprendidos no curso.	4,33	4,0	0,65	91%
	18. Sinto-me capaz de compartilhar com outras pessoas os conhecimentos adquiridos no curso.	4,33	4,0	0,49	100%
	19. Sinto-me motivado para participar de outro curso de formação profissional ofertado a distância.	4,16	4,5	1,11	83%

• Fonte: Elaborado pelos autores (2018).

Os itens 8, 9 e 11 foram encaminhados novamente por e-mail aos 53 especialistas, no dia 9 de janeiro de 2018, para que reavaliassem ou propusessem reformulações, caso julgassem necessário. Os resultados da segunda fase do processo de validação de conteúdo indicaram a validação do seguinte item: Após realizar o curso, passei a sugerir com mais frequência mudanças nas rotinas de trabalho, o qual apresentou média de 3,77, mediana 4, desvio-padrão igual a 0,83 e 77% de classificações altas (4 e 5). O critério de classificações altas não alcançou os 80%, conforme sugerido por Lima-Rodriguez et al. (2013), porém, o desvio-padrão inferior a 0,90, combinado com a média e mediana dentro dos valores recomendados, contemplaram os requisitos para validação de conteúdo desse item. Os especialistas não indicaram a necessidade de reformulação do item. Por outro lado, os seguintes itens: Após realizar o curso, passei a aceitar com mais facilidade as mudanças no trabalho, passei, assim, a cooperar mais com meus colegas de trabalho, que não atingiram os valores recomendados em relação ao desvio-padrão e ao percentual de classificações altas. Assim, optou-se pela exclusão desses itens.

O instrumento final, composto por 17 itens, está apresentado na sequência.

Quadro 3 Instrumento de avaliação de efetividade da formação profissional ofertada em cursos na modalidade EaD.

Item	Discordo totalmente	Discordo	Concordo	Concordo totalmente	Não sei avaliar
1. Após realizar o curso, passei a utilizar com frequência o que aprendi.
2. Ensinei aos meus colegas de trabalho novas habilidades desenvolvidas no curso.
3. As habilidades que desenvolvi no curso fizeram com que eu cometesse menos erros em meu trabalho atual.
4. Recordo-me bem dos conteúdos abordados no curso.
5. A qualidade do meu trabalho melhorou nas atividades relacionadas diretamente ao conteúdo do curso.
6. Adquiri conhecimentos que melhoraram meu desempenho individual no trabalho.
7. Reconheço situações de trabalho em que é adequado aplicar o conteúdo aprendido.
8. Após realizar o curso, passei a aceitar com mais facilidade as mudanças no trabalho.
9. A partir da realização do curso, passei a buscar conteúdos atualizados relacionados à minha área de atuação.
10. Tenho aproveitado as oportunidades para colocar em prática o que foi ensinado no curso.
11. Após a participação no curso, sinto-me um profissional mais motivado do que antes.
12. Após realizar o curso, tenho mais confiança em minha capacidade de executar meu trabalho com sucesso.
13. Tenho interesse em continuar compartilhando com meus colegas de trabalho o que aprendi no curso.
14. Tenho interesse em ler conteúdos relacionados ao tema do curso.
15. Tenho interesse em aplicar no trabalho os conteúdos aprendidos no curso.
16. Sinto-me capaz de compartilhar com outras pessoas os conhecimentos adquiridos no curso.
17. Sinto-me motivado para participar de outro curso de formação profissional ofertado a distância.

Fonte: Elaborado pelos autores (2018).

Na sequência, estão apresentadas as considerações finais acerca do processo de validação de conteúdo do instrumento de avaliação.

5 Considerações finais

A validação teórica do instrumento de avaliação de efetividade da formação profissional ofertada em cursos na modalidade EaD é um processo necessário e prévio à utilização do instrumento na prática. Os procedimentos para validação teórica e seus respectivos resultados estão relacionados à verificação da garantia de que o instrumento irá medir aquilo que foi proposto. Para isso, o estudo concentrou-se na busca de consenso na opinião de especialistas.

A técnica Delphi tem sido utilizada amplamente para validação de escalas e questionários a partir da opinião de especialistas e possui critérios específicos para o refinamento dos itens. A possibilidade de aplicação dessa técnica de forma on-line permitiu maior rapidez e a inclusão de especialistas de diversas regiões do Brasil. Em relação ao tamanho da amostra, constatou-se que o processo de validação de conteúdo do instrumento de avaliação de efetividade foi ao encontro do número de especialistas proposto em outros estudos de validação de conteúdo, cuja quantidade de mais de 10 respondentes na primeira fase de validação foi considerada adequada na aplicação da técnica Delphi (LIMA-RODRIGUEZ et al., 2013; BELLUCCI JÚNIOR; MATSUDA, 2012). Neste estudo, a primeira rodada do processo de validação de conteúdo contou com a participação de 13 especialistas, superando a quantidade comumente utilizada em outros estudos que utilizaram a técnica para validação de conteúdo.

A inclusão de um campo para registro de contribuições qualitativas em cada item também possibilitou o aprimoramento do instrumento em seu processo de validação. Quanto às limitações do processo de validação de conteúdo do instrumento, denota-se não ser possível gerar um verdadeiro consenso entre os especialistas, mas, sim, uma proximidade para tal. Ao evitar o contato direto entre os especialistas, portanto, sem oportunidade de discussões de ideias entre os participantes, a técnica Delphi busca eliminar possíveis decisões precipitadas e a inibição de novas ideias, pois é proposta a formação gradual de uma opinião por parte de cada especialista nas fases que se sucedem.

Sugere-se que, em futuras investigações, o questionário proposto neste estudo seja validado empiricamente, com a realização de análise fatorial, contemplada pela Teoria Clássica dos Testes (TCT), bem como com a aplicação da Teoria da Resposta ao Item (TRI), que possibilita a identificação dos parâmetros de dificuldade e discriminação dos itens, individualmente, além de fornecer informações sobre o instrumento como um todo.

Análises estatísticas, portanto, poderão completar a validação do instrumento, de forma empírica, haja vista que a primeira etapa do processo de validação do instrumento foi apresentada neste estudo, no que se refere aos procedimentos teóricos. A aplicação futura de análises estatísticas também possibilitará a construção de uma escala de efetividade da formação profissional ofertada em cursos na modalidade EaD, a ser interpretada qualitativamente, de modo que se compreenda em que medida determinado curso foi efetivo, e o que pode ser aprimorado em seu processo formativo.

Referências

• ALUKO, F. R.; SHONUBI, O. K. Going beyond kirkpatrick’s training evaluation model: the role of workplace factors in distance learning transfer. Africa Education Review, v. 11, n. 4, p. 638-57, 2014. https://doi.org/10.1080/18146627.2014.935007
  » https://doi.org/10.1080/18146627.2014.935007
• BELLUCCI JÚNIOR, J. A.; MATSUDA, L. M. Construção e validação de instrumento para avaliação do acolhimento com classificação de risco. Revista Brasileira de Enfermagem, Brasília, v. 65, n. 5, p. 751-7, set./out. 2012. https://doi.org/10.1590/S0034-71672012000500006
  » https://doi.org/10.1590/S0034-71672012000500006
• BLAZER, K. R. et al. Impact of web-based case conferencing on cancer genetics training outcomes for community-based clinicians. Journal of Cancer Education, v. 27, n. 2, p. 217-25, 2012. https://doi.org/10.1007/s13187-012-0313-8
  » https://doi.org/10.1007/s13187-012-0313-8
• BOTERF, G. Desenvolvendo a competência dos profissionais 3. ed. Porto Alegre, RS: Artmed, 2003.
• BRESSEM, K. et al. A german e-learning-training in the context of early preventive intervention and child protection: preliminary findings of a pre-post evaluation. Child and Adolescent Psychiatry and Mental Health, v. 10, n. 1, p. 1-9, 2016. https://doi.org/10.1186/s13034-016-0113-8
  » https://doi.org/10.1186/s13034-016-0113-8
• BROWNLOW, R. S. et al. Evaluation of an on-line training program in eating disorders for health professionals in Australia. Journal of Eating Disorders, v. 3, n. 1, p. 1-6, 2015. https://doi.org/10.1186/s40337-015-0078-7
  » https://doi.org/10.1186/s40337-015-0078-7
• CARVALHO, R. S.; ABBAD, G. Avaliação de treinamento a distância: reação, suporte à transferência e impactos no trabalho. Revista de Administração Contemporânea, Curitiba, v. 10, n. 1, p. 95-116, jan./mar. 2006. https://doi.org/10.1590/S1415-65552006000100006
  » https://doi.org/10.1590/S1415-65552006000100006
• CHO, K.-C.; SHIN, G. Operational effectiveness of blended e-learning program for nursing research ethics. Nursing Ethics, v. 21, n. 4, p. 484-95, 2014. https://doi.org/10.1177/0969733013505310
  » https://doi.org/10.1177/0969733013505310
• CHONG, M. C. et al. Access to, interest in and attitude toward e-learning for continuous education among malaysian nurses. Nurse Education Today, v. 36, p. 370-4, 2016. https://doi.org/10.1016/j.nedt.2015.09.011
  » https://doi.org/10.1016/j.nedt.2015.09.011
• COSTA, L. D. S. et al. O estado da arte das formas de gestão educacional. Revista de Iniciação Científica e Extensão, Valparaiso de Goiás, v. 1, n. esp. 3, p. 313-25, 2018.
• CUNHA, C. M.; ALMEIDA NETO, O. P.; STACKFLETH, R. Principais métodos de avaliação psicométrica da validade de instrumentos de medida. Revista de Atenção à Saúde, São Caetano do Sul, v. 14, n. 47, p. 75-83, 2016. https://doi.org/10.13037/ras.vol14n47.3391
  » https://doi.org/10.13037/ras.vol14n47.3391
• DAVIS, L. L. Instrument review: getting the most from a panel of experts. Applied Nursing Research, v. 5, n. 4, p. 194-7, 1992. https://doi.org/10.1016/S0897-1897(05)80008-4
  » https://doi.org/10.1016/S0897-1897(05)80008-4
• DECOSTA, M.; BERGQUIST, E.; HOLBECK, R. A desire for growth: on-line full-time faculty’s perceptions of evaluation processes. Journal of Educators On-line, v. 12, n. 2, p. 73-102, 2015. https://doi.org/10.9743/JEO.2016.2.6
  » https://doi.org/10.9743/JEO.2016.2.6
• FERREIRA, R. R.; ABBAD, G. S. Avaliação de necessidades de treinamento no trabalho: ensaio de um método prospectivo. Revista Psicologia Organizações e Trabalho, Florianópolis, v. 14, n. 1, p. 1-17, mar. 2014.
• GAGNÉ, R. M.; MEDSKER, K. L. The conditions of learning: training applications. Belmont, CA: Wadsworth, 1996.
• GARCIA, V. L.; CARVALHO JUNIOR, P. M. Educação à distância (EAD), conceitos e reflexões. Medicina, Ribeirao Preto, v. 48, n. 3, p. 209-13, 2015.
• GAZZA, E. A.; HUNKER, D. F. Facilitating student retention in online graduate nursing education programs: a review of the literature. Nurse Education Today, v. 34, n. 7, p. 1125-9, jul. 2014. https://doi.org/10.1016/j.nedt.2014.01.010
  » https://doi.org/10.1016/j.nedt.2014.01.010
• GOMES, D. E. et al. Avaliação da formação profissional ofertada na modalidade de educação a distância: um ensaio teórico. In: SEMINÁRIOS EM ADMINISTRAÇÃO, 20, 2017, São Paulo. Anais… São Paulo, SP: Universidade de São Paulo, 2017. Disponível em: <http://login.semead.com.br/20semead/anais/arquivos/741.pdf> Acesso em: 4 mar. 2018.
  » http://login.semead.com.br/20semead/anais/arquivos/741.pdf>
• GRANT, J. S.; DAVIS, L. L. Selection and use of content experts for instrument development. Research in Nursing & Health, v. 20, n. 3, p. 269-74, 1997. https://doi.org/10.1002/(SICI)1098-240X(199706)20:3<269::AID-NUR9>3.0.CO;2-G
  » https://doi.org/10.1002/(SICI)1098-240X(199706)20:3<269::AID-NUR9>3.0.CO;2-G
• HABOWSKI, A. C.; CONTE, E.; JACOBI, D. F. Interlocuções e discursos de legitimação em EaD. Ensaio: Avaliação e Políticas Públicas em Educação, Rio de Janeiro, p. 1-20, abr. 2019. https://doi.org/10.1590/s0104-40362019002701365
  » https://doi.org/10.1590/s0104-40362019002701365
• HAMBLIN, A. C. Evaluation and control of training. Industrial Training International, v. 9, n. 5, p. 154-6, maio 1974.
• IGLESIAS-PRADAS, S.; RUIZ-DE-AZCÁRATE, C.; AGUDO-PEREGRINA, A. F. Assessing the suitability of student interactions from moodle data logs as predictors of cross-curricular competencies. Computers in Human Behavior, v. 47, p. 81-9, jun. 2015. https://doi.org/10.1016/j.chb.2014.09.065
  » https://doi.org/10.1016/j.chb.2014.09.065
• ILOTT, I. et al. Evaluating a novel approach to enhancing dysphagia management: workplace based, blended e learning. Journal of Clinical Nursing, v. 23, n. 9-10, p. 1354-64, maio 2014. https://doi.org/10.1111/jocn.12409
  » https://doi.org/10.1111/jocn.12409
• KENEFICK, H. W. et al. On your time: on-line training for the public health workforce. Health Promotion Practice, v. 15, n. suppl. 1, p. 48S-55S, 2014. https://doi.org/10.1177/1524839913509270
  » https://doi.org/10.1177/1524839913509270
• KIRKPATRICK, D. L.; KIRKPATRICK, J. D. Implementing the four levels: a practical guide for effective evaluation of training programs. Oakland, CA: Berrett-Koehler, 2009. (Easyread super large 24pt edition).
• KULIER, R. et al. Effectiveness of a clinically integrated e-learning course in evidence-based medicine for reproductive health training: a randomized trial. JAMA, v. 308, n. 21, p. 2218-25, 2012. https://doi.org/10.1001/jama.2012.33640
  » https://doi.org/10.1001/jama.2012.33640
• LACERDA, E. R. M.; ABBAD, G. Impacto do treinamento no trabalho: investigando variáveis motivacionais e organizacionais como suas preditoras. Revista de Administração Contemporânea, Curitiba, v. 7, n. 4, p. 77-96, out./dez. 2003. https://doi.org/10.1590/S1415-65552003000400005
  » https://doi.org/10.1590/S1415-65552003000400005
• LAHTI, M. E. et al. Knowledge transfer from an e-learning course to clinical practice. Nurse Education Today, v. 34, n. 5, p. 842-7, maio 2014. https://doi.org/10.1016/j.nedt.2013.09.003
  » https://doi.org/10.1016/j.nedt.2013.09.003
• LAHTI, M. E.; KONTIO, R. M.; VÄLIMÄKI, M. Impact of an e-learning course on clinical practice in psychiatric hospitals: nurse managers’ views. Perspectives in Psychiatric Care, v. 52, n. 1, p. 40-8, jan. 2016. https://doi.org/10.1111/ppc.12100
  » https://doi.org/10.1111/ppc.12100
• LAVENDER, D. T. et al. A pilot quasi-experimental study to determine the feasibility of implementing a partograph e-learning tool for student midwife training in Nairobi. Midwifery, v. 29, n. 8, p. 876-84, 2013. https://doi.org/10.1016/j.midw.2012.10.003
  » https://doi.org/10.1016/j.midw.2012.10.003
• LIMA-RODRÍGUEZ, J. S. et al. Validação de conteúdo da escala de auto-percepção do estado da saúde familiar utilizando a técnica delphi. Revista Latino-Americana de Enfermagem, Ribeirão Preto, v. 21, n. 2, p. 595-603, mar./abr. 2013. https://doi.org/10.1590/S0104-11692013000200017
  » https://doi.org/10.1590/S0104-11692013000200017
• MATSUBARA, M. G. S.; DOMENICO, E. B. L. Virtual learning environment in continuing education for nursing in oncology: an experimental study. Journal of Cancer Education, v. 31, n. 4, p. 804-10, dez. 2016. https://doi.org/10.1007/s13187-015-0889-x
  » https://doi.org/10.1007/s13187-015-0889-x
• MCLEOD, D. L.; MORCK, A. C.; CURRAN, J. A. A pan-canadian web-based education program to support screening for distress: evaluation of outcomes. Palliative and Supportive Care, v. 12, n. 1, p. 15-23, fev. 2014. https://doi.org/10.1017/S1478951513000072
  » https://doi.org/10.1017/S1478951513000072
• MICHELAZZO, M. B. et al. Distance learning training in genetics and genomics testing for Italian health professionals: results of a pre and post-test evaluation. Epidemiology, Biostatistics and Public Health, v. 12, n. 3, 2015. https://doi.org/10.2427/11516
  » https://doi.org/10.2427/11516
• MOREIRA, I. C. et al. Development and assessment of an e-learning course on breast imaging for radiographers: a stratified randomized controlled trial. Journal of Medical Internet Research, v. 17, n. 1, jan. 2015. https://doi.org/10.2196/jmir.3344
  » https://doi.org/10.2196/jmir.3344
• MOURÃO, L.; ABBAD, G. S.; ZERBINI, T. Avaliação da efetividade e dos preditores de um treinamento a distância em uma instituição bancária de grande porte. Revista de Administração, São Paulo, v. 49, n. 3, p. 534-48, jul./set. 2014. https://doi.org/10.5700/rausp1166
  » https://doi.org/10.5700/rausp1166
• MUNARETTO, L. F.; CORRÊA, H. L.; CUNHA, J. A. C. Um estudo sobre as características do método delphi e de grupo focal, como técnicas na obtenção de dados em pesquisas exploratórias. Revista de Administração da Universidade Federal de Santa Maria, Santa Maria, v. 6, n. 1, 2013. https://doi.org/10.5902/198346596243
  » https://doi.org/10.5902/198346596243
• O’BRIEN, L; BROOM, L.; ULLAH, M. M. Outcomes and participant experience of an on-line train the trainer program for Bangladeshi health professionals: a case study evaluation. Journal of Continuing Education in the Health Professions, v. 35, n. 1, p. 46-56, jan. 2015. https://doi.org/10.1002/chp.21262
  » https://doi.org/10.1002/chp.21262
• ODELIUS, C. C. et al. Atitudes e habilidades sociais para trabalho em equipe: desenvolvimento de uma escala. Revista de Administração Contemporânea, Curitiba, v. 20, n. 2, p. 175-96, mar./abr. 2016. https://doi.org/10.1590/1982-7849rac2016140057
  » https://doi.org/10.1590/1982-7849rac2016140057
• OLIVEIRA, J. O. et al. Introdução ao método delphi Curitiba, PR: Mundo Material, 2008.
• PASQUALI, L. Psicometria: teoria dos testes na psicologia e na educação. São Paulo, SP: Vozes, 2017.
• PILATI, R.; ABBAD, G. Análise fatorial confirmatória da escala de impacto do treinamento no trabalho. Psicologia: Teoria e Pesquisa, Brasília, v. 21, n. 1, p. 43-51, jan./abr. 2005.
• POLIT, D. F.; BECK, C. T. Fundamentos de pesquisa em enfermagem: avaliação de evidências para a prática da enfermagem. Porto Alegre, RS: Artmed, 2016.
• SANDER, B. Administração da educação e relevância cultural. In: SANDER, B. Gestão da educação na América Latina: construção e reconstrução do conhecimento. Campinas, SP: Autores Associados, 1995.
• SANTOS, A. P. Conhecimentos, habilidades e atitudes: o conceito de competências no trabalho e seu uso no setor público. Revista do Serviço Público, v. 62, n. 4, p. 369-86, 2014. https://doi.org/10.21874/rsp.v62i4.78
  » https://doi.org/10.21874/rsp.v62i4.78
• SOUSA, C. A.; TURRINI, R. N. T. Construct validation of educational technology for patients through the application of the Delphi technique. Acta Paulista de Enfermagem, v. 25, n. 6, p. 990-6, 2012. https://doi.org/10.1590/S0103-21002012000600026
  » https://doi.org/10.1590/S0103-21002012000600026
• STADLER, A. et al. E-learning as a training tool for civil servants: a case in the State of Parana-Brazil. Turkish Online Journal of Distance Education, v. 18, n. 2, p. 94-105, 2017. https://doi.org/10.17718/tojde.306562
  » https://doi.org/10.17718/tojde.306562
• TANG, E.; LAM, C. Building an effective on-line learning community (OLC) in blog-based teaching portfolios. The Internet and Higher Education, v. 20, p. 79-85, jan. 2014. https://doi.org/10.1016/j.iheduc.2012.12.002
  » https://doi.org/10.1016/j.iheduc.2012.12.002
• VELAYUTHAM, S.; ALDRIDGE, J.; FRASER, B. Development and validation of an instrument to measure students’ motivation and self‐regulation in science learning. International Journal of Science Education, v. 33, n. 15, p. 2159-79, 2011. https://doi.org/10.1080/09500693.2010.541529
  » https://doi.org/10.1080/09500693.2010.541529
• WANG, J. et al. Evaluation of the first open-access hepatitis B and safe injection on-line training course for health professionals in China. BMC Medical Education, v. 16, n. 1, p. 1-8, 2016. https://doi.org/10.1186/s12909-016-0608-2
  » https://doi.org/10.1186/s12909-016-0608-2
• WILSON, A. Effective professional development for e learning: what do the managers think? British Journal of Educational Technology, v. 43, n. 6, p. 892-900, nov. 2012. https://doi.org/10.1111/j.1467-8535.2011.01248.x
  » https://doi.org/10.1111/j.1467-8535.2011.01248.x

Datas de Publicação

• Publicação nesta coleção
  26 Ago 2019
• Data do Fascículo
  Jul-Sep 2020

Histórico

• Recebido
  08 Mar 2018
• Aceito
  01 Jul 2019