Validação de instrumento de avaliação da metodologia ativa de sala de aula invertida ¹

Resumo

Entende-se metodologias ativas como formas de desenvolver o processo de aprender e construir uma formação crítica junto aos futuros profissionais nas mais diversas áreas, favorecendo a autonomia do educando no seu aprendizado, estimulando tomadas de decisões individuais e coletivas. O objetivo desse estudo, bem como seu percurso metodológico, procuram validar o instrumento de avaliação utilizado na Metodologia Ativa de Sala de Aula Invertida. Desenvolvido por professores do curso de enfermagem e baseado na taxonomia de Bloom do Domínio Cognitivo, o instrumento contém vinte itens a serem avaliados. Para a validação utilizou-se as propriedades psicométricas validade e confiabilidade referentes à psicometria de Pasquali. Verificada através do Índice de Validade de Conteúdo (IVC), mensura a proporção de avaliadores que estão em concordância com os itens do instrumento, utilizando como critério de decisão sobre a pertinência e aceitação do item uma concordância de pelo menos 80% entre os avaliadores. O instrumento foi avaliado por 8 participantes considerados experientes na área, através da escala Likert de 4 pontos. O critério confiabilidade, analisado através do software IBM SPSS®, apresentou valor para alfa de Cronbach de 0,94 e o critério validade alcançou concordância de 70% entre os avaliadores. Conclui-se que o instrumento é confiável, porém, quanto ao critério validade, o mesmo necessita ajustes para representar o que pretende.

Metodologias ativas; Sala de aula invertida; Estudo de validação; Educação em enfermagem

Abstract

Active methodologies are understood as ways to develop the learning process and construct critical training with future professionals in the most diverse areas, favoring the autonomy of the student in their learning, ecouraging individual and collective decision-making. The objective of this study, as well as its methodological path, seeks to validate the evaluation instrument used in the Flipped Classroom Active Methodology. Developed by teachers of the nursing course and based on bloom taxonomy of the Cognitive Domain, the instrument contains twenty items to be evaluated. For validation, the psychometric properties of validity and reliability related to Pasquali’s psychometry were used. Verified through the Content Validity Index (CVI), it measures the proportion of evaluators who are in agreement with the instrument’s items, using an agreement of at least 80% among the evaluators as a decision criterion on the pertinence and acceptance of the item. The instrument was evaluated by 8 participants considered experienced in the area, using a 4-point Likert scale. The reliability criterion, analyzed using the IBM SPSS® software, presented a Cronbach’s alpha value of 0.94 and the validity criterion reached 70% agreement between the evaluators. It is concluded that the instrument is reliable, however, regarding the validity criterion, it needs adjustments to represent what it intends.

Active Methodologies - Flipped Classroom - Study of validation - Education in nursing

Introdução

As metodologias ativas são entendidas como formas de desenvolver o processo de aprender e de construir uma formação crítica junto aos futuros profissionais nas mais diversas áreas. A utilização dessas metodologias pode favorecer a autonomia do educando, despertar a curiosidade e estimular tomadas de decisões individuais e coletivas, aproximando o contexto do estudante com as práticas sociais (BORGES, T.; ALENCAR, 2014). Além disso, o emprego das metodologias ativas é capaz de transformar o aprendizado em uma ferramenta multiplicadora de mudanças (ROMAN et al ., 2017).

As metodologias ativas de ensino promovem a participação e comprometimento do educando com seu aprendizado, estimulando-o nos processos de ensino-aprendizagem para um posicionamento crítico-reflexivo. Tais metodologias requerem ensino com formação de competências, que promova a aproximação crítica do estudante com a realidade, a reflexão dos problemas e a integração com o serviço de saúde e do ser humano ( BELLAVER, 2019 ).

O uso das metodologias ativas nos cursos da área da saúde configura-se como importante corrente pedagógica a ser abordada, pois corrobora para a aprendizagem significativa e instiga o estudante na busca do conhecimento necessário à prática clínica para utilização futura (MELLO; ALVES; LEMOS, 2014).

Ao longo do tempo, a educação em saúde no ensino superior vem sofrendo mudanças positivas, visando a implementação de estratégias de ensino que promovam o aluno a provedor e detentor de seu próprio processo de ensino-aprendizagem (MELLO; ALVES; LEMOS, 2014).

A Resolução CNE/CES 3/2001, que institui as Diretrizes Curriculares Nacionais do Curso de Graduação em Enfermagem , orienta para a formação de um profissional generalista, humanista, crítico-reflexivo; qualificado para o exercício da profissão com base no rigor científico e intelectual, e pautado em princípios éticos; entre outras capacidades, o enfermeiro deverá estar apto à resolução de problemas de saúde, tanto em nível individual como coletivo; a tomar decisões apropriadas; ao exercício da liderança, da administração e do gerenciamento ( BRASIL, 2001 ). Dessa forma, entende-se que as metodologias ativas corroboram para a formação desse perfil profissional.

No ensino com metodologias ativas o estudante é visto como protagonista de seu aprendizado, ficando a cargo do professor a mediação, a qual deve despertar a curiosidade epistemológica. Para o curso de enfermagem essa metodologia produz impactos positivos, pois capacita o futuro enfermeiro para o enfrentamento dos desafios reais da profissão. Nesse aspecto, as DCNs dos cursos de graduação em enfermagem vêm contribuindo para a formação de estudantes aptos e capazes de solucionar problemas ao seu redor e, acima de tudo, estimulando-os a serem cidadãos preocupados com o próximo ( WEBER, 2018 ).

O curso de enfermagem do Instituto Federal do Paraná (IFPR) – campus Palmas utiliza metodologias ativas de ensino aprendizagem. A Sala de Aula Invertida, como uma das metodologias escolhidas pelo curso, possibilita que o conhecimento seja construído pelos alunos de forma dinâmica e autônoma, visto que prevê um estudo prévio, a ser realizado em casa, e um espaço de discussão em sala de aula para a síntese do conhecimento e da experiência sobre o assunto proposto. Para essa metodologia são disponibilizados artigos científicos para leitura prévia individual e, posteriormente, realizada a discussão e a contextualização dos mesmos, em grupo, com a mediação e orientação do professor, que participa da discussão e realiza questionamentos, explorando os saberes e as contribuições dos estudantes.

A Sala de Aula Invertida é uma proposta que exige mais dos atores envolvidos no processo de aprendizagem, exige do aluno autonomia e responsabilidade pelo seu aprendizado e, além disso, exige ação e reflexão em sala de aula. Já para o professor, exige planejamento, exatidão de exposição do conteúdo, reflexão e autocrítica acerca do conteúdo, e análise conjunta com os alunos. Os alunos deixam de ser meros espectadores para contribuirem como co-construtores do conteúdo que está em produção. Apesar das vantagens desse método, apenas inverter a sala de aula não quer dizer que está se aplicando uma metodologia reflexiva e crítica, ou que se esteja produzindo um estudante autônomo. Para que essa metodologia funcione são necessárias mudanças de estrutura pedagógica, planejamento e na forma de atuação de professores e alunos ( BRANCO; ALVES, 2015 ).

A metodologia de Sala de Aula Invertida foi desenvolvida primeiramente nos Estados Unidos, pelos professores Jonathan Bergmann e Aaron Sams, como alternativa didática de ensino que apresentasse melhores resultados. A proposta ressalta a necessidade de uma mudança no papel docente, o qual deixa de transmitir conceitos para assumir funções de orientação/tutoria. De forma geral, a aula passa a girar em torno do próprio aluno, não mais do professor ( LOSTADA, 2017 ).

Paiva et al . (2016) constatam benefícios nas metodologias ativas de ensino-aprendizagem, no rompimento com o modelo tradicional, nas modificações presentes no trabalho em equipe, na integração teoria-prática e no desenvolvimento da autonomia do aluno e da visão crítica da realidade, favorecendo a avaliação formativa.

Essa metodologia pressupõe que o ato de avaliar deve ser parte integrante de todo processo de ensino-aprendizagem, devendo ser contínua e de todas as informações produzidas pela interação entre professores e alunos, bem como, daquelas produzidas entre os alunos. A avaliação de pares é relevante para a avaliação do aprendizado e para eventuais ajustes necessários, a fim de que o estudante consiga atingir os objetivos definidos de maneira individual e coletiva (BORGES, M. et al ., 2014).

A Metodologia Ativa de ensino-aprendizagem requer avaliação condizente com a forma de ensino, considerando a maneira de produzir o conhecimento e a contribuição de cada aluno para seu aprendizado e para o grupo. Tendo em vista a importância deste estudo para o curso de enfermagem, questiona-se a validade e a confiabilidade do instrumento de avaliação da Metodologia Ativa de Sala de aula Invertida. Assim, o presente estudo objetiva validar o instrumento de avaliação utilizado na Metodologia Ativa de Sala de Aula Invertida no curso de enfermagem do IFPR, campus Palmas.

Percurso metodológico

Trata-se de um estudo de validação do instrumento de avaliação que já vem sendo utilizado na Metodologia Ativa de Sala de Aula Invertida no curso de enfermagem do Instituto Federal do Paraná – campus Palmas. O instrumento passou por avaliação de conhecedores das metodologias ativas para dizer se é valido e confiável. A validação psicométrica de validade e confiabilidade ocorreu no período de junho a dezembro de 2020.

Ressalta-se que o instrumento de avaliação submetido à validação foi desenvolvido por um grupo de professores do curso de enfermagem do Instituto Federal do Paraná – campus Palmas e, apesar da experiência dos docentes, carece de análise.

O instrumento contém cinco (5) critérios avaliativos, cada um com quatro (4) itens referentes aos conceitos A, B, C e D, totalizando vinte (20) itens a serem avaliados.

População, critérios de inclusão e exclusão

Os critérios de inclusão dos participantes no estudo compreendem: possuir titulação de doutor ou mestre na área da saúde; experiência profissional (clínica, pesquisa ou ensino) e artigo publicado em periódico indexado na área de interesse do estudo. Para avaliar a representatividade e abrangência dos itens do instrumento efetuou-se convite formal, mediante e-mail , aos cursos de medicina e enfermagem de universidades que utilizam metodologias ativas de ensino aprendizagem, porém obteve-se resposta de apenas 2 contatos interessados em participar do estudo. Havendo dificuldade em recrutar participantes com essa abordagem, buscou-se nos anais de um evento nacional sobre metodologias ativas o contato de e-mail de profissionais da área da saúde, que atendessem aos critérios de inclusão do estudo. Foram convidados por intermédio de e-mails 21 profissionais, destes, apenas 7 responderam aceitando participar. No entanto, ao enviar o questionário um contato desistiu da participação, restando 6 para serem incluídos no estudo. Objetivou-se alcançar no mínimo 5 participantes para a pesquisa, porém conquistou-se 8 participantes para avaliar o instrumento. Quanto a estes 8 participantes, não houve problemas com atraso na devolução do questionário respondido.

Aspectos éticos

O desenvolvimento do trabalho atendeu às normas éticas obrigatórias para pesquisas com seres humanos da Resolução 466/12 do Conselho Nacional de Saúde – CNS ( BRASIL, 2013 ), com aprovação do Comitê de Ética em Pesquisa do Instituto Federal do Paraná. Todos os indivíduos envolvidos na pesquisa foram esclarecidos quanto aos objetivos e procedimentos, e receberam o Termo de Consentimento Livre e Esclarecido (TCLE) que, após leitura e concordância, assinaram-no.

Entende-se que a participação na pesquisa poderia gerar riscos como cansaço em responder ao questionário com vinte (20) itens e desconforto em relação à exposição da opinião. No entanto, para minimizá-los, a participação ocorreu via e-mail , proporcionando ao participante o tempo que fosse necessário para responder o questionário, assim como a garantia do anonimato assegurada com o TCLE e a possibilidade de deixar de participar do estudo em qualquer etapa do mesmo.

Os questionários com as respostas dos participantes permanecerão armazenados por cinco (5) anos a partir do término da pesquisa.

Instrumento submetido à validação

O instrumento de avaliação da metodologia de Sala de Aula Invertida foi elaborado com base na taxonomia de Bloom et al. (1956).

Segundo Ferraz e Belhot (2010) , para Bloom, interessava proporcionar uma ferramenta prática e útil que fosse coerente com as características dos processos mentais superiores (nível de conhecimento e abstração complexa) do modo como eram consideradas e conhecidas.

A Taxonomia de Bloom do Domínio Cognitivo é estruturada em níveis de complexidade crescente, ou seja, para adquirir uma nova habilidade pertencente ao próximo nível, o aluno deve ter dominado e adquirido a habilidade do nível anterior. As categorias do domínio cognitivo da Taxonomia de Bloom compreendem: 1. Conhecimento, 2. Compreensão, 3. Aplicação, 4. Análise, 5. Síntese e 6. Avaliação ( FERRAZ; BELHOT, 2010 ).

Muitos educadores se apoiam nos pressupostos teóricos desse domínio cognitivo para definirem em seus planejamentos educacionais objetivos, estratégias e sistemas de avaliação. Duas vantagens de se utilizar a taxonomia no contexto educacional são o fato de oferecer a base para o desenvolvimento de instrumentos de avaliação e a utilização de estratégias diferenciadas para facilitar, avaliar e estimular o desempenho dos alunos em diferentes níveis de aquisição de conhecimento. Além de estimular os educadores a auxiliarem seus discentes, de forma estruturada e consciente, a adquirirem competências específicas a partir da percepção da necessidade de dominar habilidades mais simples (fatos) para, posteriormente, dominar as mais complexas (conceitos) ( FERRAZ; BELHOT, 2010 ).

A taxonomia trouxe a possibilidade de padronização da linguagem no meio acadêmico e, com isso, também novas discussões ao redor dos assuntos relacionados à definição de objetivos instrucionais. Neste contexto, instrumentos de aprendizagem puderam ser trabalhados de forma mais integrada e estruturada, inclusive considerando os avanços tecnológicos que podiam prover novas e diferentes ferramentas para facilitar o processo de ensino e aprendizagem ( FERRAZ; BELHOT, 2010 ).

Concebida dentro do contexto e perspectiva de ser mediadora no progresso da aprendizagem, foi elaborado o referido instrumento para avaliação, entendendo, por meio da concepção de Sirley L. Freitas, Michele G. N. Da Costa e Flavine A. De Miranda (2014), que a avaliação pode ser percebida como processo, que não se limita à aplicação de provas diárias, mas sim uma ação conjunta em que o professor acompanha o aluno em relação ao seu rendimento, desenvolvimento e apropriação do conhecimento.

Validação do instrumento

Para determinar a qualidade do instrumento foram utilizadas as propriedades psicométricas denominadas validade e confiabilidade.

A confiabilidade é a capacidade de um instrumento medir fielmente um fenômeno. A validade é a capacidade de um instrumento medir com precisão o fenômeno a ser estudado (PILATTI; PEDROSO; GUTIERREZ, 2010).

A psicometria consiste na medida do comportamento do organismo por meio de processos mentais (lei do julgamento comparativo). Ela procura explicar o sentido que têm as respostas dadas pelos sujeitos a uma série de itens ( PASQUALI, 2009 ).

Os itens foram submetidos a avaliação dos participantes e posteriormente as respostas foram analisadas quanto à validade e confiabilidade.

A avaliação do instrumento deu-se por meio da escala Likert (1932) , de quatro (4) pontos, para investigar a clareza e pertinência de cada item, possibilitando a análise individual de conteúdo pelos avaliadores.

A escala Likert apresenta, normalmente, três ou mais pontos, onde o respondente da pesquisa diz se concorda, se está em dúvida ou se discorda do que é afirmado no item em relação à capacidade de medir o que o instrumento se propõe ( PASQUALI, 1996 ).

Para viabilizar a demonstração da validade do instrumento utilizou-se a validação de conteúdo ( PASQUALI, 2009 ).

A validação de conteúdo clareza/pertinência foi realizada de forma quantitativa por meio do Índice de Validade de Conteúdo (IVC) utilizando uma escala tipo Likert de 4 pontos, sendo 1- Discordo, 2 - Indiferente, 3 - Concordo parcialmente e 4 - Concordo totalmente. A partir das respostas foi calculado o percentual de avaliadores que concordam totalmente e parcialmente com o item do instrumento, obtida por meio da soma das respostas “3” e “4” de cada avaliador em cada item do instrumento, e dividindo esta soma pelo número total de respostas, resultando na proporção de avaliadores que julgam o item válido (MEDEIROS et a l., 2015).

Uma concordância de pelo menos 80% entre os avaliadores servirá de critério de decisão sobre a pertinência e/ou aceitação do item a que teoricamente se refere ( PASQUALI, 2010 ).

A clareza e pertinência busca avaliar se o conceito expressa adequadamente o que se espera medir e se atinge os objetivos propostos (ALEXANDRE; COLUCCI, 2011).

A confiabilidade, que avalia se um instrumento é capaz de medir sempre da mesma maneira o que se pretende medir, foi estudada utilizando-se o coeficiente alfa de Cronbach que corresponde à medida da consistência interna de uma escala. O cálculo de seu coeficiente requer apenas a administração de um único teste para fornecer uma estimativa da confiabilidade de toda a pesquisa (VELOSO; SHIMODA; SHIMOYA, 2015).

O coeficiente alfa de Cronbach apresentado por Lee J. Cronbach, em 1951, estima a confiabilidade de um questionário aplicado em uma pesquisa, através da correlação média entre perguntas, ou seja, medindo a correlação entre respostas de um questionário através da análise do perfil das respostas dadas pelos respondentes. Dado que todos os itens de um questionário utilizam a mesma escala de medição, o coeficiente α é calculado a partir da variância dos itens individuais e da variância da soma dos itens de cada avaliador através da seguinte equação:

$\alpha =\frac{k}{k-1}\left[1-\frac{\sum S^{2}i}{S^{2}t}\right]$

onde: K corresponde ao número de itens do questionário; S²i corresponde a variância de cada item; S²t corresponde à variância total do questionário, determinada como a soma de todas as variâncias (HORA; MONTEIRO; ARICA, 2010).

Para André L. P. Freitas e Sidilene G. Rodrigues (2005), a classificação da confiabilidade do coeficiente alfa de Cronbach com valores < 0,60 é considerada baixa, de 0,60 a ≤ 0,75 considerada moderada, de 0,75 a ≤ 0,90 considerada alta e > 0,90 considerada muito alta.

Resultados e discussão

O instrumento de avaliação foi submetido à avaliação de 8 participantes, que analisaram o instrumento quanto à validade de conteúdo. Segundo Moura et al . (2008), 6 avaliadores são suficientes para realizar a tarefa. Os participantes são profissionais da área da saúde, todos atuam na docência, sendo 3 doutores em enfermagem, 2 mestres em enfermagem, 1 doutor em medicina, 1 doutorando em medicina e 1 mestre em psicologia. O Quadro 1 apresenta o instrumento submetido à avaliação dos participantes.

Quadro 1
Instrumento de avaliação da metodologia ativa sala de aula invertida do curso de enfermagem do IFPR campus Palmas

Critérios avaliativos	Itens avaliativos referentes aos Conceitos	Avaliação
1. Assiduidade e Participação	1. Pleno (A) - Participa ativamente em todos os encontros e momentos da discussão dos textos, colaborando na construção coletiva do conhecimento.	( ) 1 – Não Concordo ( ) 2 – Indiferente ( ) 3 – Concordo Parcialmente ( ) 4 – Concordo Totalmente
	2. Parcialmente Pleno (B) - Participa ativamente em alguns dos momentos da discussão dos textos, colaborando na construção coletiva do conhecimento.	( ) 1 – Não Concordo ( ) 2 – Indiferente ( ) 3 – Concordo Parcialmente ( ) 4 – Concordo Totalmente
	3. Suficiente (C) - Participa dos momentos da discussão dos textos, colaborando parcialmente na construção coletiva do conhecimento.	( ) 1 – Não Concordo ( ) 2 – Indiferente ( ) 3 – Concordo Parcialmente ( ) 4 – Concordo Totalmente
	4. Insuficiente (D) - Raramente participa dos momentos da discussão do texto, não contribuindo na construção coletiva do conhecimento.	( ) 1 – Não Concordo ( ) 2 – Indiferente ( ) 3 – Concordo Parcialmente ( ) 4 – Concordo Totalmente
2. Comunicação	5. Pleno (A) - Discute com coerência fazendo relação com o texto estudado, demonstrando habilidade verbal, (clareza, coerência, espontaneidade) para expressar seus pensamentos.	( ) 1 – Não Concordo ( ) 2 – Indiferente ( ) 3 – Concordo Parcialmente ( ) 4 – Concordo Totalmente
	6. Parcialmente Pleno (B) - Discute com coerência fazendo relação com o texto estudado, demonstrando pouca habilidade verbal, (clareza, coerência, espontaneidade) para expressar seus pensamentos.	( ) 1 – Não Concordo ( ) 2 – Indiferente ( ) 3 – Concordo Parcialmente ( ) 4 – Concordo Totalmente
	7. Suficiente (C) - Discute com coerência fazendo relação com o texto estudado, demonstrando nenhuma habilidade verbal, (clareza, coerência, espontaneidade) para expressar seus pensamentos	( ) 1 – Não Concordo ( ) 2 – Indiferente ( ) 3 – Concordo Parcialmente ( ) 4 – Concordo Totalmente
	8. Insuficiente (D) - Discute o texto sem coerência utilizando exemplos empíricos e sem habilidade verbal	( ) 1 – Não Concordo ( ) 2 – Indiferente ( ) 3 – Concordo Parcialmente ( ) 4 – Concordo Totalmente
3. Relação da Síntese e os saberes e práticas de Enfermagem	9. Pleno (A) - Relaciona a síntese com os saberes e a prática de enfermagem, citando estudos e vivências que exemplificam tal relação.	( ) 1 – Não Concordo ( ) 2 – Indiferente ( ) 3 – Concordo Parcialmente ( ) 4 – Concordo Totalmente
	10. Parcialmente Pleno (B) - Relaciona parcialmente a síntese com os saberes e/ou a prática de enfermagem, citando estudos e vivências que exemplificam tal relação.	( ) 1 – Não Concordo ( ) 2 – Indiferente ( ) 3 – Concordo Parcialmente ( ) 4 – Concordo Totalmente
	11. Suficiente (C) - Apresenta dificuldades de relacionar a síntese aos saberes e/ou prática de enfermagem.	( ) 1 – Não Concordo ( ) 2 – Indiferente ( ) 3 – Concordo Parcialmente ( ) 4 – Concordo Totalmente
	12. Insuficiente (D) - Não relaciona a síntese aos saberes e/ou prática de enfermagem	( ) 1 – Não Concordo ( ) 2 – Indiferente ( ) 3 – Concordo Parcialmente ( ) 4 – Concordo Totalmente
4. Trabalho em grupo	13. Pleno (A) - Demonstra capacidade de trabalho em grupo fazendo críticas aos colegas e ao texto, contribuindo para o processo de ensino aprendizagem.	( ) 1 – Não Concordo ( ) 2 – Indiferente ( ) 3 – Concordo Parcialmente ( ) 4 – Concordo Totalmente
	14. Parcialmente Pleno (B) - Demonstra capacidade de trabalho em grupo fazendo críticas aos colegas e ao texto, contribuindo parcialmente para o processo de ensino aprendizagem.	( ) 1 – Não Concordo ( ) 2 – Indiferente ( ) 3 – Concordo Parcialmente ( ) 4 – Concordo Totalmente
	15. Suficiente (C) - Demonstra parcialmente capacidade de trabalho em grupo fazendo críticas aos colegas e ao texto, contribuindo de maneira insuficiente para o processo de ensino aprendizagem.	( ) 1 – Não Concordo ( ) 2 – Indiferente ( ) 3 – Concordo Parcialmente ( ) 4 – Concordo Totalmente
	16. Insuficiente (D) - Demonstra capacidade de trabalho em grupo insatisfatória, fazendo críticas aos colegas e não, contribuindo para o processo de ensino aprendizagem.	( ) 1 – Não Concordo ( ) 2 – Indiferente ( ) 3 – Concordo Parcialmente ( ) 4 – Concordo Totalmente
5. Síntese	17. Pleno (A) - Realiza a síntese do texto com raciocínio lógico, propondo a forma de pensar a prática com domínio científico.	( ) 1 – Não Concordo ( ) 2 – Indiferente ( ) 3 – Concordo Parcialmente ( ) 4 – Concordo Totalmente
	18. Parcialmente Pleno (B) - Realiza a síntese do texto com raciocínio lógico, propondo parcialmente formas alternativas de pensar a prática com domínio científico.	( ) 1 – Não Concordo ( ) 2 – Indiferente ( ) 3 – Concordo Parcialmente ( ) 4 – Concordo Totalmente
	19. Suficiente (C) - Realiza parcialmente a síntese do texto com raciocínio lógico, propondo ou não formas alternativas de pensar a prática com domínio científico.	( ) 1 – Não Concordo ( ) 2 – Indiferente ( ) 3 – Concordo Parcialmente ( ) 4 – Concordo Totalmente
	20. Insuficiente (D) - Propõe alternativas empíricas e não realiza a síntese do texto.	( ) 1 – Não Concordo ( ) 2 – Indiferente ( ) 3 – Concordo Parcialmente ( ) 4 – Concordo Totalmente

Fonte: PPC do curso de enfermagem do IFPR-Palmas (IFPR, 2019).

A Tabela 1 ilustra as respostas dos participantes de acordo com a concordância de cada item do instrumento de avaliação da Metodologia Ativa de Sala de Aula Invertida, representada pela escala Likert de 4 pontos, sendo 1 – Discordo, 2 – Indiferente, 3 – Concordo parcialmente e 4 – Concordo totalmente.

Tabela 1
Avaliação do instrumento pelos participantes, através da escala Likert de 4 pontos

		Item 1	Item 2	Item 3	Item 4	Item 5	Item 6	Item 7	Item 8	Item 9	Item 10
Participantes	A	3	4	4	1	3	3	1	1	4	3
	B	4	1	4	4	4	4	1	4	4	4
	C	4	4	4	4	4	3	1	4	3	4
	D	1	1	1	1	1	1	1	1	1	1
	E	4	4	3	4	4	3	3	4	3	3
	F	3	3	3	3	3	3	3	3	4	3
	G	3	4	4	4	4	3	1	1	3	4
	H	3	3	4	3	4	4	1	4	4	4
		Item 11	Item 12	Item 13	Item 14	Item 15	Item 16	Item 17	Item 18	Item 19	Item 20
Participantes	A	1	1	3	3	1	1	4	3	1	1
	B	1	4	4	4	1	4	4	1	4	4
	C	4	4	3	3	1	1	3	3	1	4
	D	1	1	1	1	1	1	1	1	1	1
	E	3	4	4	3	3	4	4	3	3	4
	F	4	4	3	3	3	4	4	3	4	4
	G	3	1	4	3	3	1	4	4	3	1
	H	1	1	3	3	3	1	4	4	4	4

Fonte: Elaboração nossa.

Após o retorno do questionário dos participantes, categorizados de A a H, o instrumento foi analisado quanto à sua validade e confiabilidade. A confiabilidade e a validade são duas propriedades de medida estreitamente relacionadas, que desempenham papéis complementares. A confiabilidade, medida através da consistência interna, diz respeito à homogeneidade das respostas dos distintos avaliadores, enquanto que a validade representa o grau de certeza sobre o conceito medido (DE BEM et al. , 2011).

O critério confiabilidade foi verificado através do software IBM SPSS® que apresentou valor para coeficiente alfa de Cronbach de 0,94, demonstrando que o presente instrumento é confiável, pois, de acordo com André L. P. Freitas e Sidilene G. Rodrigues (2005), valores de alfa acima de 0,90 são considerados de alta confiabilidade.

A validade de conteúdo é resultado da avaliação de especialistas na área do estudo, que analisam a representatividade dos itens em relação aos conceitos que se pretende medir (BITTENCOURT et al ., 2011). Para esse critério utilizou-se o IVC que, ao ser aplicado sobre todo o instrumento, obteve uma concordância de 70% entre os avaliadores, porém, ao analisar cada item separadamente, obteve-se concordâncias variadas. Para 9 dos 20 itens a taxa de concordância entre os avaliadores foi superior a 80%, para 3 itens essa taxa foi de 75% e para os demais 8 itens a taxa de concordância foi inferior a 70%. A Tabela 2 demonstra a taxa de concordância para cada um dos itens do instrumento de avaliação da Metodologia Ativa de Sala de Aula Invertida.

Tabela 2
Taxa de concordância do Índice de Validação de Vonteúdo (IVC) sobre os itens do instrumento

	Taxa de Concordância		Taxa de Concordância
Item 1	87%	Item 11	50%
Item 2	75%	Item 12	50%
Item 3	87%	Item 13	87%
Item 4	75%	Item 14	87%
Item 5	87%	Item 15	50%
Item 6	87%	Item 16	37%
Item 7	25%	Item 17	87%
Item 8	62%	Item 18	75%
Item 9	87%	Item 19	62%
Item 10	87%	Item 20	62%

Fonte: Elaboração nossa.

No que diz respeito aos itens com concordância superior a 80% (itens 1, 3, 5, 6, 9, 10, 13, 14 e 17), estes conquistaram taxa de concordância de 87% e, embora sugestões tenham sido feitas para aperfeiçoar o instrumento avaliativo, os itens demonstraram-se adequados para o que se propõem. A melhor avaliação destes itens esteve associada, em geral, à clareza na exposição e à compatibilidade entre o conceito avaliativo e as ações que se esperam alcançar de cada estudante dentro de cada critério.

Todavia, a maioria dos itens manifestaram taxa de concordância inferior a 80%. Alguns avaliadores justificaram a não concordância e sugeriram alterações, principalmente referentes à descrição do item, de maneira a diminuir as subjetividades na avaliação, tanto para o professor avaliador como para o estudante.

Estando a subjetividade inevitavelmente presente nos processos avaliativos, seja pela escolha dos itens, pelo modo como se apresentam ou pela linguagem utilizada, torna-se necessário definir claramente os critérios avaliativos para minimizá-la, quando na impossibilidade de eliminá-la ( PARANÁ, 2013 ).

Apesar de haver uma orientação específica para cada atribuição de conceitos, os referenciais mínimos de qualidade estão substanciados por atributos subjetivos - adequados, adequadamente, suficientes, insuficientes -, requerendo do avaliador uma responsabilidade maior para asseverar coerência e justiça no julgamento ( ANDRADE, 2014 ).

Na sequência, serão descritos e examinados os critérios e itens do instrumento de avaliação, tomando como base o julgamento e comentários realizados pelos participantes.

Análise dos critérios avaliativos do instrumento de avaliação

Os participantes do estudo realizaram apontamentos referentes aos critérios, notadamente com relação ao critério “Assiduidade e participação”, em que recomendou-se desassociar “assiduidade” de “participação”, haja vista que são critérios avaliativos distintos, podendo o aluno ser plenamente assíduo, mas com participação insuficiente. Outra sugestão foi para alterar a ordem dos critérios, dado que para avaliar a “Relação da síntese com os saberes e práticas da enfermagem” é imperativo vir antes a “Síntese”, dispondo-os da seguinte forma: 1. Assiduidade e participação; 2. Comunicação; 3. Trabalho em grupo; 4. Síntese; 5. Relação da síntese com os saberes e práticas da enfermagem.

Ao examinar a avaliação dos participantes por critérios, observou-se que alguns foram melhor avaliados que outros. O critério “Assiduidade e participação” obteve a melhor avaliação do instrumento enquanto os critérios “Comunicação” e “Trabalho em grupo” registraram as piores avaliações.

Ainda em relação ao critério “Assiduidade e participação”, foi comentado por um avaliador que o engajamento do aluno depende da formação no ensino básico e do acesso às ferramentas, como internet e livros, e da disponibilidade de tempo extraclasse, fatores que interferem no envolvimento por completo e na construção coletiva do conhecimento.

Análise dos itens avaliativos do instrumento de avaliação

A seguir, serão descritos e examinados os itens cujas taxas de concordância por parte dos participantes foram inferiores a 80%.

Os itens 2 e 4, referentes aos conceitos B e D do critério “Assiduidade e participação”, alcançaram 75% de concordância. O item 2 descreve: “participa ativamente em alguns dos momentos da discussão dos textos, colaborando na construção coletiva do conhecimento”, e o item 4 diz: “raramente participa dos momentos da discussão do texto, não contribuindo na construção coletiva do conhecimento”. Para estes itens não houve comentários.

O item 7 apresentou-se com a menor taxa de concordância do estudo, com apenas 25%. Tal item refere-se ao conceito Suficiente (C) do critério “Comunicação” e disserta: “Discute com coerência fazendo relação com o texto estudado, demonstrando nenhuma habilidade verbal, (clareza, coerência, espontaneidade) para expressar seus pensamentos”. A baixa avaliação do item se deve à equivocada descrição, ao afirmar “nenhuma habilidade”, a qual expressa melhor o conceito D, pois retrata insuficiência na comunicação. No mesmo sentido, o item 8, com taxa de concordância de 62%, carece de adaptações para representar com clareza o que está sendo avaliado. Esse item aborda o conceito D do critério “Comunicação” e coloca: “Discute o texto sem coerência utilizando exemplos empíricos e sem habilidade verbal”. Enquanto os demais itens do critério “Comunicação” levaram em consideração a clareza, a coerência e a espontaneidade, o presente item não detalhou esses fatores, limitando-se apenas à falta de coerência e habilidade verbal.

Indicou-se adequar a descrição de todos os itens deste critério, apontando quais elementos que estão sendo avaliados e quantos deles o aluno atingiu em cada conceito. Por exemplo, o conceito A engloba o alcance dos três elementos – clareza, coerência e espontaneidade -, o conceito B refere-se ao alcance de dois dos três, no conceito C apenas um e, por fim, o conceito D nenhum dos elementos. Ainda, foi apontada a necessidade de definir o entendimento sobre o que é coerência.

Os itens 11 e 12, que abordam, nesta ordem, “Apresenta dificuldades de relacionar a síntese aos saberes e/ ou prática de enfermagem” e “Não relaciona a síntese aos saberes e/ ou prática de enfermagem”, associados aos conceitos C e D do critério avaliativo “Relação da síntese com os saberes e práticas de enfermagem”, alcançaram 50% de concordância. Novamente a subjetividade foi o principal empecilho para a maior concordância. Por exemplo, para o conceito Suficiente (C) foi empregado o termo “dificuldades” e no conceito Parcialmente pleno (B) consta o termo “parcialmente”, que são expressões que se confundem por estarem dentro do mesmo critério. Uma alternativa proposta neste sentido foi quantificar os estudos citados pelos acadêmicos para avaliar a qual conceito discorre: cita 5 ou mais estudos para exemplificar a correlação (saberes e práticas da enfermagem) e complementa com vivências – conceito A; cita 3 a 4 – Conceito B; 1 a 2 - conceito C; não cita nenhum estudo, apenas vivências - conceito D. Outra sugestão foi trocar a palavra “síntese” por “síntese do texto estudado”, para deixar nítido a todos que usarem o instrumento do que se trata.

Os itens 15 e 16 obtiveram, respectivamente, 50% e 37% de concordância. Os itens condizem com “Demonstra parcialmente capacidade de trabalho em grupo fazendo críticas aos colegas e ao texto, contribuindo de maneira insuficiente para o processo de ensino aprendizagem” do conceito C e “Demonstra capacidade de trabalho em grupo insatisfatória, fazendo críticas aos colegas e não, contribuindo para o processo de ensino aprendizagem” do conceito D, ambos situados no critério avaliativo “Trabalho em grupo”. A baixa concordância com os itens deve-se à descrição subjetiva, assim como, à indefinição na apresentação. No item 15 a afirmativa “contribui de maneira insuficiente” não se encaixa no conceito Suficiente (C) e no item 16, que explica o conceito Insuficiente (D), foi proposto por um participante a seguinte descrição: “Não demonstra capacidade de trabalho em grupo, pois não faz críticas construtivas aos colegas e ao texto e não contribui de maneira positiva para o processo de ensino aprendizagem”, dessa forma elucidando a avaliação.

No que diz respeito à palavra críticas, sugeriu-se alterar para críticas construtivas ou críticas válidas, não considerando para a avaliação comentários ríspidos ou fora de contexto. Ainda, o termo em questão pode ser substituído por feedback . Essa sugestão é válida para todos os itens desse critério.

Sobre o critério “Trabalho em grupo” foi realçado por um participante a sua importância no relacionamento entre os colegas e, para além da sala de aula, no mercado de trabalho.

A comunicação e o relacionamento interpessoal estão inseridos na capacidade de interagir, conviver e contatar pessoas por meio de relações empáticas, tendo importância frente à produtividade e à qualidade do trabalho prestado entre a equipe de enfermagem, o que demanda processo de formação condizente com habilidades e competências para administrar os conflitos existentes (BOLONHEIZ; BALDISSERA; OLIVEIRA, 2011).

No item 18, que exibe “Realiza a síntese do texto com raciocínio lógico, propondo parcialmente formas alternativas de pensar a prática com domínio científico” para o conceito B do critério “Síntese”, obteve taxa de 75% de concordância. A principal observação remete-se à falta de objetividade na exposição do “parcialmente”, havendo a necessidade de detalhar ou exemplificar o sentido do termo.

Os itens 19 e 20, também do critério “Síntese”, obtiveram 62% de concordância e os principais apontamentos para esses itens reportam à falta de clareza do que se pretende avaliar e à subjetividade na definição. As críticas voltaram-se especialmente ao item 19, condizente com o conceito Suficiente (C), que descreve “Realiza parcialmente a síntese do texto com raciocínio lógico, propondo ou não formas alternativas de pensar a prática com domínio científico” e faz a confusão quando traz “propondo ou não”, pois entende-se que deve estar tangível para o aluno e para o avaliador o que se espera alcançar. O trecho “propondo ou não” possibilita que os alunos que propõem formas alternativas de pensar a prática da enfermagem com domínio científico reivindiquem um conceito B ou até mesmo A. Vale ressaltar, também, que “propondo ou não” confunde-se com parcial, o que transforma a descrição do item semelhante ao anterior.

A validade da medida depende da adequação do instrumento em relação aquilo que se quer medir. Portanto, a validade de uma medida nunca é absoluta, mas sempre relativa, ou seja, um instrumento de medidas não é simplesmente válido, mas, válido para determinado objetivo ( MARTINS, 2006 ).

Considera-se, portanto, que o instrumento de avaliação da Metodologia Ativa de Sala de Aula Invertida do curso de enfermagem do IFPR, campus Palmas não pode ser considerado válido sem alterações, pois obteve taxa de concordância de 70% entre os avaliadores, inferior ao valor limite para validar sem alterações que é de 80%.

Segundo Martins (2006) , um instrumento de medidas pode ser confiável (apresenta confiabilidade) e não necessariamente ser válido, isto é, pode apresentar consistência nos resultados que produz, mas não medir aquilo que pretende. No entanto, para representar a realidade, um instrumento de medição deve ser confiável e válido.

Recomenda-se executar as alterações sugeridas pelos avaliadores e posteriormente submeter o instrumento a novo processo de validação, garantindo a validez do instrumento para ser utilizado com confiança no curso de enfermagem do IFPR – campus Palmas, e também para que possa ser um instrumento de referência para outras instituições de ensino que trabalham com metodologias ativas de ensino-aprendizagem.

Conclusão

Este estudo submeteu à validação o instrumento de avaliação da Metodologia Ativa de Sala de Aula Invertida do curso de enfermagem do IFPR – campus Palmas que, conforme as propriedades psicométricas estudadas, apresentou alta confiabilidade, com valor para coeficiente alfa de Cronbach de 0,94. No entanto, quanto ao critério validade, o instrumento não teve condições de ser validado, pois atingiu taxa de concordância de apenas 70% entre os avaliadores, desse modo, necessitando de ajustes para representar o que pretende. Para que o instrumento seja validado é necessário ser confiável e válido.

Acerca dos itens do instrumento que apresentaram-se adequados para o objetivo proposto, conquistando taxa de concordância entre os avaliadores de 87%, atribuiu-se, à tal desempenho, sua definição objetiva e a conformidade entre os conceitos avaliativos e a descrição dos itens.

Na análise dos itens com taxa de concordância inferior a 80%, notou-se que as principais fragilidades do instrumento apontadas pelos avaliadores são a falta de objetividade e a clareza em suas descrições. Estes itens receberam sugestões de adequações para diminuir ou eliminar as subjetividades que interferem na avaliação.

A participação dos avaliadores na validação do instrumento foi fundamental para a pesquisa, pois, além da avaliação, recomendações foram feitas para aperfeiçoar o instrumento, possibilitando uma descrição mais clara e objetiva dos itens, afim de proporcionar uma avaliação correta e justa da Metodologia Ativa de Sala de Aula Invertida.

Enquanto estudantes de enfermagem desse método ativo de ensino aprendizagem, consideramos que a validação do instrumento de avaliação é fundamental para a transparência do processo de ensino-aprendizagem, e para o bom relacionamento entre estudantes e professores. Uma vez estabelecidos os critérios e itens do instrumento de avaliação com clareza e objetividade, permite-se que docentes e discentes se sintam assegurados pelo instrumento avaliativo adotado, visto que este adquire a capacidade de elucidar fielmente o nível de desenvolvimento do aluno, possibilitando reflexões e mudanças de atitudes, quando necessário, de todos os envolvidos no processo, para juntos alcançarem o aprendizado desejado.

Referências

• ALEXANDRE, Neusa Maria Costa; COLUCI, Marina Zambon Orpinelli. Validade de conteúdo nos processos de construção e adaptação de instrumentos de medidas. Ciência & Saúde Coletiva , Campinas, v. 16, n. 7, p. 3061-3068, 2011. https://doi.org/10.1590/S1413-81232011000800006
  » https://doi.org/10.1590/S1413-81232011000800006
• ANDRADE, Maria Antonia Brandão de. As contribuições da avaliação dos cursos de graduação para a melhoria da qualidade da educação superior . 2014. Dissertação (Mestrado em Educação) – Universidade Federal da Bahia, Salvador, 2014. Disponível em: http://repositorio.ufba.br/ri/handle/ri/9019 Acesso em: 05 nov. 2020.
  » http://repositorio.ufba.br/ri/handle/ri/9019
• BELLAVER, Emyr Hiago. Ferramentas para avaliação em metodologias ativas . Caçador, Uniarp, 2019. Disponível em: https://uniarp.edu.br/wp-content/uploads/2021/07/E-Book-Free-Access-Ferramentas-de-avaliacao-de-metodologias-ativas-Prof.-Ms.-Emyr-Hiago-Bellaver.pdf Acesso em: 07 jun. 2020.
  » https://uniarp.edu.br/wp-content/uploads/2021/07/E-Book-Free-Access-Ferramentas-de-avaliacao-de-metodologias-ativas-Prof.-Ms.-Emyr-Hiago-Bellaver.pdf
• BITTENCOURT, Hélio Radke et al. Desenvolvimento e validação de um instrumento para avaliação de disciplinas na educação superior. Estudos em Avaliação Educacional , São Paulo, v. 22, n. 48, p. 91-114, jan./abr. 2011. Disponível em: http://www.fcc.org.br/pesquisa/publicacoes/eae/arquivos/1630/1630.pdf Acesso em: 03 jun. 2020.
  » http://www.fcc.org.br/pesquisa/publicacoes/eae/arquivos/1630/1630.pdf
• BLOOM, Benjamin Samuel et al. Taxonomy of educational objectives . v. 1. New York: David Mckay, 1956.
• BOLONHEIZ, Lorena Mattos Galhardi Caravalho; BALDISSERA, Vanessa Denardi Antoniassi; OLIVEIRA, Raquel Gusmão de. Comunicação e relacionamento interpessoal na enfermagem: elaboração e execução de uma proposta educativa junto aos graduandos em enfermagem por meio da dialogicidade. In: ENCONTRO INTERNACIONAL DE PRODUÇÃO CIENTÍFICA, 6. 2011, Maringá. VII EPCC. Maringá: [s. n.], 2011. Disponível em: http://rdu.unicesumar.edu.br/bitstream/123456789/4795/1/lorena_mattos_galhardi_caravalho_bolonheiz.pdf Acesso em: 21 out. 2020.
  » http://rdu.unicesumar.edu.br/bitstream/123456789/4795/1/lorena_mattos_galhardi_caravalho_bolonheiz.pdf
• BORGES, Marcos C. et al. Avaliação formativa e feedback como ferramenta de aprendizado na formação de profissionais da saúde. Revista de Medicina , Ribeirão Preto, v. 47, n. 3, p. 324-331, 03 nov. 2014. https://doi.org/10.11606/issn.2176-7262.v47i3p324-331
  » https://doi.org/10.11606/issn.2176-7262.v47i3p324-331
• BORGES, Tiago Silva; ALENCAR, Gidélia. Metodologias Ativas na promoção da formação crítica do estudante: o uso das metodologias ativas como recurso didático na formação crítica do estudante do ensino superior. Cairu em Revista , Visconde de Cairu, v. 3, n. 4, p. 119-214, jul./ago. 2014. Disponível em: <https://www.cairu.br/revista/arquivos/artigos/2014_2/08%20METODOLOGIAS%20ATIVAS%20NA%20PROMOCAO%20DA%20FORMACAO%20CRITICA%20DO%20ESTUDANTE.pdf Acesso em: 23 maio 2020.
  » https://www.cairu.br/revista/arquivos/artigos/2014_2/08%20METODOLOGIAS%20ATIVAS%20NA%20PROMOCAO%20DA%20FORMACAO%20CRITICA%20DO%20ESTUDANTE.pdf
• BRANCO, Carla Castello; ALVES, Marcia Maria. Complexidade e sala de aula invertida: considerações sobre o método. In: CONGRESSO NACIONAL DE EDUCAÇÃO, 12., 2015, Curitiba. Educere XII . Curitiba: PUC, 2015. Disponível em: https://educere.bruc.com.br/arquivo/pdf2015/20881_9548.pdf Acesso em: 19 ago. 2020.
  » https://educere.bruc.com.br/arquivo/pdf2015/20881_9548.pdf
• BRASIL. Resolução nº 466, de 12 de dezembro de 2012. Resolução 466 do CNS que trata de pesquisas em seres humanos e atualiza a resolução 196. Diário Oficial da União , Brasília, DF, 14 jun. 2013. Disponível em: https://bvsms.saude.gov.br/bvs/saudelegis/cns/2013/res0466_12_12_2012.html Acesso em: 12 maio 2020.
  » https://bvsms.saude.gov.br/bvs/saudelegis/cns/2013/res0466_12_12_2012.html
• BRASIL. Conselho Nacional de Educação. Câmara de Educação Superior. Resolução CNE/CES 3/2001. Diretrizes Nacionais Curso Graduação Enfermagem. Diário Oficial da União , Brasília, DF, 9 Seção 1, p. 37, nov. 2001. Disponível em: http://www.cofen.gov.br/wp-content/uploads/2012/03/resolucao_CNE_CES_3_2001Diretrizes_Nacionais_Curso_Graduacao_Enfermagem.pdf Acesso em: 18 jan. 2021.
  » http://www.cofen.gov.br/wp-content/uploads/2012/03/resolucao_CNE_CES_3_2001Diretrizes_Nacionais_Curso_Graduacao_Enfermagem.pdf
• DE BEM, Amilton Barreto et al. Validade e confiabilidade de instrumento de avaliação da docência sob a ótica dos modelos de equação estrutural. Avaliação , Campinas; Sorocaba, v. 16, n. 2, p. 375-401, jul. 2011. Disponível em: https://www.scielo.br/pdf/aval/v16n2/a08v16n2.pdf Acesso em: 18 jan. 2021.
  » https://www.scielo.br/pdf/aval/v16n2/a08v16n2.pdf
• FERRAZ, Ana Paula do Carmo Marcheti; BELHOT, Renato Vairo. Taxonomia de Bloom: revisão teórica e apresentação das adequações do instrumento para definição de objetivos instrucionais. Revista Gestão & Produção , São Carlos, v. 17, n. 2, p. 421-431, 2010. https://doi.org/10.1590/S0104-530X2010000200015
  » https://doi.org/10.1590/S0104-530X2010000200015
• FREITAS, André Luis Policani; RODRIGUES, Sidilene Gonçalves. Avaliação da confiabilidade de questionário: uma análise utilizando o coeficiente alfa de Cronbach In: SIMPÓSIO DE ENGENHARIA DE PRODUÇÃO, 2005, Bauru. Anais... Bauru: Unesp, 2005. https://doi.org/10.13140/2.1.3075.6808
  » https://doi.org/10.13140/2.1.3075.6808
• FREITAS, Sirley Leite; COSTA Michele Gomes Noé da; MIRANDA Flavine Assis de. Avaliação educacional: formas de uso na prática pedagógica. Meta , Rio de Janeiro, v. 6, n. 16, p. 85-98, jan./abr. 2014. Disponível em: https://revistas.cesgranrio.org.br/index.php/metaavaliacao/article/view/217/pdf Acesso em: 18 jan. 2021.
  » https://revistas.cesgranrio.org.br/index.php/metaavaliacao/article/view/217/pdf
• HORA, Henrique Rego Monteiro da; MONTEIRO, Gina Torres Rego; ARICA, José. Confiabilidade em questionários para qualidade: um estudo com o coeficiente alfa de Cronbach. Produto & Produção , Porto Alegre, v. 11, n.2, p.85-103, 2010. Disponível em: https://www.seer.ufrgs.br/ProdutoProducao/article/view/9321/8252 Acesso em: 18 jan. 2021.
  » https://www.seer.ufrgs.br/ProdutoProducao/article/view/9321/8252
• IFPR. Instituto Federal do Paraná. Projeto pedagógico do curso de enfermagem . Palmas: IFPR, 2019. Disponível em: <https://palmas.ifpr.edu.br/wp-content/uploads/2020/11/PPC_ENFERMAGEM_2020.pdf>. Acesso em: 18 jan. 2021.
  » https://palmas.ifpr.edu.br/wp-content/uploads/2020/11/PPC_ENFERMAGEM_2020.pdf>
• LIKERT, Rensis. A technique for the measurement of attitudes. Archives of Psychology , New York, n. 140, p. 44-53, 1932. Disponível em: https://legacy.voteview.com/pdf/Likert_1932.pdf Acesso em: 18 jan. 2021.
  » https://legacy.voteview.com/pdf/Likert_1932.pdf
• LOSTADA, Lauro Roberto. Resenha - Sala de Aula Invertida: uma metodologia ativa de aprendizagem. Do livro de BERGMANN, J.; SAMS, A. Revista Contexto & Educação , Rio de Janeiro, v. 32, n. 102, p. 205-209, maio/ago. 2017. https://doi.org/10.21527/2179-1309.2017.102.205-209
  » https://doi.org/10.21527/2179-1309.2017.102.205-209
• MARTINS, Gilberto de Andrade. Sobre Confiabilidade e Validade. Revista Brasileira de Gestão de Negócios , São Paulo, v. 8, n. 20, p. 1-12, jan./abr. 2006. Disponível em: https://rbgn.fecap.br/RBGN/article/view/51/44 Acesso em: 18 jan. 2021.
  » https://rbgn.fecap.br/RBGN/article/view/51/44
• MEDEIROS, Rosana Kelly da Silva et al. Modelo de validação de conteúdo de Pasquali nas pesquisas em enfermagem. Revista de Enfermagem Referência , Coimbra, Série IV, n. 4, jan./mar. 2015. http://dx.doi.org/10.12707/RIV14009 Acesso em: 18 jan. 2021.
  » http://dx.doi.org/10.12707/RIV14009
• MELLO, Carolina de Castro Barbosa; ALVES, Renato Oliveira; LEMOS, Stela Maris Aguiar. Metodologias de ensino e formação na área da saúde: revisão de literatura. Revista CEFAC , Belo Horizonte, v. 16, n. 6, p. 2015-2028, nov./dez. 2014. https://doi.org/10.1590/1982-0216201416012
  » https://doi.org/10.1590/1982-0216201416012
• MOURA, Escolástica Rejane Ferreira et al. Validação de jogo educativo destinado à orientação dietética de portadores de diabetes mellitus. Revista de APS , Juiz de Fora, v. 11, n. 4, p. 435-443, out./dez. 2008. Disponível em: https://periodicos.ufjf.br/index.php/aps/article/view/14153 Acesso em: 18 jan. 2021.
  » https://periodicos.ufjf.br/index.php/aps/article/view/14153
• PAIVA, Marlla Rúbya Ferreira et al. Metodologias ativas de ensino-aprendizagem: revisão integrativa. Revista Sanare , Sobral, v. 15, n. 2, p. 145-153, jun./dez. 2016. Disponível em: https://sanare.emnuvens.com.br/sanare/article/viewFile/1049/595 Acesso em: 18 jan. 2021.
  » https://sanare.emnuvens.com.br/sanare/article/viewFile/1049/595
• PARANÁ. Governo do Estado. Secretaria da Educação. Os desafios da escola pública paranaense na perspectiva do professor PDE: produções didático-pedagógicas. Cadernos PDE , v. 2, 2013. Disponível em: http://www.diaadiaeducacao.pr.gov.br/portals/cadernospde/pdebusca/producoes_pde/2013/2013_unicentro_port_pdp_serli_rech_moleta.pdf Acesso em: 18 jan. 2021.
  » http://www.diaadiaeducacao.pr.gov.br/portals/cadernospde/pdebusca/producoes_pde/2013/2013_unicentro_port_pdp_serli_rech_moleta.pdf
• PASQUALI, Luiz. Instrumentação psicológica: fundamentos e práticas. Porto Alegre, Brasil: Artmed, 2010.
• PASQUALI, Luiz. Psicometria. Revista da Escola de Enfermagem USP , v. 43, n. esp., p. 992-999, 2009. http://dx.doi.org/10.1590/S0080-62342009000500002
  » http://dx.doi.org/10.1590/S0080-62342009000500002
• PASQUALI, Luiz. Teoria e métodos de medida em ciências do comportamento . Brasília, DF: Laboratório de Pesquisa em Avaliação e Medida: Instituto de Psicologia: UnB: INEP, 1996. Disponível em: https://www.faecpr.edu.br/site/documentos/teoria_metodos_ciencias_comportamento.pdf Acesso em: 18 jan. 2021.
  » https://www.faecpr.edu.br/site/documentos/teoria_metodos_ciencias_comportamento.pdf
• PILATTI, Luiz Alberto; PEDROSO, Bruno; GUTIERREZ, Gustavo Luis. Propriedades psicométricas de instrumentos de avaliação: um debate necessário. Revista Brasileira de Ensino de Ciência e Tecnologia , Ponta Grossa, v. 3, n. 1, p. 81-91, jan./abr. 2010. https://doi.org/10.3895/S1982-873X2010000100005
  » https://doi.org/10.3895/S1982-873X2010000100005
• ROMAN, Cassiela et al. Metodologias ativas de ensino-aprendizagem no processo de ensino em saúde no Brasil: uma revisão narrativa. Clinical & Biomedical Research , Porto Alegre, v. 37, n. 4, 2017. http://dx.doi.org/10.4322/2357-9730.73911
  » http://dx.doi.org/10.4322/2357-9730.73911
• VELOSO, Raphael de Mello; SHIMODA, Eduardo; SHIMOYA, Aldo. A confiabilidade em uma pesquisa sobre a qualidade em serviços bancários: um estudo com o coeficiente Alpha de Cronbach. Revista Científica Linkania Master , Maringá, v. 5, n. 1, p. 27-51, 2015. Disponível em: https://linkania.org/master/article/view/293 Acesso em: 18 jan. 2021.
  » https://linkania.org/master/article/view/293
• WEBER, Lidia Catarina. Metodologias ativas no processo de ensino da enfermagem: revisão integrativa. 2018. Dissertação (Mestrado em Ensino) – Universidade do Vale do Taquari, Lajeado, 2018. Disponível em: https://www.univates.br/bdu/bitstream/10737/2494/1/2018LidiaCatarinaWeber.pdf Acesso em: 18 jan. 2021.
  » https://www.univates.br/bdu/bitstream/10737/2494/1/2018LidiaCatarinaWeber.pdf

• 1
  - Todo o conjunto de dados que dá suporte aos resultados deste estudo foi publicado no próprio artigo.

Editora responsável: Marcos Sidnei Pagotto-Euzebio

Datas de Publicação

• Publicação nesta coleção
  13 Mar 2023
• Data do Fascículo
  2023

Histórico

• Recebido
  25 Jan 2021
• Revisado
  23 Maio 2022
• Aceito
  04 Jul 2022