Acessibilidade / Reportar erro

Desenvolvimento e validação de instrumento para avaliar a ludicidade de jogos em saúde

Resumo

OBJETIVO

Elaborar e validar um instrumento para a avaliação da ludicidade de jogos em contextos educativos da saúde.

MÉTODO

Pesquisa metodológica, exploratória e descritiva, desenvolvida em duas etapas: 1. aplicação de questionário aberto a 50 graduandos, com análise de conteúdo das respostas e cálculo do coeficiente Kappa para fechamento dos itens; 2. procedimentos de construção de escalas, com validação de conteúdo mediante análise dos juízes e estimativa de consenso pelo Content Validity Index(CVI).

RESULTADOS

Foram validados 53 itens acerca do caráter irrequieto dos jogos nas dimensões da ludicidade, dos componentes formativos da aprendizagem e do perfil dos jogadores.

CONCLUSÃO

A ludicidade pode ser avaliada por itens validados relacionados ao grau de envolvimento, de imersão e de reinvenção dos sujeitos na partida, ao lado da dinâmica e da jogabilidade do jogo.

Descritores:
Educação em Saúde; Jogos e Brinquedos; Educação Superior; Criatividade; Autonomia Pessoal; Estudos de Validação

Abstract

OBJECTIVE

Developing and validating an instrument to evaluate the playfulness of games in health education contexts.

METHODOLOGY

A methodological, exploratory and descriptive research, developed in two stages: 1. Application of an open questionnaire to 50 graduate students, with content analysis of the answers and calculation of Kappa coefficient for defining items; 2. Procedures for construction of scales, with content validation by judges and analysis of the consensus estimate byContent Validity Index(CVI).

RESULTS

53 items regarding the restless character of the games in the dimensions of playfulness, the formative components of learning and the profiles of the players.

CONCLUSION

Ludicity can be assessed by validated items related to the degree of involvement, immersion and reinvention of the subjects in the game along with the dynamics and playability of the game.

Descriptors:
Health Education; Play and Playthings; Education, Higher; Creativity; Personal Autonomy; Validation Studies

Resumen

OBJETIVO

Elaborar y validar un instrumento para la evaluación de la ludicidad de juegos en contextos educativos de salud.

MÉTODO

Investigación metodológica, exploratoria y descriptiva, desarrollada en dos etapas: 1. aplicación de cuestionario abierto a 50 estudiantes universitarios, con análisis de contenido de las respuestas y cómputo del coeficiente Kappa para cierre de los ítems; 2. procedimientos de construcción de escalas, con validación de contenido mediante análisis de los jueces y estimación de consenso por el Content Validity Index(CVI).

RESULTADOS

Se validaron 53 ítems acerca del carácter irrequieto de los juegos en las dimensiones de la ludicidad, de los componentes formativos del aprendizaje y del perfil de los jugadores.

CONCLUSIÓN

La ludicidad puede ser evaluada por ítems validados relacionados con el grado de involucración, inmersión y reinvención de los sujetos en el partido, al lado de la dinámica y la jugabilidad del juego.

Descriptores:
Educación en Salud; Juegos e Implementos de Juegos; Educación Superior; Creatividad; Autonomía Personal; Estudios de Validación

Introdução

Os conhecimentos sobre a interface do lúdico com a educação na área da saúde relatam, com frequência, o uso do jogo como ferramenta para o aprendizado. A revisão de literatura sobre o assunto destaca a relevância do jogo para as ações clínicas, investigativas ou educativas(11 Lu AS, Baranowski T, Thompson D, Buday R. Story immersion of videogames for youth health promotion: a review of literature. Games Health J. 2012;1(3):199-204.

2 Akl EA, Sackett K, Pretorius R, Erdley S, Bhoopathi PS, Mustafa R, et al. Educational games for health professionals. Cochrane Database Syst Rev. 2013;(1):CD006411.

3 Irons JY, Petocz P, Kenny DT, Chang AB. Singing as an adjunct therapy for children and adults with cystic fibrosis. Cochrane Database Syst Rev. 2014;(6):CD008036.
-44 Laver KE, George S, Thomas S, Deutsch JE, Crotty M. Virtual reality for stroke rehabilitation. Cochrane Database of Syst Rev. 2015;(2):CD008349.). Na produção internacional, há variadas abordagens do jogo na saúde(11 Lu AS, Baranowski T, Thompson D, Buday R. Story immersion of videogames for youth health promotion: a review of literature. Games Health J. 2012;1(3):199-204.

2 Akl EA, Sackett K, Pretorius R, Erdley S, Bhoopathi PS, Mustafa R, et al. Educational games for health professionals. Cochrane Database Syst Rev. 2013;(1):CD006411.

3 Irons JY, Petocz P, Kenny DT, Chang AB. Singing as an adjunct therapy for children and adults with cystic fibrosis. Cochrane Database Syst Rev. 2014;(6):CD008036.

4 Laver KE, George S, Thomas S, Deutsch JE, Crotty M. Virtual reality for stroke rehabilitation. Cochrane Database of Syst Rev. 2015;(2):CD008349.

5 Morris BJ, Croker S, Zimmerman Z, Gill D, Romig C. Gaming science: the 'Gamification" of scientific thinking. Front Psychol [Internet]. 2013 [cited 2014 Feb 10];4:607. Available from: Available from: http://www.ncbi.nlm.nih.gov/pmc/articles/PMC3766824/
http://www.ncbi.nlm.nih.gov/pmc/articles...

6 Kuss JD. Internet gaming addiction: current perspectives. Psychol Res Behav Manag [Internet]. 2013 [cited 2014 Feb 10];6:125-37. Available from:Available from: http://www.ncbi.nlm.nih.gov/pmc/articles/PMC3832462/
http://www.ncbi.nlm.nih.gov/pmc/articles...

7 Mellecker R, Lyons EJ, Baranowski T. Disentangling fun and enjoyment in exergames using an expanded design, play, experience framework: a narrative review.. Games Health J 2013;2(3):142-9.
-88 Mishra J, Bavelier D, Gazzaley A. How to assess gaming-induced benefits on attention and working memory.. Games Health J 2012;1(3):192-8.): a- lúdico na promoção de estilos de vida saudáveis; b- riscos dos jogos de asfixia e similares; c- os danos decorrentes do vício em videogames; d- a relevância do jogo para o pensamento científico; e- jogos na formação de profissionais de saúde; f- exergames(exercícios físicos motivados por jogos eletrônicos) na promoção da saúde; dentre outras. Multiplicam-se periódicos especializados e desenvolve-se um corpo de conhecimentos próprios, denominado Serius Games(Jogos Sérios), que sintetizam a apreensão das características lúdicas no âmbito da produção doedutainment(entretenimento educativo)(55 Morris BJ, Croker S, Zimmerman Z, Gill D, Romig C. Gaming science: the 'Gamification" of scientific thinking. Front Psychol [Internet]. 2013 [cited 2014 Feb 10];4:607. Available from: Available from: http://www.ncbi.nlm.nih.gov/pmc/articles/PMC3766824/
http://www.ncbi.nlm.nih.gov/pmc/articles...

6 Kuss JD. Internet gaming addiction: current perspectives. Psychol Res Behav Manag [Internet]. 2013 [cited 2014 Feb 10];6:125-37. Available from:Available from: http://www.ncbi.nlm.nih.gov/pmc/articles/PMC3832462/
http://www.ncbi.nlm.nih.gov/pmc/articles...

7 Mellecker R, Lyons EJ, Baranowski T. Disentangling fun and enjoyment in exergames using an expanded design, play, experience framework: a narrative review.. Games Health J 2013;2(3):142-9.
-88 Mishra J, Bavelier D, Gazzaley A. How to assess gaming-induced benefits on attention and working memory.. Games Health J 2012;1(3):192-8.).

Muito já foi investigado sobre a contribuição do lúdico para a prevenção de doenças, para a mudança de comportamentos ou para os processos educativos na saúde. Nestas investigações, verifica-se certa imprecisão nos resultados, explicitando limitações ou instigando recomendações, o que impede generalizações. Numa análise ampliada deste cenário, argumenta-se que a irreverência hermenêutica do lúdico, tal qual o espírito humano, resiste a limitar-se a fins utilitários, quaisquer que sejam eles(99 Alves MA. Interpretação e compreensão: da hermenêutica metodológica à experiência hermenêtica como fundamento do saber filosófico. Princípios (Natal). 2011;18(30)181-98.). Ou seja, a despeito da relevância de se investir no jogo para as demandas da saúde, argumenta-se que essa forma de dialogar com o lúdico, restrito a finalidades comportamentais, inibe a sua força motriz criadora, inventiva e autônoma(99 Alves MA. Interpretação e compreensão: da hermenêutica metodológica à experiência hermenêtica como fundamento do saber filosófico. Princípios (Natal). 2011;18(30)181-98.

10 Huizinga J. Homo Ludens: o jogo como elemento da cultura. São Paulo: Perspectiva; 2008.
-1111 Callois R. Os homens e os jogos: a máscara e a vertigem. Lisboa: Cotovia; 1990.).

No diálogo entre o jogo e a educação, faz-se necessário manter o espírito irrequieto do lúdico, caso se queira liberar a pulsão criativa que forja autonomias humanas. A ludicidade é um traço da cultura inerente à subjetividade, portanto há de permanecer isento de finalidades capitalistas, caso se pretenda priorizar a reflexão crítica. O elemento lúdico se move pela inventividade, pela fantasia e pela reinvenção de realidades. Ao encontrarmos na atividade lúdica um ambiente propício ao aprendizado, cabe perguntar até que ponto o poder disciplinar da técnica, característico dos processos educativos na saúde, limita a irreverência e a espontaneidade do jogo. Ou seja, quanto mais o jogo e sua ludicidade se mantêm, mais se caminha em direção à dimensão formativa, centro da educação crítica(99 Alves MA. Interpretação e compreensão: da hermenêutica metodológica à experiência hermenêtica como fundamento do saber filosófico. Princípios (Natal). 2011;18(30)181-98.

10 Huizinga J. Homo Ludens: o jogo como elemento da cultura. São Paulo: Perspectiva; 2008.

11 Callois R. Os homens e os jogos: a máscara e a vertigem. Lisboa: Cotovia; 1990.

12 Haddad AE. Nursing and the national policy of education for health care professional for the Brazilian National Health System. Rev Esc Enferm USP. 2011;45(n.spe2):1803-9.

13 Mészaros I. A educação para além do capital. São Paulo: Boitempo; 2005.
-1414 Pires MRGM, Guilhem D, Gottems LBD. The (IN)DICA-SUS game: a strategy of game-based learning on the Unified Health System. Texto Contexto Enferm. 2013; 22(2):379-88.).

Isto posto, cumpre analisar de outra forma as questões ensejadas pelo jogo na área da saúde, forma esta pouco contemplada nas produções científicas sobre o assunto(11 Lu AS, Baranowski T, Thompson D, Buday R. Story immersion of videogames for youth health promotion: a review of literature. Games Health J. 2012;1(3):199-204.

2 Akl EA, Sackett K, Pretorius R, Erdley S, Bhoopathi PS, Mustafa R, et al. Educational games for health professionals. Cochrane Database Syst Rev. 2013;(1):CD006411.

3 Irons JY, Petocz P, Kenny DT, Chang AB. Singing as an adjunct therapy for children and adults with cystic fibrosis. Cochrane Database Syst Rev. 2014;(6):CD008036.

4 Laver KE, George S, Thomas S, Deutsch JE, Crotty M. Virtual reality for stroke rehabilitation. Cochrane Database of Syst Rev. 2015;(2):CD008349.

5 Morris BJ, Croker S, Zimmerman Z, Gill D, Romig C. Gaming science: the 'Gamification" of scientific thinking. Front Psychol [Internet]. 2013 [cited 2014 Feb 10];4:607. Available from: Available from: http://www.ncbi.nlm.nih.gov/pmc/articles/PMC3766824/
http://www.ncbi.nlm.nih.gov/pmc/articles...

6 Kuss JD. Internet gaming addiction: current perspectives. Psychol Res Behav Manag [Internet]. 2013 [cited 2014 Feb 10];6:125-37. Available from:Available from: http://www.ncbi.nlm.nih.gov/pmc/articles/PMC3832462/
http://www.ncbi.nlm.nih.gov/pmc/articles...

7 Mellecker R, Lyons EJ, Baranowski T. Disentangling fun and enjoyment in exergames using an expanded design, play, experience framework: a narrative review.. Games Health J 2013;2(3):142-9.
-88 Mishra J, Bavelier D, Gazzaley A. How to assess gaming-induced benefits on attention and working memory.. Games Health J 2012;1(3):192-8.). Em vez de investigar se o lúdico contribui para os propósitos da educação e da saúde, cumpre perguntar o que acontece com o caráter inventivo do jogo quando ele é ambientado em contextos distintos de espontaneidade, imaginação e insubmissão que o caracterizam. Ao inverter a questão, busca-se identificar, na inquietude do jogo, o exercício para a criatividade e a autonomia de sujeitos do conhecimento(1313 Mészaros I. A educação para além do capital. São Paulo: Boitempo; 2005.-1414 Pires MRGM, Guilhem D, Gottems LBD. The (IN)DICA-SUS game: a strategy of game-based learning on the Unified Health System. Texto Contexto Enferm. 2013; 22(2):379-88.).

São poucos os instrumentos que avaliam a ludicidade dos jogos em contextos educativos, haja vista a preponderância de produções que os direcionam para fins comportamentais ou clínicos(11 Lu AS, Baranowski T, Thompson D, Buday R. Story immersion of videogames for youth health promotion: a review of literature. Games Health J. 2012;1(3):199-204.

2 Akl EA, Sackett K, Pretorius R, Erdley S, Bhoopathi PS, Mustafa R, et al. Educational games for health professionals. Cochrane Database Syst Rev. 2013;(1):CD006411.

3 Irons JY, Petocz P, Kenny DT, Chang AB. Singing as an adjunct therapy for children and adults with cystic fibrosis. Cochrane Database Syst Rev. 2014;(6):CD008036.

4 Laver KE, George S, Thomas S, Deutsch JE, Crotty M. Virtual reality for stroke rehabilitation. Cochrane Database of Syst Rev. 2015;(2):CD008349.

5 Morris BJ, Croker S, Zimmerman Z, Gill D, Romig C. Gaming science: the 'Gamification" of scientific thinking. Front Psychol [Internet]. 2013 [cited 2014 Feb 10];4:607. Available from: Available from: http://www.ncbi.nlm.nih.gov/pmc/articles/PMC3766824/
http://www.ncbi.nlm.nih.gov/pmc/articles...

6 Kuss JD. Internet gaming addiction: current perspectives. Psychol Res Behav Manag [Internet]. 2013 [cited 2014 Feb 10];6:125-37. Available from:Available from: http://www.ncbi.nlm.nih.gov/pmc/articles/PMC3832462/
http://www.ncbi.nlm.nih.gov/pmc/articles...

7 Mellecker R, Lyons EJ, Baranowski T. Disentangling fun and enjoyment in exergames using an expanded design, play, experience framework: a narrative review.. Games Health J 2013;2(3):142-9.
-88 Mishra J, Bavelier D, Gazzaley A. How to assess gaming-induced benefits on attention and working memory.. Games Health J 2012;1(3):192-8.). As metodologias utilizadas no desenvolvimento de jogos, em geral, amparam-se no design de interação e na ciência da computação(1515 Jegers K, Wiberg C. Learning while playing: design implications for edutainment games. In: Ferding RE. Handbook of research on effective electronic gaming in education. London: IGI Global; 2008. p.1449-59.-1616 Teng CI, Huang HC.More than flow: revisiting the theory of four channels of flow. Int J Comp Games Technol [Internet]. 2012 [cited 2015 July 20];2012:724917. Available from: Available from:http://www.hindawi.com/journals/ijcgt/2012/724917/
http://www.hindawi.com/journals/ijcgt/20...
). Neste sentido, este estudo teve por objetivos elaborar e validar um instrumento para a avaliação da ludicidade de jogos em contextos educativos da saúde, tendo por base a análise investigativa de um jogo de tabuleiro voltado para a formação de profissionais de saúde sobre o SUS.

Método

Trata-se de uma pesquisa metodológica, exploratória e descritiva para a validação de conteúdo dos itens de um questionário sobre ludicidade de jogos educativos para a saúde, tendo por base a análise investigativa de um jogo de tabuleiro voltado para a formação de profissionais de saúde sobre o SUS. O caráter metodológico se justifica porque são descritas as etapas de validação de um instrumento de pesquisa e sua face exploratória, em vista da insuficiência de produções sobre o tema(1717 Sampieri RH, Collado CF, Lúcio PB. Metodologia de pesquisa. São Paulo: McGraw-Hill; 2006.-1818 Hill MM, Hill A. Investigação por questionário. Lisboa: Silabo; 2009.).

Etapa 1 - Fechamento de itens e confiabilidade interavaliadores pelo coeficiente Kappa

Inicialmente, foi feita a aplicação de um questionário aberto a 50 graduandos. As respostas foram submetidas à análise de conteúdo. A seguir, as questões foram fechadas a partir do Teste de Confiabilidade Interavaliadores de Kappa para a inclusão dos itens(1717 Sampieri RH, Collado CF, Lúcio PB. Metodologia de pesquisa. São Paulo: McGraw-Hill; 2006.

18 Hill MM, Hill A. Investigação por questionário. Lisboa: Silabo; 2009.

19 Stemler SE. A comparison of consensus, consistency, and measurement approaches to estimating interrater reliability. Pract Assess Res Eval [Internet]. 2004 [cited 2015 Feb 09];9(4). Available from: Available from: http://pareonline.net/getvn.asp?v=9&n=4
http://pareonline.net/getvn.asp?v=9&n=4...
-2020 Cohen J. Weighted Kappa: nominal scale agreement with provision for scaled disagreement or partial credit. Psychol Bull. 1968;70(4):213-20.).

O cenário desta fase foi a Faculdade de Ciências da Saúde da Universidade de Brasília (UnB). Os sujeitos foram todos os 50 estudantes matriculados na disciplina Gestão de Políticas Públicas de Saúde (GPS), ofertada em dois semestres consecutivos pelo Departamento de Enfermagem da UnB, que se dispôs a participar de uma partida do jogo Banfisa (Banco Fim-Saúde), o qual discute a construção e o financiamento das redes de serviços de saúde no SUS(2121 Silva LVS, Tanaka PSL, Pires MRGM. BANFISA and (IN) DICA-SUS na graduação em saúde: o lúdico e a construção de aprendizados. Rev Bras Enferm. 2015;68(1):124-30.). Esses estudantes foram escolhidos pela adequação do contexto educativo da disciplina, a qual discute a gestão e o financiamento do SUS, com os temas do jogo Banfisa. Assim, priorizou-se a escolha dos sujeitos numa ambiência que favorecesse o diálogo do lúdico com a educação, necessária à investicação dos itens a serem validados.

Foi utilizado um questionário aberto desenvolvido em investigações anteriores, cujas dimensões e variáveis são(1414 Pires MRGM, Guilhem D, Gottems LBD. The (IN)DICA-SUS game: a strategy of game-based learning on the Unified Health System. Texto Contexto Enferm. 2013; 22(2):379-88.): a) perfil dos jogadores (sexo, escolaridade, idade, profissão, afinidade por jogos de tabuleiro, hábitos de estudo); b) componentes formativos da aprendizagem (aprendizagem por associação, percepção da aprendizagem, autoavaliação, apreensão de conceitos, interação e discussão em grupo/participação ativa); c) emoções e atitudes no jogo (vontade e prazer na conquista, motivação para o estudo, ambiguidade nos sentimentos de prazer e tensão no jogo, desinteresse/vontade de abandonar a partida, preocupação/frustração); d) táticas do jogo (entendimento das regras, qualidade das cartelas, clareza do tabuleiro, reinvenção no jogo).

A coleta de dados ocorreu na sala de aula da disciplina GPS, entre novembro de 2012 e junho de 2013. Os estudantes foram convidados a jogar o Banfisa e, logo em seguida, responder ao questionário supracitado, que contém 12 itens abertos. A duração média de preenchimento foi de 15 minutos. As 50 respostas foram transcritas e organizadas por itens. A seguir, foi feita a apreciação flutuante do material, com definição de uma matriz para a análise de conteúdo, segundo as colunas(1717 Sampieri RH, Collado CF, Lúcio PB. Metodologia de pesquisa. São Paulo: McGraw-Hill; 2006.-1818 Hill MM, Hill A. Investigação por questionário. Lisboa: Silabo; 2009.): a- dimensões (ludicidade; componentes formativos da aprendizagem; perfil dos jogadores); b- categorias (variáveis das dimensões referidas); c- subcategorias empíricas (extraídas das análises de conteúdo das respostas ao questionário aberto); d- número de respostas que confirmam a subcategoria (unidade de análise que se ratifica a subcategoria).

A análise de conteúdo foi feita por duas pesquisadoras de tecnologias educativas para a saúde. Em seguida, as respostas foram agrupadas segundo a respectiva subcategoria empírica, obedecendo ao critério de uma única classificação por resposta, seguida das frequências simples destas unidades de análise. A estimativa de consenso foi calculada pelo coeficiente de Kappa, que estima o percentual de acordo interobservador além do que seria esperado tão somente pelo acaso(2020 Cohen J. Weighted Kappa: nominal scale agreement with provision for scaled disagreement or partial credit. Psychol Bull. 1968;70(4):213-20.). Esta medida tem como valor máximo um e valores próximos ou abaixo de zero (nenhuma concordância ou a esperada pelo acaso). Para inclusão do item, foi considerada a concordância acima de 0.60 (p > 0.005) substancial(1717 Sampieri RH, Collado CF, Lúcio PB. Metodologia de pesquisa. São Paulo: McGraw-Hill; 2006.

18 Hill MM, Hill A. Investigação por questionário. Lisboa: Silabo; 2009.

19 Stemler SE. A comparison of consensus, consistency, and measurement approaches to estimating interrater reliability. Pract Assess Res Eval [Internet]. 2004 [cited 2015 Feb 09];9(4). Available from: Available from: http://pareonline.net/getvn.asp?v=9&n=4
http://pareonline.net/getvn.asp?v=9&n=4...
-2020 Cohen J. Weighted Kappa: nominal scale agreement with provision for scaled disagreement or partial credit. Psychol Bull. 1968;70(4):213-20.).

Etapa 2 - Construção e validade de conteúdo dos itens

Para a construção e validação de conteúdo dos itens, foram utilizados os procedimentos de construção de escalas com foco no polo teórico, que aborda a teoria subjacente à investigação(2222 Pasquali L, Capovilla AGS, Alonso AOL, Alves AR, Borba ACP, Batista ACP, et al. Instrumentação psicológica: fundamentos e práticas. Porto Alegre: Artmed; 2010.). Para a construção dos itens, foram incluídos os itens resultantes da Etapa 1, com Kappa superior a 0.60. Os itens foram revisados à luz dos conceitos:

a-Ludicidade: expressão livre inerente ao jogo e constitutiva da cultura humana. Caracteriza-se pela irreverência, imaginação, exterioridade à vida cotidiana, independência à finalidade lucrativa e imersão dos jogadores na partida. O lúdico ocorre em delimitações de espaço e de tempo, segundo determinadas regras aceitas entre os participantes, em um ambiente de entusiasmo, festivo ou sagrado, em meio à tensão e ao prazer, ambiguamente. São traços inerentes ao jogo a repetição, situação de escolha, linguagem própria e transitoriedade entre o sério e o banal;

b-Componentes Formativos da Aprendizagem: aspectos da aprendizagem centrados nos sujeitos do conhecimento que são capazes de projetos próprios. Atributos necessários à educação transformadora de si e das relações sociais em um dado contexto formativo, pautada nas características da autonomia, criatividade, capacidade de elaboração, crítica e reflexão sobre a realidade de seres que aprendem;

c-Perfil dos jogadores: especificidades dos jogadores das partidas quanto aos hábitos de estudo e ao grau de afinidade por jogos em geral. Incluem as variáveis de identificação quanto ao sexo, à faixa etária, escolaridade e profissão.

Para validação de conteúdo dos itens, que verifica o grau em que cada elemento de um instrumento é representativo de um conceito teórico, foi realizada a análise de juízes(2323 Rubio DM, Ber-Weger M, Tebb SS, Lee ES, Rauch S. Objectifying content validity: conducting a content validity study in social work research. Soc Work Res. 2003; 27(2):94-111.-2424 Polit DF, Beck TC, Owen SV. Is the CVI an acceptable indicator of content validity? Appraisal and recommendations. Res Nurs Health. 2007;30(4):459-67.). As juízas foram especialistas docentes e pesquisadoras de universidades públicas com produção na área de educação na saúde. A análise foi feita por meio de um formulário eletrônico construído no Google docs, contendo os conceitos descritos, seguidos dos itens relacionados. O questionário foi enviado a 14 especialistas, sendo que 10 retornaram as respostas. Cada item foi apreciado em uma escala de quatro pontos, segundo os critérios de relevância (importância, correspondência) e clareza (sentido inequívoco, objetivo) em relação ao conceito do qual o item fazia parte(2222 Pasquali L, Capovilla AGS, Alonso AOL, Alves AR, Borba ACP, Batista ACP, et al. Instrumentação psicológica: fundamentos e práticas. Porto Alegre: Artmed; 2010.-2323 Rubio DM, Ber-Weger M, Tebb SS, Lee ES, Rauch S. Objectifying content validity: conducting a content validity study in social work research. Soc Work Res. 2003; 27(2):94-111.).

Para a análise dos dados, foram utilizados o Índice de Validade de Conteúdo (Content Validity Index- CVI) e o Índice de Fidedignidade ( Reliability) ou concordância intera-avaliadores ( Interrater Agreement- IRA). O CVI avalia o conteúdo dos itens (CVIA - Content Validit IndexAplicado aos Itens) e do instrumento (CVI) em relação à representatividade da medida e é considerado válido com concordância acima 0.80. O IRA avalia a extensão em que os juízes são confiáveis nas avaliações dos itens (acima de 0.80 de concordância sobre o total da dimensão). Para superar a limitação do CVI, que não contempla as concordâncias ao acaso, foram seguidas as recomendações da literatura(2323 Rubio DM, Ber-Weger M, Tebb SS, Lee ES, Rauch S. Objectifying content validity: conducting a content validity study in social work research. Soc Work Res. 2003; 27(2):94-111.-2424 Polit DF, Beck TC, Owen SV. Is the CVI an acceptable indicator of content validity? Appraisal and recommendations. Res Nurs Health. 2007;30(4):459-67.): a- número de juízes entre oito e 12; b- CVI superior a 0.78; c- cálculo do IRA. Os critérios para a revisão final foram(2222 Pasquali L, Capovilla AGS, Alonso AOL, Alves AR, Borba ACP, Batista ACP, et al. Instrumentação psicológica: fundamentos e práticas. Porto Alegre: Artmed; 2010.): a- CVI do item; b- redundância; c- equilíbrio entre afirmações positivas e negativas em cada dimensão; d- frequência de respostas espontâneas ao questionário aberto (Etapa 1); e- coerência entre o item e as teorias que fundamentam a ludicidade de jogos na literatura.

O estudo foi aprovado pelos Comitês de Éticas da Faculdade de Ciências da Saúde da UnB (nº 322.709/13), da Fundação de Ensino e Pesquisa do Distrito Federal (Fepecs-SES-DF N193/11) e integra o projeto de pesquisa Jogo Violetas: tecnologia lúdico-educativa no enfrentamento da violência contra a mulher, financiado pelo CNPq (processo nº 405302/2012-6).

RESULTADOS

Construção dos itens a partir das respostas ao questionário aberto

Dentre os respondentes do questionário aberto, preponderou o sexo feminino (n=45; 90%) sobre o masculino (n=5; 10%). A maioria era jovem, com idade entre 18 e 22 anos (n=45; 90%) e poucos maiores de 23 anos (n=4; 10%). Todos cursavam a graduação na área da saúde, alguns já tinham concluído algum curso técnico (n=2; 4%) e outros possuíam pós-graduação (n=4; 8%). A partir da análise de conteúdo das respostas abertas, foram fechadas 44 subcategorias empíricas que informaram possíveis itens para o instrumento sobre ludicidade de jogos para a saúde. Em relação à estimativa de consenso das subcategorias empíricas extraídas da análise de conteúdo ( Tabela 1), quase todas obtiveram Kappa acima de 0.60, com exceção da autoavaliação(k=0.485 ; p< 0.001).

Tabela 1
Frequência e concordância Kappa das respostas ao questionário aberto, para fechamento dos itens sobre ludicidade de jogos - Brasília, DF, Brasil, 2014

Versão preliminar do instrumento e validação de conteúdo dos itens

Da revisão dos 43 itens fechados na primeira etapa, resultou uma versão preliminar com 62 itens, submetida à análise das 10 especialistas. Quanto ao critério de relevância ( Tabela 2), 54 (87%) itens obtiveram estimativa do CVIA e do IRA acima de 0.80, e oito abaixo de 0.80. Os itens foram claros (IRA acima de 0.90), com exceção do 5. O conteúdo dos itens foi validado como relevante (n=54; 87%) e claro (n=62; 98,3%). As especialistas foram confiáveis nas avaliações (IRA acima de 0.80). Os itens do instrumento aferido pelo CVA obtiveram valores acima do recomendado (CVIA relavância 0.88; CVIA clareza 0.96).

Tabela 2
Concordância das juízas segundo a relevância e a clareza dos itens, por dimensões do instrumento, a partir dos testes CVI e IRA - Brasília, DF, Brasil, 2014

Dos 62 itens submetidos à validação, nove foram excluídos pelos seguintes motivos ( Tabela 2): a- CVI abaixo de 0.80 (itens: 5; 11; 28; 32; 48; 60); b- redundância com outros itens (itens: 11 e 41) e c- baixa frequência de respostas dos estudantes na Etapa 1 (item 56). Dois itens (itens: 53 e 54) tiveram a redação modificada, um para tornar a frase mais sucinta e o outro para mudar a afirmação de positiva para negativa, em vista do equilíbrio das mesmas na respectiva dimensão. O instrumento final contém 53 itens ( Quadro 1), distribuídos nas dimensões ludicidade (itens 1 a 26), componentes formativos da aprendizagem (itens 27 a 45) e perfil dos jogadores (itens 46 a 53).

Quadro 1
Itens de instrumento para avaliar a ludicidade de jogos em contextos educativos da saúde - Brasília, DF, Brasil, 2015

Discussão

O estudo exploratório da primeira etapa mostrou-se relevante para o fechamento de possíveis itens sobre a ludicidade de jogos em contextos educativos para a saúde, dada a insuficiência de instrumentos desta natureza na literatura(11 Lu AS, Baranowski T, Thompson D, Buday R. Story immersion of videogames for youth health promotion: a review of literature. Games Health J. 2012;1(3):199-204.

2 Akl EA, Sackett K, Pretorius R, Erdley S, Bhoopathi PS, Mustafa R, et al. Educational games for health professionals. Cochrane Database Syst Rev. 2013;(1):CD006411.

3 Irons JY, Petocz P, Kenny DT, Chang AB. Singing as an adjunct therapy for children and adults with cystic fibrosis. Cochrane Database Syst Rev. 2014;(6):CD008036.

4 Laver KE, George S, Thomas S, Deutsch JE, Crotty M. Virtual reality for stroke rehabilitation. Cochrane Database of Syst Rev. 2015;(2):CD008349.

5 Morris BJ, Croker S, Zimmerman Z, Gill D, Romig C. Gaming science: the 'Gamification" of scientific thinking. Front Psychol [Internet]. 2013 [cited 2014 Feb 10];4:607. Available from: Available from: http://www.ncbi.nlm.nih.gov/pmc/articles/PMC3766824/
http://www.ncbi.nlm.nih.gov/pmc/articles...

6 Kuss JD. Internet gaming addiction: current perspectives. Psychol Res Behav Manag [Internet]. 2013 [cited 2014 Feb 10];6:125-37. Available from:Available from: http://www.ncbi.nlm.nih.gov/pmc/articles/PMC3832462/
http://www.ncbi.nlm.nih.gov/pmc/articles...

7 Mellecker R, Lyons EJ, Baranowski T. Disentangling fun and enjoyment in exergames using an expanded design, play, experience framework: a narrative review.. Games Health J 2013;2(3):142-9.
-88 Mishra J, Bavelier D, Gazzaley A. How to assess gaming-induced benefits on attention and working memory.. Games Health J 2012;1(3):192-8.). A aplicação de um questionário aberto com o intuito de fechar itens a partir das respostas é indicada para construir frases mais próximas à espontaneidade das declarações de determinado público-alvo, conferindo maior identidade entre os itens e os depoimentos(1717 Sampieri RH, Collado CF, Lúcio PB. Metodologia de pesquisa. São Paulo: McGraw-Hill; 2006.

18 Hill MM, Hill A. Investigação por questionário. Lisboa: Silabo; 2009.
-1919 Stemler SE. A comparison of consensus, consistency, and measurement approaches to estimating interrater reliability. Pract Assess Res Eval [Internet]. 2004 [cited 2015 Feb 09];9(4). Available from: Available from: http://pareonline.net/getvn.asp?v=9&n=4
http://pareonline.net/getvn.asp?v=9&n=4...
).

O perfil dos sujeitos, a maioria jovens graduandos de cursos da área da saúde, contribuiu para contextualizar a inquietude do lúdico em ambiente de aprendizagem(1313 Mészaros I. A educação para além do capital. São Paulo: Boitempo; 2005.-1414 Pires MRGM, Guilhem D, Gottems LBD. The (IN)DICA-SUS game: a strategy of game-based learning on the Unified Health System. Texto Contexto Enferm. 2013; 22(2):379-88.). A alta estimativa de concordância intrajuízes aferida pelo coeficiente de Kappa se sustenta nas pesquisas anteriores que confirmaram as variáveis utilizadas no presente estudo(1414 Pires MRGM, Guilhem D, Gottems LBD. The (IN)DICA-SUS game: a strategy of game-based learning on the Unified Health System. Texto Contexto Enferm. 2013; 22(2):379-88.,2121 Silva LVS, Tanaka PSL, Pires MRGM. BANFISA and (IN) DICA-SUS na graduação em saúde: o lúdico e a construção de aprendizados. Rev Bras Enferm. 2015;68(1):124-30.). A baixa concordância dos juízes na subcategoria autoavaliaçãoé coerente com a literatura, uma vez que esta característica não é inerente ao componente lúdico. Ao contrário da disciplina exigida na autoavaliação, a atração do jogo reside no fato de ele ser intrinsecamente espontâneo, festivo e incerto, distinto de qualquer finalidade que não fortaleça a sua inquietude nata(99 Alves MA. Interpretação e compreensão: da hermenêutica metodológica à experiência hermenêtica como fundamento do saber filosófico. Princípios (Natal). 2011;18(30)181-98.

10 Huizinga J. Homo Ludens: o jogo como elemento da cultura. São Paulo: Perspectiva; 2008.

11 Callois R. Os homens e os jogos: a máscara e a vertigem. Lisboa: Cotovia; 1990.

12 Haddad AE. Nursing and the national policy of education for health care professional for the Brazilian National Health System. Rev Esc Enferm USP. 2011;45(n.spe2):1803-9.
-1313 Mészaros I. A educação para além do capital. São Paulo: Boitempo; 2005.).

Na segunda etapa, oito itens não foram considerados relevantes ao estudo pelos juízes. Destes, seis itens foram excluídos da versão final do instrumento por não expressarem a relevância significativa ao conceito de ludicidade ou por apresentarem redundância com outros itens melhor avaliados. Na revisão crítica, o item "1- houve reinvenção das regras durante o jogo" e o seu oposto, "2- seguimos totalmente as regras do jogo", permaneceram no instrumento, a despeito de terem alcançado concordância abaixo do ponto de corte adotado. Esta decisão se justifica nas concepções teóricas que fundamentam o lúdico, no qual o caráter inventivo, criativo e indeterminado do jogo é amplamente reconhecido(11 Lu AS, Baranowski T, Thompson D, Buday R. Story immersion of videogames for youth health promotion: a review of literature. Games Health J. 2012;1(3):199-204.,77 Mellecker R, Lyons EJ, Baranowski T. Disentangling fun and enjoyment in exergames using an expanded design, play, experience framework: a narrative review.. Games Health J 2013;2(3):142-9.,99 Alves MA. Interpretação e compreensão: da hermenêutica metodológica à experiência hermenêtica como fundamento do saber filosófico. Princípios (Natal). 2011;18(30)181-98.

10 Huizinga J. Homo Ludens: o jogo como elemento da cultura. São Paulo: Perspectiva; 2008.

11 Callois R. Os homens e os jogos: a máscara e a vertigem. Lisboa: Cotovia; 1990.

12 Haddad AE. Nursing and the national policy of education for health care professional for the Brazilian National Health System. Rev Esc Enferm USP. 2011;45(n.spe2):1803-9.

13 Mészaros I. A educação para além do capital. São Paulo: Boitempo; 2005.

14 Pires MRGM, Guilhem D, Gottems LBD. The (IN)DICA-SUS game: a strategy of game-based learning on the Unified Health System. Texto Contexto Enferm. 2013; 22(2):379-88.

15 Jegers K, Wiberg C. Learning while playing: design implications for edutainment games. In: Ferding RE. Handbook of research on effective electronic gaming in education. London: IGI Global; 2008. p.1449-59.
-1616 Teng CI, Huang HC.More than flow: revisiting the theory of four channels of flow. Int J Comp Games Technol [Internet]. 2012 [cited 2015 July 20];2012:724917. Available from: Available from:http://www.hindawi.com/journals/ijcgt/2012/724917/
http://www.hindawi.com/journals/ijcgt/20...
,2525 Savi R, Wangenheim CGV, Ulbricht V, Vanzin T. Proposta de um modelo de avaliação de jogos educacionais. Rev Renote Novas Tecnol Educ [Internet]. 2010 [citado 2015 fev. 09];8(3). Disponível em: Disponível em: http://seer.ufrgs.br/renote/article/view/18043
http://seer.ufrgs.br/renote/article/view...
-2626 Keller JM. Motivational design for learning and performance: the ARCS model approach. New York: Springer; 2009.). Ou seja, é inerente ao lúdico a reinvenção das regras pelos participantes durante uma partida, posto tratar-se da ambivalência entre a normatividade e a subversão necessária ao jogo(1212 Haddad AE. Nursing and the national policy of education for health care professional for the Brazilian National Health System. Rev Esc Enferm USP. 2011;45(n.spe2):1803-9.

13 Mészaros I. A educação para além do capital. São Paulo: Boitempo; 2005.
-1414 Pires MRGM, Guilhem D, Gottems LBD. The (IN)DICA-SUS game: a strategy of game-based learning on the Unified Health System. Texto Contexto Enferm. 2013; 22(2):379-88.).

A subjetividade expressa na sujeição às regras e na renúncia à ação impulsiva, como via de acesso ao mundo imaginário fomentado pelo jogo, constitui-se em uma reinvenção de realidades que está imersa em relações de desejo e de castração, inerente à formação psíquica humana(2727 Vigotsky LS. A formação social da mente. São Paulo: Martins Fontes; 1991.). Ademais, a perspectiva da ludicidade buscada neste estudo volta-se para o caráter disruptivo e insubordinado do jogo - traço necessário à formação de sujeitos do conhecimento. Assim, quanto mais os jogadores reinventam regras, dentro da imersão do lúdico, maior é a chance do caráter imaginativo, irrequieto e criativo se revelarem -, e são estes os atributos da ludicidade que se pretende aferir, com vistas à formação de sujeitos autônomos(99 Alves MA. Interpretação e compreensão: da hermenêutica metodológica à experiência hermenêtica como fundamento do saber filosófico. Princípios (Natal). 2011;18(30)181-98.

10 Huizinga J. Homo Ludens: o jogo como elemento da cultura. São Paulo: Perspectiva; 2008.

11 Callois R. Os homens e os jogos: a máscara e a vertigem. Lisboa: Cotovia; 1990.

12 Haddad AE. Nursing and the national policy of education for health care professional for the Brazilian National Health System. Rev Esc Enferm USP. 2011;45(n.spe2):1803-9.

13 Mészaros I. A educação para além do capital. São Paulo: Boitempo; 2005.

14 Pires MRGM, Guilhem D, Gottems LBD. The (IN)DICA-SUS game: a strategy of game-based learning on the Unified Health System. Texto Contexto Enferm. 2013; 22(2):379-88.

15 Jegers K, Wiberg C. Learning while playing: design implications for edutainment games. In: Ferding RE. Handbook of research on effective electronic gaming in education. London: IGI Global; 2008. p.1449-59.
-1616 Teng CI, Huang HC.More than flow: revisiting the theory of four channels of flow. Int J Comp Games Technol [Internet]. 2012 [cited 2015 July 20];2012:724917. Available from: Available from:http://www.hindawi.com/journals/ijcgt/2012/724917/
http://www.hindawi.com/journals/ijcgt/20...
,2121 Silva LVS, Tanaka PSL, Pires MRGM. BANFISA and (IN) DICA-SUS na graduação em saúde: o lúdico e a construção de aprendizados. Rev Bras Enferm. 2015;68(1):124-30.,2525 Savi R, Wangenheim CGV, Ulbricht V, Vanzin T. Proposta de um modelo de avaliação de jogos educacionais. Rev Renote Novas Tecnol Educ [Internet]. 2010 [citado 2015 fev. 09];8(3). Disponível em: Disponível em: http://seer.ufrgs.br/renote/article/view/18043
http://seer.ufrgs.br/renote/article/view...
-2626 Keller JM. Motivational design for learning and performance: the ARCS model approach. New York: Springer; 2009.).

O item aprendo melhor ao expressar a minha criatividade, embora tenha obtido bons índices de consenso entre as juízas (CVIA/relevância 0.90 e CVIA/clareza 1.0), foi excluído por ter obtido baixa frequência de respostas entre os sujeitos que responderam ao questionário aberto. Em todos estes casos, os critérios da objetividade, da simplicidade, da clareza, da precisão e da variedade dos itens foram priorizados nas decisões, como recomendado na literatura(2222 Pasquali L, Capovilla AGS, Alonso AOL, Alves AR, Borba ACP, Batista ACP, et al. Instrumentação psicológica: fundamentos e práticas. Porto Alegre: Artmed; 2010.). O uso das várias formas de calcular o CVI para a validação dos itens, método adotado para superar as limitações deste índice, conferiu maior confiabilidade ao uso desta medida estatística, conforme recomendações da literatura(2323 Rubio DM, Ber-Weger M, Tebb SS, Lee ES, Rauch S. Objectifying content validity: conducting a content validity study in social work research. Soc Work Res. 2003; 27(2):94-111.-2424 Polit DF, Beck TC, Owen SV. Is the CVI an acceptable indicator of content validity? Appraisal and recommendations. Res Nurs Health. 2007;30(4):459-67.). A versão final do instrumento, com 53 itens distribuídos em três dimensões que permitem a operacionalização da ludicidade, contempla uma quantidade adequada para aferir este constructo, uma vez que se recomenda um mínimo de 20 itens(2222 Pasquali L, Capovilla AGS, Alonso AOL, Alves AR, Borba ACP, Batista ACP, et al. Instrumentação psicológica: fundamentos e práticas. Porto Alegre: Artmed; 2010.). Será possível aplicar o instrumento elaborado para avaliar a ludicidade de outros jogos educativos, em contextos diferenciados da saúde, em especial aqueles voltados à formação crítica de profissionais.

Conclusão

A característica inventiva do lúdico como substrato da educação crítica é pouco explorada nas produções sobre o assunto, o que confere originalidade a este estudo. Para aferir a ludicidade de jogos, os 53 itens validados verificam o grau de envolvimento, de imersão e de reinvenção dos sujeitos na partida, ao lado da dinâmica e da jogabilidade. Em articulação com o lúdico, o contexto educativo é avaliado pela percepção de aprendizagem, pelos sentimentos, pelas reflexões e pelo grau de cooperação entre os jogadores, dentre outros itens. Por fim, os hábitos de estudo, a afinidade por jogos e as características sócio demográficas dos participantes perfazem o perfil dos jogadores aferido pelo instrumento validado. Como limitação deste estudo, aponta-se a necessidade de avançar nas demais fases previstas no processo de elaboração de escalas, os procedimentos empíricos e analíticos necessários à validação de constructo e de critério do instrumento.

References

  • 1
    Lu AS, Baranowski T, Thompson D, Buday R. Story immersion of videogames for youth health promotion: a review of literature. Games Health J. 2012;1(3):199-204.
  • 2
    Akl EA, Sackett K, Pretorius R, Erdley S, Bhoopathi PS, Mustafa R, et al. Educational games for health professionals. Cochrane Database Syst Rev. 2013;(1):CD006411.
  • 3
    Irons JY, Petocz P, Kenny DT, Chang AB. Singing as an adjunct therapy for children and adults with cystic fibrosis. Cochrane Database Syst Rev. 2014;(6):CD008036.
  • 4
    Laver KE, George S, Thomas S, Deutsch JE, Crotty M. Virtual reality for stroke rehabilitation. Cochrane Database of Syst Rev. 2015;(2):CD008349.
  • 5
    Morris BJ, Croker S, Zimmerman Z, Gill D, Romig C. Gaming science: the 'Gamification" of scientific thinking. Front Psychol [Internet]. 2013 [cited 2014 Feb 10];4:607. Available from: Available from: http://www.ncbi.nlm.nih.gov/pmc/articles/PMC3766824/
    » http://www.ncbi.nlm.nih.gov/pmc/articles/PMC3766824/
  • 6
    Kuss JD. Internet gaming addiction: current perspectives. Psychol Res Behav Manag [Internet]. 2013 [cited 2014 Feb 10];6:125-37. Available from:Available from: http://www.ncbi.nlm.nih.gov/pmc/articles/PMC3832462/
    » http://www.ncbi.nlm.nih.gov/pmc/articles/PMC3832462/
  • 7
    Mellecker R, Lyons EJ, Baranowski T. Disentangling fun and enjoyment in exergames using an expanded design, play, experience framework: a narrative review.. Games Health J 2013;2(3):142-9.
  • 8
    Mishra J, Bavelier D, Gazzaley A. How to assess gaming-induced benefits on attention and working memory.. Games Health J 2012;1(3):192-8.
  • 9
    Alves MA. Interpretação e compreensão: da hermenêutica metodológica à experiência hermenêtica como fundamento do saber filosófico. Princípios (Natal). 2011;18(30)181-98.
  • 10
    Huizinga J. Homo Ludens: o jogo como elemento da cultura. São Paulo: Perspectiva; 2008.
  • 11
    Callois R. Os homens e os jogos: a máscara e a vertigem. Lisboa: Cotovia; 1990.
  • 12
    Haddad AE. Nursing and the national policy of education for health care professional for the Brazilian National Health System. Rev Esc Enferm USP. 2011;45(n.spe2):1803-9.
  • 13
    Mészaros I. A educação para além do capital. São Paulo: Boitempo; 2005.
  • 14
    Pires MRGM, Guilhem D, Gottems LBD. The (IN)DICA-SUS game: a strategy of game-based learning on the Unified Health System. Texto Contexto Enferm. 2013; 22(2):379-88.
  • 15
    Jegers K, Wiberg C. Learning while playing: design implications for edutainment games. In: Ferding RE. Handbook of research on effective electronic gaming in education. London: IGI Global; 2008. p.1449-59.
  • 16
    Teng CI, Huang HC.More than flow: revisiting the theory of four channels of flow. Int J Comp Games Technol [Internet]. 2012 [cited 2015 July 20];2012:724917. Available from: Available from:http://www.hindawi.com/journals/ijcgt/2012/724917/
    » http://www.hindawi.com/journals/ijcgt/2012/724917/
  • 17
    Sampieri RH, Collado CF, Lúcio PB. Metodologia de pesquisa. São Paulo: McGraw-Hill; 2006.
  • 18
    Hill MM, Hill A. Investigação por questionário. Lisboa: Silabo; 2009.
  • 19
    Stemler SE. A comparison of consensus, consistency, and measurement approaches to estimating interrater reliability. Pract Assess Res Eval [Internet]. 2004 [cited 2015 Feb 09];9(4). Available from: Available from: http://pareonline.net/getvn.asp?v=9&n=4
    » http://pareonline.net/getvn.asp?v=9&n=4
  • 20
    Cohen J. Weighted Kappa: nominal scale agreement with provision for scaled disagreement or partial credit. Psychol Bull. 1968;70(4):213-20.
  • 21
    Silva LVS, Tanaka PSL, Pires MRGM. BANFISA and (IN) DICA-SUS na graduação em saúde: o lúdico e a construção de aprendizados. Rev Bras Enferm. 2015;68(1):124-30.
  • 22
    Pasquali L, Capovilla AGS, Alonso AOL, Alves AR, Borba ACP, Batista ACP, et al. Instrumentação psicológica: fundamentos e práticas. Porto Alegre: Artmed; 2010.
  • 23
    Rubio DM, Ber-Weger M, Tebb SS, Lee ES, Rauch S. Objectifying content validity: conducting a content validity study in social work research. Soc Work Res. 2003; 27(2):94-111.
  • 24
    Polit DF, Beck TC, Owen SV. Is the CVI an acceptable indicator of content validity? Appraisal and recommendations. Res Nurs Health. 2007;30(4):459-67.
  • 25
    Savi R, Wangenheim CGV, Ulbricht V, Vanzin T. Proposta de um modelo de avaliação de jogos educacionais. Rev Renote Novas Tecnol Educ [Internet]. 2010 [citado 2015 fev. 09];8(3). Disponível em: Disponível em: http://seer.ufrgs.br/renote/article/view/18043
    » http://seer.ufrgs.br/renote/article/view/18043
  • 26
    Keller JM. Motivational design for learning and performance: the ARCS model approach. New York: Springer; 2009.
  • 27
    Vigotsky LS. A formação social da mente. São Paulo: Martins Fontes; 1991.

Datas de Publicação

  • Publicação nesta coleção
    Dez 2015

Histórico

  • Recebido
    12 Jun 2015
  • Aceito
    29 Ago 2015
Universidade de São Paulo, Escola de Enfermagem Av. Dr. Enéas de Carvalho Aguiar, 419 , 05403-000 São Paulo - SP/ Brasil, Tel./Fax: (55 11) 3061-7553, - São Paulo - SP - Brazil
E-mail: reeusp@usp.br