Escala de Motivação para a Leitura para Adolescentes e Jovens: Propriedades Psicométricas¹

Motivation to Read Scale for Teenagers and Youngsters: Psychometric Properties

RESUMO

A motivação para ler, assim como a motivação para aprender, é uma variável chave para a aprendizagem. Este estudo tem como objetivo descrever os passos relativos à construção de uma Escala de Motivação em Leitura (EML) para adolescentes e jovens, apresentar dados preliminares de suas propriedades psicométricas e validade de constructo. Participaram 329 estudantes do 6° ano do Ensino Fundamental ao 3º ano do Ensino Médio. Da análise fatorial exploratória dos 83 itens da escala, emergiram seis fatores coerentes com o continuum motivacional descrito pela Teoria da Autodeterminação, com consistência interna entre 0,97 e 0,76. Esses resultados iniciais revelam propriedades psicométricas promissoras da escala para uso no contexto educativo.

Palavras-chave:
motivação; leitura; reading; validade do teste; avaliação educacional

ABSTRACT

Motivation to read as well as to learn are important variables for learning. This study is aimed at describing the steps for constructing a reading motivation scale for teenagers and youngsters, as well as at presenting its psychometric properties and construct validity. The sample was composed of 329 students from the 6th year of elementary school to the 3rd year of high school. Exploratory factor analysis of the 83 items revealed six factors coherent with the continuum of Self Determination Theory with internal consistencies ranging from 0.97 to 0.76. These initial results evince the promising psychometric properties of the scale for its use in the educational context.

Keywords:
motivation; test validity; educational evaluation

Na sociedade atual, o sucesso escolar é considerado condição para a inserção do jovem no mundo adulto (Coutinho & Lisbôa, 2011). No Brasil, resultados de avaliações nacionais e internacionais atestam o fracasso escolar vivenciado por estudantes que não desenvolvem as habilidades básicas nos conteúdos essenciais, ao longo da escolaridade básica (OCDE, 2011). Merecem destaque, portanto, as investigações acerca dos fatores relacionados ao desempenho escolar (Beker, McElvany & Kortenbruck, 2010; 2008b; Gomes & Boruchovitch, 2011; Lin, Wong & McBride-Chang, 2011; Logan, Medford, & Hughes, 2011; Oliveira, Boruchovith, & Santos, 2007a; Taboada, Tonks, Wigfield, & Guthrie, 2009; Vukman & Licardo, 2010).

Entre os diferentes fatores envolvidos no processo de aprendizagem, os sociocognitivos, afetivo-motivacionais, relacionais e contextuais têm sido investigados pela Psicologia Escolar. A motivação acadêmica, considerada importante aliada do sucesso escolar, tem sido estudada por diversos pesquisadores, muitos deles voltados para a construção e validação de instrumentos para avaliar esse constructo (Boruchovitch, 2008a; 2008b; Guay et al., 2010; Guimarães & Bzuneck, 2008; Guthrie, McRae, & Klauda, 2007; Rufini, Bzuneck, & Oliveira, 2011; Wormington, Corpus, & Anderson 2011; Zenorini, Santos, & Monteiro, 2010). Na escola, a leitura não é apenas um dos componentes do currículo, pois representa, igualmente, um fator necessário para a aprendizagem em todas as áreas de estudo. Nesse caso, a motivação para ler é uma variável chave para aprender e, como tal, tem sido alvo de pesquisas. Necessita-se, por esse motivo, de instrumentos de avaliação precisos e confiáveis.

Baker e Wigfield (1999) entendem que a motivação para a leitura é multidimensional e se manifesta de forma progressivamente mais complexa ao longo do desenvolvimento e do processo da escolarização. Guthrie, Wigfield e Klauda (2012) a definem em uma perspectiva de "engajamento" e compromisso e consideram o leitor motivado como sendo aquele que lê por prazer e tem intenção de ler para aprender. Esse leitor utiliza estratégias e conhecimentos anteriores para gerar compreensões novas e participa em interações sociais significativas de leitura. Essa concepção tem como fundamento teorias da motivação humana, segundo as quais percepções de competência e convicções de eficácia, propósitos de realização (motivação intrínseca e extrínseca), assim como aspectos sociais, desempenham um papel crucial nas ações dos indivíduos e no desempenho de estudantes nas diferentes áreas da aprendizagem. Nessa perspectiva, Wigfield e Guthrie (1997) construíram e validaram o Motivation for Reading Questionnaire (MRQ), com 11 subescalas no intuito de avaliar a motivação para ler de modo amplo e que tem sido utilizado para verificar as relações entre a motivação e o desempenho em leitura (Guthrie et al., 2007).

Existem outros instrumentos, na literatura estrangeira, utilizados atualmente por pesquisadores da área, ainda que se atenham a aspectos específicos da motivação para ler. Um deles é o Elementary Reading Attitude Survey (ERAS), desenvolvido e validado por McKenna, Kear e Ellsworth (1995) com o objetivo de levantar dados que têm sido utilizados com propósitos educacionais diversos (Clark & Zoyza, 2011). O Motivation to Read Profile (MRP) foi desenvolvido por Gambrell, Palmer, Codling e Mazzoni (1996) com o objetivo de descrever o "perfil do leitor" em termos de autopercepção e valor atribuído à leitura. Nessa mesma direção, fundamentados nos estudos acerca da importância do senso de autoeficácia, Henk e Melnick (1995) elaboraram e validaram a Reader Self-Perception Scale (RSPS 1), para estudantes da escola elementar. De acordo com esses autores, as crenças, expectativas, valores e atitudes dos estudantes acerca do processo de letramento, desempenham um papel vital no seu envolvimento com a leitura e a escrita, do qual dependem a frequência, a duração e a intensidade com que se dedicam a essas atividades.

Entre as diferentes perspectivas teóricas acerca da motivação humana, à Psicologia Cognitiva e Sociocognitiva, particularmente à Teoria da Autodeterminação (TAD), podem ser creditados inúmeros estudos, nacionais e estrangeiros que descrevem a complexidade desse constructo, assim como buscam validar instrumentos para a sua avaliação (Boruchovitch, 2008a; 2008b; Corpus & Wormington, 2011; Gillet, Vallerand, & Lafrenière, 2012; Guimarães & Bzuneck, 2008; Joly & Prates, 2011; Neves & Boruchovitch, 2007; Rufini et al., 2011; Vallerand, Blais, Brière, & Pelletier, 1989; Vallerand et al., 1992; 1993; Wormington et al., 2011). Para a TAD, a motivação é um sistema dinâmico e se manifesta em diferentes níveis: global, contextual e situacional. Em cada um desses níveis, atuam diversos fatores relacionados às percepções da pessoa em autodeterminação, competência e afiliação (Ryan & Deci, 2000). Por sua vez, o nível motivacional de cada ação, desencadeia consequências afetivas, cognitivas e de realização (Vallerand & Lalande, 2011).

Além da motivação humana global, Guay et al. (2010), Vallerand e Ratelle (2002) descrevem a motivação contextual, como é o caso da motivação acadêmica e da motivação situacional, como, por exemplo, estudantes com um mesmo nível de motivação acadêmica, que são mais motivados para a matemática do que pela leitura ou vice-versa. Essa diferença se deve a antecedentes pessoais e, no contexto escolar, tem repercussões no seu desempenho acadêmico.

Para avaliar as diversas facetas de cada um desses níveis hierárquicos, a TAD dispõe de instrumentos específicos, como é o caso da Situational Motivation Scale (SIMS) de Guay, Vallerand e Blanchard (2000), da The Elementary School Motivation Scale (ESMS) de Guay, Marsh, Dowson e Larose (2005) e de Guay et al. (2010). Essas duas últimas escalas avaliam aspectos situacionais da motivação acadêmica relacionados à escrita, à leitura e à matemática. São 27 itens relativos a três tipos motivacionais, em cada um desses conteúdos curriculares. Estudos mais recentes mostram a necessidade de se estudar o "perfil motivacional" do estudante, relativamente a determinada ação em um reconhecimento de que o mesmo indivíduo carrega motivos diferentes: alguns mais controlados e outros mais autônomos em uma mesma atividade (Ratelle, Guay, Vallerand, Larose, & Senécal, 2007).

No Brasil, não foi encontrado estudo similar nesta ou em outra vertente teórica. Oliveira, Santos e Oliveira (2007b), Pellegrini, Santos e Sisto (2002) validaram, para o ensino superior, uma escala de atitudes de leitura para estudantes do início do ensino fundamental. No entanto, a motivação para ler é um constructo mais amplo e complexo que contribui em muito para a compreensão das diferentes variáveis antecedentes e consequentes envolvidas na aprendizagem e no desenvolvimento da leitura ao longo da escolaridade.

A Teoria da Autodeterminação (TAD) e a Motivação para a Leitura: Breves Considerações

Um grande diferencial da TAD é a concepção de que, em um mesmo indivíduo, a motivação se apresenta de diversas formas e com diferentes níveis de intensidade, dependendo do porquê de cada ação (Deci & Ryan, 1985). Assim, a mesma pessoa que se ocupa de uma atividade interessante, mas sem valor instrumental, apenas por curiosidade e prazer, isto é, pela própria atividade (motivação intrínseca), pode também, em outro momento, dedicar-se a uma tarefa talvez difícil, mas que seja importante para conseguir finalizar determinado projeto significativo para ela, do ponto pessoal ou profissional (motivação extrínseca). Superando uma visão dicotômica da motivação, a TAD descreve um continuum desde a desmotivação, quatro formas de motivação extrínseca (ME) e a Motivação Intrínseca (MI). Nesse continuum, a percepção de autonomia é crescente e culmina em autodeterminação, na MI (Gillet, Vallerand, & Lafrenière, 2012).

Tomando como exemplo a leitura, o comportamento motivado se situa em algum ponto de um continuum motivacional que pode se caracterizar por menor ou maior autonomia, senso de competência e autodeterminação. São quatro as formas de ME. A ME por regulação externa é uma ação conduzida com o objetivo de receber alguma recompensa ou evitar penalidades; o indivíduo é heterônomo e não se sente como autor dos próprios atos, como, por exemplo, "ler para ganhar uma recompensa ou evitar um castigo". A ME por regulação introjetada representa um grau inicial de internalização, mas as pressões externas são substituídas por pressões internas como, por exemplo, "ler para mostrar ao professor que é um bom aluno". A ME por regulação identificada ocorre quando os comportamentos e as experiências pessoais refletem um maior senso de escolha, com menos conflitos internos, maior compromisso, melhor desempenho, como no caso de "ler porque isso é importante para ter sucesso nos estudos". A ME por regulação integrada é o último grau de internalização e corresponde a um comportamento extrínsecamente motivado, porém inteiramente volitivo e autodeterminado porque a pessoa reconhece o valor e a importância desses comportamentos e o integra ao jogo de motivações, cognições e afetos que constituem o ego, além dos demais aspectos da sua identidade e, nesse caso, a leitura passa a fazer parte da rotina do leitor (Gillet, Vallerand, & Lafrenière, 2012; Ryan & Deci, 2000). A TAD concebe, no topo desse continuum, a MI que se caracteriza por sentimentos de competência e comportamento autotélico, isto é, com um lócus de causalidade interno. O foco da ação é a realização da atividade em si mesma, o que gera flexibilidade cognitiva, prazer e vitalidade na sua realização. Esse sentimento positivo sustenta a ação e isso acontece quando a pessoa lê por prazer. No extremo oposto, a desmotivação se caracteriza por ausência de intencionalidade, de autodireção para a atividade, isto é, a pessoa não estabelece relação de causalidade entre o próprio comportamento e o resultado das suas ações (Vallerand, Pelletier, Blais, Brière, Senécal, & Vallière, 1992).

Considerando a atualidade e a relevância desse referencial teórico acerca da motivação humana e a carência de instrumentos para avaliar a motivação para a leitura nessa perspectiva, principalmente no Brasil, o presente trabalho tem como objetivo descrever os procedimentos adotados para a construção e validação de constructo da Escala de Motivação para a Leitura (EML-AJ) destinada a adolescentes e jovens, tendo como referencial a Teoria da Autodeterminação (TAD), bem como examinar suas propriedades psicométricas e sua confiabilidade para a avaliação da motivação para a leitura entre os estudantes. A seguir, serão descritos o método e os procedimentos utilizados na presente pesquisa.

Método

Inicialmente, para compor a EML-AJ, foram redigidos enunciados, de forma a caracterizar comportamentos de leitores, de acordo com a TAD, isto é, a Desmotivação para a Leitura, as quatro formas de ME e a MI, levando-se em conta a literatura internacional especializada em motivação para o estudo e em motivação para a leitura. Os 110 itens da versão original, relacionados aos seis tipos de motivação descritos no continuum motivacional, foram objeto de diversos procedimentos destinados a aprimorá-los e validar o constructo: (a) a análise semântica dos enunciados por dois especialistas em avaliação educacional e na TAD, que os categorizaram à luz dessa teoria, sendo obtida uma concordância de 85 % entre os juízes e o pesquisador; (b) em seguida, foi solicitado a 28 estudantes de 6° ano que avaliassem os itens quanto à sua inteligibilidade, o que levou à exclusão de alguns itens e à cuidadosa revisão na redação de outros. Dessa forma, a EML-AJ para estudantes do 6° ao 9° anos do Ensino Fundamental e do 1º ao 3º anos do Ensino Médio, utilizada no presente estudo, ficou constituída por 83 itens: 38 deles se referiam à Desmotivação para a Leitura e para as duas formas de ME Controlada, isto é, que indicam nenhuma ou pouca autonomia (ME por Regulação Externa e ME Introjetada); e 45 itens descreviam comportamentos motivacionais mais autônomos (ME Identificada, ME Integrada e Motivação Intrínseca).

Nesse instrumento foram incluídas, no cabeçalho, questões referentes aos dados demográficos (gênero, idade, escola, ano de escolaridade, período). A seguir, o estudante lia a seguinte proposta de instrução acerca da escala de tipo likert com três alternativas: "Gostaríamos de conhecer suas ideias sobre a leitura, o que você pensa e sente quando está lendo no seu tempo livre ou para estudar. Não existem respostas certas ou erradas. O importante é você responder com sinceridade o que realmente pensa de cada frase abaixo. Você deve ler com cuidado cada questão. Pense: O que esta frase tem a ver comigo? Você tem as seguintes opções: (3) Tem tudo a ver comigo (2) Tem alguma coisa a ver comigo (1) Tem muito pouco a ver comigo".

Participantes

Participaram deste estudo 329 estudantes, dos quais 183 (55,6%) estudantes do 6º ao 9º ano do ensino fundamental de duas escolas da Rede Pública Estadual de Jundiaí, Estado de São Paulo e 146 (44,4%) alunos do ensino médio de uma dessas escolas. Desses estudantes, 178 (54,1%) eram do sexo feminino e 151, do sexo masculino (45,9%). A idade variou de 10 a 20 anos. Da escola que oferecia o ensino fundamental e o ensino médio, havia 229 participantes (69,6%). Os 100 alunos restantes (30,4 %) eram da outra escola, que atendia apenas alunos do ensino fundamental. No que concerne à escolarização, no ensino fundamental, 10,3% frequentavam o 6º ano; 14% encontravam-se no 7º ano; 18,5%, no 8º ano e 12,8 %, no 9º ano. Entre os alunos do ensino médio, 13,7% eram do 1º ano; 14,6%, do 2º ano e 16,1%, do 3º ano. Quanto ao período, 55,6% estudavam pela manhã e 44,4%, à tarde.

Procedimentos da Coleta de Dados

Uma vez obtida aprovação do projeto pelo Comitê de Ética em Pesquisa da UNICAMP (Parecer nº 147/2011), foi realizado um contato com os dirigentes das unidades escolares para solicitar a autorização para a realização da pesquisa. Em uma reunião com os professores e coordenadores, houve o esclarecimento acerca dos objetivos do estudo, sendo então estabelecidas as condições de parte a parte quanto aos procedimentos, horários, cronograma e outros detalhes, de modo a alcançar os objetivos da pesquisa sem interferir no bom andamento das atividades escolares. Todos os procedimentos éticos previstos na Resolução 196/96 do Conselho Nacional da Saúde e legislação complementar foram seguidos, entre os quais a elaboração, distribuição e recebimento de uma das vias do Termo de Consentimento Livre e Esclarecido (TCLE).

As sessões de campo ocorreram em aplicação coletiva de cerca de 30 minutos. Em cada turma, houve o cuidado de se estabelecer um clima de confiança e colaboração, explicando-se os objetivos da pesquisa e garantindo que as respostas dadas não influenciariam a avaliação escolar. Após as instruções gerais, era recomendado que os estudantes levantassem a mão em caso de dúvidas e que fosse utilizada a régua para facilitar a leitura e o preenchimento das respostas. Ao final, era solicitado aos participantes que conferissem se todas as questões haviam sido respondidas corretamente.

Procedimento de Análise de Dados

Em virtude do grande número de itens elaborados para a análise fatorial exploratória, optou-se pela subdivisão dos 83 itens em duas subescalas, tal como sugerido por Vallerand et al. (1989). Na Subescala A, foram analisados os 45 itens que, de acordo com a suposição inicial, correspondiam a comportamentos relativos às motivações mais autônomas relativamente à leitura, de acordo com o continuum da TAD, ou seja, itens relativos à ME Identificada, ME Integrada e MI. Na Subescala B, foram analisados os 38 itens representativos de comportamentos de Desmotivação, de ME por Regulação Externa e de ME por Introjeção. Os estudos para a validação das duas subescalas foram realizados por meio do programa Statistical Analysis System, versão 8.02.

Para verificar a fatorabilidade das escalas, efetuou-se o Teste de Esfericidade de Bartlett, que indicou uma correlação entre os itens (X ²=9628.28; gl=990; p<0.001) na Subescala A e (X ²=5660.21; gl =703; p<0.001) na Subescala B. A medida de adequação da amostra, averiguada pelo índice de Kaiser-Meyer-Olkin (KMO), foi de 0,97 na Subescala A e de 0,92 na Subescala B. Os dados obtidos por esses dois procedimentos revelaram que havia um bom nível de probabilidade para a correlação entre variáveis e que a amostra era apropriada para a realização da análise fatorial. Foi então utilizado o método dos componentes principais com a aplicação da rotação Promax e estipulado o critério de carga fatorial mínima de 0,40 para a inclusão dos itens para obter a matriz rotada, valor esse superior ao mínimo recomendado pela literatura (Crocker & Algina, 1986; Kline, 1994). O Scree plot mostrou uma estrutura de três fatores como configuração mais adequada em cada uma das duas subescalas, pois, a partir desses fatores, a curva se estabiliza, sem maiores aumentos do percentual acumulado de explicação da variância (Hatcher, 1994). Dessa forma, os dados fornecidos pelos gráficos apresentados nas Figuras 1 e 2 e os fundamentos teóricos foram os critérios adotados para a continuidade das análises. Na Subescala A, os eingenvalues foram maiores que 1,3 e explicaram 53,8% da variabilidade total; na Subescala B, com eingenvalues maiores que 1,5, os fatores explicaram 44.1% da variabilidade total. O nível de significância adotado para os testes estatísticos foi de 5% (p<0.05).

Figura 1
Teste do Scree Plot para Número de Fatores da Subescala A, da Escala de Motivação para Leitura

Figura 2
Teste do Scree Plot para Número de Fatores da Subescala B da Escala de Motivação para Leitura

Resultados e Discussão

Emergiram, portanto, três fatores na Subescala A, denominados como se segue: o Fator 1- ME Integrada para a Leitura; o Fator 2 - MI para a Leitura e o Fator 3- ME Identificada para a Leitura. O Fator 1- ME Integrada para a Leitura foi composto por 26 itens com saturação entre 0,41 e 0,76 (itens 83, 58, 67, 80, 24, 78, 72, 71, 74, 9, 77, 60, 64, 54, 82, 59, 79, 45, 81, 62, 68, 35, 25, 30, 34, 76). Apresentou eingenvalues de 20,36, explicando 45,26% da variância total. Como exemplo desse fator, pode-se citar "Leio porque isso me permite aprender mais sobre temas que me interessam". O Fator 2 - MI para a Leitura se constituiu de nove itens com saturação entre 0,45 e 0,79; apresentou eingenvalues de 2,6 que explicam 5,72 % da variância total. Os itens foram 10, 5, 75, 15, 70, 40, 65, 50, 55 e um deles é "Leio para relaxar". O Fator 3 - ME Identificada para a Leitura agrupou nove itens com saturação entre 0,41 e 0.82 (itens 39, 49, 69, 19, 29, 1, 14, 63, 44) e apresentou eingenvalues de 1,26, explicando 2,80% da variância total (exemplo: Leio porque é assim que se aprende).

No processo de análise, os itens 55 e 44 deveriam ser desconsiderados por obterem cargas altas em mais de um fator, porém foram alocados no fator de maior carga devido à congruência teórica. O item 55 "Tenho prazer em ler para aprender" ficou bem ajustado no Fator 2 - MI para a leitura e o item 44 "Leio porque a leitura completa a minha formação" também ficou bem coerente no Fator 3 - ME Identificada para a Leitura. O item 4 foi desconsiderado por não ter obtido carga em nenhum dos fatores selecionados.

Igualmente, os três fatores resultantes da Subescala B foram denominados Fator 1- Desmotivação para a Leitura; Fator 2- ME por Regulação Externa para a Leitura e Fator 3- ME Introjetada para a Leitura. Dos 38 itens, a Subescala B ficou constituída de 21. O Fator 1 - Desmotivação para a Leitura foi composto por 10 itens, com cargas entre 0,51 e 0,93 (66, 51,46,16,41, 31,36, 6, 56, 26) apresentou eingenvalues de 11,34, explicando 29,84% da variância total (Exemplo: "Ler é muito chato"). O Fator 2 - ME por Regulação Externa para a Leitura agrupou seis itens com saturação entre 0,43 e 0,60; eingenvalues de 3,78 e explica 9,96% da variância total (itens 47, 12,7,52, 22, 17). Um exemplo de item é "Leio somente para o professor não ficar zangado comigo". Finalmente, o Fator 3 - ME Introjetada para a Leitura foi formado por cinco itens com saturação entre 0,67 e 0,70; apresentou eingenvalues de 1,64, explicando 4,31% da variância total (itens 43, 23, 53, 13, 20) e tendo como exemplo "Leio para mostrar a mim mesmo que sou um bom aluno".

Nesse processo de análise, por diversos motivos, foram desconsiderados alguns itens. Entre eles, sete não obtiveram carga suficiente em nenhum dos fatores selecionados (32, 2, 21, 18, 28, 48 e 73). Exemplos: "Leio somente antes das provas para me sair bem" e "Eu acredito que ler é perda de tempo". Alguns deles, embora com carga suficiente, também foram descartados por não estarem ajustados ao fator em que se alocaram. No Fator 1 - Desmotivação para a Leitura, por exemplo, os itens 61, 42, 37 e 57 não foram considerados, entre os quais "Só leio mesmo, quando sou obrigado" e "Leio somente quando vale nota", porque estariam mais ajustados ao Fator 2. Por outro lado, nesse Fator 2 - ME por Regulação Externa para a Leitura, os itens 27, 33, 38, 3, 8 e 11 foram desconsiderados por descreverem comportamentos motivacionais mais coerentes com o Fator 3 (Exemplos: "Leio, na escola, somente para que vejam que eu sou bom em leitura" e "Leio para parecer igual aos meus amigos que gostam de ler"). Mais exemplos de itens dos seis fatores resultantes da análise realizada podem ser lidos no Apendice A.

Constatou-se que, pelos resultados obtidos, os três fatores resultantes da análise fatorial da Subescala A revelaram congruência com o continuum descrito pela TAD, caracterizando os três níveis mais elevados de motivação para a leitura, isto é, os comportamentos motivacionais que apresentam maior grau de autodeterminação (Vallerand et al.,1993; Vallerand & Ratelle, 2002). A estrutura da Subescala A resultante pode ser visualizada na Tabela 1.

Tabela 1
Distribuição dos Itens da Subescala A por Fator e Suas Respectivas Cargas Fatoriais

	Categorias		Fatores
Itens		1	2	3
EML1	ME por Identificação			0,50
EML4	Não obteve carga mínima necessária
EML5	Motivação Intrínseca		0,72
EML9	ME por integração	0,61
EML10	Motivação Intrínseca		0,79
EML14	ME por Identificação			0,43
EML15	Motivação Intrínseca		0,69
EML19	ME por Identificação			0,63
EML24	ME por integração	0,67
EML25	ME por integração	0,43
EML29	ME por Identificação			0,55
EML30	ME por integração	0,42
EML34	ME por integração	0,41
EML35	ME por integração	0,47
EML39	ME por Identificação			0,82
EML40	Motivação Intrínseca		0,63
EML44	ME por Identificação			0,41
EML45	ME por integração	0,55
EML49	ME por Identificação			0,80
EML50	Motivação Intrínseca		0,49
EML54	ME por integração	0,58
EML55	Motivação Intrínseca		0,45
EML58	ME por integração	0,74
EML59	ME por integração	0,56
EML60	ME por integração	0,60
EML62	ME por integração	0,49
EML63	ME por Identificação			0,42
EML64	ME por integração	0,59
EML65	Motivação Intrínseca		0,58
EML67	ME por integração	0,72
EML68	ME por integração	0,47
EML69	ME por Identificação			0,78
EML70	Motivação Intrínseca		0,64
EML71	ME por integração	0,63
EML72	ME por integração	0,65
EML74	ME por integração	0,61
EML75	Motivação Intrínseca		0,72
EML76	ME por integração	0,41
EML77	ME por integração	0,70
EML78	ME por integração	0,67
EML79	ME por integração	0,56
EML80	ME por integração	0,69
EML81	ME por integração	0,49
EML82	ME por integração	0,56
EML83	ME por integração	0,76
α		0,96	0,91	0,85

Essa estrutura fatorial é válida, confiável e coerente com a teoria da TAD (Guay et al., 2000; 2005; 2010). A subescala A total (N=44) alcançou um índice de precisão muito bom, com coeficiente de Cronbach igual a 0,97. O primeiro fator alcançou o índice 0,96; o segundo, de 0,91; e o terceiro fator, de 0,85. Além disso, os fatores resultantes mostraram congruência semelhante ao continuum motivacional descrito por Valerand et al. (1989; 1993). Na Subescala A, constituída por motivações extrínsecas autônomas e a MI no presente estudo, foi encontrada correlação positiva e muito significativa entre o Fator 1 (ME Integrada) e o Fator 2 (MI): r= 0,81; p<0,00; e entre os fatores 1 (ME Integrada) e o 3 (ME Identificada): r= 0,71; p<0,00. Entre o fator 2 (MI) e o fator 3 (ME Identificada), a correlação foi de 0,52; p<0,00. Portanto, as correlações foram maiores entre os fatores adjacentes e menores entre os fatores mais distantes nesse continuum. A correlação positiva entre esses fatores era, pois, esperada e está em consonância com a TAD, que descreve duas formas de ME mais autodeterminadas: a ME Identificada, fruto da internalização de valores culturais e a ME Integrada que incorpora esses valores ao ego e já está mais próxima da MI (Deci & Ryan, 1985).

Confrontando os dados do presente estudo com os da literatura, constata-se que, na Échelle de Motivation em Éducation (EME) de Vallerand et al. (1989), as correlações mais elevadas foram entre as subescalas dos três tipos de MI: r= 0,52 e 0,64; p<0,01 e ,entre elas e a ME Identificada foram r= 0,39, 0,36 e 0,25; p<0,01. De modo semelhante, na AMS (Vallerand et al., 1993), essas correlações foram 0,470,42 e 0,31 (p<0,05). No estudo brasileiro de Rufini et al. (2011), a correlação entre a ME Identificada e a MI foi 0,61 (p<0,05), sendo que a ME Integrada não emergiu entre os fatores obtidos.

Relativamente à Subescala B, os 21 itens resultantes da análise fatorial que se organizaram em três fatores revelam congruência com os tipos de motivação menos autônomos do continuum descrito pela TAD: a Desmotivação, a ME por Regulação Externa e a ME por Introjeção (Vallerand & Ratelle, 2002). A estrutura dessa subescala com os três fatores pode ser visualizada na Tabela 2.

Tabela 2
Distribuição dos Itens da Subescala B por Fator e Suas Respectivas Cargas Fatoriais

	Categorias		Fatores
Itens		1	2	3
EML2	Não obteve carga mínima necessária
EML3	Agrupamento em fator não previsto		0,59
EML6	Desmotivação	0,62
EML7	ME por Regulação Externa		0,55
EML8	Agrupamento em fator não previsto		0,58
EML11	Agrupamento em fator não previsto		0,50
EML12	ME por Regulação Externa		0,56
EML13	ME por Regulação Introjetada			0,68
EML16	Desmotivação	0,77
EML17	ME por Regulação Externa		0,43
EML 18	Não obteve carga mínima necessária
EML20	ME por Regulação Introjetada			0,67
EML 21	Não obteve carga mínima necessária
EML22	ME por Regulação Externa		0,47
EML23	ME por Regulação Introjetada			0,69
EML26	Desmotivação	0,51
EML27	Agrupamento em fator não previsto		0,70
EML28	Não obteve carga mínima necessária
EML31	Desmotivação	0,69
EML 32	Não obteve carga mínima necessária
EML33	Agrupamento em fator não previsto		0,67
EML36	Desmotivação	0,63
EML37	Agrupamento em fator não previsto	0,55
EML38	Agrupamento em fator não previsto		0,60
EML41	Desmotivação	0,73
EML42	Agrupamento em fator não previsto	0,57
EML43	ME por Regulação Introjetada			0,70
EML46	Desmotivação	0,81
EML47	ME por Regulação Externa		0,60
EML48	Não obteve carga mínima necessária
EML51	Desmotivação	0,87
EML52	ME por Regulação Externa		0,51
EML53	ME por Regulação Introjetada			0,69
EML56	Desmotivação	0,61
EML57	Agrupamento em fator não previsto	0,43
EML61	Agrupamento em fator não previsto	0,59
EML66	Desmotivação	0,93
EML73	Não obteve carga mínima necessária
α		0,91	0,81	0,76

Constata-se, pois, que os resultados obtidos são válidos e confiáveis. Relativamente à precisão, a escala total alcançou um índice muito bom, com coeficiente de Cronbach igual a 0,86. O primeiro fator alcançou o índice de 0,91; o segundo, de 0,81; e o terceiro, 0,76. Ademais, os fatores que emergiram mostraram-se coerentes com o continuum motivacional, proposto pela TAD. O Fator 1 - Desmotivação para a Leitura revelou correlação positiva e significativa com o seu adjacente, o Fator 2 - ME por Regulação Externa para a Leitura: r= 0.66; p<0,00. A correlação entre os fatores extremos dessa subescala B, Fator 1 -Desmotivação para a Leitura e Fator 3 - ME Introjetada para a Leitura), foi negativa: r= -0,25; p<0,00. Entre os fatores ME por Regulação Externa e ME Introjetada para a Leitura, a correlação foi quase nula (r= - 0,05; p= 0,38).

Vallerand et al. (1989) encontraram, no estudo de validação da EME, a correlação de 0,08 entre a Desmotivação e a ME por Regulação Externa, bem como correlação negativa de - 0,05; p<0,05 entre a Desmotivação e a ME por Introjeção. Entre a ME por Regulação Externa e a ME por Introjeção, a correlação foi de 0,43; p<0,05. No Brasil, em estudos com a Escala de Motivação Acadêmica (EMA) semelhantes à AMS da TAD, Joly e Prates (2011) e Rufini et al. (2011) encontraram correlações positivas entre os tipos de motivação menos autônomos e negativas entre estes e as motivações mais autodeterminadas.

Cumpre observar que os estudos mencionados não se referem especificamente à leitura, mas à motivação acadêmica em geral, e são referências básicas na TAD, que fundamentou a presente pesquisa. Não foram encontrados estudos de validação de escala de motivação para a leitura na perspectiva teórica da TAD. Guay et al. (2005; 2010) construíram e validaram escalas de motivação para avaliar a motivação situacional (ESMS), isto é, motivações de estudantes para conteúdos ou situações específicas, com subescalas para Motivação em Leitura, Escrita e Matemática. Diferentemente do presente estudo, esses autores incluíram apenas três tipos de motivação: Controlada (ME por Regulação Externa + ME Introjetada), ME Identificada e MI. Em Guay et al. (2005) e em Guay et al. (2010), na subescala de leitura, a correlação entre a MI e a ME Identificada foi de 0,64; p<0,05. A Desmotivação e a ME Integrada não foram incluídas.

Em síntese, os resultados obtidos com a análise fatorial exploratória da EML para adolescentes e jovens são, portanto, congruentes com outros estudos realizados na perspectiva da TAD, ainda que o foco destes tenha sido a motivação acadêmica (nível contextual). Emergiram seis tipos de motivação para a leitura, nesta investigação, com boa consistência interna, como os descritos por Vallerand e Ratelle (2002), Vallerand e Lalande (2011). Esses resultados são válidos, confiáveis e coerentes com a teoria da TAD e com o continuum motivacional. Estudantes com pontuação elevada nos itens da Subescala A podem ser considerados como tendo um perfil motivacional mais autônomo; possuindo senso de competência e de autodeterminação relativamente à Motivação para a Leitura. Por outro lado, se a pontuação for mais elevada na Subescala B, a Motivação para ler pode ser considerada inexistente, com o predomínio da Desmotivação, ou Motivação Controlada, isto é, menos autônoma se o predomínio for da ME por Regulação Externa ou da ME Introjetada (Ratelle et al., 2007).

Pode-se, portanto, inferir que a EML construída e analisada para ser utilizada no Ensino Fundamental (6º ao 9º anos) e do 1º ao 3º anos do Ensino Médio é um instrumento válido, preciso e confiável, simples e de fácil aplicação. Permite identificar as características motivacionais dos estudantes para a leitura em duas subescalas, indicando os níveis de MI, de ME por Integração e ME por Identificação na Subescala A e, na Subescala B, as ME por Introjeção, ME por Regulação Externa e a Desmotivação (Gomes & Boruchovitch, 2013).

Boruchovitch (2008a), Vallerand e Ratelle, (2002), Vallerand e Lalande (2011), entre outros pesquisadores, recomendam a investigação da motivação de estudantes em domínios específicos. Este estudo foi, pois, empreendido, para identificar a Motivação para Leitura, em uma amostra de estudantes brasileiros, adolescentes e jovens, buscando analisar a existência e a pertinência de formas diferentes de motivação, em termos quantitativos e qualitativos, como as que foram descritas pelos pesquisadores da TAD. Essas distinções, de fato, serão úteis, pois, de acordo com o Modelo Hierárquico da Motivação no contexto acadêmico (Vallerand & Ratelle, 2002; Vallerand & Lalande, 2011), a motivação situacional de cada estudante se mostra qualitativamente diferente no âmbito de cada disciplina com efeitos diversos, seja nos resultados de aprendizagem, seja nas demais variáveis do contexto educacional (Gillet et al., 2012; Guay et al., 2000; 2005; 2010; Ratelle et al. 2007; Vallerand & Ratelle 2002).

Considerações Finais

A construção da presente escala sustentou-se nas teorias sociocognitivas da motivação para a aprendizagem e atendeu à demanda por estudos que contribuam para confirmar e ampliar os dados já existentes acerca da TAD, a necessidade de instrumentos para se avaliar os fatores envolvidos na aprendizagem escolar e de estudos em áreas específicas do ensino e da aprendizagem, nesse caso, da leitura. Embora os resultados iniciais tenham sido muito animadores, entende-se que eles se constituem apenas em um primeiro passo. Nesse sentido, recomenda-se fortemente que os estudos ora realizados sejam complementados por outros, em amostras maiores e mais representativas, valendo se também da análise fatorial confirmatória. Ademais, constata-se a necessidade de que outras formas importantes de validade, como a preditiva, concorrente, convergente e discriminante, possam ser aferidas em investigações futuras, juntamente com outros estudos de sua estabilidade e de sua confiabilidade por meio de teste e reteste.

Recomenda-se também que, em novos estudos, sejam investigadas, as correlações entre a motivação de leitores e o seu autoconceito enquanto estudantes como em Guay et al. (2010) e as relações entre a motivação para a leitura e a compreensão leitora, como fizeram Taboada et al. (2009), a fim de se estudar antecedentes e consequentes da motivação para ler. Da mesma forma, poderão ser investigadas correlações com outras variáveis de interesse, tais como o desempenho escolar, a utilização de estratégias de aprendizagem cognitivas, metacognitivas e específicas de leitura, para que sejam elucidadas as possíveis relações existentes entre a motivação para ler e outros constructos relevantes para o processo educacional.

Espera-se que a EML-AJ, para adolescentes e jovens, possa ser útil aos educadores e que, aperfeiçoada por pesquisas futuras, seja um instrumento psicoeducacional utilizado na prática educativa e psicopedagógica em atividades diagnósticas, de prevenção e de intervenção. Dessa forma, poderá contribuir para melhor compreensão das dificuldades de aprendizagem em língua materna, o que certamente terá repercussões positivas na aprendizagem dos estudantes.

Referências

• Baker, L., & Wigfield, A. (1999). Dimensions of children's motivation for reading and their relations to reading activity and reading achievement. Reading Research Quarterly, 34, 452-477.
• Beker, M., McElvany, N., & Kortenbruck, M. (2010). Intrinsic and extrinsic reading motivation as predictors of reading literacy: A longitudinal study. Journal of Educational Psychology, 102(4), 773-785. http://dx.doi.org/10.1037/a0020084
  » http://dx.doi.org/10.1037/a0020084
• Boruchovitch, E. (2008a). Escala de motivação para aprender de universitários (EMA-U): Propriedades psicométricas. Avaliação Psicológica, 7(2), 127-134.
• Boruchovitch, E. (2008b). A motivação para aprender de estudantes em cursos de formação de professores. Educação - PUC-RS, 31(1), 30-38.
• Clark, C., & Zoysa, S. de (2011). Mapping the interrelationships of reading enjoyment, attitudes, behaviour and attainment: An exploratory investigation. National Literacy Trust
• Resolução Nº 196, de 10 de outubro de 1996. (1996, 10 de outubro). Diretrizes e normas regulamentadoras de pesquisas envolvendo seres humanos. Brasília, DF: Ministério da Sáude, Conselho Nacional de Saúde. Recuperado em 15 de julho, de 2016, de Recuperado em 15 de julho, de 2016, de http://conselho.saude.gov.br/web_comissoes/conep/aquivos/resolucoes/resolucoes.htm
  » http://conselho.saude.gov.br/web_comissoes/conep/aquivos/resolucoes/resolucoes.htm
• Corpus, J. H., & Wormington, S. V. (2011, April). Profiles of intrinsic and extrinsic motivations in elementary school. Paper presented at the annual meeting of the American Educational Research Association, New Orleans, LA.
• Coutinho, C., & Lisbôa, E. (2011). Sociedade da informação, do conhecimento e da aprendizagem: Desafios para educação no século XXI. Revista de Educação, 23(1), 5-22.
• Crocker, L., & Algina, J. (1986). Introduction to classical & modern test theory. Orlando, FL: Holt, Rinehart and Winston, Inc.
• Deci, E. L., & Ryan, R. M (1985). Intrinsic motivation and self determination in Human Behavior. New York: Plenum.
• Gambrell, L. B., Palmer, B. M., Codling, R. M., & Mazzoni, S. A. (1996). Assessing motivation to read. The Reading Teacher, 49(7), 1-34.
• Gillet, N., Vallerand, R. J., & Lafrenière, A. K. (2012). Intrinsic and extrinsic school motivation as a function of age: The mediating role of autonomy support. Social Psychology of Education: An International Journal, 15(1), 77-95.
• Gomes, M. A. M., & Boruchovitch, E. (2011). Aprendizagem autorregulada da leitura: Resultados positivos de uma intervenção psicopedagógica. Psicologia: Teoria e Pesquisa, 27(3), 291-299.
• Gomes, M., & Boruchovitch, E. (2013, July). Estudo das propriedades psicométricas de uma escala de motivação para a leitura para adolescentes e jovens (EML). Anais do XXXIV Congresso Interamericano de Psicologia, Brasília, 1065-1066.
• Guay, F., Vallerand, R. J., & Blanchard, C. (2000). On the assessment of situational intrinsic and extrinsic motivation: The Situational Motivation Scale (SIMS). Motivation and Emotion, 24(3), 175-213.
• Guay, F., Marsh, H., W.; Dowson, M., & Larose, S. (2005, Nov-Dec). Assessing academic motivation among elementary school children: The Elementary School Motivation Scale (ESMS). Paper presented at the Australian Association for Research in Education, Conference 27, Parramatta, N.S.W.
• Guay, F., Chanal, J., Ratelle, C.F., Marsh, H.W, Larose, S., & Boivin, M. (2010). Intrinsic identified and controlled types of motivation for school subjects in young elementary school children. British Journal of Educational Psychology, 80, 711-735. 10.1348/000709910X499084
  » https://doi.org/10.1348/000709910X499084
• Guimarães, S. E. R., & Bzuneck (2008). Propriedades psicométricas de um instrumento para avaliação da motivação de universitários. Ciência & Cognição, 13(1): 101-113.
• Guthrie, J., McRae, A., & Klauda, S. L. (2007). Contributions of concept-oriented reading instruction to knowledge about interventions for motivations in reading. Educational Psychologist, 42(4), 237-250.
• Guthrie, J. T., Wigfield, A., & Klauda, S. L. (2012). Adolescents' engagement in academic literacy. Sharjah, UAE: Bentham Science Publishers.
• Hatcher, L. (1994). A step-by-step approach to using the SAS system for factor analysis and structural equation modeling. Cary, NC: SAS Institute Inc.
• Henk, W., & Melnick, S. (1995). The Reader Self-Perception Scale (RSPS): A new tool for measuring how children feel about themselves as readers. The Reading Teacher, 48, 470-482.
• Joly, M. C. R. A., & Prates, E. A. R. (2011). Avaliação da Escala de Motivação Acadêmica em estudantes paulistas: Propriedades psicométricas. Psico-USF, 16(2), 175-184.
• Kline, P. (1994). An easy guide to factor analysis. New York: Routledge.
• Lin, D., Wong, K. K., & McBride-Chang, C. (2011). Reading motivation and reading comprehension in chinese and english among bilingual students. Read Writing, 25, 717-737. http://dx.doi.org/10.1007/s11145-011-9297-8
  » http://dx.doi.org/10.1007/s11145-011-9297-8
• Logan, S., Medford, E., & Hughes, N. (2011). The importance of intrinsic motivation for high and low ability readers' reading comprehension performance. Learning and Individual Differences, 21, 124-128. http://dx.doi.org/10.1016/j.lindif.2010.09.011
  » http://dx.doi.org/10.1016/j.lindif.2010.09.011
• McKenna, M. C., Kear, D. J., & Ellsworth, R. A. (1995). Children's attitudes toward reading: A National Survey. Reading Research Quarterly, 30(4), 934-956.
• Neves, E. R. C., & Boruchovitch, E. (2007). Escala de avaliação da motivação para aprender de alunos do Ensino Fundamental (EMA). Psicologia Reflexão e Crítica, 20(3), 406-413.
• OCDE. (2011). Résultats du PISA 2009: Tendances dans l'apprentissage: L'évolution de la performance des élèves depuis 2000, 5 , PISA, Éditions OCDE. http://dx.doi.org/10.1787/9789264091603-fr
  » http://dx.doi.org/10.1787/9789264091603-fr
• Oliveira, K. L de, Boruchovitch, E., & Santos, A. A. A. (2007a). Compreensão de leitura em alunos de sétima e oitava séries do ensino fundamental. Revista Semestral da Associação Brasileira de Psicologia Escolar e Educacional (ABRAPEE), 11(1), 41-49.
• Oliveira, K. L., Santos, A. A. A., & Oliveira, E. Z. (2007b). Estudio de las propiedades psicométricas de una escala de actitudes de lectura para universitarios. Paradigma, 28(2), 165-180.
• Pellegrini, M. C. K., Santos, A. A. A., & Sisto, F. F. (2002). Evaluación de las actitudes de lectura en universitarios. Lectura y Vida, 23(2), 26-33.
• Ratelle, C. F., Guay, F., Vallerand, R. J., Larose, S., & Senécal, C. (2007). Autonomous, controlled, and amotivated types of academic motivation: A person-oriented analysis. Journal of Educational Psychology, 99(4), 734-746. http://dx.doi.org/10.1037/0022-0663.99.4.734
  » http://dx.doi.org/10.1037/0022-0663.99.4.734
• Rufini, S. E., Bzuneck, J. A, & Oliveira, K. L. (2011). Estudo de validação de uma medida de avaliação da motivação para alunos do ensino Fundamental. Psico-USF, 16(1), 1-9. https://dx.doi.org/10.1590/S1413-82712011000100002
  » https://dx.doi.org/10.1590/S1413-82712011000100002
• Ryan, R. M., & Deci, E. L. (2000). Intrinsic and extrinsic motivations: Classic definitions and new directions. Contemporary Educational Psychology, 25(1), 54-67. http://dx.doi.org/10.1006/ceps.1999.1020
  » http://dx.doi.org/10.1006/ceps.1999.1020
• Silva, E. T., & Maher, J. P. (1981). Questionário para avaliar atitudes de leitura de alunos de 1º e 2º Graus. Resumos do 3º Congresso de Leitura do Brasil, Campinas, UNICAMP / PMC / CEDES, 19-26.
• Taboada, A., Tonks, S. M., Wigfield, A., & Guthrie, J. T. (2009). Effects of motivational and cognitive variables on reading comprehension. Reading and Writing: An Interdisciplinary Journal, 22, 85-106. http://dx.doi.org/10.1007/s11145-008-9133-y
  » http://dx.doi.org/10.1007/s11145-008-9133-y
• Vallerand, R. J., Blais, M. R., Brière, N. M., & Pelletier, L. G. (1989). Constructión et validation de l' Échelle de Motivation en Education. Canadian Journal of Behavioural Sciences, 21(3), 323-349. http://dx.doi.org/10.1037/h0079855
  » http://dx.doi.org/10.1037/h0079855
• Vallerand, R. J., & Lalande, D. R. (2011). The MPIC model: The perspective of the Hierarchical Model of Intrinsic and Extrinsic Motivation. Psychological Inquiry: An international journal for the advancement of psychological theory, 22(1), 45-51. http://dx.doi.org/10.1080/1047840X.2011.545366
  » http://dx.doi.org/10.1080/1047840X.2011.545366
• Vallerand, R. J., Pelletier, L. G., Blais, M. R., Briere, N. M., Senécal, C., & Vallières, E. (1992). The Academic Motivation Scale: A measure of intrinsic, extrinsic, and amotivation in education. Educational and Psychological Measurement, 52, 1003-1017. http://dx.doi.org/10.1177/0013164492052004025
  » http://dx.doi.org/10.1177/0013164492052004025
• Vallerand, R. J., Pelletier, L. G., Blais, M. R., Brière, N. M., Senécal, C., & Vallières, E. F. (1993). On the assessment of intrinsic, extrinsic, and amotivation in education: Evidence on the concurrent and construct validity of the Academic Motivation Scale. Educational and Psychological Measurement, 53, 159-172. http://dx.doi.org/10.1177/0013164493053001018
  » http://dx.doi.org/10.1177/0013164493053001018
• Vallerand, R. J., & Ratelle, C. F. (2002). Intrinsec and extrinsec motivation: A hierarchical model. In E.L. Deci & R. M. Ryan (Eds.), Handbook of self-determination research (pp. 37-66). New York, USA: University of Rochester Press.
• Vukman, K. B., & Licardo, M. (2010). How cognitive, metacognitive, motivational and emotional self-regulation influence school performance in adolescence and early adulthood. Educational Studies, 36(3), 259-268. http://dx.doi.org/10.1080/03055690903180376
  » http://dx.doi.org/10.1080/03055690903180376
• Wigfield, A., & Guthrie, J. T. (1997). Relations of children's motivation for reading to the amount and breadth of their reading. Journal of Educational Psychology, 89, 420-432. http://dx.doi.org/10.1037/0022-0663.89.3.420
  » http://dx.doi.org/10.1037/0022-0663.89.3.420
• Wormington, S. V., Corpus, J. H., & Anderson, K. G. (2011, April). A person centered investigation of academic motivation performance and engagement in a high school setting. Paper presented at the annual meeting of the American Educational Research Association, New Orleans, LA.
• Zenorini, R. da P. C., Santos, A. A. A., & Monteiro, R. de M. (2011). Motivação para aprender: Relação com o desempenho de estudantes. Paidéia, 21(49), 157-164.

• 1
  Apoio: CNPq

Apêndice

Exemplos de itens dos seis fatores resultantes da Escala de Motivação para a Leitura

DESMOTIVAÇÃO	Ler é muito chato.
	Ler me aborrece.
ME por REGULAÇÃO EXTERNA	Leio somente para o professor não ficar zangado comigo.
	Leio na escola somente porque não quero perder pontos na nota.
ME por INTROJEÇÃO	Leio porque me sinto importante quando consigo realizar com sucesso, tarefas de leitura.
	Leio para mostrar a mim mesmo que sou um bom aluno.
ME por IDENTIFICAÇÃO	Quando é necessário leio para encontrar informações.
	Leio porque a leitura completa a minha formação.
ME por INTEGRAÇÃO	Leio espontaneamente para ampliar a minha visão de mundo.
	Sei que vou continuar a ler, mesmo depois de terminar os meus estudos.
MOTIVAÇÃO INTRÍNSECA	Ler é uma atividade que me traz prazer.
	Ler é divertido.

Datas de Publicação

• Publicação nesta coleção
  2016

Histórico

• Recebido
  30 Jul 2014
• Revisado
  06 Maio 2015
• Aceito
  06 Jul 2015