Parâmetros Psicométricos da Prova de Consciência Morfológica Derivacional

Psychometric Parameters of Derivational Morphological Awareness

Parámetros Psicométricos de las Pruebas de Conciencia Morfológica Derivacional

Resumo

A aprendizagem da escrita requer múltiplas habilidades linguístico-cognitivas, entre elas a consciência fonológica e a morfológica. Dada a escassez de instrumentos para avaliar as habilidades morfológicas, o estudo objetivou elaborar e analisar os parâmetros psicométricos de uma prova de consciência morfológica derivacional. Participaram 111 estudantes do 4.º ano do Ensino Fundamental, respondendo provas de consciência morfológica, consciência fonológica e vocabulário. Para a prova de consciência morfológica, foram encontrados índices de fidedignidade adequados em relação à consistência interna (coeficientes alfa de 0,79) e à estabilidade temporal (correlações teste-reteste de 0,81). A evidência de validade foi verificada com bases em variáveis externas, uma vez que foram encontradas correlações moderadas e significativas da prova de consciência morfológica com provas de consciência fonológica e vocabulário. Sugerem-se novos estudos, com participantes diversificados, incluindo comparações com outras variáveis potencialmente relevantes, o que fornecerá outras evidências de validade e precisão da prova de consciência morfológica apresentada.

Palavras-chave:
consciência morfológica; derivação; habilidades metalinguísticas

Abstract

Learning how to write requires multiple linguistic-cognitive skills, including phonological and morphological awareness. Given the lack of instruments to assess morphological skills, the aim of this study was to develop and analyze the psychometric parameters of a derivational morphological awareness test. Participants included a total of 111 students attending the 4th grade of elementary school, taking tests of morphological and phonological awareness and vocabulary. Adequate internal consistency reliability coefficients (alpha coefficient equal to 0.79) and temporal stability (test-retest correlation equal to 0.81) were found for the Morphological Awareness test. There is evidence of validity based on external variables, since moderate and significant correlations were found for measures of morphological and phonological awareness and vocabulary. New studies addressing diverse participants, including comparisons with other potentially relevant variables, are suggested to obtain validity and accuracy of the morphological awareness tests presented.

Keywords:
morphological awareness; derivation; metalinguistic skills

Resumen

El aprendizaje de la escritura requiere múltiples habilidades linguísticas-cognitivas, entre ellas la conciencia fonológica y morfológica. Dada la escasez de instrumentos para evaluar las habilidades morfológicas, este estudio trató de elaborar y analizar los parámetros psicométricos de una prueba de conciencia morfológica derivacional. Participaron 111 estudiantes de 4º año de Enseñanza Primaria, respondiendo pruebas de conciencia morfológica, conciencia fonológica y vocabulario. En la prueba de conciencia morfológica se encontraron índices fidedignos adecuados con relación a la consistencia interna (coeficientes Alfa de 0,79) y estabilidad temporal (correlaciones test - retest de 0,81). La evidencia de validez fue verificada con base en variables externas, una vez que fueron encontradas correlaciones moderadas y significativas de la prueba de conciencia morfológica con pruebas de conciencia fonológica y vocabulario. Se recomiendan nuevos estudios, con participantes diversificados, incluyendo comparaciones con otras variables potencialmente relevantes, lo cual proporcionará nuevas evidencias de validez y precisión de la prueba de conciencia morfológica presentada.

Palabras clave:
conciencia morfológica; derivación; habilidades metalingüísticas

Introdução

A partir das últimas décadas, houve um aumento da quantidade de pesquisas que demonstram a existência de relações entre o desenvolvimento das habilidades metalinguísticas e a aprendizagem da linguagem escrita (Barrera & Maluf, 2003; Capovilla & Capovilla, 2000; Guimarães, 2003; Guimarães & Mota, 2016; Nagy, Berninger, & Abbott, 2006; Plaza & Cohen, 2003, 2004; Rego & Bryant, 1993; Roazzi & Dowker, 1989). Na realidade, a aprendizagem da escrita em um sistema alfabético, cuja essência é utilizar símbolos gráficos para representar os sons da fala, pressupõe que a linguagem verbal oral, utilizada de forma natural pelos falantes nas situações comunicativas cotidianas, passe a ser objeto de reflexão deliberada quando registrada graficamente. Por isso é que o desenvolvimento das habilidades metalinguísticas repercute positivamente na aprendizagem da leitura e da escrita. Destaca-se, entretanto, que a metalinguagem é um construto multidimensional que engloba uma série de habilidades específicas que se reportam à reflexão sobre a linguagem, entre elas as habilidades metafonológicas (consciência fonológica) e as habilidades metamorfológicas (consciência morfológica) (Gombert, 1992).

Entende-se a consciência morfológica como a capacidade de refletir e manipular a estrutura morfológica da língua ou, ainda, a habilidade de refletir sobre as unidades de sentido, os morfemas (Nunes & Bryant, 2006). Esses podem ser derivacionais - pedra/pedreiro - e flexionais - casa/casas. Considerados blocos de construção nos processos de formação de palavras, além de serem unidades de sentido, são também elementos produtivos (Kehdi, 2007). Por exemplo, tomando-se a raiz estud- é possível produzir o seguinte grupo lexical: estudar, estudo, estudante, estudantil, estudável, reestudar.

A morfologia, uma das subáreas da linguística que engloba o estudo sobre os morfemas, dispõe que um dos tipos construtivos de formação de palavras é a derivação. Essa pode ser observada de seis diferentes maneiras: sufixal (ex.: programar -verbo / programador - substantivo), prefixal (ex.: sobreviver, conviver, contradizer ), parassintética (ex.: abençoar - bênção; entristecer - triste ), conversiva (ex.: querer, ser, caminhar, culpado, brilhante), siglada (ex.: CPF, PIS, INSS, MEC) etruncada (ex.: cerva -cerveja, cine - cinema, refri - refrigerante).

No processo de flexão das palavras, considera-se a alteração gráfica (adição de um sufixo) e situação de concordância, sem que haja alteração de classe gramatical a partir dessa situação de inserção. Isso indica que esse não é um fenômeno estritamente morfológico, pois se liga também à sintaxe (Rocha, 2008). A regularidade, juntamente com a sistemática de concordância e da não opcionalidade, determina uma flexão.

A importância da consciência morfológica para o aprendizado da linguagem escrita tem sido destacada em diversos estudos, que demostram o papel das habilidades morfológicas no reconhecimento de palavras escritas (Carlisle, 1995, 2000; Carlisle & Fleming, 2003; Freitas Junior & Mota, 2015; Guimarães & Mota, 2016) e também no desempenho ortográfico (Barbosa, Guimarães, & Rosa, 2015; Cardoso-Martins & Gonçalves, 2017; Carlisle, 1996; Deacon & Bryant, 2005; Nunes, Bindman, & Bryant, 1997; Guimarães, 2013). Além disso, existe suporte empírico mostrando que a consciência morfológica contribui para a leitura de palavras e desempenho ortográfico de forma indepentente, ou seja, sua contribuição é distinta da contribuição da consciência fonológica (Bowers, Kirby, & Deacon, 2010; Deacon, Kirby, & Bell-Casselman, 2009; Guimarães & Mota, 2016).

Um importante estudo que apresentou evidências empíricas analisando a influência de conhecimentos relativos à morfologia derivacional e flexional sobre o desempenho em escrita foi o realizado por Deacon e Bryant (2005). No teste aplicado aos participantes, estes deviam escrever palavras com um morfema e palavras com dois morfemas (metade dos vocábulos de dois morfemas era composta por palavras derivadas, e a outra metade, por palavras flexionadas). Os resultados do estudo mostraram que os participantes escreviam melhor as palavras cujos sons finais eram morfemas. Entretanto, a análise dos resultados mostrou que o maior número de acertos era nas palavras flexionadas, o que levou os autores a concluírem que entre seus participantes (crianças falantes do inglês) é mais fácil entender as relações morfêmicas nas flexões do que nas derivações.

Estudos realizados no Brasil também apresentam evidências da relação entre as habilidades morfossintáticas e a ortografia. Um desses estudos foi realizado por Meireles e Correa (2005). Teve como participantes alunos de 2.ª e 4.ª séries¹ que foram submetidos a um ditado de palavras de baixa frequência, que continham dificuldades ortográficas devido a regras ortográficas (sufixos -esa, -oso e -eza) e regras contextuais (usos do r e rr e da nasalização antes de consoantes). Os resultados mostraram que com o aumento da escolaridade, os estudantes apresentam um desenvolvimento na aplicação de regras morfossintáticas na escrita. Em outro estudo, realizado por Queiroga, Lins e Pereira (2006), também com estudantes da 2.ª e 4.ª séries, foi avaliada a relação entre o desempenho dos participantes em uma prova de ditado de palavras e pseudopalavras e o desempenho em uma tarefa de analogia gramatical. Os autores verificaram que, após controlar a variável idade, o conhecimento morfossintático foi preditor do desempenho ortográfico na escrita de palavras e pseudopalavras. Contudo, não se identificou nas publicações dos trabalhos qualquer referência à padronização da tarefa de analogia gramatical, instrumento que avaliou a consciência morfológica.

Em 2008, Mota, Anibal e Lima, publicaram uma pesquisa realizada com estudantes da 1.ª e 2.ª séries do Ensino Fundamental², em que investigaram se o processamento derivacional contribui para a leitura e a escrita do português de forma independente da consciência fonológica. Seus resultados mostram que, de modo geral, há sim uma contribuição independente da morfologia derivacional para o desempenho em leitura e escrita. Entre os instrumentos de coleta de dados empregados na pesquisa estavam duas tarefas de decisão morfossemântica, uma tarefa de associação morfossemântica e uma tarefa de analogia gramatical. Destaca-se, entretanto, que, neste estudo, também não se identificou qualquer referência à padronização das tarefas utilizadas.

A importância dos conhecimentos morfológicos é salientada também por Guimarães (2013), ao discutir o expressivo número de participantes do seu estudo que segmentou inadequadamente a palavra “enfarinhado”. A autora sugere que se os estudantes detivessem o conhecimento de que em várias palavras os prefixos “em-, en-” têm o sentido de “passagem para um estado ou forma”, possivelmente, teriam escrito essa palavra de forma ortograficamente correta. Chama atenção, nesse estudo, o fato de que a autora utiliza cinco provas de avaliação da consciência morfológica (quatro relativas à morfologia derivacional, entre elas uma de analogia gramatical, e apenas uma abordando a morfologia flexional). Aparentemente a prova de analogia gramatical não é igual à utilizada pelos dois estudos anteriormente apresentados (Queiroga, Lins, & Pereira, 2006; Mota, Anibal, & Lima, 2008), apenas uma tarefa (a de decisão morfossemântica) parece ser igual a uma das tarefas utilizadas por Mota, Anibal e Lima (2008). Entretanto, mais uma vez, não se identificou no estudo publicado qualquer menção à padronização das tarefas utilizadas.

Assim, é possível dizer que a avaliação da consciência morfológica em português encontra algumas dificuldades, tendo em vista a escassez, a pouca socialização (divulgação) e a falta de padronização das tarefas/provas utilizadas pelos estudos na área. Correa (2005) realizou uma revisão crítica a respeito de tarefas que avaliam o conhecimento morfossintático e concluiu que grande parte das tarefas utilizadas nos estudos examinados não era de natureza exclusivamente morfossintática, tendo em vista que muitas delas poderiam ser resolvidas se o examinando utilizasse outras competências de natureza linguística.

Além disso, a pesquisadora ressalta limitações nas tarefas examinadas, pois avalia que algumas delas podem ser realizadas sem que a criança tenha controle metacognitivo da atividade. Correa (2005) acrescenta que, na data de publicação de seu artigo, não havia um grande volume de pesquisas envolvendo a consciência morfossintática, o que pode ser interpretado como uma necessidade de pesquisas que possam melhor explicar essas habilidades metalinguísticas, o que inclui, consequentemente, a necessidade de provas/tarefas que possam mensurá-las.

A carência de provas para avaliar a consciência morfológica foi apontada também por Viana, Silva, Santos, Vale e Ribeiro (2014) que, com o objetivo de auxiliar no preenchimento dessa lacuna, publicaram um estudo que analisou as qualidades psicométricas de uma prova de consciência morfológica, focando nos morfemas derivacionais. Além dessa publicação, destaca-se também o artigo de Mota, Santos e Guimarães (2014), em que apresentam duas tarefas de analogia gramatical, envolvendo morfemas derivacionais e flexionais.

Assim, é possível verificar que já existe, entre os pesquisadores da área, um esforço em fornecer adequados instrumentos para avaliar a consciência morfológica. Entretanto, nos instrumentos existentes os itens das provas se constituem de palavras isoladas, ou seja, os conhecimentos relacionados à morfologia derivacional e flexional não são avaliados no contexto de frases.

Neste artigo, relatam-se os resultados do estudo que teve como objetivo elaborar e analisar os parâmetros psicométricos de uma prova de consciência morfológica derivacional. Destaca-se que a prova foi constituída usando-se como referência a tarefa publicada por Carlisle (2000) e, por isso, da mesma forma que a prova original, em inglês, não contém itens relativos às habilidades morfológicas flexionais.

Método

Participantes

Os participantes foram 111 estudantes, sendo 55 meninos e 56 meninas, com idade variando de 8 anos e 8 meses a 10 anos e 1 mês (média de 9 anos e 1 mês e desvio-padrão de 0,79 meses), de quatro turmas do 4.° ano³ do Ensino Fundamental de 9 anos, matriculados em uma escola da Rede Municipal de Ensino de Curitiba. A escolha do ano escolar em que a pesquisa seria desenvolvida deu-se a partir da experiência profissional dos pesquisadores, que avaliaram que nesse nível de escolarização os estudantes já estariam utilizando regras morfológicas como auxílio para a escrita ortograficamente correta, mas que eles ainda não possuíam um domínio pleno dessas regras. Importante ressaltar que a escolha de trabalhar com estudantes do 4.º ano é também respaldada pelos resultados do estudo de Cardoso-Martins e Gonçalves (2017), no qual as autoras, com base em seus dados, concluíram que, somente após o 4.º ano do Ensino Fundamental, os estudantes parecem utilizar conhecimentos morfossintáticos para escrever adequadamente palavras que contêm “correspondências fonema/grafema inconsistentes” (p. 52).

Instrumentos

1. Elaboração da Prova de Consciência Morfológica Derivacional - derivação e decomposição em contexto

Essa prova foi desenvolvida, usando-se como referência as tarefas utilizadas no estudo de Carlisle (2000) com crianças falantes do inglês. Para resolução da parte referente à derivação o estudante deve ser capaz de produzir uma palavra derivada, dada sua forma primitiva. Já na parte de decomposição, exige-se que o respondente identifique o sufixo de palavras derivadas e o subtraia, apresentando a forma primitiva da palavra.

No teste original de Carlisle (2000), foram usadas vinte e oito frases para o teste de derivação e vinte e oito para o teste de decomposição. Destaca-se, entretanto, que os itens da prova elaborada em português não são uma tradução direta dos itens apresentados em inglês, tendo em vista que adaptações de provas originalmente construídas em outras línguas requerem modificações para que possam se adequar “às características linguísticas do português e ao nosso contexto social” (Mota, 2012, p. 81).

Inicialmente, as duas partes da prova constituíam-se de duas provas independentes, contemplando dezesseis itens para cada uma das provas (derivação e decomposição), além de três itens de treino para cada instrumento. É importante destacar que, após a aplicação das duas provas e análise dos dados obtidos, os itens foram reunidos em uma única prova, com duas partes, ficando a parte de derivação com 16 itens e a de decomposição com 14 itens, conforme será explicado na apresentação e discussão dos resultados.

Os itens abordados na prova de derivação abrangem quatro tipos de relação entre as palavras base - apresentadas isoladamente - e as palavras derivadas - que devem ser apresentadas pelos examinandos no contexto de uma frase. No primeiro conjunto de itens é apresentado um substantivo e o estudante deve produzir outro substantivo, sufixos requeridos: -ada; -eiro (quatro itens). No segundo conjunto, é apresentado um adjetivo e o estudante deve produzir um substantivo, pelo acréscimo dos seguintes sufixos: -dão; -dade (quatro itens). No terceiro conjunto, é apresentado um verbo e o estudante deve produzir um substantivo, pelo acréscimo dos seguintes sufixos: -dor; -nte (quatro itens). No último conjunto, é dado um substantivo e o estudante deve formar um adjetivo, sufixos requeridos: -oso; -ânea (quatro itens).

De outra parte, os itens que compõem a prova de decomposição também incluem quatro tipos de relação entre as palavras derivadas - apresentadas isoladamente - e as palavras base - que devem ser apresentadas pelos examinandos no contexto de uma frase. No primeiro conjunto de itens, é apresentado um substantivo e o estudante deve produzir outro substantivo, pela extração dos seguintes sufixos: -ada; -eira; -eiro; -zal (três itens). No segundo conjunto, é apresentado um adjetivo e o estudante deve produzir um substantivo, pela extração dos seguintes sufixos: -oso; -ado (quatro itens). No terceiro conjunto, é dado um substantivo e o estudante deve formar um verbo, pela extração dos sufixos: -dor; -nte (quatro itens). No último conjunto, é apresentado um substantivo e o estudante deve produzir um adjetivo, pela extração dos seguintes sufixos: -dade; -eza; -idão (três itens).

2. Prova de Avaliação da Consciência Fonológica

Para avaliar a consciência fonológica, utilizou-se o CONFIAS - Consciência Fonológica Instrumento de Avaliação Sequencial (Moojen et al., 2007). O Confias é um instrumento original desenvolvido por uma equipe interdisciplinar de fonoaudiólogas, linguistas, psicopedagogas e psicólogas e se propõe a avaliar a consciência fonológica ao nível do silábico e fonêmico em crianças a partir de 4 anos.

Para essa investigação, foram utilizados apenas os sete subtestes ao nível do fonema: produção de palavra que inicia com um dado som; identificação de fonema inicial; identificação de fonema final; exclusão; síntese; segmentação e transposição. Ao todo são trinta itens e é atribuído um ponto para cada acerto nas tarefas solicitadas de manipulação dos fonemas. Embora o manual do instrumento careça de informações acerca de suas propriedades psicométricas, o CONFIAS é amplamente utilizado para avalição da consciência fonológica nos âmbitos clínico e acadêmico, conforme se pode verificar em diversas publicações (Campos, Pinheiro, & Guimarães, 2012; Cardoso, Silva, & Pereira, 2013; Novaes, Mishima, & Santos, 2013; Rizzon, Chiechelski, & Gomes, 2009).

3. Avaliação do Vocabulário

A fim de realizar a aferição do vocabulário dos participantes foi utilizado o subteste de vocabulário da terceira edição da Escala de Inteligência Wechsler (Wechsler, 2002). O instrumento pode ser aplicado entre crianças e adolescentes de 6 a 16 anos. Solicita-se ao participante definir oralmente cada palavra lida em voz alta pelo pesquisador e atribui-se uma pontuação de 0 a 2 para cada item: 0 pontos para definições incorretas ou vagas, 1 ponto para definições que apresentem pobreza de conteúdo e 2 pontos para definições que indiquem um bom entendimento da palavra, conforme modelos e exemplos apresentados no manual do instrumento. São ao todo 30 itens e suspende-se a aplicação após 6 erros consecutivos.

Sobre as propriedades psicométricas do instrumento, a fidedignidade foi avaliada a partir do método lambda 2 de Guttman e encontrou um coeficiente de 0,79. Em relação à validade, o instrumento foi investigado utilizando-se uma validação convergente-discriminante e uma validade de critério, com base na relação com variáveis externas, sendo que foram encontrados índices adequados em ambas as análises.

Procedimentos

Em primeiro lugar, salientam-se os procedimentos éticos em relação ao estudo. Nesse sentido, antes de iniciar a coleta de dados ele foi submetido ao Comitê de Ética da Universidade Federal do Paraná - Setor de Ciências da Saúde, obtendo parecer de acordo para a sua realização e o seguinte registro CAAE: 0196.0.091.000-11. Após obter a concordância da escola onde seria realizado o estudo, obtida junto às Equipes Pedagógica e Administrativa, foi encaminhado o termo de Consentimento Livre e Esclarecido (TCLE) aos responsáveis pelos alunos de todos os 4.º anos e, apenas após o retorno desse documento, a coleta de dados foi iniciada. É importante salientar que 122 alunos receberam os TCLEs, porém, desse total, nove não trouxeram o consentimento dos pais ou responsáveis e 2 faltaram no dia de aplicação da prova e por isso foram excluídos da amostra.

No que diz respeito aos procedimentos de aplicação dos instrumentos, destaca-se que, com exceção da avaliação de vocabulário, as provas foram aplicadas coletivamente em uma sala reservada, que foi indicada pela direção da escola. Os participantes foram divididos em oito grupos (quatro do turno da manhã e quatro do turno da tarde) e cada estudante registrou suas respostas em um protocolo individual.

A sessão de aplicação da Prova de Consciência Fonológica e da Consciência Morfológica Derivacional ocorreu em um único dia e durou aproximadamente 30 minutos, considerando-se o tempo despendido na distribuição do material e explicação das provas. As avaliações do vocabulário foram realizadas individualmente logo após a sessão de aplicação das outras provas.

Um mês e meio depois da aplicação das provas foi feita uma reaplicação (reteste) da prova de Consciência Morfológica Derivacional em uma das turmas, selecionada aleatoriamente. Essa subamostra foi composta por 28 alunos (11 meninos e 17 meninas). Salienta-se que não foi possível deixar um intervalo maior entre as aplicações, devido ao final do ano letivo, ou seja, no ano seguinte, a possibilidade de testar todos os participantes de uma mesma turma era menor. Essa coleta de dados advindos da reaplicação do instrumento - que se pode caracterizar como longitudinal de curto prazo - teve como objetivo obter elementos para verificação da estabilidade temporal da prova de Consciência Morfológica Derivacional.

Por último, destaca-se que todas as sessões coletivas de teste realizadas neste estudo foram conduzidas pela mesma examinadora. Com isso, pretendeu-se que a variável “aplicador” não interferisse no resultado do processo.

Análise de Dados

Após o cálculo da estatística descritiva com os fins de caracterização da amostra, foi calculado o coeficiente alfa de Cronbach. Para verificar a estabilidade temporal, utilizou-se o método teste-reteste com a correlação de Spearman, visto que a subamostra utilizada para esta análise apresentou uma distribuição diferente da normal segundo o teste Kolmogorv-Smirnof (K-S = 0,144; p < 0,001).

Além disso, foram realizadas análises das evidências de validade com base em variáveis externas utilizando-se da correlação de Pearson. Todos os cálculos foram realizados com o software IBM SPSS Statistics versão 20.0. O nível de significância adotado foi de 5%.

Resultados

Inicialmente foi analisada a consistência interna da Prova de Consciência Morfológica Derivacional, calculando-se o coeficiente alfa de Cronbach dos 32 itens da prova. Nessa versão inicial alcançou um coeficiente de 0,74. Adotou-se o procedimento sugerido por Field (2009) de que, no caso de alguns itens causarem um substancial decréscimo em alfa, considerar a possibilidade de retirá-los, tornando possível que o coeficiente possa atingir por volta de 0,8. Foi realizado um ajuste eliminando dois itens que pouco contribuíram para a consistência interna e a versão ajustada com 30 itens apresentou então um coeficiente alfa de 0,79. A consistência interna pode assim ser classificada como aceitável, adotando-se a classificação sugerida por George e Mallery (2002).

Cabe demonstrar que os dois itens extraídos da Prova de Consciência Morfológica Derivacional caracterizavam-se pela decomposição de palavras. As duas palavras apresentadas eram da classe dos substantivos, sendo uma terminada em -ada e a outra em -dade. Nesses itens, a produção solicitada ao estudante era de um substantivo, no primeiro item e um adjetivo, no segundo. A exclusão não desfavoreceu o objetivo da prova, visto que ficaram outros itens com as mesmas características das consignas eliminadas.

A estabilidade temporal foi avaliada por meio do método teste-reteste e para isto, utilizou-se uma subamostra de 28 participantes. Ao se calcular o coeficiente de correlação de postos de Spearman para a Prova de Consciência Morfológica Derivacional entre os dois momentos distintos de aplicação, encontrou-se uma correlação significativa e forte (ρ = 0,81; p < 0,001). De acordo com Pasquali (2013), em análises de teste-reteste, consideram-se razoáveis os escores de correlação entre os tempos acima de 0,80 e inaceitáveis escores abaixo de 0,70.

Além da fidedignidade, buscaram-se evidências de validade da prova de Consciência Morfológica Derivacional, comparando-a com instrumentos que avaliam constructos relacionados a consciência fonológica (CONFIAS) e o Vocabulário (subteste do WISC). A prova de Consciência Morfológica Derivacional encontrou correlações significativas, positivas e moderadas com o CONFIAS (r = 0,589; p < 0,001) e com o Vocabulário (r = 0,463; p < 0,001).

Discussão

Sintetizando vários elementos apresentados na introdução, pode-se dizer que as habilidades metalinguísticas, notadamente a consciência fonológica e a morfológica exercem papel fundamental na aprendizagem da leitura e da escrita (ortografia). Ademais existe considerável suporte empírico sustentando que a consciência morfológica contribui para a leitura de palavras e desempenho ortográfico de forma indepentente, ou seja, sua contribuição é distinta daquela propiciada pela consciência fonológica (Freitas Junior & Mota, 2015; Guimarães & Mota, 2016). Esse suporte é oriundo de diversos estudos que analisaram a relação entre o desempenho de estudantes em tarefas de avaliação das habilidades morfológicas e o desempenho em leitura e/ou ortografia (Barbosa, Guimarães, & Rosa, 2015; Carlisle, 1995, 1996, 2000; Carlisle & Fleming 2003; Deacon & Bryant, 2005; Deacon, Kirby, & Casselman-Bell, 2009; Freitas Junior & Mota, 2015; Mota, Anibal, & Lima, 2008; Nagy, Berninger, & Abbot, 2006). Contudo, embora esses estudos utilizem tarefas de avaliação da consciência morfológica, a maioria das publicações revisadas não faz qualquer referência à padronização das tarefas utilizadas.

Essa lacuna em relação a existência de adequados instrumentos de avaliação da consciência morfológica também foi identificada por outros autores (Mota, Santos, & Guimarães, 2014; Viana et al., 2014), que inclusive já publicaram provas de avaliação das habilidades morfológicas e incluíram nas suas publicações a análise das qualidades psicométricas das provas. Entretanto, nas provas mencionadas os itens constituem-se de palavras isoladas, ou seja, os conhecimentos relacionados à morfologia derivacional e flexional não são avaliados no contexto de frases. Portanto, o objetivo deste estudo foi elaborar e analisar os parâmetros psicométricos de uma prova de consciência morfológica derivacional (derivação e decomposição) em contexto.

Dessa forma, inicialmente se buscou avaliar a precisão do instrumento. A análise da fidedignidade mostrou que, após passar por ajustes em que foram suprimidos os itens que não colaboravam com a consistência, a prova apresenta uma adequada consistência interna. As características dos itens suprimidos são encontradas em outros itens do instrumento, de modo que a eliminação não prejudicou sua congruência teórica. Assim, é possível afirmar que as Prova de Consciência Morfológica Derivacional apresenta robustez neste aspecto de sua confiabilidade. A estabilidade temporal também pode ser verificada ao se analisar os resultados obtidos na aplicação da prova em dois momentos distintos e o coeficiente encontrado indica que o instrumento apresenta adequada fidedignidade a partir desta característica temporal.

A evidência de validade foi verificada com base na relação entre a prova de consciência morfológica derivacional e um instrumento relacionado, ou seja, a prova de consciência fonológica (CONFIAS). O resultado da análise envolvendo as duas provas mostrou uma correlação significativa e moderada entre elas. Tal achado apresenta índices ainda maiores de validade do que os encontrados por Mota, Santos e Guimarães (2014), que também correlacionaram dados obtidos em provas de consciência morfológica flexional e derivacional com os dados obtidos na Prova de Consciência Fonológica (RAFC).

Embora sejam construtos diferentes, a consciência morfológica e a consciência fonológica guardam relações entre si, na medida em que os sons relativos às sequências de letras que constituem padrões mórficos formam uma espécie de amálgama entre fonologia e morfologia que auxilia tanto no reconhecimento de palavras como na sua interpretação. Além disso, as ortografias “irregulares” (como o Inglês e, em certa medida, o Português) não são totalmente transparentes ao nível grafema-fonema, porque não são regidas apenas pela fonologia, mas também pela morfologia (Seymour, Aro, & Erskine, 2003).

Assim, é possível dizer que um leitor hábil é capaz de associar sequências de letras com seus sons, ou seja, realiza a leitura em “pedaços”, os quais incluem os morfemas (raízes das palavras e afixos), aliterações⁴, rimas, palavras monossilábicas e sílabas frequentes em palavras polissilábicas. Por exemplo, ao formar uma unidade consolidada (automatizar) a sequência de letras correspondente ao sufixo -izar (devido à experiência leitora de palavras como: anarquizar, capitalizar, catequizar, exorcizar, realizar), o leitor pode identificar essa sequência de letras como um bloco, sem ter que decodificar fonologicamente as letras constituintes. Deste modo, a leitura de uma palavra morfologicamente complexa como “desrespeitosamente” será facilitada se os quatro segmentos des/respeit/osa/mente forem reconhecidos como unidades, em lugar da laboriosa conversão das 17 unidades grafema-fonema (Basílio, 2004; Rocha, 2008).

Ao focalizar os resultados das análises de correlação entre a prova de Consciência Morfológica Derivacional e a Prova de Vocabulário, encontrou-se uma correlação moderada. Estes resultados ratificam a função semântico-lexical dos morfemas derivacionais e justificam a estratégia didática de ensinar o vocabulário novo por meio da análise da raiz e/ou afixos das palavras que os leitores desconhecem. Além disso, se o conhecimento de vocabulário é reforçado pela consciência morfológica, ou seja, pelo conhecimento explícito das regras de morfologia e de formação de palavras (Anglin, Miller, & Wakefield, 1993), esse conhecimento é combustível tanto para o aumento do próprio vocabulário como para o aumento do desempenho na leitura e na escrita.

Diante do exposto, é possível propor a publicação da prova de Consciência Morfológica Derivacional apresentada, considerando inclusive que esta é uma prova de fácil aplicação, na medida em que pode ser aplicada de forma individual ou coletiva e essa dinâmica não requer um treinamento específico. Ademais, esta prova de Consciência Morfológica pode ser utilizada como instrumento de avaliação das habilidades morfológicas tanto no contexto escolar quanto clínico, bem como no contexto de investigação científica. Em todos esses contextos pode subsidiar processos avaliativos e interventivos, uma vez que, assim como as habilidades fonológicas, as habilidades morfológicas interferem no domínio da leitura e da ortografia, tendo em vista que a escrita combina o princípio fonográfico (representado pelas correspondências grafemas-fonemas) e o princípio semiográfico (representado pelas correspondências entre unidades gráficas e unidades de significação) (Marec-Breton & Gombert, 2004).

Enfim, salienta-se, mais uma vez, a importância desta e outras provas de avaliação das habilidades morfológicas porque elas constituem-se de etapa anterior (etapa diagnóstica) de qualquer processo de instrução morfológica, cuja pertinência é defendida por Daigle, Berthiaume, Ruberto e Wolter (2018). Os autores propõem que no processo de ensino da leitura e da escrita, além das instruções fonológicas sejam incluídas também instruções morfológicas, tendo em vista a abundância de evidências empíricas em favor dessas instruções. Para sustentar seu argumento, Daigle et al. (2018, p. 247) destacam um conjunto de estudos que permitiram extrair, entre outras, a seguinte conclusão: quando se efetiva uma intervenção pedagógica direcionada ao processamento morfológico de modo explícito e sistemático e os alunos são sistematicamente ensinados a, de maneira consciente, manipular os morfemas para criar e mudar significados, isso tem um impacto positivo nas habilidades de linguagem oral, leitura e escrita.

Considerações Finais

A construção e validação de instrumentos para avaliar o nível das habilidades morfológicas possui relevância na área psicométrica brasileira. Como já foi discutido, essas habilidades têm um papel importante na aprendizagem inicial e aperfeiçoamento da linguagem escrita e, por isso, identificar o nível dos conhecimentos morfológicos dos estudantes possibilita aos professores avaliar o quanto precisam investir no ensino dessas habilidades. Assim, este estudo tem importante papel neste cenário, visto que buscou apresentar a validação de uma prova de avaliação da Consciência Morfológica Derivacional em contexto, trazendo contribuições para o campo educacional, clínico e de investigação científica.

De qualquer modo, os dados deste estudo não mostram possíveis relações entre o aumento da escolarização e das habilidades morfológicas dos estudantes, uma vez que os participantes eram todos alunos do 4.º ano do Ensino Fundamental. Assim, destaca-se inicialmente a necessidade de outros estudos, em que se apliquem esse mesmo instrumento em alunos de 3.º e 5.º anos, por exemplo, para que se possa explorar como e quando são adquiridos os conteúdos presentes nessa prova, ou seja, estudos que possam identificar níveis de progressão do processamento das informações morfossintáticas. Além disso, sugere-se que os novos estudos venham a considerar/controlar a variante linguística dos estudantes.

Uma ressalva na validação dessa prova diz respeito à ausência de aplicação de outras provas que também avaliassem as habilidades morfológicas. Nesse sentido, sugerem-se também estudos que realizem aplicação dessa e outras provas de medida do mesmo construto para que possam ser estabelecidas correlações entre os dados obtidos.

Entretanto, mesmo com alguma ressalva, a prova apresentada nesse estudo revela-se como efetiva possibilidade de avaliação das habilidades morfológicas. Isto porque, verificou-se evidências que dá ao instrumento o status de medida específica capaz de mensurar sensivelmente o nível das habilidades morfológicas derivacionais.

Referências

• Anglin, J., Miller, G., & Wakefield, P. (1993). Vocabulary Development: A Morphological Analysis. Monographs of the Society for Research in Child Development, 58(10), I-186. doi:10.2307/1166112
  » https://doi.org/10.2307/1166112
• Barbosa, V. R., Guimarães, S. R. K., & Rosa, J. (2015). O impacto do ensino de regras morfológicas na escrita. Psico-USF, 20, 309-321. doi: 10.1590/1413-82712015200211
  » https://doi.org/10.1590/1413-82712015200211
• Barrera, S. D., & Maluf, M. R. (2003). Consciência metalinguística e alfabetização: Um estudo com crianças da primeira série do ensino fundamental. Psicologia: reflexão e crítica, 16(3), 491- 502. doi: 10.1590/S0102-79722003000300008
  » https://doi.org/10.1590/S0102-79722003000300008
• Basílio, M. (2004). Formação e classes de palavras no português do Brasil. São Paulo: Contexto.
• Bowers, P. N., Kirby, J. R., & Deacon, S. H. (2010). The effects of morphological instruction on literacy skills: A systematic review of the literature. Review of Educational Research, 80(2) 144-179. doi: 10.3102/0034654309359353
  » https://doi.org/10.3102/0034654309359353
• Câmara Jr., J. M. (1970). Estrutura da língua portuguesa. Petrópolis: Vozes.
• Campos, A. M. G., Pinheiro, L. R., & Guimarães, S. R. K. (2012). A consciência fonológica, a consciência lexical e o padrão de leitura de alunos com dislexia do desenvolvimento. Revista Psicopedagogia, 29(89), 194-207.
• Capovilla, A. G. S., & Capovilla, F. C. (2000). Efeitos do treino de consciência fonológica em crianças com baixo nível socioeconômico. Psicologia: reflexão e crítica, 13(1), 7-24. doi: 10.1590/S0102-79722000000100003
  » https://doi.org/10.1590/S0102-79722000000100003
• Cardoso, A. M. D. S., Silva, M. M. da, & Pereira, M. M. D. B. (2013). Consciência fonológica e a memória de trabalho de crianças com e sem dificuldades na alfabetização. CoDAS, 25(2), 110-114. doi: 10.1590/S2317-17822013000200004
  » https://doi.org/10.1590/S2317-17822013000200004
• Cardoso-Martins, C., & Gonçalves, D. T. (2017). “Funil” ou “Funiu”?: um estudo exploratório sobre o desenvolvimento do conhecimento de padrões ortográficos de natureza morfossintática em português brasileiro. Da Investigação às Práticas, 7(3), 41-60. doi: 10.25757/invep.v7i3.138
  » https://doi.org/10.25757/invep.v7i3.138
• Carlisle, J. F. (2000). Awareness of the structure and meaning of morphologically complex words: Impact on reading. Reading and Writing: An interdisciplinary journal, 12, 169-190. doi: 10.1023/ A:1008131926604
  » https://doi.org/10.1023/ A:1008131926604
• Carlisle, J. F. (1996). An exploratory study of morphological errors in children’s written stories. Reading and Writing: An Interdisciplinary Journal, 8(1), 61-72. doi: 10.1007/BF00423925
  » https://doi.org/10.1007/BF00423925
• Carlisle, J. F. (1995). Morphological Awareness and Early Reading Achievement. Em L. B. Feldman (Eds.), Morphological aspects of language processing (pp. 189-209). Hillsdale, NJ: Lawrence Erlbaum Associates.
• Carlisle, J. F., & Fleming, J. (2003) Lexical processing of morphologically complex words in elementary years. Scientific Studies of Reading, 7(3), 239-253. doi: 10.1207/S1532799XSSR0703_3
  » https://doi.org/10.1207/S1532799XSSR0703_3
• Correa, J. (2005). A Avaliação da Consciência Morfossintática na Criança. Psicologia: Reflexão e Crítica, 18(1), 91-97. doi: 10.1590/S0102-79722005000100012
  » https://doi.org/10.1590/S0102-79722005000100012
• Daigle, D., Berthiaume, R., Ruberto, N., & Wolter, J. A. (2018). Classroom Practices in Morphological Instruction. Em R. Berthiaume, D. Daigle & Desrochers (Eds.), Morphological Processing and Literacy Development: Current Issues and Research (pp. 244-268). New York: Routledge.
• Deacon, S. H., & Bryant, P. (2005). What young children do and do not know about the spelling of inflections and derivations. Developmental Science, 8(6), 583-594. doi: 10.1111/j.1467-7687.2005.00449.x
  » https://doi.org/10.1111/j.1467-7687.2005.00449.x
• Deacon, S. H., Kirby, J. R., & Casselman-Bell, M. (2009). How robust is the contribution of morphological awareness to general spelling outcomes? Reading Psychology, 30, 301-318. doi: 10.1080/02702710802412057
  » https://doi.org/10.1080/02702710802412057
• Field, A. (2009). Descobrindo a estatística usando o SPSS. Porto Alegre: Bookman, Artmed.
• Freitas Junior, P. V., & Mota, M. M. P. E. (2015). So, Morphological Awareness Contributes to Reading in Brazilian Portuguese? Psico-USF, 20(3), 471-479. doi: 10.1590/1413-82712015200309
  » https://doi.org/10.1590/1413-82712015200309
• George, D., & Mallery, P. (2002). SPSS for Windows step by step: A Simple guide and reference 11.0 update (4.a ed.). Boston: Allyn & Bacon.
• Gombert, J. E. (1992). Metalinguistic development. London: Harvester Wheatsheaf.
• Goswami, U., & Bryant, P. (1997). Phonological skills and learning to read (4.ª ed.). Hove, UK: Psychology Press Ltd.
• Guimarães, S. R. K. (2003). Dificuldades no desenvolvimento da lectoescrita: O papel das habilidades metalinguísticas. Psicologia: Teoria e Pesquisa, 19(1), 33-45. doi: 10.1590/S0102-37722002000300003
  » https://doi.org/10.1590/S0102-37722002000300003
• Guimarães, S. R. K. (2013). O papel da consciência morfossintática na segmentação lexical convencional. Paidéia, 23(55), 225-233. doi: 10.1590/1982-43272355201310
  » https://doi.org/10.1590/1982-43272355201310
• Guimarães, S. B., & Mota, M. M. P. E. (2016). Qual a contribuição da consciência morfológica das crianças na precisão de leitura de palavras e compreensão de texto no português? Estudos de Psicologia, 21(3), 239-248. doi: 10.5935/1678-4669.20160023
  » https://doi.org/10.5935/1678-4669.20160023
• Kehdi, V. (2007). Morfemas do português (7.ª ed.). São Paulo: Ática.
• Marec-Breton, N., & Gombert, J. E. (2004). A dimensão morfológica nos principais modelos de aprendizagem da leitura. Em M. R. Maluf (Eds.), Psicologia educacional: Questões contemporâneas (pp. 105-121). São Paulo: Casa do Psicólogo.
• Meireles, E. S., & Correa, J. (2005). Regras contextuais e morfossintáticas na aquisição da ortografia da língua portuguesa por criança. Psicologia: Teoria e Pesquisa, 21(1), 77-84. doi: 10.1590/S0102-37722005000100011
  » https://doi.org/10.1590/S0102-37722005000100011
• Moojen, S., Lamprecht, R., Santos, R. M., Freitas, G. M., Brodacz, R., Siqueira, M., Costa, A. C., & Guarda, E. (2007). CONFIAS - Consciência fonológica: instrumento de avaliação sequencial (2.ª ed.). São Paulo: Casa do Psicólogo.
• Mota, M. M. P. E. (2012). Considerações metodológicas e conceituais sobre a construção de instrumentos de avaliação das habilidades metalinguísticas. Avaliação Psicológica, 11(1), 77-82. Recuperado em 01 de outubro de 2018, de Recuperado em 01 de outubro de 2018, de http://pepsic.bvsalud.org/scielo.php?script=sci_arttext&pid=S1677-04712012000100008&lng=pt&tlng=pt
  » http://pepsic.bvsalud.org/scielo.php?script=sci_arttext&pid=S1677-04712012000100008&lng=pt&tlng=pt
• Mota, M. M. P. E., Santos, A. A. A., & Guimarães, S. B. (2014). Evidências de validade e consistência interna de tarefas de analogia gramatical. Estudos de Psicologia, 19(4), 250-257. doi: 10.1590/S1413-294X2014000400002
  » https://doi.org/10.1590/S1413-294X2014000400002
• Mota, M. M. P. E., Anibal, L., & Lima, S. (2008). A Morfologia Derivacional Contribui para a Leitura e Escrita no Português? Psicologia: Reflexão e Crítica, 21, 311-318. doi: 10.1590/S0102-79722008000200017
  » https://doi.org/10.1590/S0102-79722008000200017
• Nagy, W., Berninger, V., & Abbot, R. (2006). Contributions of morphology beyond phonology to literacy outcome of upper elementary and middle-school students. Journal of Educational Psychology, 98(1), 134-147. doi: 10.1037/0022-0663.98.1.134
  » https://doi.org/10.1037/0022-0663.98.1.134
• Nunes, T., & Bryant, P. (2006). Improving Literacy by teaching Morphemes. London: Routledge.
• Nunes, T., Bryant, P., & Bindman, M. (1997). Morphological Spelling Strategies: Developmental Stages and Processes. Developmental Psychology, 33(4), 637-649. doi: 10.1037/0012-1649.33.4.637
  » https://doi.org/10.1037/0012-1649.33.4.637
• Pasquali, L. (2013). Psicometria: Teoria dos testes na Psicologia e na Educação. Petrópolis: Vozes.
• Plaza, M., & Cohen, H. (2004). Predictive influence of phonological processing, morphological/syntactic skill, and naming speed on spelling performance. Brain and Cognition, 55(2), 368-373. doi: 10.1016/j.bandc.2004.02.076
  » https://doi.org/10.1016/j.bandc.2004.02.076
• Plaza, M., & Cohen, H. (2003). The interaction between phonological processing, syntactic awareness, and naming speed in the reading and spelling performance of first-grade children. Brain and Cognition, 53(2), 287-292. doi: 10.1016/S0278-2626(03)00128-3
  » https://doi.org/10.1016/S0278-2626(03)00128-3
• Queiroga, B. A. M., Lins, M. B., & Pereira, M. A. L. V. (2006). Conhecimento morfossintático e ortografia em crianças do ensino fundamental. Psicologia: Teoria e Pesquisa, 22(1), 95-99. doi: 10.1590/S0102-37722006000100012
  » https://doi.org/10.1590/S0102-37722006000100012
• Rego, L. L. B., & Bryant, P. E. (1993). The connection between phonological syntactic and semantic skills and children’s reading and spelling. European Journal of Psychology of Education, 8(3), 235-246. doi: 10.1007/BF03174079
  » https://doi.org/10.1007/BF03174079
• Rizzon, G. F., Chiechelski, P., & Gomes, E. (2009). Relação entre consciência fonológica e desvio fonológico em crianças da 1ª série do ensino fundamental. Revista CEFAC, 11(Supl. 2), 201-207. doi: 10.1590/S1516-18462009000600010
  » https://doi.org/10.1590/S1516-18462009000600010
• Roazzi, A., & Dowker, A. (1989). Consciência fonológica, rima e aprendizagem da leitura. Psicologia: Teoria e Pesquisa, 5, 31-55. https://goo.gl/d19Ys2
  » https://goo.gl/d19Ys2
• Rocha, L. C. A. (2008). Estruturas morfológicas do português. (2.ª ed.) Belo Horizonte: UFMG.
• Seymour, P. H. K., Aro, M., & Erskine, J. M. (2003). Foundation literacy acquisition in European orthographies. British Journal of Psychology, 94(2), 143-174. Doi: 10.1348/000712603321661859
  » https://doi.org/10.1348/000712603321661859
• Viana, F. L., Silva, C. V., Santos, A. S., Vale, A. P, & Ribeiro, I. (2014). Prova de Consciência Morfológica (PCM): contributos para a sua validação. Calidoscópio, 12(3), 335-344. doi: 10.4013/cld.2014.123.08
  » https://doi.org/10.4013/cld.2014.123.08
• Wechsler, D. (2002). Escala de inteligência Wechsler para crianças (3ª ed.). Padronização Brasileira: Vera LM Figueiredo. São Paulo: Casa do Psicólogo.
• Zanon, C., & Hauck Filho, N. (2015). Fidedignidade. Em C. S. Hutz, D.R. Bandeira & C. M. Trentini (Eds.). Psicometria. Porto Alegre: Artmed.

Sobre os autores:

• 1
  Destaca-se que com a ampliação do Ensino Fundamental de oito para nove anos, a antiga 2.ª série corresponde ao atual 3.º ano e a 4.ª série ao 5.º ano.
• 2
  Tendo em vista o Ensino Fundamental de 9º anos, a 1.º e a 2.ª série correspondem aos atuais 2.º e 3.º anos.
• 3
  Com a ampliação do Ensino Fundamental de oito para nove anos, o nível de escolaridade dos participantes desta pesquisa corresponde ao atual 4.º ano.
• 4
  Segundo Goswami e Bryant (1997), palavras que possuem a mesma rima (rime) são palavras que formam rimas (rhyming words), enquanto que as palavras que possuem o mesmo começo (onset) formam aliteração (are alliterative).

Apêndice 1

Prova de Consciência Morfológica Derivacional - derivação e decomposição em contexto

Parte 1: Derivação

Treino

a. (jornal) - Preciso aguardar o __________. (jornaleiro)

b. (cruel) - O bandido agiu com ____________. (crueldade)

c. (momento) - O país já se recuperou, foi uma crise ______ (momentânea)

1. (fazenda) - Meu tio é um bom _______________.

2. (papel) - Para ir ao cartório ele juntou toda a _______________.

3. (fácil) - Resolveu os exercícios com muita _______________.

4. (escuro) - Tenho medo da _______________.

5. (treinar) - Zagalo foi um bom _______________.

6. (estudar) - O professor fez a pergunta ao _______________.

7. (instante) - Foi apenas uma sensação _______________.

8. (charme) - Meu namorado é muito _______________.

9. (tempo) - Prefiro ir à praia na alta _______________.

10. (lixo) - Meu vizinho trabalha como _______________.

11. (grato) - Fiz isso apenas por _______________.

12. (simples) - Aquela moça demonstra muita _______________.

13. (nadar) - Ele era um ótimo _______________.

14. (ajudar) - O rapaz se ofereceu para ser meu _______________.

15. (litoral) - O coqueiro faz parte da vegetação _______________.

16. (coragem) - Meu filho é um menino _______________.

Parte 2: Decomposição

Treino:

a. (horroroso) - Aquele filme foi um ___________. (horror)

b. (corredor) - Quão rápido ela pode ___________. (correr)

c. (boiada) - Preciso evitar comer carne de ____________. (boi)

1. (furado) - Minha camiseta está com um ________.

2. (jogador) - Precisamos de mais tempo para __________.

3. (originalidade) - Aquela pintura é muito __________.

4. (brasileira) - O país onde nasci é o ____________.

5. (perigoso) - As crianças estão em ________.

6. (crescente) - Ela regou a planta para fazê-la ____________.

7. (cafezal) - Muitas pessoas estavam colhendo _____________.

8. (pincelada) - Para terminar a pintura, ele precisa de mais um ______.

9. (selado) - A carta voltou porque estava sem ________.

10. (participante) - Nós gostaríamos muito de ___________.

11. (nobreza) - Demonstrou uma postura __________.

12. (famoso) - O ator conseguiu muita __________.

13. (ouvinte) - Tapou as orelhas para não__________.

14. (podridão) - Essa laranja está ___________________.

Datas de Publicação

• Publicação nesta coleção
  02 Dez 2019
• Data do Fascículo
  Oct-Dec 2019

Histórico

• Recebido
  05 Fev 2018
• Revisado
  04 Jun 2018
• Revisado
  23 Nov 2018
• Aceito
  07 Dez 2018