Acessibilidade / Reportar erro

ANOMALIAS DE FORMA E DE CONTEÚDO EM PORTUGUÊS BRASILEIRO: UM ESTUDO PRELIMINAR DE RASTREAMENTO OCULAR DA LEITURA E DE AVALIAÇÃO DE ACEITABILIDADE1 1 Este trabalho reporta os primeiros resultados do projeto de pesquisa de Iniciação Científica do segundo autor, no LAPEX/UFRJ, com apoio da FAPERJ, sob a orientação do primeiro autor.

FORM AND CONTENT ANOMALIES IN BRAZILIAN PORTUGUESE: A PRELIMINARY EYE-TRACKING STUDY OF READING AND ACCEPTABILITY EVALUATION

Resumo

O presente estudo usou a metodologia de rastreamento ocular para investigar em que medida a leitura de frases em português brasileiro pode diferir em relação a anomalias gramaticais e semânticas e como essas frases são avaliadas quanto à sua boa formação, tomando-se como controle frases bem formadas gramatical e semanticamente. A partir da análise dos dados on-line, foi possível identificar que as sentenças que apresentam anomalias de traço de concordância de número no sintagma nominal, ainda que melhor aceitas na medida off-line do que as frases com anomalias semânticas pelos falantes escolarizados da língua, são processadas de forma inicialmente mais custosa em termos dos padrões de fixação e de refixação. Avalia-se que os resultados obtidos aduzem evidências em favor dos modelos estruturais de processamento de frases.

Palavras-chaves
Anomalias Gramaticais; Anomalias Semânticas; Rastreamento ocula

Abstract

The present study uses the eye tracking methodology to investigate to what extent the reading of sentences in Brazilian Portuguese may differ in relation to grammatical and semantic anomalies and how these sentences are evaluated for their good formation, taking as control syntactically and semantically well-formed sentences. The analyses of the on-line data, allowed us to identify that sentences that present anomalous number agreement features in the object noun phrase are more costly in terms of fixation and refixation patterns than the semantic anomalous sentences, even though they may be better accepted by educated speakers in the off-line measure than sentences with semantic anomalies. It is argued that the results provide evidence in favor of structural models of sentence processing.

Keywords
Grammatical Anomalie; Semantic Anomalies; Eye Tracking

1. Apresentação

O presente artigo reporta os resultados iniciais do projeto de pesquisa intitulado “Custo de processamento de traços formais e semânticos em português brasileiro”, que busca investigar aspectos da arquitetura de processamento da linguagem frente a outros sistemas cognitivos e aos subcomponentes do conhecimento linguístico, a saber: a sintaxe, a semântica, a pragmática e o componente fonético/fonológico. Trata-se, sobretudo, de entender em que medida a linguagem é um componente cognitivo autônomo em relação a outras faculdades mentais e de que forma os subcomponentes da faculdade da linguagem interagem entre si, buscando-se evidências de processamento relevantes para a caracterização da arquitetura da gramática.

O tema específico do artigo é a comparação dos processos de leitura (variáveis on-line) e de julgamento (variável off-line) de anomalias de forma e de conteúdo na compreensão de frases em português brasileiro, usando a metodologia de rastreamento ocular (eye tracking). A investigação experimental da interface sintaxe/semântica no âmbito do grande tema da arquitetura dos subconhecimentos gramaticais na compreensão da linguagem vem sendo feita há décadas na pesquisa psicolinguística, tomando-se como referência uma ampla gama de modelos “estruturais” ou “interacionistas”. No Laboratório de Psicolinguística Experimental – LAPEX/UFRJ, o projeto “Sintaxe e Semântica Experimentais: curso temporal e subespecificação no processamento de palavras e frases”, em desenvolvimento há mais de uma década, vem servindo de quadro de referência “guarda-chuva” para muitos estudos, examinando o curso temporal dos subprocessos de análise durante a compreensão. Interessantemente, o presente estudo teve sua motivação inicial em uma observação informal ocorrida no LAPEX, quando demonstrávamos a técnica de rastreamento ocular para um professor pesquisador atuante na Secretaria Municipal de Educação do Rio de Janeiro que, na ocasião, visitava o laboratório. Utilizou-se, apenas a título de exemplificar para o visitante a leitura feita por ele, uma frase de experimento piloto estudando conectivos, que estava ainda em fase de montagem no laboratório. Como o experimento não havia sido revisto, ocorreu que, na frase escolhida, havia incidentalmente um erro de digitação que afetava a concordância entre um artigo definido e um nome:

  • (1) “Embora o aluno tivesse todos os livro, o professor só usava o computador”

Após feita a leitura, a frase foi exibida ampliada na tela para que demonstrássemos ao professor visitante as características de sua leitura. Antes que iniciássemos a apresentação da leitura da frase ilustrada em mapa de calor e em forma de gazeplot dinâmico, o professor comentou que só naquele momento se apercebia de que havia um “errinho de concordância” na frase. De fato, no entanto, logo que exibimos o mapa de calor da leitura feita por ele, pôde-se observar que as áreas mais escuras indicavam atenção significativa na região do erro de concordância feito por typo, ou seja, por erro na digitação de palavra.

  • (2) “Embora o aluno tivesse todos os livro, o professor só usava o computador”

Como além do estudo do curso temporal da leitura de frases e palavras, o LAPEX vem também desenvolvendo pesquisa sobre a metacognição no processamento linguístico e seu valor para impactar a proficiência leitora de alunos (cf. Maia (b)Maia, Marcus. (Org.) (b). Psicolinguística e Metacognição na Escola. Campinas: Mercado de Letras, 2019.), a evidência clara no mapa de calor da percepção do erro de concordância já nas fases mais reflexas da leitura da frase foi objeto de contraste com a reflexão a posteriori do professor de que “só naquele momento” pós-leitura é que se apercebia do erro. A partir dessas constatações informais, os dois coautores do trabalho desenvolveram um pequeno teste piloto para comparar a frase com anomalia de concordância com frases similares, mas com anomalia semântica e bem formadas, sem qualquer anomalia, obtendo preliminarmente mapas de calor como os seguintes:

  • (3) “Embora o aluno comesse todos os livros, o professor só usava o computador”

  • (4) “Embora o aluno tivesse todos os livros, o professor só usava o computador”

Como se pode observar nos mapas de calor acima, há um deslocamento nítido das durações de fixação para as áreas críticas das anomalias, em contraste com a frase bem formada, que se pode apreciar qualitativamente, mesmo sem análises quantitativas detalhadas2 2 Além do estudo quantitativo do processamento, o atual projeto de pesquisa do primeiro autor deste artigo, intitulado Rastreamento Ocular e Metacognição da Leitura: por uma Psicolinguística Educacional Quali-Quantitativa já vem servindo de quadro de referência para a realização de estudos de natureza qualitativa dos padrões de leitura, utilizando exemplos de leitura rastreada por equipamento de monitoramento ocular, como ponto de partida para o desenvolvimento de autorreflexividade linguística, capaz de propulsionar a consciência gramatical e impactar positivamente a competência leitora (cf. Maia (b)). . Ao se observarem os gazeplots animados3 3 Os gazeplots animado das leitura das três frases podem ser vistos no link: <https://www.dropbox.com/sh/lb501o8v780fm1z/AACn0gc0ZQatxedONxRxiQnka?dl=0>. dessas frases foi possível dar um passo adiante na análise qualitativa inicial. Verificou-se que os movimentos sacádicos regressivos pareciam ocorrer mais cedo no caso da anomalia gramatical do que no caso da anomalia semântica. A partir dessas observações de natureza qualitativa desenvolveu-se o estudo aqui apresentado, a título de primeiro projeto da pesquisa de IC (Iniciação Científica) do segundo autor, comparando-se quantitativamente propriedades da leitura e da avaliação de aceitabilidade de frases com anomalia gramatical de concordância nominal e com anomalia na seleção-s4 4 O termo seleção-s (s-selection) inicialmente proposto em Chomsky contrasta com o termo seleção-c (c-selection), diferindo a seleção semântica da subcategorização de um constituinte sintático por um predicado. Assim, enquanto a seleção-c é um requisito sintático, a seleção-s é um requisito semântico. de um SN (Sujeito Nominal) objeto por um verbo, tomando-se como controle frases bem formadas gramatical e semanticamente.

Na seção 2, discute-se a literatura relevante, na seção 3, apresenta-se o experimento e, na seção 4, fazem-se as considerações finais do estudo que preveem também a continuação da pesquisa dos efeitos de anomalias sintáticas e semânticas na leitura, manipulando-se outros fatores, tais como a concordância verbal e a saliência fônica da anomalia.

2. O estudo de anomalias sintáticas e semânticas na compreensão

Conforme revisamos em Maia (a)Maia, Marcus (a). “Linguística experimental: aferindo o curso temporal e a profundidade do processamento”. Revista de Estudos da Linguagem. 21.1, (2013): 9-42., entre outras publicações, a área da Psicolinguística conhecida como Processamento de Frases (Sentence Processing), tem sido caracterizada pela oposição entre duas classes de modelos incompatíveis. De um lado, modelos baseados no paradigma simbólico, tal como a Teoria do Garden Path – TGP (cf. Frazier & FodorFrazier, Lyn. On comprehending sentences: Syntactic parsing strategies. Doctoral dissertation, University of Connecticut (1979).; Frazier;Frazier, Lyn; Fodor, Janet Dean. “The sausage machine: A new two-stage parsing model”. Cognition. 6.4, (1978): 291-325. Frazier & RaynerFrazier, Lyn; Rayner, Keith. “Making and correcting errors during sentence comprehension: Eye movements in the analysis of structurally ambiguous sentences”. Cognitive psychology. 14.2, (1982): 178-210.), que assume um processador em dois estágios (parsing e interpretação), propõem uma análise sintática inicial (syntax-first), serial e incrementacional, baseada em métricas de simplicidade, atrasando o acesso a informações semânticas e pragmáticas para a fase interpretativa, pós-sintática. De outro lado, modelos conexionistas, baseados no paradigma de redes (cf. Macdonald, Pearlmutter & SeidenbergMacDonald, Maryellen C.; Pearlmutter, Neal J.; Seidenberg, Mark S. “The lexical nature of syntactic ambiguity resolution”. Psychological review. 101.4, (1994): 676.; Trueswell, Tanenhaus & GarnseyTrueswell, John C.; Tanenhaus, Michael K.; Garnsey, Susan M. “Semantic influences on parsing: Use of thematic role information in syntactic ambiguity resolution”. Journal of memory and language. 33.3, (1994): 285-318.; Trueswell, Tanenhaus & KelloTrueswell, John C.; Tanenhaus, Michael K.; Kello, Christopher. “Verb-specific constraints in sentence processing: separating effects of lexical preference from garden-paths”. Journal of Experimental psychology: Learning, memory, and Cognition. 19.3, (1993): 528.), propõem que o processador ativa em paralelo múltiplas fontes de informação que podem competir entre si, produzindo ativações com diferentes pesos.

Embora grande parte dos estudos desenvolvidos nos quadros teóricos desses modelos lancem mão de técnicas experimentais sofisticadas, já desde o primeiro modelo gerativista proposto por Noam ChomskyChomsky, Noam. “Aspects of the Theory of Syntax. 11”. Cambridge, MA: MIT Press, 1965. no âmbito da Revolução Cognitivista da metade do século XX, psicólogos como George Armitage MillerMiller, George A.; Isard, Stephen. “Free recall of self-embedded English sentences”. Information and Control. 7.3, (1964): 292-303., entre vários outros pesquisadores desse período, colocaram em teste os construtos gramaticais em exame na ocasião, através de diferentes paradigmas experimentais. Por exemplo, EpsteinEpstein, William. “The influence of syntactical structure on learning”. The American Journal of Psychology. 74.1, (1961):80-85. demonstrou que sílabas sem sentido eram aprendidas mais rapidamente se, ao invés de apresentadas isoladamente, estivessem em um contexto oracional, o que sugere que a estrutura sentencial influencia a memória. Miller e IsardMiller, George A.; Isard, Stephen. “Free recall of self-embedded English sentences”. Information and Control. 7.3, (1964): 292-303. também fizeram teste de recuperação mnemônica de palavras em três tipos de frases, conforme exemplificado abaixo:

  • (5) Bears steal honey from the hive

    “Ursos roubam mel da colmeia”

  • (6) Accidents carry honey between the hive

    “Acidentes levam mel entre a colmeia”

  • (7) On trains hive elephants the simplify

    “Nos trens colmeia elefantes o simplifica”

Frases como (5) são bem formadas sintática e semanticamente. Frases como (6) são bem formadas sintaticamente, mas mal formadas semanticamente. Frases como (7) são mal formadas sintática e semanticamente. Os resultados indicaram que os sujeitos recuperaram mais palavras de frases como (5), do que de frases como (6) e mais palavras das frases como (6) do que das frases como (7), demonstrando que a estrutura sintática tem um papel na compreensão, até mesmo quando as palavras não tem sentido. Em Syntactic Structures, Chomsky (a),Chomsky, Noam. Syntactic structures. The Hague: Mouton, 1957. já havia exemplificado construções semanticamente anômalas, mas sintaticamente bem formadas, como colorless green ideas sleep furiously, “ideias verdes incolores dormem furiosamente”, frase que se tornou clássica para explicar a desassociação possível entre a sintaxe e a semântica. Como revisto em Braze, Shankweiler, Ni e PalumboBraze, David, et al. “Readers' eye movements distinguish anomalies of form and content”. Journal of psycholinguistic research. 31.1, (2002): 25-44., essas diferenças entre anomalias semânticas e sintáticas têm sido também identificadas em estudos na área da Neurociência da Linguagem. O estudo muito citado de KUTAS e HillyardKutas, Marta; Hillyard, Steven A. “Reading between the lines: Event-related brain potentials during natural sentence processing”. Brain and Language. 11.2, (1980): 354-373. tornou-se pioneiro ao estabelecer na literatura sobre potenciais cerebrais evocados por estímulos linguísticos a ocorrência na região centro-parietal da onda N400, entre 350ms e 500ms após o onset de uma palavra anômala, sendo que violações gramaticais não elicitam esta onda. Friederici, Pfeifer e HahneFriederici, Angela D.; Pfeifer, Erdmut; Hahne, Anja. “Event-related brain potentials during natural speech processing: Effects of semantic, morphological and syntactic violations”. Cognitive brain research. 1.3, (1993): 183-192., por outro lado, identificaram ondas negativas associadas a anomalias sintáticas na faixa de 130 a 180ms. Uma onda positiva indicativa de processos de revisão sintática (P600) seria posteriormente identificada por Osterhout e HolcombOsterhout, Lee; Holcomb, Phillip J. “Event-related brain potentials elicited by syntactic anomaly”. Journal of memory and language. 31.6, (1992): 785-806., entre outros estudos. Mais recentemente, estudos como o de Yang, Wu e ZhouYang, Yang; Wu, Fuyun; Zhou, Xiaolin. “Semantic processing persists despite anomalous syntactic category: ERP evidence from Chinese passive sentences”. PloS one, 10.6 (2015). têm também aferido ERPs para investigar comparativamente o processamento sintático e o semântico. No Brasil, a tese de doutorado de FrançaFrança, Aniela Improta. Concatenações linguísticas: estudo de diferentes módulos cognitivos na aquisição e no córtex. Tese de Doutorado. Rio de Janeiro: Universidade Federal do Rio de Janeiro, 2002. foi pioneira em identificar a onda N400 diante de estímulos semanticamente mal formados em português brasileiro.

Em Psicolinguística, o estudo pioneiro que usa a técnica de rastreamento ocular para investigar a dissociação entre fatores sintáticos e semânticos foi conduzido por Braze, Shankweiler, Ni e PalumboBraze, David, et al. “Readers' eye movements distinguish anomalies of form and content”. Journal of psycholinguistic research. 31.1, (2002): 25-44.. Considerando que, assim como os estudos de atividade cerebral, a técnica de rastreamento ocular permite medidas sensíveis aos processos automáticos iniciais de parsing, os autores desenvolveram estudo com vistas a complementar e reforçar as pesquisas on-line baseadas em eventos cerebrais. O estudo compara os padrões de movimentação ocular na leitura de três tipos de frases, quais sejam: frases contendo anomalias na morfossintaxe dos verbos, frases contendo anomalias pragmáticas e frases bem formadas, conforme exemplificadas no Quadro 1.

Quadro 1
Exemplos de anomalias e de frases correspondentes bem formadas

A questão crucial em jogo nesse e em outros estudos (cf. Fodor, Ni, Crain e ShankweillerFodor, Janet Dean, et al. “Tasks and timing in the perception of linguistic anomaly”. Journal of Psycholinguistic Research. 25.1, (1996): 25-57.; BolandBoland, Julie E. “The relationship between syntactic and semantic processes in sentence comprehension.” Language and Cognitive Processes. 12.4, (1997): 423-484.; Mcelree e GriffithMcElree, Brian; Griffith, Teresa. “Syntactic and thematic processing in sentence comprehension: Evidence for a temporal dissociation”. Journal of Experimental Psychology: Learning, Memory, and Cognition. 21.1, (1995): 134.) é a de identificar se a sensibilidade do parser a questões de natureza gramatical ou sintática ocorre mais cedo no curso temporal do processamento do que a sua sensibilidade relativamente a questões semânticas e pragmáticas, o que subsidia modelos dos dois tipos que revisamos brevemente no início desta seção. Braze, Shankweiler, Ni e Palumbo rastrearam a leitura de 36 conjuntos de frases dos três tipos exemplificados acima, por parte de 30 alunos de graduação, tendo concluído que os indicadores de movimentação ocular sintáticos e pragmáticos possuem assinaturas distintas, ou seja, o processador responde diferentemente a cada um dos tipos de anomalia. De modo geral, a conclusão dos autores indica que as regressões às áreas críticas da anomalia sintática ocorrem mais cedo do que as regressões motivadas pela anomalia semântica que, por outro lado, induzem tempos de leitura mais longos e regressões posteriores, ao final da leitura da sentença. Os autores avaliam que esses padrões apoiam os modelos estruturais que defendem haver diferenças importantes nas fases estrutural e interpretativa do mecanismo de processamento de frases.

3. O Experimento

No presente estudo, objetivou-se colocar em perspectiva a relação Gramática/Parser, propondo-se um experimento para aferir as propriedades de processamento e de julgamento de traços formais em comparação a traços semânticos na leitura de frases em português brasileiro, utilizando a técnica de rastreamento ocular, seguida de avaliação das frases. Partiu-se da hipótese de que as leituras das sentenças com incongruências sintáticas teriam um número maior de regressões iniciais do que aquelas com incongruências semânticas, tal como apontaram Braze, Schankweiler, Ni e PalumboBraze, David, et al. “Readers' eye movements distinguish anomalies of form and content”. Journal of psycholinguistic research. 31.1, (2002): 25-44. por meio de testes comparativos de traços gramaticais, semânticos e pragmáticos em língua inglesa através da utilização da mesma técnica aqui proposta.

As variáveis independentes manipuladas no experimento foram três: (i) sentenças bem formadas semanticamente, mas com incongruência de concordância de número entre um nome e seu quantificador e determinante, compondo sintagma em posição de objeto direto (condição GR); (ii) construções bem formadas gramaticalmente, mas com anomalia semântica na seleção-s de objeto feita pelo verbo (condição SEM) e (iii) estruturas bem formadas sintática e semanticamente (condição BF), como exemplificadas em (8a), (8b) e (8c):

  • (8a) Embora o aluno tivesse todos os livro, o professor só usava o computador.

  • (8b) Embora o aluno comesse todos os livros, o professor só usava o computador.

  • (8c) Embora o aluno tivesse todos os livros, o professor só usava o computador.

As variáveis dependentes selecionadas foram a duração total média das fixações, o número total médio de fixações e os índices de refixação no primeiro, segundo e terceiro passes do olhar (variáveis on-line). Em seguida, após a leitura, computaram-se os percentuais de aceitação e de rejeição das frases em julgamentos de boa formação, nas três condições experimentais (variável off-line).

Método

Participantes

Participaram do experimento 30 alunos voluntários dos cursos de Fonoaudiologia e Letras da Universidade Federal do Rio de Janeiro. Para efeito de análise dos dados, foram descartados 06 participantes que não obtiveram pelo menos 85% de fixação ocular direta das áreas demarcadas. Isso corresponde a um total de 20% de descarte, perfazendo um número final de 24 participantes analisados. Deste total, 05 são do sexo masculino e 19 do sexo feminino, com idades variando entre 20 e 50 anos.

Material

Formularam-se frases com tamanhos equivalentes, tanto no número de lexemas, quanto no número de sílabas. Assim sendo, todas as sentenças foram elaboradas com uma variação entre 11 e 13 palavras, distribuídas em uma métrica de 28 sílabas em períodos compostos exclusivamente por subordinação.

Quadro 2
Contagem de lexemas na sentença
Quadro 3
Contagem de sílabas do período.

Ao todo foram elaborados 12 conjuntos de frases nas três condições, incluindo-se ainda 24 frases distratoras que, como a própria nomenclatura sugere, objetivam distrair a atenção do participante, de modo que não haja influência da sua percepção consciente dos fenômenos analisados nos resultados do experimento. Cada conjunto de frases foi composto por 3 tipos de sentenças que analisam os aspectos elencados pelas variáveis independentes. Essas frases foram distribuídas em 3 versões do teste com 12 frases experimentais mais 24 distratoras cada uma. A técnica de quadrado latino foi utilizada de modo que cada participante tivesse contato com todas as condições experimentais, mas com variação do material lexical. A cada participante foi atribuída randomicamente uma versão do experimento. As sentenças experimentais foram distribuídas entre as distratoras, respeitando-se o critério de 1 frase experimental para 2 distrativas.

Procedimento

O procedimento realizado com cada participante consistiu na breve explicação inicial sobre o que seria a tarefa a ser realizada por ele, a saber, ele deveria ler a frase e, em seguida, pressionar tecla para chamar a tela de avaliação da frase. Em seguida, realizou-se a calibração do equipamento Tobii TX300 individualmente com cada voluntário, ajustando-se o equipamento para que pudesse ser realizado corretamente o procedimento de mapeamento da sua retina durante o experimento. A primeira imagem no quadro abaixo mostram os 2 círculos brancos que identificam os dois olhos do participante, permitindo-se que fosse ajustada a distância e a altura entre ele e o equipamento, obtendo-se uma posição em que ele, sentado a cerca de 65cm da tela, se sentisse confortável para a leitura das frases do experimento. Em seguida, iniciava-se a fase de calibração propriamente, quando o participante deveria olhar para uma bolinha vermelha que percorria diferentes partes da tela, permitindo que o equipamento fizesse os ajustes relativos ao seu span visual. Ao final, deste procedimento, caso houvesse problema de fixação das áreas em que a bolinha vermelha tivesse aparecido, surgiria a segunda imagem no quadro 4, sendo necessário que o participante realizasse a calibração novamente; caso esta tivesse transcorrido sem problemas, aparecia a terceira imagem no quadro abaixo e prosseguia-se à aplicação do experimento.

Quadro 4
Etapas de calibração do equipamento de rastreador ocular

Após receber as instruções, os voluntários realizaram individualmente um pequeno treinamento, de modo que compreendessem integralmente a tarefa a ser realizada no experimento, evitando erros ocasionados por meio de não entendimento do procedimento. Esse treino consistia na leitura de sentenças com diferentes estruturas gramaticais e agramaticais, seguidas de uma pergunta de julgamento de aceitabilidade das frases lidas, na qual o participante deveria direcionar o olhar para os campos SIM ou NÃO, decidindo se a sentença que ele leu era bem formada ou não. Realizada a tarefa de treinamento, aplicou-se o experimento a cada participante.

Figura 1
Participante durante a realização do experimento

Resultados

Serão analisadas, inicialmente, as medidas on-line de duração total média de fixação, de número total médio de fixações e os índices de fixação regressiva nos primeiro, segundo e terceiro passes da leitura. Em seguida, analisaremos as medidas off-line, que indicam o percentual de recusa das frases em julgamentos de boa formação, nas três condições. Para efeito das análises on-line, as frases foram divididas nas seguintes regiões:

Quadro 5
Regiões críticas da frase

Computaram-se as durações e índices médios de fixação apenas para três áreas críticas, a saber, a área do VERBO (v), do OBJETO (o) e do SPILLOVER (s), conforme relatado nas seções a seguir.

Duração Total Média das Fixações

A duração média das fixações nas três áreas críticas está representada no Gráfico 1, a seguir:

Gráfico 1
Duração Total Média das Fixações

Uma ANOVA monofatorial (ESTRUTURA) em três níveis (GR, SEM, BF) foi realizada para cada uma das áreas críticas. Para a área do verbo, registrou-se efeito principal altamente significativo do fator ESTRUTURA (F(2,190) = 23.3 p<0.000001***). Testes-t pareados indicaram efeitos significativos na comparação entre os fatores GR e SEM (t(95)=6.10 p< 0.0001) e entre os fatores SEM e BF (t(95)=4.55 p< 0.0001), mas não se obteve significância na comparação entre GR e BF (t(95)=1.65 p< 0.1022). Esses resultados parecem se conformarem às hipóteses entretidas, pois esperava-se que a leitura do verbo na condição de anomalia semântica demandasse tempos médios mais elevados, uma vez que é nesta área em que se inicia o estabelecimento da seleção-s entre as propriedades semânticas da subcategorização do verbo em relação ao objeto. No caso exemplificado acima, o objeto cujo núcleo é livro não seria apropriado para saturar a grade de subcategorização temática do verbo comer, daí o estranhamento revelado pelas latências significativamente mais altas em relação às duas outras condições. Na comparação entre a condição da anomalia gramatical e a condição controle (frase bem formada), não haveria razão para se encontrar qualquer diferença de latência na área do verbo, pois a anomalia gramatical na relação entre os Determinantes e o N não tem relevo para o verbo, que é lido em tempos médios semelhantes, tanto na condição GR, quanto na condição BF, como indicado na comparação pareada reportada acima.

Para a área do objeto, registrou-se efeito principal altamente significativo do fator Estrutura (F(2,285) = 11.6 p<0.00001***). Testes-t pareados indicaram que a condição GR demandou latências de fixação significativamente mais elevadas tanto em relação à condição BF (t(190)=4.74 p< 0.0001), quanto em relação à condição SEM (t(190)=2.30 p< 0.02). A condição SEM também impacta a área do objeto, pois, como dissemos acima, envolve inspeção da propriedade da seleção-s do objeto pelo verbo, e igualmente apresentou latências de fixação significativamente mais altas do que a condição controle BF (t(190)=2.62 p< 0.009), como esperado.

Finalmente, para a área do spillover (s) a ANOVA não registrou efeito principal de estrutura (F(2,190) = 1.05 p=0.35) e os testes-t pareados também não indicaram significância nas comparações entre a condição GR e a condição SEM (t(95)=1.16 p=0.24), entre a condição GR e a condição BF (t(95)=0.16 p= 0.87) e nem entre as condições SEM e BF (t(95)=1.35 p= 0.17). Esses resultados demonstram que as diferenças nas latências de fixação observadas entre as condições nas áreas do verbo e do objeto não impactaram significativamente a região pós-crítica, tendo-se resolvido nas regiões críticas.

Número Total Médio de Fixações

O número total médio de fixações está representado para as três condições experimentais em cada uma das áreas críticas no Gráfico 2:

Gráfico 2
Número Total Médio de Fixações

De modo geral, o número médio de fixações é harmônico com a medida de tempos médios de fixação relatada na seção anterior. Na área do verbo, há efeito principal de estrutura altamente significativo (F(2,190) = 16.5 p<0.000001). Assim como na medida das latências médias de fixação, as comparações pareadas na medida de número de fixações indicam diferenças significativas na mesma direção, entre as condições GR e SEM (t(95)=4.99 p< 0.0001) e entre as condições SEM e BF (t(95)=3.94 p< 0.0002), não se registrando diferenças entre as condições GR e BF (t(95)=1.37 p< 0.17). O paralelismo entre as medidas de duração e de número de fixação reforça e confirma adicionalmente a análise de que a área do verbo apresenta maior custo de processamento apenas na condição de anomalia semântica, como esperado.

Na área do objeto, o paralelismo entre as duas medidas se mantém parcialmente. Há efeito principal de estrutura (F(2,190) = 3.20 p<0.04) e as comparações pareadas indicam diferenças significativas apenas entre as condições GR e BF (t(95)=2.67 p< 0.009), não havendo diferenças significativas entre as condições GR e SEM (t(95)=0.54 p< 0.59) e nem entre as condições SEM e BF (t(95)=1.82 p< 0.07). Como a região do objeto é a região crítica fundamental para a concordância gramatical, não envolvendo o verbo, faz sentido que os tempos médios de fixação e o número médio de fixação sejam mais elevados para a condição GR nessa região do que os obtidos para a condição SEM que tem como principal área crítica a região do verbo.

Finalmente, na área do spillover, o paralelismo entre a medida de número de fixações e a medida de latência de fixações é total. Não há efeito principal de estrutura e os testes-t pareados também não indicaram significância nas comparações entre a condição GR e a condição SEM (t(95)=1.67 p< 0.09), entre a condição GR e a condição BF (t(95)=0.29 p< 0.77) e nem entre as condições SEM e BF (t(95)=1.27 p< 0.20). Este resultado reforça a análise feita para a medida de duração média total de fixação, no sentido de que as diferenças encontradas nas três condições nas áreas críticas do verbo e do objeto são identificadas apenas nessas regiões, não se projetando para regiões posteriores da frase.

Análise de Refixações nas áreas críticas

Aplicou-se uma ANOVA trifatorial por sujeitos para analisarem-se o número de fixações regressivas nas áreas críticas das três condições experimentais, com design 3x2x3, levando em conta os fatores (i) Anomalia (GR/SEM/BF) (ii) Área crítica (V/O), (iii) Regressão (1,2,3). O fator anomalia contempla as três condições testadas, em que há anomalia gramatical, semântica, ou boa formação gramatical e semântica. O fator área crítica inclui a área do Verbo, crítica diretamente para a anomalia semântica e a área do Objeto, crítica tanto para a anomalia semântica, quanto para a anomalia da concordância gramatical. O fator regressão inclui as regressões de primeira passagem do olhar, ocorridas ainda durante a leitura da região crítica, portanto mais reflexas e as regressões de segunda e terceira passagem do olhar, ocorridas após a saída da região lida, seja antes ou depois do término da leitura da frase inteira e, portanto, mais reflexivas do que as regressões de primeira passagem do olhar.

A ANOVA indicou efeitos principais significativos de anomalia (F(2,190) = 6.90 p<0.001), área (F(1,95) = 229 p<0.000001) e de regressão (F(2,190) = 111 p<0.000001). Além disso, houve interação entre os fatores anomalia e regressão (F(4,380) = 5.46 p<0.0002) e entre os fatores área e regressão (F(2,190) = 33.5 p<0.000001). Testes-t pareados indicaram, entre outros resultados, a existência de diversas diferenças significativas entre o número de fixações regressivas de primeiro, segundo e terceiro passe na área do objeto nas três condições, como indicado no gráfico abaixo:

Gráfico 3
Fixações Regressivas de 1, 2 e 3 Passe na área do Objeto

Fixações regressivas de primeiro passe, que têm natureza mais reflexa e automática, foram significativamente mais numerosas na condição de anomalia gramatical do que na condição de anomalia semântica (t(95)=3.98 p< 0.0001) e do que na condição bem formada (t(95)=4.29 p< 0.0001). Essa diferença demonstra que o traço gramatical anômalo demandou uma análise mais imediata do que a seleção-s do verbo em relação ao objeto, parte da área crítica na condição da anomalia semântica. Comparações entre as três condições no segundo e no terceiro passe não indicam diferenças significativas. Por outro lado, comparando-se os índices de refixação de primeiro e de segundo passe, só se observa diferença significativa na condição de anomalia gramatical (t(95)=3.12 p< 0.002), não se identificando diferenças significativas nas comparações entre as refixações de primeiro e de segundo passe nem na condição de anomalia semântica (t(95)=0.70 p< 0.48) e nem na condição bem formada (t(95)=1.76 p< 0.08). Por outro lado, há diferenças significativas, quando se comparam os índices de refixação de segundo e de terceiro passe nas três condições, a saber, na condição gramatical (t(95)=5.05 p< 0.0001), na condição semântica (t(95)=6.02 p< 0.0001) e na condição bem formada (t(95)=5.55 p< 0.0001), o que indica que a reinspeção mais reflexiva não foi operante nas três condições.

Vejamos agora o que ocorre nos padrões de refixação na área do verbo, crítica para a condição de anomalia semântica, já que afeta a seleção do objeto pelo verbo e menos relevante para a condição da anomalia gramatical, que se caracteriza pela relação interna ao objeto, independentemente do verbo. Os índices de regressão na área do verbo estão representados no Gráfico 4:

Gráfico 4
Fixações Regressivas de 1, 2 e 3 Passe na área do Verbo

No que diz respeito às refixações de primeiro passe, não se observaram quaisquer diferenças significativas entre as três condições. Tanto a comparação entre a condição de anomalia gramatical e a condição semântica (t(95)=0.96 p< 0.33), quanto a comparação entre a condição gramatical e a condição bem formada (t(95)=0.12 p< 0.90) e a comparação entre a condição semântica e a bem formada (t(95)=0.95 p< 0.34) não apresentaram quaisquer diferenças significativas. Por outro lado, quando se observam as regressões mais reflexivas (e, portanto, menos reflexas) o quadro muda. Nas regressões de segundo passe, destaca-se o maior número de regressões na condição semântica, tanto na comparação com a condição gramatical (t(95)=3.99 p< 0.0001), quanto com a condição bem formada (t(95)=4.16 p< 0.0001), ao passo que as condições gramatical e bem formada não diferem entre si (t(95)=0.60 p< 0.54). Nas regressões de terceiro passe, mais reflexivas, novamente a condição semântica apresenta índices significativamente mais elevados do que a condição gramatical (t(95)=5.64 p< 0.0001) e do que a condição bem formada (t(95)=4.82 p< 0.0001). Observou-se na terceira regressão índice apenas visualmente maior na condição bem formada do que na condição gramatical (t(95)=1.99 p< 0.06).

Observe-se, crucialmente, que quando se comparam as refixações de primeiro e de segundo passe, há um manutenção nos altos índices de fixações regressivas apenas na condição semântica (t(95)=0.31 p< 0.76), enquanto nas demais condições há decréscimo significativo dos índices tanto na condição gramatical (t(95)=5.56 p< 0.0001), quanto na condição bem formada (para o segundo passe (t(95)=3.36 p< 0.001). Esse padrão demonstra que a condição semântica tende a manter seus índices de reinspeção em fases mais reflexivas. Embora haja queda significativa do segundo para o terceiro passe, nas três condições, a condição semântica, como analisamos acima, é a que mantém os mais altos índices de refixação.

Medidas off-line: percentual de recusa das frases

A medida off-line consistiu de pergunta após cada frase solicitando o julgamento sobre a boa formação da frase lida. Os resultados encontram-se apresentados no Gráfico 5, a seguir:

Gráfico 5
Percentual de Aceitabilidade das frases nas três condições

Como se pode observar, as frases da condição GR obtiveram 53% de julgamento favorável à sua boa formação, resultado que indica chance (GR: X2= 0.72, p<0.39ns). As frases da condição SEM obtiveram aceitabilidade em 73% dos casos (Sem: X2= 42.3, p<0.0001***) atingindo patamar de significância. As frases bem formadas apresentaram 91% de aceitabilidade (BF: X2= 76.9, p<0.0001***), também atingindo patamar de significância. Considerando os índices entre as condições, observa-se que a condição gramatical foi significativamente menos aceita como bem formada do que a condição semântica (X2= 6.3, p<0.01*) e também, naturalmente, menos aceita do que a condição BF (X2= 20, p<0.0001***), com diferença ainda maior. A condição semântica também foi menos aceita do que a condição BF, ainda que com diferença menos robusta (X2= 4, p<0.04*).

Discussão

Os dados acima reportados nos permitem uma avaliação comparativa da leitura e do julgamento de frases bem formadas, com mal formação gramatical e com mal formação semântica. Como vimos, as latências de fixação na área do verbo são significativamente maiores nas frases semanticamente mal formadas do que nas frases gramaticalmente mal formadas e do que nas frases bem formadas. As latências de fixação no verbo não diferem a condição de anomalia gramatical da condição bem formada. Note-se que esta medida indica a duração total de fixações numa dada área, incluindo tanto as progressivas, quanto as regressivas. Faz todo o sentido, portanto, que a condição de anomalia semântica seja a que obteve as maiores latências na área do verbo, uma vez que a anomalia semântica em estudo consistia de inadequação na seleção-s feita pelo verbo em relação ao seu objeto. Por outro lado, faz igualmente sentido que a anomalia gramatical não tenha impactado as latências na área do verbo, uma vez que a anomalia gramatical no presente experimento diz respeito à concordância imprópria entre o núcleo do objeto e seus determinantes, sendo o verbo irrelevante para a caracterização desta anomalia. Como analisado acima, a medida de número de fixações segue a mesma lógica, o que confirma e reforça esta análise.

Como era de se esperar, na área do objeto há durações de fixação significativamente maiores na condição de anomalia gramatical tanto em relação à condição de anomalia semântica, quanto na comparação com a condição controle de sentenças bem formadas. Embora com latências de fixação menores do que as obtidas pela condição de anomalia gramatical na área do objeto, a condição semântica difere significativamente da condição de frases bem formadas, na direção esperada, ou seja, apresenta latências maiores. As latências maiores obtidas pela condição de mal formação gramatical nessa área são perfeitamente explicadas, pois esta é a área crítica diretamente relevante para essa condição. Encontrando a concordância inadequada, o leitor fixa mais o olhar na área do objeto, tanto em fixações progressivas, quanto regressivas. Já as latências de fixação no verbo na condição de anomalia semântica na área do objeto são significativamente menores do que as obtidas pela inadequação gramatical, o que se explica facilmente por conta da inspeção da área do verbo, que divide a atenção na leitura da frase semanticamente anômala. Como vimos acima, a medida de número de fixações acompanha parcialmente esse padrão, mantendo a diferença entre as condições GR e BF, na direção esperada.

Na área do spillover, as duas medidas são bastante harmônicas, não fazendo diferir nenhuma das condições, seja nas latências, seja no número de fixações, o que apoia a análise de que os efeitos são identificados apenas localmente nas áreas críticas, não impactando significativamente os materiais posteriores na leitura.

A análise dos movimentos sacádicos regressivos é particularmente interessante. Como vimos na seção de apresentação dos resultados, há efeitos principais de estrutura e de regressão, além de interação entre os dois fatores. Na área do verbo, ainda que não haja diferenças no número de regressões de primeiro passe, que se encontram nos mesmos patamares nas três condições, há diferenças interessantes nas refixações de segundo e de terceiro passes, mais reflexivas, sendo que nessas destaca-se o maior número significativamente de refixações obtidas na leitura das frases semanticamente anômalas, sugerindo que a inspeção semântica é, de fato, mais reflexiva.

Por outro lado, na área do objeto, o índice de regressões é significativamente maior na leitura das frases gramaticalmente anômalas, já nas refixações de primeiro passe, mais reflexas, sugerindo que a análise gramatical ocorre mais automaticamente do que a análise semântica, conforme proposto pelos modelos de processamento do tipo syntax-first. Chegamos, então à medida off-line, em que os participantes do experimento avaliam a boa formação das frases lidas. Tendo tido a sua atenção leitora atraída significativamente para a anomalia gramatical, conforme demonstrado pela duração e número de fixação significativamente maiores nas fases mais reflexas da leitura, a avaliação de boa formação é mais rigorosa nessa condição do que na condição semântica, ficando na chance, ou seja, cerca de metade das observações recusa a frase como bem formada. Por outro lado, na condição semântica, o padrão de leitura parece indicar avaliação mais reflexiva que se caracteriza pelo maior índice de lookbacks, ou seja, de refixações em fases menos reflexas. Esta maior reflexão na leitura das frases anômalas semanticamente acaba por levar ao índice de aceitabilidade alta dessas frases, comparativamente à aceitabilidade das frases com anomalia gramatical, que é significativamente menor. É como se o leitor estranhasse a anomalia semântica, mas procurasse de modo mais reflexivo, encontrar uma interpretação possível para a frase semanticamente anômala, o que não se instancia na avaliação gramatical. Vejamos, por exemplo, alguns dos itens testados. Na frase que usamos como exemplo seria admissível interpretar comer livros, talvez de modo não literal, como se poderia dizer de alguém que lê muitos livros. Interpretações não literais poderiam ter sido usadas para “salvar” muitas das frases usadas no experimento, tais como os sintagmas verbais “suturar equipamentos”, “oxidar as verbas”, “cavalgar os rendimentos”, entre outros que poderiam ser de alguma forma avaliados como bem formados conotativamente. Futuros estudos poderão vir a comparar diferenças de má formação gramatical e semântica, procurando controlar essas possibilidades interpretativas de modo mais estrito.

4. Considerações Finais

No presente trabalho, procurou-se investigar em que medida a leitura de frases em português pode diferir em relação a anomalias sintáticas e semânticas e como essas frases são avaliadas quanto a sua boa formação, tomando-se como controle frases bem formadas sintática e semanticamente. A partir da análise dos dados, foi possível identificar que sentenças que apresentam anomalias de traço de concordância de número no sintagma nominal são menos aceitas do que as frases com anomalias semânticas pelos falantes escolarizados da língua, sendo também processadas de forma inicialmente mais custosa em termos dos padrões de fixação e de refixação. Pode-se especular que cerca de metade dos participantes tenham avaliado as frases da condição GR como bem formadas, por considerarem a falta do s de plural, de baixa saliência, realmente como um typo (erro de digitação) e tenham procedido de modo good-enough5 5 Ferreira, Bailey e Ferrano, entre outros trabalhos, propõem que as representações sintáticas e semânticas sejam muitas vezes incompletas ou good enough. Em português brasileiro, destacam-se trabalhos como os de Ribeiro e Maia (a) que, usando a técnica de rastreamento ocular, identificam processos do tipo good-enough na leitura de diferentes construções. , avaliando-as positivamente. Como o estudo preliminar aqui reportado limitou-se a investigação de estruturas anômalas gramaticais com baixa saliência fônica, caberia, em futuros estudos, portanto, a ampliação do escopo para itens que tenham um maior grau de contraste nos traços de concordância tanto de sintagmas nominais, quanto de sintagmas verbais.

Ademais, além da ampliação do escopo de pesquisa dos traços gramaticais nos âmbitos nominal e verbal, acreditamos que seria interessante investigar, também, o processamento da concordância verbal e nominal em diferentes níveis de escolaridade, de modo a aferir em que medida fatores sociolinguísticos, como a escolarização, poderiam influenciar o processamento e a avaliação dos princípios que regem a estruturação morfossintática da sentença. Desta maneira, seria possível verificar, por meio de uma interface interdisciplinar entre a psicolinguística e a sociolinguística, em que medida o grau de escolaridade pode ser um fator relevante na realização do fenômeno da concordância variável.

  • 1
    Este trabalho reporta os primeiros resultados do projeto de pesquisa de Iniciação Científica do segundo autor, no LAPEX/UFRJ, com apoio da FAPERJ, sob a orientação do primeiro autor.
  • 2
    Além do estudo quantitativo do processamento, o atual projeto de pesquisa do primeiro autor deste artigo, intitulado Rastreamento Ocular e Metacognição da Leitura: por uma Psicolinguística Educacional Quali-Quantitativa já vem servindo de quadro de referência para a realização de estudos de natureza qualitativa dos padrões de leitura, utilizando exemplos de leitura rastreada por equipamento de monitoramento ocular, como ponto de partida para o desenvolvimento de autorreflexividade linguística, capaz de propulsionar a consciência gramatical e impactar positivamente a competência leitora (cf. Maia (b)Maia, Marcus. (Org.) (b). Psicolinguística e Metacognição na Escola. Campinas: Mercado de Letras, 2019.).
  • 3
    Os gazeplots animado das leitura das três frases podem ser vistos no link: <https://www.dropbox.com/sh/lb501o8v780fm1z/AACn0gc0ZQatxedONxRxiQnka?dl=0>.
  • 4
    O termo seleção-s (s-selection) inicialmente proposto em ChomskyChomsky, Noam. “Aspects of the Theory of Syntax. 11”. Cambridge, MA: MIT Press, 1965. contrasta com o termo seleção-c (c-selection), diferindo a seleção semântica da subcategorização de um constituinte sintático por um predicado. Assim, enquanto a seleção-c é um requisito sintático, a seleção-s é um requisito semântico.
  • 5
    Ferreira, Bailey e FerranoFerreira, Fernanda; Karl GD Bailey; Ferraro, Vittoria. “Good-enough representations in language comprehension”. Current directions in psychological science. 11.1, (2002): 11-15., entre outros trabalhos, propõem que as representações sintáticas e semânticas sejam muitas vezes incompletas ou good enough. Em português brasileiro, destacam-se trabalhos como os de Ribeiro e Maia (a)Ribeiro, Antonio João Carvalho. “Late Closure e Good-Enough no processamento de frases garden-path do português do Brasil: evidências de eyetracking”. ReVEL. 10.18, (2012). que, usando a técnica de rastreamento ocular, identificam processos do tipo good-enough na leitura de diferentes construções.

Referências

  • Boland, Julie E. “The relationship between syntactic and semantic processes in sentence comprehension.” Language and Cognitive Processes 12.4, (1997): 423-484.
  • Braze, David, et al “Readers' eye movements distinguish anomalies of form and content”. Journal of psycholinguistic research 31.1, (2002): 25-44.
  • Chomsky, Noam. Syntactic structures The Hague: Mouton, 1957.
  • Chomsky, Noam. “Aspects of the Theory of Syntax. 11”. Cambridge, MA: MIT Press, 1965.
  • Epstein, William. “The influence of syntactical structure on learning”. The American Journal of Psychology 74.1, (1961):80-85.
  • Ferreira, Fernanda; Karl GD Bailey; Ferraro, Vittoria. “Good-enough representations in language comprehension”. Current directions in psychological science 11.1, (2002): 11-15.
  • Fodor, Janet Dean, et al “Tasks and timing in the perception of linguistic anomaly”. Journal of Psycholinguistic Research 25.1, (1996): 25-57.
  • França, Aniela Improta. Concatenações linguísticas: estudo de diferentes módulos cognitivos na aquisição e no córtex Tese de Doutorado. Rio de Janeiro: Universidade Federal do Rio de Janeiro, 2002.
  • Frazier, Lyn. On comprehending sentences: Syntactic parsing strategies Doctoral dissertation, University of Connecticut (1979).
  • Frazier, Lyn; Fodor, Janet Dean. “The sausage machine: A new two-stage parsing model”. Cognition 6.4, (1978): 291-325.
  • Frazier, Lyn; Rayner, Keith. “Making and correcting errors during sentence comprehension: Eye movements in the analysis of structurally ambiguous sentences”. Cognitive psychology 14.2, (1982): 178-210.
  • Friederici, Angela D.; Pfeifer, Erdmut; Hahne, Anja. “Event-related brain potentials during natural speech processing: Effects of semantic, morphological and syntactic violations”. Cognitive brain research 1.3, (1993): 183-192.
  • Kutas, Marta; Hillyard, Steven A. “Reading between the lines: Event-related brain potentials during natural sentence processing”. Brain and Language 11.2, (1980): 354-373.
  • MacDonald, Maryellen C.; Pearlmutter, Neal J.; Seidenberg, Mark S. “The lexical nature of syntactic ambiguity resolution”. Psychological review 101.4, (1994): 676.
  • Maia, Marcus (a). “Linguística experimental: aferindo o curso temporal e a profundidade do processamento”. Revista de Estudos da Linguagem 21.1, (2013): 9-42.
  • Maia, Marcus. (Org.) (b). Psicolinguística e Metacognição na Escola Campinas: Mercado de Letras, 2019.
  • McElree, Brian; Griffith, Teresa. “Syntactic and thematic processing in sentence comprehension: Evidence for a temporal dissociation”. Journal of Experimental Psychology: Learning, Memory, and Cognition 21.1, (1995): 134.
  • Miller, George A.; Isard, Stephen. “Free recall of self-embedded English sentences”. Information and Control 7.3, (1964): 292-303.
  • Osterhout, Lee; Holcomb, Phillip J. “Event-related brain potentials elicited by syntactic anomaly”. Journal of memory and language 31.6, (1992): 785-806.
  • Ribeiro, Antonio João Carvalho. “Late Closure e Good-Enough no processamento de frases garden-path do português do Brasil: evidências de eyetracking”. ReVEL 10.18, (2012).
  • Trueswell, John C.; Tanenhaus, Michael K.; Garnsey, Susan M. “Semantic influences on parsing: Use of thematic role information in syntactic ambiguity resolution”. Journal of memory and language 33.3, (1994): 285-318.
  • Trueswell, John C.; Tanenhaus, Michael K.; Kello, Christopher. “Verb-specific constraints in sentence processing: separating effects of lexical preference from garden-paths”. Journal of Experimental psychology: Learning, memory, and Cognition 19.3, (1993): 528.
  • Yang, Yang; Wu, Fuyun; Zhou, Xiaolin. “Semantic processing persists despite anomalous syntactic category: ERP evidence from Chinese passive sentences”. PloS one, 10.6 (2015).

Datas de Publicação

  • Publicação nesta coleção
    10 Mar 2021
  • Data do Fascículo
    Sep-Dec 2020

Histórico

  • Recebido
    01 Set 2020
  • Aceito
    12 Out 2020
  • Publicado
    Dez 2020
Universidade Federal de Santa Catarina Campus da Universidade Federal de Santa Catarina/Centro de Comunicação e Expressão/Prédio B/Sala 301 - Florianópolis - SC - Brazil
E-mail: suporte.cadernostraducao@contato.ufsc.br