Multimodalidade no contexto brasileiro: um estado de arte

Multimodality in the Brazilian context: the state of the art

RESUMO

Neste trabalho, lançamos um olhar panorâmico sobre contribuições e os desdobramentos da Abordagem da Multimodalidade nas pesquisas no contexto brasileiro. No primeiro momento, centramos o diálogo nas postulações de Kress (2010); Kress e van Leeuwen (2001); Bezemer e Kress (2016), para compreender a paisagem semiótica. No segundo momento, descrevemos como essa perspectiva tem se colocado no cenário brasileiro, trazendo contribuições para o desenvolvimento de pesquisas. A parte quantitativa deste artigo utilizou as plataformas de busca, como Google Acadêmico e o banco de dados virtual CAPES - Coordenação para o Melhoramento do Pessoal de Educação Superior.

Palavras-chave:
Abordagem multimodal; Semiótica Social; contexto brasileiro

ABSTRACT

In this paper, we launch a panoramic view on contributions and the unfolding of the Multimodality Approach in the Brazilian context. In the first moment, we focus the dialogue on the postulations of Kress (2010); Kress and van Leeuwen (2001); Bezemer and Kress (2016), seeking to interact with a social-semiotic perspective on communication in order to understand the semiotic landscape. Then, we describe how this perspective has been placed in the Brazilian scenario. The quantitative study was based on two main search engines: Google Scholar and the online database of CAPES - The Coordination for the Improvement of Higher Education Personnel.

Keywords:
Multimodal approach; Social Semiotics; Brazilian context

Considerações iniciais

As vivências em congressos, simpósios, mesas redondas, entre outros eventos acadêmicos têm nos dado o privilégio de estabelecer interlocuções com vários pesquisadores que conduzem trabalhos em diversas universidades brasileiras, ressaltando as contribuições da abordagem da multimodalidade. Algo que tem chamado a nossa atenção é o volume de trabalhos em que constam, tanto no título quanto no interior do resumo, o termo “multimodalidade”. Intrigadas com essa recorrência, nasceu o propósito deste trabalho: investigar as pesquisas brasileiras que se ancoram na abordagem multimodal, no âmbito da comunicação e produção de sentidos. Assim, perquirimos, parcimoniosamente, os caminhos que nos possibilitaram levantar os dados e refletir sobre o que eles poderiam no dizer. Em outros termos, sobre como essa abordagem tem sido agasalhada e concebida nas pesquisas brasileiras.

Dessa forma, buscamos fazer um levantamento das pesquisas produzidas no contexto brasileiro nos últimos cinco anos (2013-2017). Nesse movimento, nosso propósito foi de tentar responder a algumas questões como: que tipo de publicações podemos encontrar (artigos, dissertações, teses etc.)? Quais são os temas mais comuns encontrados em tais estudos? Onde, no Brasil, os pesquisadores estão localizados? Que tipo de material tem sido analisado (vídeo, imagens impressas, sites...)? Que referencial tem sido utilizado nessas pesquisas? A parte quantitativa deste artigo utilizou duas plataformas de busca: Google Acadêmico e o banco de dados virtual da CAPES - Coordenação para o Melhoramento do Pessoal de Educação Superior, instituição financiada pelo governo brasileiro, responsável por avaliar e regulamentar universidades e faculdades.

Diante dos questionamentos levantados até aqui, organizamos este trabalho em dois momentos. No primeiro, buscamos situar, de maneira não exaustiva, aspectos essenciais da perspectiva sociossemiótica que dão sustentação à Abordagem da Multimodalidade, cuja acepção não prioriza o verbal no quadro analítico, mas coloca-o no mesmo nível dos outros modos de comunicação existentes (imagens, sons, gestos etc). Nessa etapa do trabalho, buscamos interagir com a Semiótica Social a partir das postulações de Kress (1997; 2010), Kress e van Leeuwen (2001) e Bezemer e Kress (2008; 2016) para compreender a paisagem semiótica, as possibilidades, a disponibilidade dos modos semióticos e a dimensão dessa perspectiva para se pensar a comunicação e, consequentemente, como ela tem contribuído e norteado pesquisas no cenário brasileiro. Assim, ao considerar produção de significados multimodais, traremos a noções de modo, signo, recursos semióticos, affordances e conjunto multimodal, buscando assimilar como estão imbricados na paisagem semiótica e estabelecem relações no processo de comunicação, representação do conhecimento. No segundo momento, buscamos inventariar os dados a partir dos nossos questionamentos, tentando compreender que tipo de trabalhos/pesquisas poderíamos encontrar no Brasil sobre multimodalidade; que temas seriam mais recorrentes, que referencial ancoram esses trabalhos e que instituições têm se detido sobre essas pesquisas.

Lançando o nosso olhar para a teoria que fundamenta a abordagem multimodal discutida aqui, seguimos as contribuições de Gunther Kress (e outros), um dos fundadores da Semiótica Social, (cuja ideia central é que a comunicação envolve mais de um modo semiótico, não apenas só imagem, só gestos, só a fala etc.; ela sempre foi multimodal e, portanto, a tradição em que predomina a hegemonia do modo verbal como principal meio de comunicação e autossuficiente é fortemente questionada pelos autores em defesa da multiplicidade de modos e recursos semióticos disponíveis para a representação e comunicação. Assim, diante desse contexto, passamos à primeira parte desta etapa, buscando compreender a noção de sistema semiótico.

Da noção de sistema a recursos semióticos: a relação entre linguística e semiótica

Ao direcionarmos o nosso olhar para os estudos da linguagem, observamos que o conceito de semiótica derivou inicialmente do conceito de signo, muito utilizado pelos linguistas gregos e os filósofos estoicos. De acordo com Halliday (1985), os estoicos foram um dos primeiros povos a se deter sobre a teoria do signo, cuja concepção foi muito avançada para época e muito tempo depois desenvolvida nos trabalhos de Sausurre. A semiótica, ao ser projetada como o estudo dos signos, deflagrou limitações a esse campo, visto que, em determinados momentos, a noção conceitual do signo como uma entidade autônoma, isolou-o de outras relações, colocando-o como um elemento encerrado em si mesmo, apesar da forte concepção saussuriana da língua como um conjunto de ralações.

A perspectiva sociossemiótica da linguagem, ao utilizar o prefixo “socio”, não o incorpora por uma simples mudança de nomenclatura, mas toma uma posição ao apontar a noção de “socio” para o sistema social, ou seja, para a cultura. A acepção de cultura é tida como um conjunto de sistema semiótico, um conjunto de significados que se interrelacionam. Dadas essas considerações, Halliday (1985:4) já apontava que:

A linguística é, então, um tipo de semiótica. É um aspecto da sutileza do significado. Existem muitas outras formas de significado, além da língua. A língua pode ser um sentido bastante vago, indefinido, o mais importante, o mais abrangente; é difícil dizer exatamente como. Mas existem muitos outros modos de significação, em qualquer cultura, que estão fora do reino da língua.

Dessa forma, o ser humano, diante da necessidade de registrar e compartilhar acontecimentos, informações e ideias, ao longo dos anos, tem criado e buscado sistema de representação para além da língua. Mesmo que durante o longo domínio da escrita, outras formas de representação e comunicação sempre estiveram presentes, a imagem, na grafia, layout etc., com diferentes escolhas para tamanho, cor, tipo e organização textual e, principalmente, em seus suportes (das pedras às telas digitais, por exemplo).

É ponto pacífico que as diferenças entre sociedades e culturas se desdobram em diferentes meios de representação e significados, visto que essas diferenças estão intrinsicamente relacionadas aos aspectos históricos, como os culturais dentre outros. Assim, pensar na aplicabilidade da teoria sociossemiótica, levando em consideração toda complexidade de representação e comunicação em todas as culturas, sem correr o risco de fazer generalizações e criar universalismos, “universais de língua, universais de comunicação” Kress (2010:8) chama a atenção para o fato de que há princípios semióticos que são comuns a todos os seres humanos e que todos produzem signos em uma relação motivada. Esses signos, por sua vez, são produzidos por diferentes meios em diferentes modos e realizam os significados, usando os recursos semióticos disponíveis pelos membros de grupos sociais em uma determinada cultura. Assim, os princípios semióticos sociais, comunicacionais e as disposições são articulados num processo interacional incessante.

A crescente produção de significados em vários modos, em diferentes meios, o crescente consumo, a produção e a disseminação de imagens ameaça a hegemonia do verbal como principal meio de comunicação e representação. Com isso, teorias que se voltam apenas para explicar como se dá o processo de construção de sentidos por meio desse modo são realocadas para outros modos semióticos. Ainda que não seja algo inovador, a relação híbrida entre linguística e semiótica também se fortalece nesse mundo de imersão com outros modos e recursos semióticos.

Buscando estabelecer ecos com a metáfora usada por Kress (2010) no livro Multimodality: a social semiotic approach to comtemporary communication, é necessário olhar para linguagem com uma visão satélite, não a compreendendo como o meio mais completo para produzir significados, mas como um modo entre vários outros. Assim, ao deslocar o nosso olhar para uma imagem de satélite do sistema solar, projetando-nos a partir de uma posição externa ao planeta Terra, é possível visualizar os limites do nosso planeta em relação aos demais dentro de todo o sistema. Essa visão satélite aponta para o que conhecemos e ignoramos: o nosso planeta é uma pequena parte dentro de um sistema muito maior. Em outros planos, o verbal é um modo de produzir significados dentro de um conjunto de possibilidades em uma determinada cultura. Dessa forma, na seção seguinte, discutimos a multimodalidade e trazemos alguns conceitos que norteiam a perspectiva sociossemiótica da multimodalidade.

A multimodalidade sob a ótica da Semiótica Social

Ao falarmos de aspectos relacionados a comunicação, gêneros de discurso, discurso, (hiper)texto, leitura, escrita etc., é recorrente o uso do termo multimodalidade. Neste trabalho, abordamos a multimodalidade sob a perspectiva da Semiótica Social, pois acreditamos ser necessário fundamentar a vertente teórica que orienta a presente discussão. A multimodalidade não é uma teoria, ela é uma característica inerente a todos os textos. Sob esse ponto de vista, os textos sempre possuem mais de um modo semiótico envolvido em sua constituição, sendo, portanto, multi modais.

A Semiótica Social (SS), apresentada no trabalho inaugural de Hodge e Kress (1988), surge a partir de críticas feitas à semiótica tradicional, inaugurando, assim, uma fase de estudos pós estruturalistas. Não se trata de uma ruptura com a tradição, mas uma revisão desses estudos fundadores, permitindo desenvolver uma nova forma semiótica, cuja discussão repousa no processo de produção de significado (meaning making) e a sua recepção, situando-os como parte da construção social. Hodge e Kress (1988), ao lançar livro Social Semiotics, marcam uma nova fase para os estudos semióticos ao desnudar a semiose humana como um fenômeno social em suas origens, funções, seus contextos e efeitos. A SS abarca “os significados sociais construídos através da vasta gama de formas semióticas, por meio de textos semióticos e práticas semióticas em todos os tipos da sociedade humana em todos os períodos da história humana” (Hodge e Kress 1988:261 tradução nossa³).

Dessa forma, um estudo multimodal de textos amparado na SS não se resume a analisar outros modos em relação ao verbal, é muito mais do que colocar a atenção em outros modos de produzir significados. Uma perspectiva sociossemiótica da multimodalidade se afasta da tradição que se centra no verbal e considera os outros modos como marginais. Sob essa ótica, todos os modos são considerados no mesmo nível de importância; nesse sentido, é relevante analisar efeitos de escolhas de um modo em detrimento de outro. Assim, sempre que consideramos conjuntos multimodais ou complexo de signos, podemos questionar: qual modo carrega mais informação (functional load) em relação a outros? Como cada modo contribui para o significado que está sendo construído? Como os recursos semióticos são disponibilizados para os produtores de signos e por quem? Esta última questão nos permite acessar aspectos de agenciamento e poder (Bezemer e Kress 2016:31), visto que cada modo tem efeitos significativos do que pode ser e é comunicado e, consequentemente, aprendido, em um dado ambiente.

Diante desses questionamentos, ao recobrimos o uso do termo “multimodalidade”, vemos que ele ressalta a importância de considerar outras semioses além do uso do verbal, como imagem, música, gesto. A crescente ubiquidade do som, da imagem, do cinema, da televisão, da internet etc. está, sem dúvida, atrás dessa nova ênfase e interesse na complexidade multissemiótica das representações que produzimos e vemos ao nosso redor.

Para Iedema (2003:33), a tendência para uma apreciação multimodal de criação de significados centra-se em torno de duas questões: primeiro, a descentralização da linguagem como forma favorável de produzir significado; e, em segundo lugar, a (re)visão e o encobrimento dos limites tradicionais entre os papéis atribuídos a linguagem, página, layout, imagem, design, e assim por diante. O encobrimento dos limites entre as diferentes dimensões semióticas de representação está ligado às mudanças da paisagem semiótica e a (pre)disposição da produção humana em direção a uma produção de significado multimodal. Em relação à segunda questão, ao asseverar a (pre)disposição humana para a produção multimodal, traz para o centro da discussão a noção de complexos de signos em que operam para servir a funções de complementariedade na constituição de um conjunto multimodal.

O signo é, portanto, um elemento fundamental da Semiótica Social e, no escopo multimodal, visto que os signos são organizados em textos, como complexos de signos - um conjunto de elementos coerentes dentre de entidades textuais coerentes, estabelecendo um entrelaçamento, uma cadência entre vários signos utilizados numa interação social, num conjunto multimodal. Nessas configurações, percebemos a integração de diversos modos, na comunicação contemporânea, usando seus recursos materiais e conceituais na produção e orquestração de significados.

A esse respeito, Hodge e Kress (1988) propõem que, na SS, os sistemas semióticos não podem ser estudados em isolamento, à parte da sua dimensão social. Na SS, funções e usos sociais dos sistemas são enfatizados, assim como sua relação com a prática social. Com novos paradigmas, a SS trabalha com a discussão de princípios semióticos amplos, dentre os quais destacamos: 1) a noção de escolha do sistema de linguagem; 2) as configurações de significado a partir do contexto; e 3) as funções semióticas da linguagem. Diante desses princípios, a noção de escolha é fundamental, pois parte-se do pressuposto de que “os interesses de quem produz um signo leva a uma relação motivada entre significante e significado e, portanto, a signos motivados” (Kress; Leite-Garcia; van Leeuwen 2001:375). Nessa perspectiva, duas categorias são centrais e estruturantes: signo e modo. O signo existe em todos os modos e precisam ser considerados pelas suas contribuições ao significado. Assim, coloca-se em questão a concepção tradicional sobre a noção de arbitrariedade e convencional entre forma significado. Para Kress, essa noção indica poder social em diferentes posições:

arbitrariedade como uma indicação de um poder social que é suficientemente forte para atar qualquer forma a qualquer significado; e a convenção - o efeito do poder social ao longo do tempo - como uma força social que atua para manter os signos estáveis, uma força estabilizadora para a comunidade que a subscreve (Kress 2010:64, tradução nossa⁴).

Na ótica de Kress (2010), essa força social retira do indivíduo qualquer possibilidade de mudança nos signos ou na relação destes com o sistema de signo. Tomando como premissa que os signos são motivados, mesmo que admitíssemos que os signos fossem arbitrários, essa arbitrariedade não residiria no próprio signo e sim no poder social em manter a relação forma sentido. Pensar a natureza dos signos pelo viés sociossemiótico é agasalhar a ideia de que os “signos são construídos - não usados - por um produtor de signo que dá sentido a uma combinação adequada com a forma, uma seleção/escolha moldada pelo interesse desse produtor” (Kress 2010:62, tradução nossa⁵).

O signo - “a menor unidade de sentido, como uma combinação de forma e significado” (Gualberto; Kress 2019:1, tradução nossa⁶) - é realizado por aspectos materiais e não materiais ou conceituais. No que se refere às categorias semióticas não materiais, elas recebem a realização material, de acordo com as possibilidades (affordances) de cada modo. Por exemplo, na fala, a intensidade (aspecto não material) pode ser marcada pela altura e pelo tom de voz (aspectos materiais), na escrita, pode ser materializada por fontes em negrito ou em caixa alta, no gesto, pode ser percebida por ações expansivas, na imagem, pode ser realizada pelo uso de cor, brilho.

A noção de affordances , dentro desse paradigma, indica as restrições e possibilidades oferecidas por cada modo para a produção de sentido em eventos comunicativos. As origens do termo são advindas do campo das ideias psicolinguísticas e ecológicas de James Gibson que cunhou o substantivo affordance a partir do verbo afford, para se referir, de forma lacônica, ao que o meio ambiente tem para oferecer, proporcionar e fornecer ao animal (indivíduo), quer seja algo bom ou ruim, perceptível a esse indivíduo, como que o convidando a agir nesse meio que o cerca. Essa proposta ecológica aponta para o entendimento, segundo Silva (2015:47), de que “desde o nosso conhecimento, percebemos uma ecologia ao nosso redor que nos é complementar, como uma ressonância de nós mesmos e, assim, percebemos que existimos no mundo”. Nessa perspectiva, Kress direciona o termo entre uma affordance de uma substância material ou imaterial do meio ambiente ecológico para um modo em um ambiente cultural, social e histórico. Em síntese, Kress, citado por Andersen et al (2015:79), referindo-se a affordances, ressalta que “diferentes modos permitem que você faça diferentes tipos de coisas, e não apenas permitem [...], mas insistem que diferentes coisas sejam feitas”.

Nesse sentido, a ação interativa entre o agente social e os modos que o cercam o levam a reconhecer a potencialidade e limitações de um mondo, possibilitando-o responder inquietações como: “devo expressar isso com o som ou música? Devo dizer isso visualmente ou verbalmente?”⁷. (Kress e van Leeuwen 2001:2). Tais possiblidades de escolhas trazem à baila algumas características da comunicação, dentre elas, a intrínseca relação entre o social e o semiótico que se desdobra para questões relativas à canonicidade das formas semióticas e à confiabilidade do conhecimento, em que podemos visualizar questões de poder e autoridade. Assim, a convenção pode garantir aderência às práticas de representação, quando nos perguntamos que modos podem representar o conhecimento canônico, uma imagem ou um diagrama? O que confere mais credibilidade e autenticidade na representação desse conhecimento? O que pode ser considerado um conhecimento oficial? Esses questionamentos apontam para o que Kress (2010) assevera: na contemporaneidade, esses sistemas têm desaparecido em muitos contextos, incluindo o de educação formal, o que aponta para a dissolução ou o desaparecimento de limites.

No que se refere aos modos, estes são definidos como os meios pelos quais o signo se torna evidente - visível, tangível, audível (Gualberto; Kress 2019:1). O termo também é utilizado para se referir a um conjunto de recursos socialmente e culturalmente moldados para a produção de sentido. Assim, segundo Kress (2010), o modo é o que uma comunidade considera como tal e utiliza em suas práticas sociais. Logo, o que uma comunidade decide considerar e usar com regularidade como modo é um modo. Se há uma comunidade que usa, por exemplo, fonte, layout, cor, com uma regularidade, consistência e premissas compartilhadas, esses recursos são modos para este grupo. Nas palavras do autor:

[...] uma abordagem sociossemiótica multimodal presume que todos os modos de representação são, em princípio, de igual significância na representação e comunicação, como todos os modos têm potenciais para significados, embora diferentemente, com modos distintos. (Kress 2010:104 tradução nossa⁸)

Soma-se a esse raciocínio a ideia de que os modos são resultados do trabalho semiótico de membros de uma comunidade específica e são continuamente desenvolvidos no seu uso, visto que as necessidades sociais e os interesses de uma comunidade tornam-se visíveis nos traços de cada modo. Nesta via, os significados são acordados socialmente e específicos cultural e socialmente. As escolhas de determinados modos para a produção de significados estão diretamente ligadas à história do uso semiótico de uma materialidade específica, dado que o que um produtor de signo faz está relacionado com o que outro(s) produtores fizeram antes, em reposta a necessidades sociais semióticas similares. As sociedades têm preferências modais: um modo é usado para um propósito para um determinado agrupamento social e outros modos para outros propósitos.

Em relação ao recurso semiótico, ele é o ponto de partida para o entendimento da mudança de paradigma, proposto por Kress e van Leeuwen. Os autores ressaltam o produtor do signo no processo de produção de sentido como um agente que constrói e reconstrói esse signo para melhor representar seus interesses em eventos comunicativos. Nessas premissas, refuta-se a noção convencional de que o signo é produzido dentro de um sistema fixo.

Ainda nesse raciocínio, podemos nos questionar como recursos semióticos, por exemplo, de molduras, saliência etc. materializam-se e se realizam em uma determinada comunidade comunicativa por meio das possibilidades materiais de cada modo; como as comunidades fazem o uso desses recursos na imagem, na fala, na escrita etc. Na modalidade oral, por exemplo, a moldura pode se realizar pelas possiblidades do som. O silêncio entre uma unidade e outra pode ser uma marca de moldura. Na imagem, as molduras podem se realizar por meio de linhas ou espaços.

As considerações de Bezemer e Kress defendem que todo texto é multimodal, visto que os modos que tecem a rede textual sempre ocorrem em conjunto, sendo os recursos semióticos utilizados de formas múltiplas, de acordo com as possibilidades de cada modo selecionado, escolhidos como os mais aptos no processo de representação e comunicação, de acordo com os propósitos retóricos do produtor. Assim, para Bezemer e Kress (2016:16 tradução nossa⁹), “os meios não materiais ou conceituais são categorias para estabelecer entidades, ações, relações, gêneros, molduras, ou seja, os meios para produção de coesão e formas de coerência”. Para os autores, em uma abordagem sociossemiótica orientada para multimodalidade, todos os modos com suas categorias semióticas não materiais, são tratados como um domínio integrado que constituem os recursos semióticos e culturais de uma comunidade.

De maneira abrangente e integrada, para a SS, as questões fundamentais relacionam-se com o processo de produção de significado (meaning making): os recursos, os agentes sociais e as características dos ambientes em que os significados atuam. Assim, lançamos o nosso olhar nesta pesquisa para observar quais/como os modos e seus recursos têm sido observados/estudados pela comunidade acadêmica brasileira; como a paisagem semiótica da nossa comunicação tem sido constituída.

Tais questionamentos emergem dentro desse quadro teórico, visto que os signos se materializam por meio dos modos. Os recursos semióticos dos modos são usados com certa regularidade por uma comunidade, conferindo um nível de estabilidade e previsibilidade na produção de significados. Diante das considerações sobre complexidade multissemiótica da paisagem da comunicação aventadas até aqui, na seção seguinte, esboçamos como essa abordagem tem impactado as pesquisas no cenário brasileiro.

Panorama das pesquisas no Brasil: alguns percursos metodológicos

Ao observamos as contribuições da abordagem multimodal no contexto das pesquisas brasileiras, vemos um impacto muito significativo do uso de seus princípios para a realização de muitos trabalhos. Assim, optamos por inventariar um conjunto de dados, dos últimos cinco anos (2013-2017), publicados em língua portuguesa, a fim de responder aos nossos questionamentos sobre os tipos de publicações que encontramos no contexto brasileiro, quais temas são recorrentes, que tipo de referencial é utilizado, dentre outros.

O maior desafio da catalogação dos trabalhos foi criar um banco de dados criterioso, em que as produções atendessem a todos os critérios, a saber: redação em língua portuguesa, publicação entre 2013 e 2017, uso do conceito de multimodalidade dentro do contexto discutido anteriormente (produção de sentidos) e que fossem teses, dissertações ou artigos. Nenhuma ferramenta se mostrou totalmente eficiente e confiável para indicar trabalhos repetidos e que se adequassem aos critérios. Dessa forma, foi necessário verificar cada produção individualmente, filtrando e cruzando os resultados obtidos pelas plataformas de busca¹⁰ e armazenamento¹¹. A seguir, na Fig. 1 ¹², mostramos um resumo dos passos metodológicos de pesquisa e catalogação.

Figura 1
Passos metodológicos.

Na Fig. 1, tentamos representar o resumo dos principais passos seguidos ao longo da pesquisa. O primeiro foi a coleta de dados, a partir dos critérios de busca já mencionados. Em seguida, foi necessário filtrar esses dados, pois as plataformas geraram muitos resultados repetidos ou que não atendiam às categorias de busca. Com esse filtro, começamos a criar planilhas com os dados, para facilitar a produção de gráficos e contabilização de resultados. Essas informações estão disponíveis online¹³, garantindo a credibilidade dos dados deste artigo, pois são rastreáveis e podem ser acessados por qualquer pessoa.

As setas da Fig. 1, indicando um caminho de retorno, são fruto de outro desafio que enfrentamos ao longo da pesquisa: a atualização das plataformas. No decorrer deste estudo, percebemos que novos títulos apareciam em nossas buscas. Dessa forma, por diversas vezes, precisamos voltar aos passos 1 e 2, incluindo e filtrando novos resultados de busca. Por fim, categorizamos teses e dissertações como é mostrado na Fig. 2 e os artigos conforme mostra a Fig. 3. A esse respeito, é válido mencionar que as categorizações também evidenciaram a complexidade desta pesquisa. Dada a diversidade de materiais e temas dos trabalhos que catalogamos, criamos “macro” categorias, englobando “micro” categoriais, para que os dados fossem legíveis e apresentáveis. Sem percorrer este caminho, teríamos que produzir gráficos com mais de vinte colunas, inviabilizando a leitura e análise dos dados. Por exemplo, um trabalho sobre ensino de Língua Portuguesa para surdos teve seu tema enquadrado na macro categoria “educação”; neste mesmo estudo, foram analisadas atividades elaboradas por professores, permitindo-nos a inclusão deste trabalho na macro categoria “materiais didáticos”, no quesito “material analisado / objeto de estudo”¹⁴.

Figura 2
Procedimentos para coleta e tratamento de teses e dissertações.

Figura 3
Procedimentos para coleta e análise dos artigos.

Ao inventariarmos dados sobre teses e dissertações na Biblioteca Digital Brasileira de Teses e Dissertações (BDTD), encontramos 421 ocorrências e 286 ocorrências na plataforma da CAPES. Essa busca foi guiada por palavras de chave como “multimodalidade” e “multimodal”. Dos dados levantados e analisados, excluímos 230 trabalhos escritos em inglês ou em que a multimodalidade aparecia ligada a outra área de pesquisa, dentro de outra perspectiva, sem nenhuma relação com a área de comunicação. Feito esse filtro, chegamos a um resultado de 477 produções de dissertações e teses nesse recorte de tempo. Desse número, excluímos 206 ocorrências de títulos duplicados. Chegamos ao total de 271 teses e dissertações para ser categorizadas. Para tanto, lemos os resumos, que muitas vezes já eram suficientes para classificação; em alguns casos, foi necessário ler o restante do trabalho para que a categorização fosse adequada.

No que se refere às produções de artigos em periódicos, livros ou anais de congresso, buscamos inventariar os dados a partir de buscas do Google Acadêmico, filtrando produções publicadas em língua portuguesa nos últimos cinco anos e utilizando as mesmas palavras chaves, multimodalidade, multimodal, usadas nas dissertações e teses.

Com esses critérios, deparamo-nos com o volume de 1.748 trabalhos, sendo necessário excluir 882 produções em outra língua ou em que o termo “multimodalidade” apareceu dentro de outra perspectiva, algo comum tanto para o filtro das dissertações e teses quanto para os artigos e capítulos de livro. Após a exclusão desse volume de trabalho, chegamos a um denominador de 886 produções, sendo necessário, dentre desse quantitativo, excluir 327 ocorrências duplicadas.

O aspecto que denominamos “duplicação” em artigos, capítulos de livro e anais de eventos não é objeto desta discussão, dando-nos lacunas para discutir em trabalhos futuros, pois, na maioria dos casos, refere-se a um mesmo trabalho publicado em dois espaços. Esse fenômeno precisa ser melhor discutido numa era denominada “publique ou pereça”, o que leva diversos trabalhos a aparecerem de forma muito semelhante em vários espaços, na possibilidade de consolidar um volume de publicações por partes de muitos “produtores de texto”. Assim, diante dessas exclusões, chegamos ao número de 539 produções sendo que 85 não eram artigos, mas sim resumos, resenhas etc. Logo, fizemos o filtro chegando a um total de 454 produções. Posteriormente, foi necessário incluir 21 ocorrências a que tivemos acesso e que não apareceram nos resultados do Google. Feito todo esse tratamento dos dados, lemos os 475 artigos e vimos a necessidade de excluir 96, pois o termo “multimodalidade” apareceu de forma superficial, sem nenhum amparo teórico, ou constava apenas na seção com as referências. Com os 379 restantes, fizemos as classificações relativas a: ano, local de publicação, material analisado, tema, principal referência em multimodalidade citada pelo trabalho.

Feito o levantamento dos dados a partir desses critérios metodológicos, chegamos ao seguinte resultado sobre os tipos de publicação no Brasil entre 2013-2017 em interface com a abordagem:

Tabela 1
Tipos de publicação

Tipo	Quantidade
Teses de doutorado	79
Artigos	379
Periódico	245
Capítulo de livro	25
Anais de congresso	109
Dissertações de mestrado	192
Total	650

Conforme a síntese da tabela anterior, podemos perceber o volume significativo de dissertações, teses e artigos, distribuindo-se anualmente da seguinte forma:

Gráfico 1
Produções por ano

O gráfico anterior registra um crescimento gradativo das produções no decorrer de cada ano, sendo importante registrar que em todos os anos, com exceção de 2015, houve um volume de artigo superior em relação aos demais trabalhos. Esse volume maior atribuímos às características do gênero e a popularização dos resultados de pesquisas em nível de mestrado e doutorado, pois se considerarmos a natureza das convenções do gênero artigo acadêmico, é viável um volume de produção maior visto que é produzido em um período relativamente menor com uma extensão menor, podendo ser divulgado em vários periódicos brasileiros. Ainda no que se refere a esses dados, buscamos inventariar as principais referências utilizadas que consubstanciava os aspectos teóricos-metodológicos das pesquisas. Foi notório que a maioria das dissertações e teses trouxeram como principais referências Kress e van Leeuwen (2006 [1996]; 2001), Kress (2010) dentre outros, como explicitam os dados a seguir:

Gráfico 2
Referências recorrentes nas dissertações

Gráfico 3
Referências recorrentes nas teses

Ainda é válido pontuar que a utilização de Hodge e Kress (1988), só aparece, de forma um pouco mais expressiva, nas teses (Gráfico 3); provavelmente, por ser uma obra teórica complexa, a primeira que se dedica a apresentar a Semiótica Social como teoria para os estudos da comunicação e que, posteriormente, dá origem à abordagem multimodal discutida aqui.

Em relação aos artigos, é expressivo, como nas dissertações e teses, o uso de Kress e van Leeuwen (2006 [1996]). Esse fato chamou nossa atenção, de como a comunidade brasileira utiliza as contribuições da obra Reading Images: the gramar of Visual Design para fazer discussões e análises em seus trabalhos. Além disso, percebemos referências brasileiras, como Rojo e Dionísio.

Gráfico 4
Referências recorrentes nos artigos

De posse da identificação das produções, buscamos identificar as regiões em que essas pesquisas têm sido publicadas e encontramos os seguintes dados:

Figura 4
Localização das pesquisas produzidas no Brasil

Como demonstra o mapa (Fig. 4), há uma concentração de trabalhos que se localiza na costa oeste do Brasil, sendo os estados de São Paulo, Minas Gerais, Rio Grande do Sul, Paraíba e Rio de Janeiro os que mais têm pesquisas defendidas em programas de pós-graduação, usando o aporte teórico da multimodalidade. Inferimos, em grande medida, que as pesquisas produzidas nessas regiões se dão em decorrência da proximidade de pesquisadores nos programas de pós-graduação com esse referencial teórico, do contato que estabelecerem por meio de doutorado sanduiche, pós-doutorado no Brasil e exterior e que hoje ecoam nas suas produções, bem como no restante de sua atuação em linhas de pesquisa.

Diante desses dados, destacamos, por exemplo, os trabalhos desenvolvidos no estado de Minas Gerais, sendo a UFMG uma das universidades percursoras desse referencial em muitas pesquisas voltadas para o ensino de línguas, tradução, estudos do texto e discurso etc., não se limitando apenas a esta instituição mineira, mas se desdobrando em outras universidades desse estado, como UFV, UFOP, UFSJ. É importante registrar o crescente número de pesquisas na região Nordeste, projetando-se como um celeiro de estudos nessa área dentro dos vários programas de pós-graduação. A proeminência do estado de São Paulo se dá, dentre outros fatores, por pesquisas desenvolvidas em universidades como PUC-SP, USP, UNICAMP, onde acontecem muitos eventos científicos. Além disso, vários pesquisadores dessas instituições são conhecidos, como por exemplo, a professora Roxane Helena Rodrigues Rojo, cuja referência é recorrente nos trabalhos que analisamos.

Panorama dos temas e materiais: algumas considerações sobre temáticas e materiais analisados nas pesquisas

De acordo com as informações aventadas, percebemos um número crescente de pesquisas que buscam os princípios da abordagem multimodal como referencial para análise de objetos de pesquisa. Um dos questionamentos que aguçou nossa curiosidade residia em compreender quais eram as principais temáticas que perpassavam essas pesquisas. Ao reunir os dados e categorizá-los por temáticas, encontramos a seguinte disposição para as dissertações e teses:

Gráfico 5
Temas de pesquisas mais recorrentes nas dissertações

Gráfico 6
Temas de pesquisas mais recorrentes nas teses

Os dados revelam um predomínio nas pesquisas por temáticas ligadas à educação tanto nas dissertações quanto nas teses. Ambos os tipos de trabalhos se concentram em temáticas, com devidas proporções, conforme pontua o Gráfico 6, ligadas à publicidade, à política, ao discurso midiático, à proposição de métodos, a questões de gênero e, mais especificamente nas teses, há um olhar para temáticas como identidade (ex: representações culturais de determinados grupos sociais) e arte.

Além das temáticas, investigamos os materiais analisados nessas pesquisas; o predomínio da temática ligada à educação se desdobra, fazendo com que os principais materiais analisados sejam livros didáticos e outras atividades didáticas no formato impresso (que compõem a categoria “materiais didáticos”).

Gráfico 7
Materiais mais analisados nas dissertações

Gráfico 8
Materiais mais analisados nas teses

Ao observarmos os gráficos, vemos que há um predomínio de materiais analisados nas dissertações por livros didáticos, e, em segundo lugar nas teses, o que nos causa surpresa de muitas pesquisas estarem direcionadas para o contexto de ensino, mais especificamente de língua materna e adicional ao se proporem compreender como os princípios multimodais são articulados e orquestrados na produção de material didático e os seus desdobramentos para os processos de ensino-aprendizagem. Um dos fatores que podem estar ligados a essa escolha é a recorrente discussão no contexto educacional brasileiro do Plano Nacional do Livro Didático - PNLD, que envolve uma comunidade discursiva de sujeitos (pesquisadores, professores, alunos, dentre outros) além de ser fomentado por meio de políticas públicas. Outro aspecto relevante é o olhar de pesquisadores sendo direcionado para apreciação de material publicitário e vídeos, tão comuns em tempos digitais, cujo habitat textual tem experimentado notáveis mudanças, o que implica que muitos trabalhos estão voltados para as fontes de informações multimídia e eletrônica, que têm ocupado a comunicação de muitas informações e alterando formatos tradicionais de textos bem como formas interação e representação.

Ao analisarmos os dados dos artigos produzidos nesse período, notamos que eles estão articulados com os principais objetos de análise e temas que guiam as pesquisas de dissertações e teses, conforme explicitam os Gráficos 9 e 10:

Gráfico 9
Materiais mais analisados nos artigos

Gráfico 10
Temas mais frequentes nos artigos

Diante de todo esse levantamento, vemos, claramente, uma tendência dos pesquisadores brasileiros de usar esse referencial para nortear seus trabalhos de pesquisa, visto que uma perspectiva de linguagem que coloca a apenas o verbal no centro das discussões não dá conta de abarcar as complexidades que estão envolvidas no processo de comunicação e representação. A proeminência das principais temáticas como educação, publicidade, discurso midiático e análises de material midiático bem como vídeos etc. coloca em discussão a supremacia da língua nesses objetos de pesquisa e delimita o que salta aos olhos dos pesquisadores no cenário nacional.

Além disso, esses gráficos revelam que nós, como pesquisadores não só da linguagem, mas da comunicação, precisamos expandir o campo de análise, propondo reflexões que se relacionem a temáticas ligadas à saúde (como podemos ver em Bezemer e Kress 2016, por exemplo), engenharia, arquitetura e tantas outras. Acreditamos que o diálogo com outras temáticas e materiais de análise é desafiador, mas também é necessário, revelando a aplicabilidade e pertinência dos estudos sobre comunicação nas diversas esferas sociais.

Algumas considerações sobre os dados

Os dados revelam que a abordagem multimodal no contexto brasileiro tem sido, erroneamente, percebida como uma teoria independente, que possibilita conjugar e descrever o uso modos/recursos na produção de significados. É mister salientar, diante do que asseveram Bezemer e Kress (2016), que a multimodalidade constitui-se em um campo fértil para a Semiótica Social, visto que está ancorada em pressupostos teóricos, conforme previamente elucidado na primeira parte deste trabalho, e, portanto, não se constitui em uma nova teoria, mas em um modelo de comunicação que fornece ferramentas de análise que podem tanto auxiliar o entendimento de como os significados são construídos. É fato que muitas discussões têm sido tecidas por pesquisadores como (Jewitt 2013; Adami 2016; Callow 2013; Kress 2003) e muitas questões ainda estão em debate, por exemplo, noção de letramento; modo, affordances e multimodalidade, enquanto fenômeno de comunicação.

Essas percepções em relação à abordagem é que, de certa maneira, justifica o nosso movimento de filtro dos dados levantados no decorrer do trabalho, principalmente na categoria artigos, pois muitos trabalhos recorriam à expressão multimodal ou multimodalidade, mas não desenvolvida nenhum aprofundamento a partir dos pressupostos teóricos que norteiam a multimodalidade. Por extensão, a difusão do termo “multimodalidade”, em muitos trabalhos, aparece como uma ferramenta descritiva dos processos de comunicação e representação ao invés de uma abordagem crítica que disponibiliza inventários para compreender os significados (representacional, interacional e composicional), que operam simultaneamente em todos os textos, construindo padrões de experiência, interação social e posições ideológicas por meio das escolhas em um contexto cultural.

Outro aspecto relevante a ser enfatizado é o predomínio da referência à Gramática do Design Visual (GDV) em mais de 40% de dissertações e teses e 26% de artigos. A gramática, publicada na sua primeira edição em 1996, e reeditada dez anos mais tarde, foi um desdobramento dos princípios da Semiótica Social, cujas premissas estão baseadas nas contribuições de Halliday (1978). Nesse trabalho, Kress e van Leeuwen reivindicaram a urgência de um novo letramento¹⁵, devido à importância das imagens na comunicação em sociedade; e defendem a imagem como uma mensagem organizada e estruturada independente. O propósito desse trabalho foi o de fazer com que as pessoas vissem as imagens não somente pelo seu aspecto expressivo, mas também pelas suas estruturas sociais, políticas e dimensões comunicativas.

A gramática produzida pelos autores traz um inventário de categorias, além de uma metalinguagem, que direciona o nosso olhar para comunicação visual ocidental e como as estruturas visuais são orquestradas e se desdobram em significados dentro de uma cultura. Para esses pesquisadores, a imagem, assim como a linguagem¹⁶, é um modo com recursos para a representação, o qual também apresenta regularidades possíveis de uma descrição formal, construindo, assim, uma gramática.

A rigor, é importante destacar que o termo “gramática” não se coloca como um conjunto de regras a seguir, desde a primeira página do livro. Em interações com os autores, mais precisamente com Kress, na Conferência Internacional sobre Multimodalidade em agosto de 2018, o autor pontua curiosidade em relação ao uso recorrente da Gramática do Design Visual nas pesquisas no Brasil e salienta que a acepção do termo “gramática” leva muitos a entenderem a GDV como um conjunto de princípios estanques, sendo necessário pensar que esses princípios são articulados dentro da cultura, pois ela possibilita recursos semióticos distintos para o complexo de signos que serão emoldurados e poderão variar, assim, de cultura para cultura. Nesse sentido, chamamos atenção para o fato de que o nosso olhar precisa contemplar as especificidades dos recursos semióticos que a nossa cultura disponibiliza e como, quando, por quem etc. são utilizados e como podem ser interpretados numa dimensão crítica, social, política etc. sem fazer generalizações nem ficar apenas no nível de descrição. A gramática dentro desse referencial é tida como um conjunto de possiblidades ou recursos que são constantemente refeitos - nunca de forma arbitrária - e que possuem regularidades nos eventos e ocasiões sociais com relativa estabilidade - nunca fixas.

Em face de todas as considerações feitas a partir dos dados inventariados, vemos não só uma apropriação dos princípios da perspectiva sociossemiótica da linguagem nas pesquisas no Brasil como também o esforço e compromisso dos pesquisadores em buscar compreender a complexidade do sistema de comunicação e representação dentro da nossa cultura. O caminho percorrido tem produzido bons frutos em termos de contribuições da abordagem em várias áreas, em especial, destacamos a área da educação e ensino, onde se concentram a maioria das pesquisas. Adicionalmente, adotar esse referencial na condução de pesquisas e nos trabalhos significa, nas palavras de Bezemer e Kress (2016), não só um comprometimento, mas também a necessidade de abordar a multimodalidade de forma coerente e profunda, o que implica atribuir igual importância a todos os modos semióticos que estão presentes na nossa vida comunicacional diária, requerendo, portanto, uma mudança de paradigma - uma mudança epistemológica.

Na tentativa e na necessidade de encaminhar as últimas palavras do trabalho, recorremos, como fizemos em diversos momentos no desenvolvimento texto, buscar ecos e diálogo nas palavras de alguns pesquisadores. Assim, para Bezemer e Kress (2016), compreender a multimodalidade como signos que são produzidos em todos os modos não significa o acréscimo de outros modos semióticos ao modo verbal. Essa perspectiva requer o desenvolvimento de uma nova descrição da comunicação, que transcenda termos como “linguagem”, “não-verbal”, “paralinguístico” e “extralinguístico”, os quais encerram em si a posição privilegiada do verbal, da língua, da fala e da escrita como meios de comunicação, sendo necessário desenvolver uma estrutura que permita considerar todas as instâncias da comunicação, envolvendo diferentes modos semióticos. É nesse caminho que segue o desafio para futuros trabalhos e pesquisadores no cenário brasileiro.

Referências

• ADAMI, E. 2016. Multimodality. In: GARCIA, O.; FLORES, N.; SPOTTI, M. (Ed). The Oxford Handbook of Language and Society Oxford: Oxford University Press. p. 451-472.
• ANDERSEN, T. H. et al 2015. Social semiotics: key figures, new directions. London: Routledge.
• BEZEMER, J.; KRESS, G. 2008. Writing multimodal texts: A social Semiotic Account of Designs for learning. Written Communication, 25(2), p.166-195.
• BEZEMER, J.; KRESS, G. 2016. The Textbook in a Changing Multimodal Landscape. In: KLUG, N.; STÖCKL, H. (Ed.) Handbuch Sprache im multimodalen Kontext Berlin, Boston: De Gruyter. p. 476-498.
• ______. 2016. Multimodality, learning and communication: a social semiotic frame. London: Routledge.
• CALLOW, J. 2013. The shape of text to come: how image and text work. Australia: PETAA.
• GUALBERTO, C.; KRESS, G. 2019. Social Semiotics. In: HOBBS, R.; MIHAILIDIS, P. (Ed.). International Encyclopedia of Media Literacy NY: Wiley-Blackwell. Disponível em: https://www.researchgate.net/publication/325764226_Social_Semiotics .
  » https://www.researchgate.net/publication/325764226_Social_Semiotics
• HALLIDAY, M.A.K. 1978. Language as a social semiotic: the social interpretation of language and meaning. London: Edward Arnold.
• HALLIDAY, M.A.K. 1985. An introduction to functional grammar London: Edward Arnold.
• HODGE, R.; KRESS, G. 1988. Social semiotics New York: Cornell University Press.
• IEDEMA, R. 2003. Multimodality, resemiotization: extending the analysis of discourse as multi-semiotic practice. Visual Communication, Vol. 2(1): 29-57.
• JEWITT, C. 2013. Multimodal methods for researching digital technologies. In: PRICE, S.; JEWITT, C.; BROWN, B. (Ed.). The Sage Handbook of Digital Technology Research London: Sage. p. 250-265. Disponível em: <Disponível em: http://eprints.ncrm.ac.uk/2886/1/17_Jewitt_SAGE_Handbook_.pdf >. Acesso em: 10 agosto. 2017.
  » http://eprints.ncrm.ac.uk/2886/1/17_Jewitt_SAGE_Handbook_.pdf
• KRESS, G. 1997. Before Writing: Rethinking the Paths to Literacy. London: Routledge.
• ______. 2003. Literacy in the new media age London: Routledge.
• ______. 2010. Multimodality: a social semiotic approach to contemporary communication. London: Routledge.
• KRESS, G.; LEITE-GARCIA, R.; VAN LEEUWEN, T. 2000. Semiótica Discursiva. In: van DIJK, T. A. El discurso como estructura y processo Barcelona: Gedisa Editorial.
• KRESS, G.; VAN LEEUWEN, T. 2001. Multimodal discourse: the modes and media of contemporary communication. London: Hodder Arnold.
• ______. 1996 [2006]. Reading images: the grammar of visual design. London: Routledge.
• MODE. 2012. Glossary of multimodal terms Disponível em: <Disponível em: https://multimodalityglossary.wordpress.com/ >. Acesso em 19 setembro 2017.
  » https://multimodalityglossary.wordpress.com/
• SILVA, A. T. 2015. Affordances e restrições na interação interpessoal escrita online durante a aprendizagem de inglês como língua estrangeira 2015. Tese (Doutorado em Linguística) - Universidade Federal do Ceará, Centro de Humanidades, Departamento de Letras Vernáculas, Programa de Pós-Graduação em Linguística, Fortaleza.

• 3
  . No original: “social meanings constructed through the full range of semiotic forms, through semiotic texts and semiotic practices, in all kinds of human society at all periods of human history” (Hodge e Kress 1988:261).
• 4
  . No original: “arbitrariness as an indication of a social power which is sufficiently strong to tie any form to any meaning; and convention - the effect of social power over time - as a social force which acts to keep signs stable, a stabilizing force for the community which subscribes to it”. (Kress 2010:64).
• 5
  . No original: “signs are made - not used - by a sign-maker who brings meaning into an apt conjunction with a form, a selection/choice shaped by the sign-maker’s interest” (Kress 2010:62).
• 6
  . No original: “the smallest unit of meaning as a combination of form and meaning” (Gualberto; Kress 2019:1).
• 7
  . No original: “Shall I express with sound or music? Shall I say this visually or verbally?” (Kress; van Leeuwen 2001:2).
• 8
  . No original: “A multimodal social-semiotic approach assumes that all modes of representation are, in principle, of equal significance in representation and communication, as all modes have potentials of meaning, through differently and different modes. The assumption that modes have different potentials for meanings makes the point about apt naming interestingly significant” (Kress 2010:104).
• 9
  . No original: “These non-material, conceptual means are categories for entities, actions and relations; genres; frames; the means for producing cohesion and forms of coherence” (Bezemer; Kress 2016:16).
• 10
  . Para teses e dissertações, utilizamos o banco da CAPES e a Biblioteca Digital de Teses e Dissertações (BDTD). Para os artigos, o Google Acadêmico foi a ferramenta de busca utilizada.
• 11
  . Os títulos foram organizados e armazenados no Mendeley.
• 12
  . Baseada na metodologia CRISP-DM (CRoss Industry Standard Process for Data Mining).
• 13
  . Disponível em: https://semioticasocial.blogspot.com/p/dados-publicacoes-de.html.
• 14
  . Agradecemos imensamente a Orlando Oliveira dos Santos, analista de TI na Diretoria de Tecnologia do Ministério do Planejamento do governo federal, por toda ajuda na elaboração das planilhas e tratamento dos dados.
• 15
  . De acordo com Kress (2003), o termo “letramento” está ainda muito associado ao conhecimento e uso dos recursos da escrita, devido à supremacia que é dada a esse modo em nossa sociedade Kress e van Leeuwen (2006) mostram que, apesar da multiplicação de matérias impressas e da mídia eletrônica, tais como jornal, revistas, websites, entre outros, os quais envolvem uma complexa combinação entre texto escrito, imagens e outros elementos gráficos e de som, no ambiente escolar, há uma tendência, nos anos iniciais, de estimular os alunos a produzir imagens, e os livros didáticos serem repletos delas, enquanto que, nas séries mais avançadas, elas se tornam muito mais técnicas e especializadas (mapas, diagramas), e a escrita passa ganhar mais proporção e importância, revelando a valorização de um tipo de comunicação visual e a prevalência de um só tipo de letramento: o tradicional.
• 16
  . O termo linguagem é utilizado aqui em referência ao modo verbal.

Datas de Publicação

• Publicação nesta coleção
  12 Ago 2019
• Data do Fascículo
  2019

Histórico

• Recebido
  02 Dez 2018
• Aceito
  23 Mar 2019