LEITORES DE TELA E ACESSIBILIDADE: AVALIAÇÃO HEURÍSTICA NA REVISTA BRASILEIRA DE EDUCAÇÃO ESPECIAL1RESUMO
A legislação brasileira garante acesso à informação a todos, preconizando linguagens e tecnologias acessíveis. Artigos científicos de todas as áreas do conhecimento têm sido publicados em periódicos com pouca ou nenhuma diretriz de acessibilidade para escrita, submissão, revisão e difusão. Além disso, as plataformas de indexação têm apresentado barreiras de usabilidade e navegabilidade. Considerando as demandas de pessoas com deficiência visual e demais usuários de leitores de tela, esta pesquisa objetivou identificar e analisar a acessibilidade para esses usuários em artigos científicos de um periódico da área da Educação Especial, com enfoque em elementos imagéticos e de usabilidade. A pesquisa é documental descritiva, com avaliação heurística das versões em Linguagem de Marcação de HiperTexto (HTML) - e em Formato de Documento Portátil (PDF) de oito artigos que compõem o volume 28, de 2022, da Revista Brasileira de Educação Especial (RBEE), indexada no Scientific Electronic Library Online (SciELO). A aplicação de sete heurísticas de acessibilidade e usabilidade resultou em oito erros para HTML e sete erros para PDF, sugerindo a necessidade de adequações nas políticas editoriais de periódicos científicos, bem como das plataformas eletrônicas de indexação, prevendo-se abordagens práticas de acessibilidade para avaliação, revisão, diagramação e difusão do conhecimento científico.
PALAVRAS-CHAVE:
Educação Especial; Acessibilidade; Produção científica.
ABSTRACT
Brazilian legislation guarantees access to information for everyone, advocating for accessible languages and technologies. Predominantly, scientific articles from all areas of knowledge have been published in journals with little or no accessibility guidelines for writing, submission, review, and dissemination. Furthermore, indexing platforms have presented usability and navigability barriers. Considering the demands of visually impaired people and other users of screen reader applications, this research aimed to identify and analyze accessibility for these users in scientific articles from a journal in the field of Special Education, focusing on imagery and usability elements. Descriptive documentary research was carried out through a heuristic evaluation of the HyperText Markup Language (HTML) and Portable Document Format (PDF) versions of eight articles that make up volume 28 (2022) of the Brazilian Journal of Special Education (RBEE), indexed in the Scientific Electronic Library Online (SciELO). The application of seven accessibility and usability heuristics resulted in eight errors for HTML and seven errors for PDF, suggesting the need for adjustments in the editorial policies of scientific journals and on electronic indexing platforms, providing practical accessibility approaches for evaluation, revision, layout, and dissemination of scientific knowledge.
KEYWORDS:
Special Education; Accessibility; Scientific production.
1 INTRODUÇÃO
O acesso à informação e à comunicação é um dos direitos cidadãos previstos pela vigente Constituição Federal do Brasil, atrelado à garantia de “meios de acesso à cultura, à educação, à ciência, à tecnologia, à pesquisa e à inovação” (Constituição da República Federativa do Brasil de 1988, art. 23, inciso 5º). Naquela perspectiva contextual e histórica, o acesso à informação e à comunicação era garantido principalmente por meios físicos (manuscritos e materiais impressos), de telecomunicação (sons e imagens), telefônicos e por radiodifusão sonora (Bernardi, 2007).
Daquele período aos dias atuais, a evolução da Informática, como área do conhecimento, tem perpassado as diversas sociedades, transformando os modos de comunicação e de difusão da informação. Esse processo pode ser caracterizado pela descentralização e pela universalização da produção e do compartilhamento de informações, inclusive por meio de smartphones, laptops e tablets individuais (Lévy, 2007).
Nesse sentido, foi inevitável que os meios digitais assumissem papéis relevantes nos contextos laborais, socioeconômicos, educacionais e científicos. Contudo, dados do movimento Web para Todos (WPT, 2023) evidenciam a existência de medidas de garantia de acessibilidade para pessoas com deficiência em apenas 1% das páginas eletrônicas brasileiras. Isso sugere que, ainda que estejam vigentes normativas nacionais e internacionais sobre acessibilidade digital e que as discussões sobre a temática tenham aumentado nos últimos anos no Brasil, os avanços parecem ser ainda muito lentos e pouco identificáveis.
Dentre os diversos fatores que constituem esse cenário, podemos elencar alguns: a) a complexidade do processo de mudança cultural e transformação digital no âmbito das comunidades científicas (Pedersen, 2023); b) a escassez de profissionais com formação na área de Interação Humano-Computador na perspectiva da acessibilidade5 (Oliveira & Oliveira, 2015); c) os ínfimos processos de fiscalização, judicialização e verificação das adequações necessárias nos ambientes digitais (Silva et al., 2021); d) os tímidos incentivos políticos, somados à escassez de recursos financeiros, de tempos e de espaços (Shneiderman & Plaisant, 2005).
Nesse cenário, Rodrigues e Souza (2020) destacam que a produção acadêmica difundida em periódicos eletrônicos ainda não está acessível, especificamente para as pessoas com deficiência visual. A fim de verificar essa afirmação, foi realizado um levantamento de periódicos científicos da área da Educação Especial na plataforma Google, utilizando-se duplas de descritores iniciadas pelo termo “Revista” e seguidas pelos termos “Inclusão”, “Educação Especial”, “Inclusiva”, “Acessibilidade” e “Adaptado”. Revelou-se que apenas quatro periódicos6 apresentavam normas de acessibilidade para figuras e gráficos, especificamente em relação às suas descrições. Contudo, até o primeiro semestre de 2024, não foram identificadas orientações práticas sobre como executá-las e apresentá-las.
Esse fato sugere que garantir o acesso a qualquer ambiente virtual sem o reconhecimento e a materialização de diretrizes de acessibilidade perpetua um processo insuficiente, uma vez que tornar acessível o conjunto de informações disponibilizadas é programar o conteúdo, as interações e a navegação seguindo os padrões de acessibilidade; escrever o código de forma semântica e organizada, desenvolvendo os rótulos dos links a fim de terem sentido fora do texto, usando os elementos HTML de acordo com o propósito ao qual foram criados, indicando textos alternativos para imagens, entre outras boas práticas. (World Wide Web Consortium [W3C], 2020b, p. 14)
Essa abordagem dialoga com a “gramática de acessibilidade” de Ebersold (2019):
-
Acesso e acessável: o primeiro grau de reconhecimento social de um indivíduo ou grupo em um determinado contexto (tátil, visual e/ou virtual). Por exemplo, uma pessoa cega conseguir acessar um website de uma base de publicações científicas.
-
Acessibilidade e acessível: para além de possibilitar o acesso, a organização de ambientes deve ser receptiva à diversidade de sujeitos. Assim, uma vez que a pessoa cega acessa o website de uma base de publicações científicas, seu layout possibilita que ela utilize as funcionalidades disponíveis nesse ambiente (campo de busca, navegabilidade em links, dentre outras) por meio de seu aplicativo para leitura de tela.
-
Acessibilização e acessibilizável: configuram-se nos processos de tradução e de apropriação do contexto pelos sujeitos, que resultam na acessibilidade. Como exemplo, ao acessar um website acessível, a pessoa poderá transitar por elementos informacionais e comunicacionais que possibilitam a tradução, a compreensão e a apropriação do conteúdo disponibilizado e acessado, com linguagens que possibilitam a acessibilização do conteúdo.
Assim, para a concretização da autonomia e da liberdade de comunicação por qualquer sujeito, independentemente da sua condição, é fundamental que a construção da cultura de produção e difusão do conhecimento científico seja acessável (alcance), acessível (navegabilidade e usabilidade) e acessibilizável (percepção, entendimento e interação) (Barbosa & Silva, 2010; Cabral et al., 2020; Rodrigues & Souza, 2020; Silva et al., 2021; W3C, 2020a). Portanto, além do conteúdo textual, os elementos não textuais, tais como imagens, gráficos, tabelas, dentre outros, devem estar acessíveis (WPT, 2023).
Em concordância com Benyon (2011), W3C (2020a) e Grilo (2021), produtos e serviços digitais serão efetivamente acessíveis quando priorizadas medidas para a garantia de acessibilidade ao longo de seu planejamento e desenvolvimento. Para tal, é imprescindível que essas etapas sejam realizadas com a finalidade de: a) atender a diferentes habilidades e necessidades; b) não exigir esforço individual adaptativo; c) disponibilizar soluções tecnológicas para usabilidade a partir de características individuais; e d) possibilitar o acesso aos conteúdos em diferentes formatos.
À base dessas premissas e da legislação nacional e internacional para a seguridade da acessibilidade7, Borges e Mendes (2018) identificaram e elencaram diversas ferramentas que podem contribuir com a autonomia das pessoas usuárias de ambientes virtuais e digitais. Entre os aplicativos mencionados pelas autoras, destacam-se as funções de ampliação e conversão das informações em tela para conteúdo sonoro, por meio de sintetizadores de voz; auxílio à escrita; auxílio à leitura de conteúdos textuais; e assistentes de voz. Além desses dispositivos, instrumentos de avaliação e de validação de acessibilidade serão apresentados a seguir.
1.1 INSTRUMENTOS DE AVALIAÇÃO E VALIDAÇÃO DA ACESSIBILIDADE VIRTUAL E DIGITAL
Ainda que existam ferramentas e estratégias de descrição de imagens, é fundamental que os ambientes virtuais e seus elementos sejam avaliados por quem os concebe e quem os utiliza, no intuito de compreenderem se seus objetivos em um contexto de uso são alcançados. Nesse processo, uma das opções de avaliação de interfaces é a validação eletrônica de navegabilidade, usabilidade e contrastes, por meio da utilização de ferramentas8 para validação eletrônica do ambiente virtual, disponíveis nos seguintes links externos: 1) WAVE Web Accessibility Evaluation Tool; 2) The W3C Markup Validation Service; 3) The W3C CSS Serviço de Validação; 4) WCAG Verificador de Contraste de Cores - Chrome.
Contudo, é necessário considerar a limitação dessas ferramentas quanto à sua sensibilidade a barreiras, conforme alertam Rodrigues e Souza (2020). Segundo os autores, aspectos subjetivos encontrados nos conteúdos, a exemplo da precisão nos textos dos links e da descrição de imagens, podem não ser verificados adequadamente somente com os avaliadores automáticos.
Como alternativa à análise pelos usuários e à validação eletrônica, Ferati e Beyene (2017) descrevem uma outra forma de realizar a avaliação de interfaces, conhecida como “avaliação heurística”9. Para os autores, a definição de heurísticas específicas ao contexto de interesse permite que qualquer pessoa possa medir, com a sensibilidade necessária, a acessibilidade, a navegabilidade e a usabilidade de interfaces sem a necessidade de participantes representativos dos usuários. Com essa abordagem, Ferati e Beyene (2017) dedicaram-se a elaborar um conjunto de heurísticas compatíveis com a avaliação da acessibilidade da interface de bibliotecas virtuais e sua usabilidade por pessoas com baixa visão, cegas e outros segmentos populacionais. Partindo de conjuntos pré-existentes e de evidências coletadas em um estudo anterior e de ulteriores refinamentos, os autores propuseram um conjunto de 16 heurísticas, apresentadas no Quadro 1.
Assim, demarcou-se um gradual e importante desenvolvimento da área de conhecimento Interação Humano-Computador e sua relação com a garantia da acessibilidade, como direitos humanos, e da usabilidade, como sistema computacional que permitisse ao usuário alcançar suas metas de interação com a interface para o acesso à informação e à comunicação (Benyon, 2011; Lei nº 13.146, de 6 de julho de 2015).
Felizmente, esse movimento tem perpassado algumas das discussões acadêmico-científicas formalmente realizadas no Brasil e em alguns outros países nos últimos anos, no âmbito de eventos como os indicados nos seguintes links externos: a) SciELO 25 anos: Ciência Aberta com IDEIA - Impacto, Diversidade, Equidade, Inclusão e Acessibilidade; a.1) evento com atividades resultantes do compromisso firmado em 2020; b) Congresso Brasileiro de Educação Especial; b.1) 2021: A produção científica e difusão do conhecimento na perspectiva da acessibilidade; b.2) 2023: Normas para Escrita Científica Acessível; c) Congresso Brasileiro de Informática na Educação; d) InterAct; e) Society for Scholary Publishing; f) NISO; g) arXiv Accessibility Forum 2024.
Dado o exposto, questiona-se quais caminhos podem ser trilhados para que as pessoas com deficiência visual e demais usuários de leitores de tela produzam e acessem artigos científicos acessíveis publicados em bases indexadas nos formatos HyperText Markup Language ou Linguagem de Marcação de Hipertexto (HTML) e Portable Document Format (PDF). E, no intuito de contribuir cientificamente com a identificação de possíveis respostas, a presente investigação10 pretendeu identificar e analisar a acessibilidade para pessoas com deficiência visual em relação a artigos científicos de um periódico da área da Educação Especial, com enfoque em elementos imagéticos e de usabilidade.
O método adotado para o desenvolvimento da pesquisa é apresentado a seguir, com a descrição dos critérios e procedimentos para a seleção e tratamento dos dados, bem como os fundamentos, as ferramentas, os instrumentos e os procedimentos de análise dos dados. Os resultados e as discussões foram organizados em dois tópicos principais: acessibilidade dos artigos no formato PDF; acessibilidade dos artigos no formato HTML. As considerações finais foram intituladas “Transclusões”, fazendo não somente alusão ao termo muito utilizado na área das Ciências da Computação, mas também no intuito de denotar a importância da continuidade dos debates, bem como do planejamento e da concretização de ações possíveis.
Ainda, à luz das orientações da W3C (2020a) e de Braseliano (2024) para acessibilidade e navegabilidade: a) os quadros têm notas de acessibilidade, com suas respectivas descrições; b) os hiperlinks foram inseridos no corpo do texto, nas notas e nas referências; c) os tópicos foram dispostos em níveis de hierarquia dos conteúdos.
2 MÉTODO
Trata-se de um estudo de caráter descritivo, do tipo documental e de caso, no âmbito de periódicos científicos (Marconi & Lakatos, 2003). Considerando-se a temática da acessibilidade, como estratégia de identificação da amostra do estudo, foram adotados quatro critérios específicos: 1) ter temática vinculada à Educação Especial; 2) ser periódico nacional; 3) ter classificação de excelência internacional no sistema de avaliação Qualis Capes (estratos A1 ou A2); e 4) estar indexado e ter veiculação em formato eletrônico na plataforma SciELO.
Sobre o quarto critério, ressalta-se a existência de cooperação entre essa biblioteca digital e um grupo de pesquisa, com o intuito de discutir medidas para a acessibilidade nos processos de produção e divulgação do conhecimento científico. A partir da adoção desses critérios, foi identificada a Revista Brasileira de Educação Especial (RBEE) como fonte de artigos a serem identificados, analisados e descritos.
2.1 CRITÉRIOS E PROCEDIMENTOS PARA SELEÇÃO E TRATAMENTO DOS DADOS
Para o desenvolvimento da presente pesquisa, a fonte de dados considerada foi o mais recente volume completo da RBEE que, à época da coleta de dados, estava disponível na plataforma SciELO. Assim, os artigos considerados para a identificação da amostra do presente estudo foram aqueles publicados no ano de 2022, como parte do volume 28 do periódico.
A composição da amostra ocorreu após a identificação de artigos que apresentavam elementos imagéticos como parte de seus respectivos textos. Cumpre mencionar que, em um primeiro momento, com base na definição da American Psychological Association (APA, 2023), seriam considerados: a) figuras (desenhos, gráficos, diagramas, fotografias e mapas); e b) tabela (ilustração que apresenta informações em formato numérico ou textual, dispostas em linhas e colunas). Todavia, valendo-se da informação de que as tabelas poderiam ser apresentadas em formato textual (apesar de alguns periódicos apresentarem-nas em formato de imagem), optou-se por considerar a análise e a descrição de artigos que apresentavam somente os elementos condizentes ao conceito de figuras.
Uma vez identificados os artigos que atenderam aos referidos critérios, seguiu-se para a organização, a sistematização e a categorização das informações identificadas. Nesse sentido, ao longo do processo descritivo, foi elaborada uma planilha de registro dos artigos científicos, fundamentando-se em categorias baseadas nos tipos de figuras encontradas nessas publicações: fotografia, diagrama, gráfico, ilustração e mapa. Para cada categoria, priorizou-se analisar os artigos com o maior número do respectivo elemento imagético e artigos que contemplassem mais de uma categoria, limitados a duas publicações por categoria, o que resultou em um total de oito artigos (Quadro 2).
2.2 FUNDAMENTOS, FERRAMENTAS, INSTRUMENTOS E PROCEDIMENTOS DE ANÁLISE
Para a análise da amostra, nos formatos HTML e PDF, considerou-se a abordagem de avaliação heurística para avaliação da acessibilidade e usabilidade da interface em bibliotecas digitais (Ferati & Beyene, 2017). Das 16 heurísticas elaboradas por eles (Quadro 1), foram selecionadas sete heurísticas que abordam aspectos presentes na interface de visualização dos artigos nos formatos HTML e PDF, conforme apresentadas no Quadro 3.
As heurísticas selecionadas, e apresentadas no Quadro 3, foram aplicadas nos oito artigos científicos por meio da utilização do software para leitura de tela NonVisual Desktop Access (NVDA). Nesse processo, destaca-se que os pesquisadores contaram com treinamento oferecido por um usuário cego, consultor de acessibilidade, convidado para contribuir com o estudo. Esse aspecto foi imprescindível para o rigor científico-metodológico da pesquisa, uma vez que, ao dominar a utilização do NVDA, diminuiu-se a possibilidade de que eventuais erros identificados fossem oriundos do mau uso do software.
Como instrumento, as informações sobre cada elemento imagético identificado no âmbito dos oito artigos científicos foram registradas em uma planilha de Excel. Respectivamente, esses dados foram valorados de grau 1 a grau 4, conforme severidade dos erros de usabilidade e correspondente prioridade de correção (Rosa et al., 2015; Santa Rosa & Moraes, 2012), a saber: Grau 1 de comprometimento: problema somente cosmético, a ser corrigido quando houver tempo disponível; Grau 2 de comprometimento: problema menor de usabilidade, com baixa prioridade de correção; Grau 3 de comprometimento: problema grave de usabilidade, com alta prioridade de correção; Grau 4 de comprometimento: problema catastrófico, com imperatividade de correção.
Ressalta-se que, como procedimento para garantir o rigor científico e a confiabilidade dos resultados, o corpus investigado foi registrado individual e separadamente por cada uma das duas pesquisadoras que compõem a autoria do presente artigo. Em seguida, os dados atribuídos aos erros encontrados e aos graus de severidade foram confrontados e dialogados com o terceiro autor, resultando em 82% de correspondência. Para os erros em que ocorreu discordância quanto ao grau de severidade, os autores, em consenso, optaram por adotar o maior grau atribuído pelas referidas pesquisadoras.
3 RESULTADOS E DISCUSSÃO
Os procedimentos metodológicos realizados resultaram na identificação de elementos de acessibilidade em artigos científicos, com enfoque em elementos imagéticos e de usabilidade, em ativos digitais nos formatos HTML e PDF. A princípio, cumpre dizer que a avaliação heurística, realizada nos oito artigos disponibilizados nos dois formatos mencionados, indicou uma primeira característica: cada uma das duas versões de ativo digital tem sua diagramação padronizada, com grande parte dos erros encontrados sendo comum a todos os oito artigos disponibilizados para cada formato analisado.
Entretanto, ressalta-se a distinção de funcionalidades e de grupos de heurísticas e, consequentemente, a obtenção de resultados com características específicas para cada tipo de arquivo. Dessa forma, os erros localizados serão apresentados considerando seus respectivos graus de severidade, seguidos de sugestões para sua correção, baseadas nas características de cada heurística adotada neste estudo (Ferati & Beyene, 2017) e nas recomendações de boas práticas de programação e implementação de ambientes virtuais acessíveis (W3C, 2020a, 2020b; WPT, 2023).
3.1 ACESSIBILIDADE DOS ARTIGOS NO FORMATO PDF
Uma vez que essa é a versão do artigo com menos funcionalidades de navegação e por ser um formato, em si, compatível com o aplicativo de leitor de tela utilizado, era esperado que houvesse um pequeno número de erros e que, quando identificados, apresentassem um baixo grau de severidade. Ainda assim, os sete erros encontrados são comuns a todos os artigos e estão relacionados às quatro heurísticas adotadas para esse formato de arquivo (H1, H2, H3 e H12). Destaca-se que nenhum dos oito artigos apresentou erro de nível cosmético (Grau 1 de severidade).
-
Grau de severidade 2 - Problema menor de usabilidade, com baixa prioridade de correção: aplicado a três erros observados, no âmbito das seguintes heurísticas:
-
H2 - Escuta do conteúdo: dificuldade de reconhecimento do periódico em sua forma abreviada e interrupção do texto para a leitura dos dados de identificação do periódico ao final de cada página do artigo.
-
H3 - Atalhos de teclado: alguns dos links apresentam erros de grafia ou redirecionam a páginas não existentes.
-
Recomendações para a correção dos erros com Grau 2 de severidade: a) inserção da identificação completa da publicação na primeira página do artigo; b) inserção dessa identificação como marca d’água nas demais páginas, possibilitando sua leitura contínua; c) revisão dos links presentes no artigo pelos diagramadores em parceria com a autoria.
-
Grau de severidade 3 - Problema grave de usabilidade, com alta prioridade de correção: aplicado a três erros observados, no âmbito das três heurísticas a seguir:
-
H2 - Escuta do conteúdo: existência de quebras de linha ao longo de todo o texto. Isso faz com que as linhas sejam reconhecidas como níveis diferentes dentro de um mesmo parágrafo, trazendo grande prejuízo à navegação pelo texto com o aplicativo de leitura de tela.
-
H3 - Atalhos de teclado: não reconhecimento de tabelas e figuras por meio dos respectivos atalhos de busca do NVDA, gerando uma grande barreira para sua localização e identificação.
-
H12 - Rotulagem de links: falta de rótulos nos links das referências e das notas de rodapé, ocasionando o mesmo problema que aquele gerado pela ausência de reconhecimento do conteúdo por meio de atalhos de teclado.
-
Recomendações para a correção dos erros com Grau 3 de severidade: a) evitar a quebra de texto entre as linhas e utilizá-la somente entre títulos, seções e subseções do texto; b) adequar o modo de inserção dos elementos no texto, permitindo seu reconhecimento; c) vincular as referências textuais aos links de acesso, incluindo adiante o termo “(link externo)”, de modo que o aplicativo de leitura de tela decodifique a informação, e não o endereço rudimentar do respectivo website.
-
Grau de severidade 4 - Problema catastrófico, com imperatividade de correção: aplicado a três erros observados, no âmbito das três heurísticas a seguir:
-
H1 - Texto alternativo em figuras: ausência em 32 figuras (100%) presentes nos oito artigos analisados. Isso impede a compreensão das informações que a autoria quer transmitir aos leitores.
-
Recomendações para a correção dos erros com Grau 4 de severidade: a) incluir, nas diretrizes aos autores, orientações para utilização da ferramenta de texto alternativo; b) apresentar princípios básicos para a descrição de elementos imagéticos; c) na plataforma de submissão, criar um campo que possibilite a inserção da descrição das imagens que compõem o artigo; d) estabelecer orientações técnicas aos diagramadores e aos editores para que garantam a disponibilização dessa função no artigo publicado; e) avaliar a alternativa de, em vez de Texto Alternativo, inserir a descrição da figura logo abaixo à indicação da “Fonte” da figura, como “Nota de Acessibilidade - Descrição da imagem”.
3.2 ACESSIBILIDADE DOS ARTIGOS NO FORMATO HTML
Para esta versão dos artigos analisados, que envolve diretamente a plataforma SciELO e uma equipe externa de diagramadores profissionais, foram localizados oito erros comuns a todos os artigos e um erro isolado observado em Salgado-Orellana et al. (2022). Diferentemente dos artigos em PDF, não foram observados erros em uma das heurísticas aplicadas para esse formato (H4).
-
Grau de severidade 1 - Problema somente cosmético, a ser corrigido quando houver tempo disponível: Aplicado aos erros relacionados a somente uma heurística:
-
H6 - Informação Irrelevante: repetição de informações nos botões Autoria e SCImago Institutions Rankings.
-
Recomendações para a correção dos erros com Grau 1 de severidade: Supressão do botão SCImago Institutions Rankings.
-
Grau de severidade 2 - Problema menor de usabilidade, com baixa prioridade de correção: aplicado a três erros observados, no âmbito das seguintes heurísticas:
-
H3 - Atalhos de teclado: impossibilidade de reconhecimento das caixas de acesso rápido às referências e dificuldade de reconhecimento do botão Copiar (link de acesso ao artigo) pelo aplicativo leitor de tela.
-
H5 - Ícones significativos: o botão Copiar mostrou-se dispensável por estar localizado logo após o trecho que contém o endereço completo do artigo.
-
Recomendações para a correção dos erros com Grau 2 de severidade: a) vincular, nas citações ao longo do texto, o link de acesso aos textos referenciados; b) implantação do botão Copiar em localização anterior ao endereço do artigo.
-
Grau de severidade 3 - Problema grave de usabilidade, com alta prioridade de correção: aplicado a três erros observados, no âmbito de duas heurísticas, a saber:
-
H3 - Atalhos de teclado: falta de reconhecimento de botões, tabelas e figuras por meio de atalhos para busca do NVDA, impossibilitando a localização e identificação dessas funcionalidades pelo aplicativo.
-
H12 - Rotulagem de links: falta de rótulos nos links de acesso ao artigo, nas referências e notas de rodapé, dificultando sua localização e seu reconhecimento. Em específico para Salgado-Orellana et al. (2022), foi observada a indisponibilidade do hiperlink de acesso rápido ao anexo, com conteúdo de acesso exclusivo por meio da leitura contínua pelo aplicativo, o que pode dificultar seu entendimento e a construção de relações com as informações presentes no artigo.
-
Recomendações para a correção dos erros com Grau 3 de severidade: assim como para o formato PDF, aponta-se a necessidade de: a) adequar o modo de inserção dos elementos no texto, permitindo seu reconhecimento; b) vincular as referências textuais aos links de acesso, incluindo adiante o termo “(link externo)”, de modo que o aplicativo de leitura de tela decodifique a informação, e não o endereço rudimentar do respectivo website.
-
Grau de severidade 4 - Problema catastrófico, com imperatividade de correção: aplicado a dois erros observados no âmbito das seguintes heurísticas:
-
H1 - Texto alternativo em figuras: do mesmo modo como nos artigos em formato PDF, observou-se a ausência de descrição das 32 figuras (100%) presentes nos arquivos analisados, impossibilitando a compreensão desses artigos em sua totalidade pelos leitores.
-
H2 - Escuta do conteúdo: inexistência de aviso sonoro sobre as caixas flutuantes para acesso dos elementos imagéticos e outras funcionalidades em primeiro plano e a impossibilidade de reconhecimento e acesso ao conteúdo dessas caixas pelo aplicativo leitor de tela. Ressalta-se que, assim como o erro descrito para H1, o erro referente à H2 impede a compreensão do conteúdo completo do artigo por pessoas com deficiência visual e usuários de leitor de tela, ferindo o direito das pessoas com deficiência de acesso à informação.
-
Recomendações para a correção dos erros com Grau 4 de severidade: De modo similar às recomendações para o formato em PDF, sugere-se: a) incluir, nas diretrizes aos autores, orientações para utilização da ferramenta de texto alternativo; b) apresentar princípios básicos para a descrição de elementos imagéticos; c) na plataforma de submissão, criar um campo que possibilite a inserção da descrição das imagens que compõem o artigo; d) estabelecer orientações técnicas aos diagramadores e aos editores para que garantam a disponibilização dessa função no artigo publicado; e) avaliar a alternativa de, em vez de Texto Alternativo, inserir a descrição da figura logo abaixo à indicação da “Fonte” da figura, como “Nota de Acessibilidade - Descrição da imagem”; f) manter tabelas e figuras como elemento integrante e visível no corpo do texto, sem a necessidade de sua inserção como janela flutuante; g) suprimir o ícone flutuante para visualização de figuras e tabelas.
De modo geral, os dados analisados e os resultados obtidos são coerentes com o apontado por estudos anteriores sobre a acessibilidade em conteúdos digitais e em produções científicas, a exemplo de Ferreira e Targino (2010), Rodrigues e Souza (2020) e Silva et al. (2021). A ausência de acessibilidade virtual - capacidade do usuário de acessar um sistema e interagir com ele independentemente de sua condição, sem que a interface imponha obstáculos (Barbosa & Silva, 2010) - impede que todas as parcelas da população tenham acesso à informação de forma democrática.
Para os arquivos em PDF, foi observado que os erros estão relacionados a dois aspectos: ao layout do artigo adotado pelo periódico e à ausência de orientações aos autores. Tais indícios corroboram o entendimento de Benyon (2011) e Grilo (2021) de que a construção de espaços acessíveis depende da adoção de medidas para a garantia de acessibilidade ao longo de todo o processo e por todos os agentes nele envolvidos.
Desse modo, é provável que a adoção, pelo periódico, de orientações aos autores para a acessibilidade, baseadas nas recomendações de boas práticas do W3C (2020a, 2020b) e do WPT (2023), possa estimular os autores a considerarem as demandas de pessoas com deficiência durante os processos de escrita e submissão do artigo. Entretanto, é imprescindível que sejam disponibilizados aos autores, durante a submissão do artigo, meios adequados para a inserção dos recursos escolhidos para a acessibilização de seu conteúdo. Portanto, a correção dos erros de usabilidade encontrados no formato PDF relaciona-se à necessidade de adequações na etapa de diagramação do artigo pelo periódico, em suas políticas editoriais e na plataforma eletrônica de submissão.
Para o formato HTML, além dos fatores destacados anteriormente, os erros de usabilidade apontados também são decorrentes dos padrões adotados na plataforma SciELO e comuns a todos os periódicos nela hospedados. Mais uma vez, os resultados reiteram a compreensão de Ferreira e Targino (2010), Benyon (2011) e Grilo (2021) quanto à necessidade de pensar a acessibilidade em serviços e produtos digitais em todas as etapas de desenvolvimento, envolvendo os agentes a elas relacionados e considerando as possíveis necessidades e habilidades dos usuários em sua diversidade. Ainda, apresentam elementos contundentes quanto à relevância das orientações do W3C (2020a, 2020b) e do WPT (2023) sobre boas práticas de programação e implementação de ambientes virtuais acessíveis.
Especificamente no que tange à descrição de imagens e considerando que, a priori, o conteúdo de imagens não é lido pelos aplicativos, suas funções informacionais e comunicacionais no corpo de um texto científico podem se perder para quem utiliza softwares para leitura de tela. Desse modo, faz-se necessário que todo conteúdo digital não textual (fotos, ilustrações, tabelas, gráficos, gifs), que comuniquem informações relevantes, passem pelo processo de descrição de imagens. Nesse sentido, algumas orientações práticas de escrita são recomendadas:
-
Na descrição de imagens, seguimos uma fórmula: o que/quem + onde + como + faz o quê + como + quando + de onde. A fórmula simplificada: formato + sujeito + paisagem + contexto + ação.
-
Evite a redundância na descrição. “A foto ilustra” é um pleonasmo. Seja simples, direto.
-
Evite, na descrição de imagens, adjetivos que representam juízo de valor (bonito, feio, bom, mau etc.).
-
Os textos precisam ter uma estrutura mais simples, com frases e parágrafos curtos, ordem direta, voz ativa, sem figuras de linguagem ou termos pouco usuais (WPT, 2023, p. 5-6).
No âmbito da produção e difusão do conhecimento científico, cumpre destacar que a descrição da imagem seja realizada pela autoria do artigo científico, ainda que seja passível de revisões cooperativas junto ao periódico. Considera-se que ninguém melhor do que a própria autoria para transmitir a mensagem que uma imagem quer representar, como parte integrante do texto. Inclusive, nesse processo, é relevante que seja avaliado se, de fato, essa imagem é imprescindível à compreensão do conteúdo do artigo. Assim, a acessibilidade é fruto de um processo cooperativo que exige mudanças culturais e transformações digitais, no qual é fundamental o engajamento de todos os sujeitos previstos no processo: autores; editores-chefes e associados; pareceristas; revisores; diagramadores; leitores da sociedade; e desenvolvedores e gestores de sistemas de submissão e de bases de dados indexadas.
Essa corresponsabilização deve ser reforçada, sobretudo ao considerarmos que o acesso a financiamentos necessários para a manutenção dos periódicos depende de sua qualificação mediante o sistema Qualis da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES), que tem, como um dos critérios, a indexação em plataformas de grande visibilidade (Plataforma Sucupira, 2024). Para isso, é imprescindível que sejam estabelecidos canais de comunicação e negociação entre as partes envolvidas, inclusive com as agências de fomento, com predisposição à cooperação para a identificação de estratégias exequíveis para a promoção da acessibilidade atitudinal e para a concretização da acessibilidade comunicacional, informacional, tecnológica, digital e programática.
Cumpre destacar, ainda, que a correção dos erros apontados neste estudo implicaria a acessibilização de artigos pertencentes a diversas outras áreas do conhecimento, o que reforça a imperatividade da adoção de medidas que permitam o acesso à informação indexada pelos mais diversos leitores.
4 TRANSCLUSÕES
Para não encerrarmos o debate com uma “conclusão”, como se fosse possível finalizar, encerrar ou deter as reflexões provocadas pela pesquisa em tela, apresentamos algumas “transclusões”. Esse termo é utilizado, inclusive, na área da Ciência da Computação, e pensamos ser oportuno denotar e conotar uma abertura coletiva para se construir possibilidades de diálogo e acessar outras informações. Nesse sentido, o estudo teve como intenção primordial fomentar uma discussão acerca da acessibilidade para usuários leitores de tela, com vistas a despertar a atenção para os diversos aspectos envolvidos na produção, difusão e leitura de um artigo científico.
Produções acadêmicas e científicas são conteúdos que apresentam o imperativo de ser acessíveis a todos. Estudantes com deficiência visual, assim como aqueles com outras deficiências, que tenham alcançado o nível superior e não consigam acesso com autonomia a esses materiais estarão à margem dos conhecimentos científicos produzidos. Para além da existência ou ausência de barreiras, o que permeia essa discussão é a garantia dos direitos fundamentais de acesso à informação e à comunicação.
Para tanto, e para realizar a correção de erros em ativos digitais de artigos científicos e promover a acessibilidade, os resultados sugerem que são vitais o interesse, a participação e o envolvimento coletivo de negociação com as instituições responsáveis e seus diferentes agentes (autores; editores-chefes e associados; pareceristas; revisores; diagramadores; leitores da sociedade; desenvolvedores e gestores de sistemas de submissão e de bases de dados indexadas; e agências de fomento). Nesse processo, também é fundamental que estudantes de graduação e de pós-graduação, pesquisadores, leitores com deficiência, e demais usuários de leitores de tela, identifiquem e apliquem estratégias para garantir a acessibilidade em suas obras. Depreendese daí a necessidade de que os programas de pós-graduação oportunizem a seus estudantes o desenvolvimento dessa competência desde o início da vida acadêmica e o intercâmbio de informações disponíveis e acessíveis para todos.
Considerando as barreiras identificadas no presente estudo e as orientações nacionais e internacionais, sugere-se que a RBEE e outros periódicos considerem as seguintes recomendações de acessibilidade e navegabilidade: a) as notas complementares consideradas estritamente indispensáveis para a compreensão do texto deverão: a.1) ser disponibilizadas entre as considerações finais e, antes das referências bibliográficas (e não como notas de rodapé); a.2) ser enumeradas na mesma ordem em que são referidas no corpo do texto; a.3) no corpo do texto, ter indicação de suas referências numéricas [ex.: (Nota 1)]; a.4) estar correlacionadas por hiperlink interno de navegabilidade, em que a referência numérica da nota complementar no corpo do texto remeta ao conteúdo da respectiva nota complementar explicitada ao final do artigo e vice-versa; b) utilizar o alinhamento do texto com a margem esquerda da página; c) substituir o símbolo “&” pelo termo latim et nas citações de autores no corpo do texto, para garantir a fluidez da leitura científica, uma vez que aquele símbolo é lido como “e comercial” por leitores de tela; c.1) manter o símbolo original “&” nas respectivas referências completas ao final do artigo, conforme sugerido pelas normas da APA.
Como limitações do estudo, pode ser apontado o desconhecimento dos pesquisadores deste estudo quanto ao desenvolvimento e gerenciamento das plataformas eletrônicas de submissão e indexação de artigos científicos, o que pode ter fragilizado as proposições para a correção dos erros de usabilidade localizados.
Como sugestões para estudos futuros, indica-se a replicação desta avaliação de usabilidade em periódicos de outras áreas do conhecimento e o desenvolvimento de estudos para avaliações de usabilidade que considerem as demandas de acessibilidade de outros grupos de pessoas com deficiência, a fim de contribuir para a mobilização dos periódicos científicos e das plataformas de indexação na adoção de medidas voltadas à acessibilidade que garantam a efetivação do direito de acesso à informação e ao conhecimento por todos.
-
5
Interação Humano-Computador é uma área de conhecimento que engloba as seguintes áreas: Ciências da Computação; Psicologia Cognitiva; Psicologia Social; Ergonomia/Fatores Humanos; Linguística; Inteligência Artificial; Filosofia, Sociologia e Antropologia; Engenharia e Design.
-
6
Trata-se dos seguintes periódicos: Revista Brasileira de Educação Especial (RBEE); Revista Inclusão & Sociedade (Revincluso); Revista da Associação Brasileira de Atividade Motora Adaptada; e Revista Benjamin Constant.
-
7
Lista de documentos normativos e orientações sobre acessibilidade: https://www.idea.ufscar.br/apresentacao
-
8
As ferramentas de validação indicadas são aquelas reconhecidas e indicadas pela Web Content Accessibility Guidelines (WCAG) international standard, o Guia de Padrões Internacionais para Acessibilidade em Conteúdos Web. Destes, somente um tem tradução em português.
-
9
Heurísticas são parâmetros de usabilidade que devem ser utilizados na construção e na avaliação de projetos de sistemas. A avaliação heurística é “um método de inspeção realizado por especialistas com o objetivo de identificar problemas em uma interface, pautada em anseios e necessidades do usuário” (Medina et al., 2021, p. 1).
-
10
O estudo foi desenvolvido no âmbito do Programa de Desenvolvimento da Pós-Graduação “Alteridade na Pós-Graduação” (CAPES/PDPG - Processo nº 88887.744364/2022-00), do Programa Institucional de Internacionalização (CAPES-PrInt/ ProPG/UFSCar - processo nº 88887.936901/2024-00) e do Grupo de Trabalho Interdisciplinar para a Acessibilidade do Scientific Eletronic Library Online (GTI-Acessibilidade-SciELO).
REFERÊNCIAS
-
American Psychological Association. (2023). Tables and Figures. APA Style https://apastyle.apa.org/style-grammar-guidelines/tables-figures
» https://apastyle.apa.org/style-grammar-guidelines/tables-figures -
Bagur, S., & Verger, S. (2022). Educación Inclusiva y Pedagogía Hospitalaria: las Actitudes Docentes Promotoras de la Inclusión. Revista Brasileira de Educação Especial, 28, 379-398. https://doi.org/10.1590/1980-54702022v28e0140
» https://doi.org/10.1590/1980-54702022v28e0140 - Barbosa, S. D. J., & Silva, B. S. da. (2010). Interação humano-computador Elsevier Editora.
- Benyon, D. (2011). Interação humano-computador Pearson Prentice Hall.
-
Bernardi, A. J. (2007). Informação, comunicação, conhecimento: evolução e perspectivas. Transinformação, 19(1), 39-44. https://doi.org/10.1590/s0103-37862007000100004
» https://doi.org/10.1590/s0103-37862007000100004 -
Borges, W. F., & Mendes, E. G. (2018). Usabilidade de Aplicativos de Tecnologia Assistiva por Pessoas com Baixa Visão. Revista Brasileira De Educação Especial, 24(4), 483-500. https://doi.org/10.1590/S1413-65382418000500002
» https://doi.org/10.1590/S1413-65382418000500002 -
Braseliano, L. A. A. (2024). Acessibilidade informacional e comunicacional em editais de ingresso da Educação Superior: um estudo de caso [Mestrado em Educação Especial, Universidade Federal de São Carlos, São Carlos]. https://repositorio.ufscar.br/handle/ufscar/20015
» https://repositorio.ufscar.br/handle/ufscar/20015 -
Cabral, L. S. A., Damaceno, R. J. P, Santos. S., Fonseca, G. & Mendonça, A. (2020). Rede SciELO e acessibilidade: ênfase sobre as políticas, produtos e serviços. SciELO em Perspectiva https://blog.scielo.org/blog/2020/08/07/rede-scielo-e-acessibilidade/
» https://blog.scielo.org/blog/2020/08/07/rede-scielo-e-acessibilidade/ -
Caetano, V. G., Menegassi, R. J., & Shimazaki, E. M. (2022). O Ato Educativo de Escrita, Revisão e Reescrita em Adultos Com Deficiência Intelectual Educational. Revista Brasileira de Educação Especial, 28, 543-560. https://doi.org/10.1590/1980-54702022v28e0073
» https://doi.org/10.1590/1980-54702022v28e0073 -
Constituição da República Federativa do Brasil de 1988. Senado Federal. http://www.planalto.gov.br/ccivil_03/constituicao/constituicaocompilado.htm
» http://www.planalto.gov.br/ccivil_03/constituicao/constituicaocompilado.htm -
Diogo, M. A., & Geller, M. (2022). A Educação Especial e os Cursos técnicos: a visão dos docentes sobre os processos de adaptação curricular. Revista Brasileira de Educação Especial, 28, 561-578. https://doi.org/10.1590/1980-54702022v28e0122
» https://doi.org/10.1590/1980-54702022v28e0122 -
Ebersold, S. (2019). La grammaire de l’accessibilité. Éducation et Sociétés, 2(44), 29-47. https://www.cairn.info/revue-education-et-societes-2019-2-page-29.htm
» https://www.cairn.info/revue-education-et-societes-2019-2-page-29.htm -
Ferati, M., & Beyene, W. M. (2017). Developing heuristics for evaluating the accessibility of digital library interfaces. In M. Antona, & C. Stephanidis (Orgs.), Universal Access in Human-Computer Interaction. Design and Development Approaches and Methods: 11th International Conference, UAHCI 2017, Springer, Cham. https://doi.org/10.1007/978-3-319-58706-6_14
» https://doi.org/10.1007/978-3-319-58706-6_14 - Ferreira, S. M., & Targino, M. G. (2010). Acessibilidade e visibilidade de revistas científicas eletrônicas Editora SENAC São Paulo.
-
Fonseca, S. C., Carvalho-Freitas, M. N., & Oliveira, M. S. (2022). Formas de avaliação e de intervenção com pessoas com deficiência intelectual nas escolas. Revista Brasileira de Educação Especial, 28, 433452. https://doi.org/10.1590/1980-54702022v28e0032
» https://doi.org/10.1590/1980-54702022v28e0032 - Grilo, A. (2021). Acessibilidade e inclusão e as tecnologias na educação: diálogos entre design inclusivo e um modelo de design colaborativo. In F. R. L. V. Melo, E. S. F. M. Guerra, & M. M. F. D. Furtado (Orgs.), Educação superior, inclusão e acessibilidade: reflexões contemporâneas (1ª ed., pp. 39-52). Encontrografia.
-
Lei nº 13.146, de 06 de julho de 2015 Institui a Lei Brasileira de Inclusão da Pessoa com Deficiência (Estatuto da Pessoa com Deficiência). http://www.planalto.gov.br/ccivil_03/_ato2015-2018/2015/lei/l13146.htm
» http://www.planalto.gov.br/ccivil_03/_ato2015-2018/2015/lei/l13146.htm - Lévy, P. (2007). Inteligência coletiva: por uma antropologia do ciberespaço Loyola.
- Marconi, M. de A., & Lakatos, E. M. (2003). Fundamentos de metodologia científica Atlas.
-
Medina, C., Domiciano, C. L. C., & Ferrari, D. V. (2021). O que pensam os designers especialistas? Avaliação heurística de um manual de instrução inclusivo para indivíduos com deficiência auditiva. Revista Brasileira de Design da Informação, 18(1), 1-17. https://doi.org/10.51358/id.v18i1.834
» https://doi.org/10.51358/id.v18i1.834 - Oliveira, F. C. de M. B., & Oliveira, F. A. de M. B. (2015). Interação humano computador EdUECE.
-
Pedersen, C. L. (2023). Sem mexer na cultura, não há transformação digital. MIT Sloan Management Review https://mitsloanreview.com.br/sem-mexer-na-cultura-nao-ha-transformacao-digital/
» https://mitsloanreview.com.br/sem-mexer-na-cultura-nao-ha-transformacao-digital/ -
Plataforma Sucupira. (2024). Nota Qualis Periódicos.https://sucupira-legado.capes.gov.br/sucupira/public/index.jsf;jsessionid=41KF8-HoY4ztTTgO3zlNDCU-.sucupira-180
» https://sucupira-legado.capes.gov.br/sucupira/public/index.jsf;jsessionid=41KF8-HoY4ztTTgO3zlNDCU-.sucupira-180 -
Rendón, M. C. C., Uclés, R. R., & Cañadas, M. C. S. (2022). Adaptación de Tareas para detectar el talento matemático en personas con discapacidad visual basada en el análisis de las habilidades de visualización y la generalización. Revista Brasileira de Educação Especial, 28, 507-526. https://doi.org/10.1590/1980-54702022v28e0048
» https://doi.org/10.1590/1980-54702022v28e0048 - Rodrigues, J. C., & Souza, S. C. de. (2020). Como pensar a acessibilidade em artigos de periódicos: tendências em design universal para pessoas com deficiência visual. In L. da Silveira, & F. C. C. da Silva (Orgs), Gestão editorial de periódicos científicos: tendências e boas práticas (1a ed., pp. 105-126). BU Publicações/UFSC; Edições do Bosque/UFSC.
-
Rosa, J., Schwarzelmüller A. F., & Matos, E. (2015). Avaliação heurística da rede social educacional TecCiencia [Apresentação de artigo]. XIII Workshop de Educação e Informática da Escola Regional de Computação Bahia, Alagoas, Sergipe. https://spidelab.ufba.br/node/32
» https://spidelab.ufba.br/node/32 -
Salas-Guadiana, E., & Gallardo-Córdova, K. (2022). Revisión de la Literatura sobre el tema de la influencia del género en la identificación y desarrollo de alumnas talentosas. Revista Brasileira de Educação Especial, 28, 365-378. https://doi.org/10.1590/1980-54702022v28e0025
» https://doi.org/10.1590/1980-54702022v28e0025 -
Salgado-Orellana, N., Lagos-Luciano, J. F., Alarcón-Leiva, J. Pinochet-Quiroz, P., & Gálvez-Gamboa, F. (2022). Programas de Intervención socioeducativos para personas con discapacidad intelectual: una revisión sistemática. Revista Brasileira de Educação Especial, 28, 399-416. https://doi.org/10.1590/1980-54702022v28e0162
» https://doi.org/10.1590/1980-54702022v28e0162 - Santa Rosa, J. G., & Moraes, A. de (2012). Avaliação e projeto no design de interfaces 2AB.
-
Santos, F. L., Bazilatto, A. & Pantaleão, E. (2022). Tendências e questões jurídicas da Educação Especial nos Estados Unidos. Revista Brasileira de Educação Especial, 28, 187-190, 2022. https://doi.org/10.1590/1980-54702022v28e0106
» https://doi.org/10.1590/1980-54702022v28e0106 - Shneiderman, S. B., & Plaisant, C. (2005). Designing the user interface: strategies for effective humancomputer interaction Pearson/Addison Wesley.
- Silva, I. de A. e, Pereira, R. V., & Cabral, L. S. A. (2021). O direito ao acesso à informação sob a perspectiva da acessibilidade. In A. A. M. Contini, G. de S. Preussler, & W. C. S. Nozu (Orgs.), Fronteiras e direitos humanos: análises interdisciplinares (1ª ed., pp. 213-225). Íthala.
-
World Wide Web Consortium. (2020a). Cartilha Acessibilidade na Web. Fascículo I: Introdução Comitê Gestor da Internet no Brasil. https://www.w3c.br/pub/Materiais/PublicacoesW3C/cartilha-w3cbracessibilidade-web-fasciculo-I.pdf
» https://www.w3c.br/pub/Materiais/PublicacoesW3C/cartilha-w3cbracessibilidade-web-fasciculo-I.pdf -
World Wide Web Consortium. (2020b). Cartilha de acessibilidade na Web. Fascículo IV: tornando o conteúdo Web acessível Comitê Gestor da Internet no Brasil. https://www.w3c.br/pub/Materiais/PublicacoesW3C/cartilha-w3cbr-acessibilidade-web-fasciculo-IV.pdf
» https://www.w3c.br/pub/Materiais/PublicacoesW3C/cartilha-w3cbr-acessibilidade-web-fasciculo-IV.pdf -
Web Para Todos. WPT (2023). Boas práticas de acessibilidade digital. https://mwpt.com.br/acessibilidadedigital/boas-praticas/#:~:text
» https://mwpt.com.br/acessibilidadedigital/boas-praticas/#:~:text
Datas de Publicação
-
Publicação nesta coleção
07 Jul 2025 -
Data do Fascículo
2025
Histórico
-
Recebido
11 Mar 2024 -
Revisado
27 Set 2024 -
Aceito
14 Mar 2025
