Acessibilidade / Reportar erro

Surdos e acessibilidade: análise de um ambiente virtual de ensino e aprendizagem

Deaf and accessibility: analysis of a virtual learning environment

Resumos

A Educação a Distância (EaD) possui potencial para ampliar o acesso à educação. No entanto, ela tem sido incipiente ao tratar das necessidades específicas do público surdo. Isso se deve em parte pela abordagem superficial em relação à acessibilidade nos Ambientes Virtuais de Ensino e Aprendizagem (AVEA). O presente artigo teve como objetivo avaliar a acessibilidade de um AVEA para usuários surdos, através de um estudo de caso. A avaliação foi realizada por uma ferramenta automática e por meio de avaliação subjetiva humana. Pelas evidências dos resultados das abordagens de avaliação, fica aparente a diferença entre os métodos em termos de efetividade, eficiência e utilidade. Visto suas características complementares, recomenda-se o uso concomitante das técnicas.

Educação Especial; Surdos; Avaliação de Acessibilidade


Distance Education has great potential for broadening access to education. However, it has been ineffective when treating specific needs of deaf people. In part, that happens because accessibility to Virtual Learning Environment (VLE) is addressed in a superficial manner. This paper aims to evaluate a VLE's accessibility for a deaf user through a case study. The evaluation was conducted using an automatic instrument and by subjective human evaluation. The evaluation approach results revealed that there is a difference between both methods as related to effectiveness, efficiency and usefulness. Due to their complementary characteristics, it is advisable to use the techniques concurrently.

Special Education; Deaf Students; Assessment of Accessibility


RELATO DE PESQUISA

Surdos e acessibilidade: análise de um ambiente virtual de ensino e aprendizagem

Deaf and accessibility: analysis of a virtual learning environment

Elisa Maria PivettaI; Daniela Satomi SaitoII; Vânia Ribas UlbrichtIII

IDoutoranda do Programa de Pós-Graduação em Engenharia e Gestão do Conhecimento - PPGEGC, Universidade Federal de Santa Catarina, SC. Bolsista Capes 18444-12-1. Professora da Universidade Federal de Santa Maria, RS, Brasil. elisa@cafw.ufsm.br

IIDoutoranda do Programa de Pós-Graduação em Engenharia e Gestão do Conhecimento - PPGEGC, Universidade Federal de Santa Catarina, SC. Professora do Instituto Federal de Santa Catarina, SC, Brasil. daniela.saito@ifsc.edu.br

IIIProfessora Doutora do Programa de Pós-Graduação em Engenharia e Gestão do Conhecimento - PPGEGC, Universidade Federal de Santa Catarina, SC. Professora visitante da Universidade Federal do Paraná, PR. vrulbricht@gmail.com

RESUMO

A Educação a Distância (EaD) possui potencial para ampliar o acesso à educação. No entanto, ela tem sido incipiente ao tratar das necessidades específicas do público surdo. Isso se deve em parte pela abordagem superficial em relação à acessibilidade nos Ambientes Virtuais de Ensino e Aprendizagem (AVEA). O presente artigo teve como objetivo avaliar a acessibilidade de um AVEA para usuários surdos, através de um estudo de caso. A avaliação foi realizada por uma ferramenta automática e por meio de avaliação subjetiva humana. Pelas evidências dos resultados das abordagens de avaliação, fica aparente a diferença entre os métodos em termos de efetividade, eficiência e utilidade. Visto suas características complementares, recomenda-se o uso concomitante das técnicas.

Palavras-chave: Educação Especial. Surdos. Avaliação de Acessibilidade.

ABSTRACT

Distance Education has great potential for broadening access to education. However, it has been ineffective when treating specific needs of deaf people. In part, that happens because accessibility to Virtual Learning Environment (VLE) is addressed in a superficial manner. This paper aims to evaluate a VLE's accessibility for a deaf user through a case study. The evaluation was conducted using an automatic instrument and by subjective human evaluation. The evaluation approach results revealed that there is a difference between both methods as related to effectiveness, efficiency and usefulness. Due to their complementary characteristics, it is advisable to use the techniques concurrently.

Keywords: Special Education. Deaf Students. Assessment of Accessibility.

1 INTRODUÇÃO

A Educação a Distância (EaD) em sua concepção é um cenário para a efetivação da inclusão, pois utiliza a Internet como canal de propagação, minimizando barreiras de acesso, principalmente as geográficas. No entanto, ela ainda tem sido incipiente em promover a inclusão e a integração entre alunos, possivelmente pelas estratégias de ensino ou mesmo pela padronização dos ambientes adotados. Neste sentido, discussões quanto à acessibilidade dos Ambientes Virtuais de Ensino e Aprendizagem (AVEA) e as características dos seus usuários são cruciais para a inclusão de pessoas com deficiências.

Com o objetivo de garantir o acesso a todos à educação, o Decreto nº 5.622 de dezembro de 2005 (BRASIL, 2005), dispõe no Inciso II do Artigo nº 13 que os projetos pedagógicos de cursos e programas na modalidade devem conter o atendimento apropriado a estudantes com necessidades especiais. E, segundo o IBGE, censo 2010, aproximadamente 45,6 milhões de pessoas ou 23,9% da população apresentam algum tipo de deficiência. No caso da deficiência auditiva, o censo registrou 9.722.163 pessoas (IBGE, 2012) e o Censo da Educação Superior tem registrado índices crescentes do acesso deste público ao nível superior (INEP, 2010). Apesar do censo e de leis brasileiras utilizarem o termo deficiência auditiva, este trabalho fará referência à palavra surdo, abordando a surdez não como uma deficiência, e sim uma diferença linguística e cultural.

Em virtude das características de comunicação e do histórico das diferentes abordagens na educação, os surdos encontram dificuldades com a modalidade de comunicação fundamentada na perspectiva oralista. Surdos oralizados se aproximam mais das manifestações da cultura ouvinte, onde privilegia-se a habilidade da fala e da leitura labial. Os não oralizados geralmente têm na língua de sinais a sua manifestação maior de cultura (MELLO, 2001). Com foco na EaD como modalidade de educação, é relevante o resultado de pesquisas que apontam para a existência de dificuldades no aprendizado de alunos surdos em virtude de sua dificuldade na leitura textos escritos. A perturbação com a língua oral em sua modalidade escrita está presente na literatura e é evidenciada por estudos com surdos que utilizam Libras e línguas de sinais de outros países (BOTELHO 2003; MEIRELES; SPINILLO, 2010; HUENERFAUTH, 2005; EL-SOUD et al. , 2010, OTTAVIANO et al. , 2010; QUADROS, 2010).

Para a avaliação, uma das principais referências adotadas atualmente em termos de acessibilidade é a Web Accessibility Initiative (WAI). A iniciativa tem como intuito apoiar os desenvolvimento de uma Web acessível por meio de proposição de diretrizes, critérios, técnicas e ferramentas auxiliares para eliminar ou minimizar as barreiras de acessibilidade nos sites, sendo os tópicos de acessibilidade de conteúdos os mais conhecidos nesses termos. Com a recente evolução das diretrizes vigentes para a Web Content Accessibility Guidelines 2.0 (WCAG 2.0), questões sobre a abrangência e validade da nova proposta começam a se apresentar (W3C, 2012).

Visando contribuir com a solução da problemática colocada, pois verificando através de uma pesquisa que não há contributos neste âmbito, nem mesmo nesta conceituada revista que trata da educação especial (EDUCESPECIAL, 2013), o presente artigo tem como objetivo avaliar a acessibilidade de uma AVEA para usuários surdos, através de um estudo de caso. A avaliação foi realizada por uma ferramenta automática que preconiza a observância das diretrizes e normas da WCAG 2.0 em suas métricas e por meio de avaliação humana. Na avaliação humana o instrumento de pesquisa foi um questionário semi-estruturado, formado por perguntas abertas e fechadas. Os resultados de ambas as avaliações foram comparados e analisados com os fundamentos retirados da base bibliográfica.

Este artigo está dividido em sete seções, onde a primeira seção descreve a introdução a este trabalho. A seção dois descreve Ambientes Virtuais de Ensino e Aprendizagem, em especial o Moodle. A seção três discorre sobre acessibilidade na Web e a seção quatro trata de um estudo de caso e os métodos utilizados para fazer a avaliação de acessibilidade. A seção cinco apresenta a avaliação do referido ambiente, através dos dois métodos aplicados: automático e humano, e a descrição dos resultados obtidos, em ambas as avaliações. A seção seis apresenta as considerações finais e para encerrar lista-se a bibliografia utilizada.

2 AMBIENTES VIRTUAIS DE ENSINO E APRENDIZAGEM

Em virtude do aumento do número de cursos de EaD, pacotes de software para a criação dos AVEA's, também conhecidos como VLE's (Virtual Learning Environments) ou LMS's (Learning Management Systems), se popularizaram e, além de serem utilizados na EaD, também passaram a ser utilizados como ferramentas de apoio a cursos presenciais. Em sua essência, esses ambientes têm em comum o objetivo de propiciar o compartilhamento de conhecimento, bem como dar suporte ao processo de ensino-aprendizagem.

Segundo Macedo e Pereira (2009) um AVEA é um sistema cujo projeto está baseado na observância de normas de design de interface, planejamento da navegação, desenho do layout e estruturação. Este tipo de ambiente tem a opção tecnológica de atender a demanda educacional e, portanto, devem ser respeitados os critérios de usabilidade oferecendo suporte ao processo ensino-aprendizagem às pessoas, independentemente das capacidades físicas, sensoriais e cognitivas.

Para Macedo e Ulbricht (2008) a aprendizagem mediada por AVEA's contribui para a difusão do conhecimento de forma mais aprazível ao grupo de pessoas com deficiências, apesar das possíveis barreiras. No entanto, sob um olhar dirigido à inclusão destas pessoas, tecnologias utilizadas para o ensino devem atender as recomendações de usabilidade e acessibilidade, pois quando não se apresentam adequadamente, podem provocar efeitos diametralmente opostos, colocando barreiras muitas vezes intransponíveis ao aprendizado.

2.1 PLATAFORMA MOODLE

A plataforma Moodle (Modular Object-Oriented Dynamic Learning Environment) se apresenta como o LMS open-source mais conhecido e utilizado mundialmente. Segundo Al-Ajlan e Zedan (2008), a ferramenta foi desenvolvida sob a perspectiva sócio-interacionista, utilizando as possibilidades colaborativas da Internet. Permite que os professores forneçam e compartilhem recursos, bem como utilizem quizzes e outras atividades para promover maior qualidade aos cursos. Por se tratar de um pacote de software livre, os usuários podem fazer o download gratuitamente, utilizá-lo e modificá-lo para distribuição.

Segundo dados do site do Moodle (MOODLE, 2012), o ambiente é utilizado atualmente em 216 países, sendo que no Brasil são mais de 5.000 sites registrados fazendo uso da plataforma. A ampla adoção e as estatísticas de aumento de usuários com necessidades especiais justificam, portanto, a validade e relevância da realização de estudos vinculados à acessibilidade do referido ambiente.

3 ACESSIBILIDADE NA WEB

Segundo o World Wide Web Consortium (W3C, 2012), a acessibilidade web está relacionada à capacidade de sua utilização por pessoas com deficiência, permitindo que estes usuários sejam capazes de perceber os conteúdos, compreendê-los, realizar atividades de navegação e interação, bem como criar conteúdos na web. Entretanto, os sites de forma geral, apresentam barreiras de acessibilidade, sendo que estas variam conforme o perfil do usuário a acessá-lo.

3.1 WEB ACCESSIBILITY INITIATIVE (WAI)

A Web Accessibility Initiative é uma iniciativa que tem como proposta apresentar diretrizes e recomendações para prover acesso e oportunidades igualitárias às pessoas, considerando os diversos tipos de habilidades. Trata-se de uma iniciativa que teve grande sucesso, principalmente no âmbito das políticas de acessibilidade. Hoje, as proposições da WAI são consideradas referências quando discussões sobre acessibilidade Web são levantadas (WAI, 2012). Visando auxiliar desenvolvedores e autores de conteúdo na produção de material acessível, a WAI articulou a elaboração da Web Content Accessibility Guidelines (WCAG), que hoje se encontra na versão 2.0.

O documento é organizado em termos de diretrizes e critérios de sucesso, sendo estes critérios referência para a definição do nível de conformidade de um web site em relação à acessibilidade. Segundo o WCAG 2.0 (2008), as diretrizes e critérios de sucesso de acessibilidade são fundamentados em quatro princípios básicos:

  • Perceptível - as informações e funcionalidades devem ser apresentadas de forma que os usuários possam percebê-las, ou seja, podem ser apreendidas pelos sentidos.

  • Operável - as funcionalidades interativas devem estar disponíveis aos usuários de forma que eles possam executá-las.

  • Compreensível - as informações e funcionalidades devem ser claras para o entendimento dos usuários.

  • Robusto - os conteúdos devem ser estruturados de forma que possam ser compatíveis e interpretados confiavelmente por uma ampla variedade de agentes, incluindo novas tecnologias.

Entende-se, portanto, que ao entendimento da WAI, através da aplicação e alcance dos critérios de acessibilidade relacionados aos princípios supracitados, um web site estará acessível. Vale salientar que o WCAG 2.0 não prescreve exatamente como as condições devem ser atingidas no padrão normativo (REID; SNOW-WEAVER, 2008). Ele apenas oferece orientações informativas sobre métodos atualmente conhecidos para atingir os critérios de sucesso, sendo ainda questionável a relevância que determinados recursos recebem no documento.

4 AVALIAÇÃO DE ACESSIBILIDADE

A acessibilidade Web pode ser avaliada por meio de diferentes métodos, incluindo a revisão de padrões, teste com o usuário, avaliação subjetiva e o walkthrough1 1 . Resolução de tarefas com a finalidade de melhorar a qualidade do produto (BRAJNIK; UDINE, 2008; BRAJNIK, 2009). Os métodos podem ser tanto automáticos como baseados na avaliação humana e seus resultados diferem em termos de sua efetividade, eficiência e utilidade.

As ferramentas de avaliação automática de conformidade realizam o processo avaliativo automaticamente, tendo como base um conjunto de critérios (ou métricas) para a inspeção. Vigo e Brajnik (2011) apresenta como vantagens em seu uso: a agilidade na obtenção de resultados; a acessibilidade em termos econômicos; e, de certa forma, a confiabilidade do processo por produzir resultados reprodutíveis e livres do problema de experiência do avaliador, que é relacionado às avaliações humanas.

Com relação aos métodos de avaliação subjetiva, esta é realizada por um grupo de usuários com as características dos usuários de referência. O pesquisador instrui aos avaliadores a explorar e utilizar um determinado ambiente, individualmente ou conjuntamente com outros usuários. O grupo é entrevistado diretamente ou por meio de questionários para obter o feedback sobre o que funcionou ou não para eles, identificando defeitos e possíveis soluções. São métodos de baixo custo, mas podem levar a resultados bem diferentes em virtude das diferenças existentes entre os usuários selecionados. Também são menos sistematizados, se comparados aos métodos automáticos e suas métricas (BRAJNIK, 2008).

4.1 AVALIAÇÃO AUTOMÁTICA

A WAI defende fortemente a medida de acessibilidade por meio da conformidade com as diretrizes de acessibilidade, particularmente, com o WCAG 2.0. Apesar de não oferecer técnicas de avaliação por checklists, a WAI oferece procedimentos gerais e dicas de avaliação em situações distintas de avaliação durante o processo de desenvolvimento ou após o desenvolvimento. Segundo a iniciativa, a conformidade com o WCAG 2.0 é especificada dentro dos seguintes níveis:

  • Nível de conformidade "A": é o critério mínimo de conformidade, onde todos os critérios de sucesso categorizados como A são satisfeitos;

  • Nível de conformidade "AA": todos os critérios de sucesso categorizados como A e AA são satisfeitos;

  • Nível de conformidade "AAA": todos os critérios de sucesso categorizados como A, AA e AAA são satisfeitos.

Kelly et al. (2007) afirma que mesmo assim, a abordagem deixa uma lacuna quanto à validação. Os autores questionam quais evidências são avaliadas e como garantir que um usuário com deficiência consegue atingir os níveis de percepção, operação, compreensão, mesmo tendo o apoio de tecnologias assistivas.

5 ESTUDO DE CASO

Para este estudo de caso, foi selecionado o Ambiente Virtual de Ensino e Aprendizagem Moodle, configurado dentro dos padrões de uma instituição de ensino. O propósito do trabalho foi selecionar uma ferramenta automática que preconiza a observância das diretrizes e recomendações da WCAG 2.0 e com base na ferramenta avaliar a acessibilidade de um AVEA, para usuários surdos. Da mesma forma, foi realizada uma avaliação humana do ambiente proposto utilizando como instrumento de pesquisa um questionário semi-estruturado, composto por perguntas abertas e fechadas. O objetivo foi verificar e comparar as avaliações em nível de acessibilidade em ambientes virtuais de aprendizagem para usuários surdos. Para isto, primeiramente foram escolhidas quatro ferramentas automáticas: AChecker, TAW, Worldspace FireEyes e Web Accessibility Assessment Tool, as quais são detalhadas em uma próxima seção. Foram realizados testes de verificação para avaliar qual das ferramentas se mostrava mais adequada à avaliação de acessibilidade. O cenário escolhido foi o contexto da disciplina de Capacitação em Informática Aplicada avaliando tarefas e atividades comuns aos alunos.

5.1 MÉTODO APLICADO

O método apresentado visa avaliar a acessibilidade do AVEA Moodle para o público surdo. Para a avaliação de acessibilidade, os seguintes passos foram adotados:

  • inspeção de conformidade do AVEA utilizando as ferramentas de avaliação automática previamente selecionadas;

  • análise e comparação dos resultados obtidos pelas ferramentas;

  • seleção de uma ferramenta de avaliação automática;

  • avaliação subjetiva do AVEA por meio de questionários com usuários surdos;

  • análise dos resultados da avaliação subjetiva;

  • análise dos resultados obtidos pelas duas metodologias de avaliação.

Inicialmente verificou-se a lista da WAI, mas observou-se que a lista estava desatualizada, não sendo indicada nenhuma ferramenta automática que valide em conformidade com WCAG 2.0, apenas com WCAG 1.0. Sendo assim, foram consideradas as ferramentas que validam WCAG 2.0 identificadas por Al-Khalifa et al. (2011):

  • AChecker - ferramenta baseada na plataforma Web desenvolvida pelo Adaptive Technology Resource Centre da Universidade de Toronto. Apresenta seus resultados em três categorias: problemas conhecidos, problemas prováveis e potenciais problemas. Valida os níveis A, AA e AAA (ACHECKER, 2011).

  • TAW - ferramenta que avalia páginas web e aplicações Java stand-alone. Apresenta os resultados tendo como base os fundamentos básicos de acessibilidade propostos pela WAI. Valida os níveis A, AA e AAA (TAW, 2012).

  • Worldspace FireEyes - ferramenta open source concebida como add-on do navegador Firefox que valida os níveis A e AA (WORLSPACE, 2012).

  • Web Accessibility Assessment Tool (WAAT) - aplicação Java desenvolvida pelo projeto EU FP7 ACCESSIBLE. Valida os níveis A, AA e AAA (WAAT, 2012).

Deste grupo, as ferramentas AChecker, TAW e Web Accessibility Assessment Tool foram selecionadas por avaliarem os três níveis de conformidade WCAG. Os resultados gerados foram tabulados e posteriormente avaliados fundamentando-se nas considerações feitas pela WAI em relação á acessibilidade para surdos.

A avaliação humana foi realizada através da aplicação de um instrumento de pesquisa, formatado como um questionário semi-estruturado, composto por questões abertas e fechadas e utilizado para avaliação do ambiente virtual por pessoas surdas. O perfil dos avaliadores selecionados para a atividade foi de surdos, com nível de escolaridade de pós-graduação e com bom conhecimento de navegação na Web. Por meio dos resultados, foi realizada uma comparação entre os dois métodos de avaliação com o intuito de verificar as diferenças no que diz respeito a efetividade, eficiência e utilidade entre eles.

6 RESULTADOS

A primeira barreira identificada para a execução deste estudo de caso foi a avaliação da área restrita do AVEA. Mesmo que o link identificado seja de uma sessão validada (feito login) no ambiente, nenhuma das opções de ferramenta selecionadas consegue avaliar o ambiente, sendo o programa forçado a permanecer na janela de acesso ao ambiente, isto é, na área de login. Como alternativa, as ferramentas AChecker e WAAT apresentaram a opção de upload de arquivo ou cópia de código-fonte. No entanto, ao realizar a avaliação off-line percebeu-se que as ferramentas não conseguem avaliar o código por completo, pois a página avaliada é composta por mais de um arquivo, faz referência a folhas de estilo (arquivos CSS) e arquivos em JavaScript, sendo que esses arquivos externos não são acessados pelos aplicativos. Assim, embora a página da disciplina tenha sido avaliada por meio de upload de código, percebe-se que alguns aspectos deixaram de ser considerados, visto que arquivos complementares (JavaScript e CSS) são necessários para a obtenção de um resultado mais preciso.

Em relação à página inicial do curso, os problemas encontrados foram categorizados fundamentando-se nos princípios de acessibilidade apresentados pela WAI, que são: perceptível, operável, compreensível e robusto, conforme pode ser visto na Tabela 1:

Conforme dados apresentados na Tabela 1, AChecker identificou 111 problemas, sendo todos eles pertencentes ao princípio Perceptível. O WAAT, por sua vez, indicou 13 problemas no princípio Perceptível, 37 no princípio Operável, nove no Compreensível e 15 no Robusto. O Gráfico 1 apresenta uma comparação entre as quantidades de erros detectadas em cada ferramenta de acordo com os princípios de acessibilidade citados:


Em geral, no princípio Perceptível, os problemas identificados pelas ferramentas e apresentados no Gráfico 2 foram relacionados a:


  • Textos alternativos - possibilidade de mudanças para qualquer conteúdo não textual de forma que ele possa ser modificado para impressão em tela, braille, saída em áudio, símbolos ou em uma linguagem mais simples. Categorizados como nível A.

  • Criar conteúdos que possam ser apresentados de diferentes formas sem perder a estrutura da informação - neste caso, as ferramentas identificaram problemas como o uso de tabelas, rótulos e legendas, que podem prejudicar o uso de ferramentas assistivas. Problema de acessibilidade de nível A.

  • Contraste - tornar claro as diferenças entre background e foreground. O contraste entre cor de fonte e cor de fundo não foi considerado adequado. No caso de sons, a mesma lógica de contraste se aplica. Os problemas relacionados a este tópico foram classificados tanto no nível AA como no nível AAA de acessibilidade.

As duas ferramentas identificaram problemas categorizados de forma semelhante, sendo que a AChecker se diferenciou por também ter detectado problemas referentes ao uso de alternativas textuais para conteúdos não-textuais. Em relação à quantidade de problemas localizados, a ferramenta AChecker obteve um número maior, visto que todos os problemas reconhecidos pela ferramenta se encontram neste princípio.

Quanto ao princípio Operável, os problemas encontrados foram:

  • Acesso via teclado - oferecer recursos que permitam a navegação via teclado. Problema de acessibilidade de nível A.

  • Ajudar o usuário a navegar, encontrar conteúdos e determinar onde estão - Problema de acessibilidade classificado nos níveis de acessibilidade A e AAA.

  • Para o princípio Compreensível, os problemas encontrados foram:

  • Ajudar os usuários a evitar e corrigir erros - em relação a este tópico, foram identificados problemas relacionados ao não uso de rótulos junto a campos de formulário. Nível A.

  • Previsibilidade das ações - devem ser transparentes aos usuários. Neste caso, o problema identificado relaciona-se às novas janelas abertas por meio de links. Nível AAA.

A avaliação da Robustez indicou problemas relativos à maximização da compatibilidade com agentes. Para tanto, o código-fonte deve apresentar a identificação clara dos elementos (blocos de conteúdo, links, rótulos e títulos de campos de formulário) para que estes sejam reconhecidos pelas tecnologias assistivas. Nível A de acessibilidade.

Na aplicação das ferramentas para avaliar o ambiente proposto, verificou-se que dentre os resultados encontrados, poucos deles relacionavam-se diretamente com as especificidades da acessibilidade aos surdos. A ferramenta escolhida para avaliar o ambiente e confrontar com a avaliação do usuário foi a WAAT, por ter se diferenciado das demais em termos resultados, isto é, apontou problemas nas quatro categorias, dentre elas 13 no princípio Perceptível, 37 no Operável, nove no Compreensível e 15 no Robusto.

6.1 AVALIAÇÃO POR USUÁRIO

A avaliação subjetiva foi realizada através de questionário semi-estruturado, com 16 perguntas, sendo oito fechadas e de ordem escalar, conforme ilustrado na Tabela 2 e no Gráfico 3, as demais perguntas foram do tipo aberta. Para as perguntas fechadas com respostas de ordem escalar, não foram atribuídas opções de resposta certa ou errada, mas sim, respostas entre os valores 1 e 5 sendo: 1 - discordo totalmente; 2 - discordo mas não totalmente; 3 - neutro; 4 - concordo, mas não totalmente e; 5 - concordo totalmente. A aplicação do questionário se efetuou com três usuários surdos, com nível de pós-graduação e boa familiaridade com a Internet. Os três possuem experiência com a Educação a Distância.A primeira pergunta do questionário objetivava saber a quanto tempo conhecem o Moodle. Dois deles responderam que conhecem há quatro anos e um há seis anos. Ao serem questionados sobre o quanto o Moodle contempla as necessidades do surdo para a compreensão dos conteúdos e se os recursos como chat, fórum, vídeo, imagens, são suficientes para a compreensão dos conteúdos, numa escala de 1 a 5, responderam atentando o valor 1 e 2, conforme apresentado na Tabela 2 e ilustrado resumidamente no Gráfico 3.


Os avaliadores salientaram a importância do uso da Libras junto ao conteúdo textual para melhor compreensão. Um dos avaliadores afirmou a importância da presença do vídeo em Libras junto ao seu equivalente textual para que os alunos possam realizar as comparações e aumentar sua familiaridade com a Língua Portuguesa. Ainda em relação às necessidades do surdo, atividades que explorem mais a visualidade, a inserção de vídeo ou outras estratégias visuais também foram enfatizadas tanto para a fixação de conteúdos, ferramentas pedagógicas, como para atividades de interação e comunicação.

Em relação à estrutura e navegação e acesso às atividades, todos responderam com valor 2, enfatizando principalmente a questão do layout e organização dos conteúdos em forma de tópicos. Todos argumentaram que a estrutura dificulta a localização de informações pela necessidade de rolagem de página. Um dos avaliadores sugeriu que o modelo de layout deveria evitar o modelo tradicional na estrutura de tópicos. Uma sugestão seria reduzir o número de itens de navegação e utilizar uma organização de conteúdos em abas, ou algum outro layout que não faça o usuário perder o contexto de visualização de menus e estrutura como acontece com o modelo de organização em tópicos.

Todos os entrevistados responderam com o valor 4 para a questão da compreensão dos rótulos e nomes de links. Mesmo havendo uma boa compreensão dos termos apresentados, foi sugerido uso de imagens em SignWriting, ou um pequeno vídeo em Libras junto às imagens e links. O SignWriting consiste na escrita da língua de sinais. É resultante da busca de uma representação da língua de sinais. Foi criado nos anos 90 por Valerie Sutton do Deaf Action Commitee (DAC), USA. É composto por símbolos que representam de modo gráfico e esquemático a língua de sinais, podendo registrar qualquer língua de sinais do mundo (STUMPF, 2005). Mesmo o SignWriting não sendo de conhecimento geral, o fato de sua notação ser vinculada à língua de sinais, faz com que os surdos realizem rapidamente a conexão da notação com a Libras.

Ao avaliar a importância de recursos visuais como as animações, em um primeiro momento, houve a necessidade de explicação e exemplificação do que se entende por animação. Após a identificação do termo em português os entrevistados consideraram o recurso como extremamente importante para a apresentação de conceitos e demonstração de funcionamento de ferramentas e não identificaram situações em que o uso dos recursos pudesse atrapalhar na compreensão dos conteúdos.

As questões nove e 10 tiveram como foco avaliar a adequação e compreensão dos recursos visuais utilizados na interface. De forma geral, os itens avaliados obtiveram valores entre 2 e 3 (vide Tabela 2) como avaliação. Dois dos avaliadores apontaram que o tamanho dos ícones e o baixo contraste dificultam a visualização, afirmando que as imagens não estavam claras. Um deles também sugeriu o uso do SignWriting junto aos ícones

Algumas perguntas, de ordem aberta, contemplavam analisar a percepção sensorial dos elementos na interface do ambiente avaliado. Os avaliadores indicaram a importância de uma gama de recursos visuais para a melhor compreensão dos conteúdos apresentados, reforçaram a importância da língua de sinais para os surdos, bem como a necessidade de maior clareza e concisão da interface para facilitar a navegação e interação.

Embora o ambiente tivesse conteúdos em vídeo, não foi identificada a presença de Libras ou legendas junto aos mesmos, o que foi avaliado como um ponto negativo. Segundo os avaliadores, as legendas são um importante recurso de apoio à compreensão de vídeos, quando este não é desenvolvido para surdo, auxiliando na conexão dos elementos visuais. No entanto, um dos entrevistados citou, que nem sempre a legenda é suficiente em um vídeo. Em alguns momentos a legenda pode apresentar termos ou conceitos desconhecidos, ou mesmo ser rápida demais para acompanhar. Sendo assim, a melhor solução, segundo sugestão, seria o uso dos dois recursos - legenda e Libras, pois contempla os surdos usuários da Língua Portuguesa e os surdos que se comunicam em Libras.

Vale salientar que os entrevistados indicaram que o uso de Libras sem o auxílio de outros recursos também não é adequado para o ensino. Assim como uma aula expositiva, que não contemple recursos auxiliares pode ficar monótona e sem atrativos ao estudante, o mesmo ocorre em uma aula expositiva em Libras. O modelo indicado foi o das vídeo-aulas, normalmente utilizadas na EaD, onde junto à explanação, são agregados vídeos, animações ou imagens para ilustrar os conceitos discutidos.

As últimas perguntas foram relacionadas ao uso de ferramentas auxiliares para a melhoria da compreensão dos conteúdos. Os entrevistados indicaram como sendo importante a criação de glossários, visto que ainda existem muitos termos em português que não possuem sinais em Libras. Segundo explicação, os sinais permitem que os conceitos sejam recuperados mais rapidamente do que através dos termos em português. Os glossários seriam ferramentas para disseminação dos sinais não conhecidos na comunidade surda para conectá-los ao aprendizado de termos da Língua Portuguesa. Da mesma forma, as ferramentas de tradução automática também foram consideradas importantes para os surdos. As ferramentas de tradução teriam como objetivo realizar a tradução automática de textos apresentados em português escrito para vídeos ou animações em Libras. No entanto, os entrevistados indicaram a necessidade de várias pesquisas e avanços tecnológicos para atingir um bom resultado de tradução.

7 CONCLUSÃO

O objetivo deste trabalho foi verificar se o ambiente de aprendizagem Moodle possui acessibilidade para pessoas surdas. Neste contexto, foram realizados dois tipos de avaliação: avaliação automática e avaliação subjetiva por usuários, sendo que posteriormente os resultados foram confrontados. O cenário escolhido foi o contexto da disciplina de Capacitação em Informática Aplicada, avaliando interface e navegabilidade no ambiente.

Na etapa de avaliação automática, verificou-se uma grande diferença em relação as métricas adotadas pelas ferramentas. Esse fato chamou a atenção, pois todas elas estão fundamentadas no WCAG 2.0, significando que elas deveriam ser equivalentes. Das ferramentas testadas, a escolhida para o confronto de resultados foi a WAAT, que se diferenciou das demais. Esta ferramenta conseguiu detectar problemas nas quatro categorias: Perceptível, Operável, Compreensível e Robusto.

Embora o estudo de caso tenha sido aplicado a um cenário restrito, os resultados foram considerados válidos, visto que o foco principal do ambiente é no espaço dos cursos. Neste estudo, as ferramentas selecionadas indicaram por meio de suas métricas que rótulos e títulos são relevantes para tornar um elemento operacional e compreensível. Mesmo com as diretrizes contemplando o acesso às mídias baseadas em tempo e as ferramentas se propondo a validar alguns de seus aspectos, tal como o uso de legendas, a presença de vídeos em língua de sinais não é tratada, e deixa em aberto elementos de comunicação importantes para surdos que utilizam a língua de sinais.

Na avaliação por usuário, ficou evidente a necessidade de aliar o uso de recursos visuais aos conteúdos apresentados em português, bem como valorizar o uso da língua de sinais e suas variantes (como o SignWriting) para maior compreensão do ambiente. Além disso, os resultados indicaram também a necessidade de um ambiente claro e conciso, incluindo uma sugestão de modificação do modelo organizacional (layout). Uma proposta seria a modificação do modelo tradicional de tópicos para um modelo em abas, que torna a navegação entre os conteúdos mais visível, não exigindo a rolagem da página e evitando a consequente perda de contexto, citada pelos entrevistados. Como instigação para um trabalho futuro, indica-se a realização de uma empiria no sentido de criar e testar um ambiente com esta estrutura. Para tanto, faz-se necessária a observância de recomendações de usabilidade e acessibilidade e a aplicação de técnicas nas atividades de planejamento e estruturação tanto da interface do ambiente como dos conteúdos dos cursos

Pelas evidências dos resultados das avaliações automáticas e resultados da avaliação humana, fica aparente a diferença entre os métodos em termos de efetividade, eficiência e utilidade. Enquanto as avaliações automáticas são eficientes na validação de elementos relativos à codificação, a avaliação humana se mostrou mais adequada nas tarefas relacionadas a aspectos mais subjetivos, como os relacionados à compreensão no ambiente virtual. Neste sentido, para a obtenção de resultados de avaliação mais completos, recomenda-se o uso concomitante das técnicas de avaliação automática e humana, tendo em vista suas características complementares. No intuito de obter resultados mais precisos, sugere-se também o desenvolvimento de ferramentas que permitam a avaliação online das áreas restritas dos ambientes virtuais. Desta forma, os arquivos vinculados de folhas de estilo, JavaScript e outros recursos, que são importantes na avaliação, não deixarão de ser considerados no processo.

Outra sugestão é a formulação de diretrizes para inserir os conteúdos neste ambiente e o desenvolvimento de novas ferramentas pedagógicas que incorporem características da língua de sinais. Vale salientar que os conteúdos dos cursos normalmente dependem da organização ou edição de cada professor responsável pelo curso e que ferramentas pedagógicas a serem desenvolvidas exigem uma efetiva participação dos surdos para a obtenção de bons resultados.

REFERÊNCIAS

ACHECKER, Web Accessibility Checker. 2011. Disponível em: <http://achecker.ca/checker/index.php>. Acesso em maio de 2012.

AL-AJLAN, A.; ZEDAN, H. Why Moodle. In: 12th INTERNATIONAL WORKSHOP ON FUTURE TRENDS OF DISTRIBUTED COMPUTING SYSTEMS, FTDCS'08. Proceedings... Washington, DC, USA: IEEE Computer Society, 2008.

AL-KHALIFA, H. S. et al. A Pilot Study for Evaluating Arabic Websites Using Automated WCAG 2.0 Evaluation Tools. In: 2011 INTERNATIONAL CONFERENCE ON INNOVATIONS IN INFORMATION TECHNOLOGY. Proceedings... Riyadh, Saudi Arabia: IEEE Computer Society, 2011.

BOTELHO, P. Linguagem e letramento na educação de surdos: ideologias e práticas pedagógicas. Belo Horizonte: Autêntica, 2003.

BRAJNIK, G. Beyond Conformance: The role of accessibility evaluation methods. In: 2008 INTERNATIONAL WORKSHOPS ON WEB INFORMATION SYSTEMS ENGINEERING, WISE'08. Proceedings... Berlin: Springer-Verlag, 2008.

BRAJNIK, G.; UDINE, U. A Comparative Test of Web Accessibility Evaluation Methods. In: 10th INTERNATIONAL ACM SIGACCESS CONFERENCE ON COMPUTERS AND ACCESSIBILITY, ASSETS'08. Proceedings... [S.l.]: ACM Press, 2008.

BRASIL. Decreto nº 5.622. Presidência da República - Casa Civil - Subchefia para Assuntos Jurídicos. 2005. Disponível em: < http://portal.mec.gov.br/seed/arquivos/pdf/dec_5622.pdf>. Acesso em: 05 mar. 2012.

EDUCESPECIAL, Revista Brasileira de Educação Especial. Disponível em <http://www.scielo.br/scielo.php?script=sci_serial&pid=1413-6538&lng=en&nrm=iso>. Acesso em: 05 mar. 2013.

EL-SOUD, M. A. et al. A Proposed Web Based E-Learning And Dictionary Framework For Deaf Arab Students. International Journal of Electrical and Computer Science (IJECS/IJENS), [S.l], v. 10, n. 1, 2010.

HUENERFAUTH, M. American Sign Language Spatial Representations for an Accessible User-Interface. In: 3rd INTERNACIONAL CONFERENCE ON UNIVERSAL ACCESS IN

HUMAN-COMPUTER INTERACTION. Proceedings... Las Vegas, NV, USA, 2005. Disponível em: <http://eniac.cs.qc.edu/matt/pubs/huenerfauth-2005-uahci-asl-spatial-representations.pdf>. Acesso em: 20 mar. 2013.

IBGE - Instituto Brasileiro de Geografia e Estatística. Censo Demográfico 2010. Disponível em: <http://www.ibge.gov.br/censo2010/>. Acesso em: 27 abr. 2012.

INEP - Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. Censo da Educação Superior 2010: Divulgação dos principais resultados do Censo da Educação Superior 2010. Disponível em: <http://download.inep.gov.br/educacao_superior/censo_superior/resumo_tecnico/resumo_tecnico_censo_educacao_superior_2010.pdf>. Acesso em: 07 abr. 2012.

KELLY, B. et al. Accessibility 2.0: People, Policies and Processes. In: 2007 INTERNATIONAL CROSS-DISCIPLINARY CONFERENCE ON WEB ACCESSIBILITY (W4A). Proceedings... New York, USA: ACM Press, p. 138-147, 2007.

MACEDO, M. K. B.; PEREIRA, A. T. C. Desenvolvimento de Recomendações de Acessibilidade e Usabilidade para Ambientes Virtuais de Aprendizagem Voltados para o Usuário Idoso. RENOTE - Revista Novas Tecnologias na Educação, Porto Alegre, v. 5, p. 14, 2009.

MACEDO, C. M. S.; ULBRICHT, V. R. Considerações de Acessibilidade em Educação a Distância. In: 3° CONGRESSO NACIONAL DE HIPERMÍDIA PARA APRENDIZAGEM. Anais Eletrônicos... São Paulo: Anhembi Morumbi, 2008.

MEIRELLES, V.; SPINILLO, A. G. Uma análise da coesão textual e da estrutura narrativa em textos escritos por adolescentes surdos. Estudos de Psicologia, Natal, v. 9, n.1, abr. 2004. Disponível em: <http://www.scielo.br/scielo.php?pid=S1413-294X2004000100015&script=sci_arttext>. Acesso em: 15 maio 2012.

MELLO, A. G. Surdos Oralizados e Não Oralizados: Uma Visão Crítica. In: SEGUNDO CONGRESO VIRTUAL INTEGRACIÓN SIN BARRERAS EM EN SIGLO XXI. Anais Eletrônicos... [S.l.]: Red de Integración Especial. 2001.

MOODLE. Modular Object-Oriented Dynamic Learning Environment. Disponível em: <http://www.moodle.org.br/>. Acesso em: 10 abr. 2012.

OTTAVIANO, S. et al. The Deaf and Online Comprehension Texts, How Can Technology Help? Computers Helping People with Special Needs - Lecture Notes in Computer Science, Vienna, Austria, v. 6180, p. 144-151, 2010.

QUADROS, R. M. O contexto escolar do aluno surdo e o papel das línguas. Disponível em: <www.sj.ifsc.edu.br/~nepes/docs/midiateca_artigos/escrita.../texto65.doc>. Acesso em: 15 jun. 2012.

REID, L. G.; SNOW-WEAVER, A. WCAG 2.0: Web Accessibility Standard for the Evolving Web. In: 2008 INTERNATIONAL CROSS-DISCIPLINARY CONFERENCE ON WEB ACCESSIBILITY, W4A. Proceedings... Beijing, China, 2008.

STUMPF, M. Aprendizagem de Escrita de Língua de Sinais pelo Sistema SignWriting: Língua de Sinais no Papel e no Computador. 2005. 330f. Tese (Doutorado em Informática na Educação) - Programa de Pós-Graduação em Informática na Educação do Centro Interdisciplinar de Novas Tecnologias, Universidade Federal do Rio Grande do Sul, Porto Alegre, 2005.

TAW, Accesibilidad de Sitios Web. Disponível em: < http://www.tawdis.net/ >. Acesso em: 30 maio 2012.

VIGO, M; BRAJNIK, G. Automatic Web Accessibility metrics: Where we are and where we can go. Interacting with Computers, Oxford, n. 23, p. 137-155, 2011.

WAI, Web Accessibility Initiative. Disponível em: < http://www.w3.org/WAI/>. Acesso em: 25 maio 2012

WAAT, Web Accessibility Assessment Tool. Disponível em: < http://www.accessible-eu.org/>. Acesso em: 25 maio 2012.

WCAG20, Web Content Accessibility Guidelines 2.0 - W3C Recommendation 11 December 2008. Disponível em: <http://www.w3.org/TR/WCAG/>. Acesso em: 25 maio 2012.

WORLDSPACE, Worldspace fireEyes. Disponível em <http://www.deque.com/products/worldspace-fireeyes>. Acesso em: 25 maio 2012.

W3C, World Wide Web Consortium. Disponível em: < http://www.w3.org>. Acesso em: 25 maio 2012.

Recebido em: 28/05/2013

Reformulado em: 10/01/2014

Aprovado em: 10/02/2014

  • ACHECKER, Web Accessibility Checker 2011. Disponível em: <http://achecker.ca/checker/index.php>. Acesso em maio de 2012.
  • AL-AJLAN, A.; ZEDAN, H. Why Moodle. In: 12th INTERNATIONAL WORKSHOP ON FUTURE TRENDS OF DISTRIBUTED COMPUTING SYSTEMS, FTDCS'08. Proceedings... Washington, DC, USA: IEEE Computer Society, 2008.
  • AL-KHALIFA, H. S. et al. A Pilot Study for Evaluating Arabic Websites Using Automated WCAG 2.0 Evaluation Tools. In: 2011 INTERNATIONAL CONFERENCE ON INNOVATIONS IN INFORMATION TECHNOLOGY. Proceedings... Riyadh, Saudi Arabia: IEEE Computer Society, 2011.
  • BOTELHO, P. Linguagem e letramento na educação de surdos: ideologias e práticas pedagógicas. Belo Horizonte: Autêntica, 2003.
  • BRAJNIK, G. Beyond Conformance: The role of accessibility evaluation methods. In: 2008 INTERNATIONAL WORKSHOPS ON WEB INFORMATION SYSTEMS ENGINEERING, WISE'08. Proceedings... Berlin: Springer-Verlag, 2008.
  • BRAJNIK, G.; UDINE, U. A Comparative Test of Web Accessibility Evaluation Methods. In: 10th INTERNATIONAL ACM SIGACCESS CONFERENCE ON COMPUTERS AND ACCESSIBILITY, ASSETS'08. Proceedings... [S.l.]: ACM Press, 2008.
  • BRASIL. Decreto nº 5.622. Presidência da República - Casa Civil - Subchefia para Assuntos Jurídicos. 2005. Disponível em: < http://portal.mec.gov.br/seed/arquivos/pdf/dec_5622.pdf>. Acesso em: 05 mar. 2012.
  • EDUCESPECIAL, Revista Brasileira de Educação Especial. Disponível em <http://www.scielo.br/scielo.php?script=sci_serial&pid=1413-6538&lng=en&nrm=iso>. Acesso em: 05 mar. 2013.
  • EL-SOUD, M. A. et al. A Proposed Web Based E-Learning And Dictionary Framework For Deaf Arab Students. International Journal of Electrical and Computer Science (IJECS/IJENS), [S.l], v. 10, n. 1, 2010.
  • HUENERFAUTH, M. American Sign Language Spatial Representations for an Accessible User-Interface.  In: 3rd INTERNACIONAL CONFERENCE ON UNIVERSAL ACCESS IN
  • HUMAN-COMPUTER INTERACTION. Proceedings... Las Vegas, NV, USA, 2005. Disponível em: <http://eniac.cs.qc.edu/matt/pubs/huenerfauth-2005-uahci-asl-spatial-representations.pdf>. Acesso em: 20 mar. 2013.
  • IBGE - Instituto Brasileiro de Geografia e Estatística. Censo Demográfico 2010. Disponível em: <http://www.ibge.gov.br/censo2010/>. Acesso em: 27 abr. 2012.
  • INEP - Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. Censo da Educação Superior 2010: Divulgação dos principais resultados do Censo da Educação Superior 2010. Disponível em: <http://download.inep.gov.br/educacao_superior/censo_superior/resumo_tecnico/resumo_tecnico_censo_educacao_superior_2010.pdf>. Acesso em: 07 abr. 2012.
  • KELLY, B. et al. Accessibility 2.0: People, Policies and Processes. In: 2007 INTERNATIONAL CROSS-DISCIPLINARY CONFERENCE ON WEB ACCESSIBILITY (W4A). Proceedings... New York, USA: ACM Press, p. 138-147, 2007.
  • MACEDO, M. K. B.; PEREIRA, A. T. C. Desenvolvimento de Recomendações de Acessibilidade e Usabilidade para Ambientes Virtuais de Aprendizagem Voltados para o Usuário Idoso. RENOTE - Revista Novas Tecnologias na Educação, Porto Alegre, v. 5, p. 14, 2009.
  • MACEDO, C. M. S.; ULBRICHT, V. R. Considerações de Acessibilidade em Educação a Distância. In: 3° CONGRESSO NACIONAL DE HIPERMÍDIA PARA APRENDIZAGEM. Anais Eletrônicos... São Paulo: Anhembi Morumbi, 2008.
  • MEIRELLES, V.; SPINILLO, A. G. Uma análise da coesão textual e da estrutura narrativa em textos escritos por adolescentes surdos. Estudos de Psicologia, Natal, v. 9, n.1, abr. 2004. Disponível em: <http://www.scielo.br/scielo.php?pid=S1413-294X2004000100015&script=sci_arttext>. Acesso em: 15 maio 2012.
  • MELLO, A. G. Surdos Oralizados e Não Oralizados: Uma Visão Crítica. In: SEGUNDO CONGRESO VIRTUAL INTEGRACIÓN SIN BARRERAS EM EN SIGLO XXI. Anais Eletrônicos... [S.l.]: Red de Integración Especial. 2001.
  • MOODLE.  Modular Object-Oriented Dynamic Learning Environment. Disponível em: <http://www.moodle.org.br/>. Acesso em: 10 abr. 2012.
  • OTTAVIANO, S. et al. The Deaf and Online Comprehension Texts, How Can Technology Help? Computers Helping People with Special Needs - Lecture Notes in Computer Science, Vienna, Austria, v. 6180, p. 144-151, 2010.
  • REID, L. G.; SNOW-WEAVER, A. WCAG 2.0: Web Accessibility Standard for the Evolving Web. In: 2008 INTERNATIONAL CROSS-DISCIPLINARY CONFERENCE ON WEB ACCESSIBILITY, W4A. Proceedings... Beijing, China, 2008.
  • STUMPF, M. Aprendizagem de Escrita de Língua de Sinais pelo Sistema SignWriting: Língua de Sinais no Papel e no Computador. 2005. 330f. Tese (Doutorado em Informática na Educação) - Programa de Pós-Graduação em Informática na Educação do Centro Interdisciplinar de Novas Tecnologias, Universidade Federal do Rio Grande do Sul, Porto Alegre, 2005.
  • TAW, Accesibilidad de Sitios Web. Disponível em: < http://www.tawdis.net/ >. Acesso em: 30 maio 2012.
  • VIGO, M; BRAJNIK, G. Automatic Web Accessibility metrics: Where we are and where we can go. Interacting with Computers, Oxford, n. 23, p. 137-155, 2011.
  • WAI, Web Accessibility Initiative. Disponível em: < http://www.w3.org/WAI/>. Acesso em: 25 maio 2012
  • WAAT, Web Accessibility Assessment Tool. Disponível em: < http://www.accessible-eu.org/>. Acesso em: 25 maio 2012.
  • WCAG20, Web Content Accessibility Guidelines 2.0 - W3C Recommendation 11 December 2008. Disponível em: <http://www.w3.org/TR/WCAG/>. Acesso em: 25 maio 2012.
  • WORLDSPACE, Worldspace fireEyes. Disponível em <http://www.deque.com/products/worldspace-fireeyes>. Acesso em: 25 maio 2012.
  • W3C, World Wide Web Consortium. Disponível em: < http://www.w3.org>. Acesso em: 25 maio 2012.
  • 1
    . Resolução de tarefas com a finalidade de melhorar a qualidade do produto
  • Datas de Publicação

    • Publicação nesta coleção
      15 Abr 2014
    • Data do Fascículo
      Mar 2014

    Histórico

    • Recebido
      28 Maio 2013
    • Aceito
      10 Fev 2014
    • Revisado
      10 Jan 2014
    Associação Brasileira de Pesquisadores em Educação Especial - ABPEE Av. Eng. Luiz Edmundo Carrijo Coube, 14-01 Vargem Limpa, CEP: 17033-360 - Bauru, SP, Tel.: 14 - 3402-1366 - Bauru - SP - Brazil
    E-mail: revista.rbee@gmail.com