Avaliação de Treinos da Aplicação do ABLA-R^*

Evaluation of ABLA-R Application Training

Resumo

O ABLA-R (Assessment of Basic Learning Abilities Revised) é um teste útil para avaliar o repertório discriminativo de indivíduos com distúrbios do desenvolvimento. Este estudo avaliou, com seis profissionais, o efeito de três componentes de treino sobre a acurácia da aplicação do ABLA-R: manual autoinstrucional do ABLA-R, vídeo feedback e role-play. Nenhum componente, utilizado isoladamente, resultou em uma aplicação acurada do ABLA-R. A combinação do manual autoinstrucional com o vídeo feedback resultou em desempenhos com mais de 90% de acurácia. Os dados corroboram evidências prévias sobre a importância do feedback no treino de profissionais e demonstram que uma combinação de componente de treino pode ser mais eficiente para ensinar a aplicação do ABLA-R que a utilização apenas do manual autoinstrucional.

Palavras-chave:
ABLA-R; treino de profissionais; autoinstrução; feedback; role-play

Abstract

The ABLA-R (Assessment of Basic Learning Abilities Revised) is a useful test for assessing the discriminative abilities of individuals with developmental disorders. This study evaluated, with six professionals, the effect of three training components in ABLA-R administration accuracy: ABLA-R self-instructional manual, video feedback and role-play. None of the components, used separately in training, resulted in an accurate application of ABAL-R. The combination of the self-instructional manual with video feedback resulted in performances with more than 90% accuracy. The data corroborate previous evidence on the importance of feedback in professional training and demonstrate that a combination of training components may be more effective in teaching the ABLA-R application than using only the self-instructional manual.

Keywords:
ABLA-R; training of professionals; self-instruction; feedback; role-play

O ensino de repertórios para indivíduos com distúrbios do desenvolvimento requer, de maneira geral, uma intervenção intensiva e aplicada de forma acurada (Najdowski et al., 2014). Um dos primeiros passos de intervenções analítico-comportamentais para pessoas com distúrbios do desenvolvimento é a definição do que deve ser ensinado, o que usualmente é estabelecido por meio de uma avaliação comportamental (Lerman et al., 2013).

A avaliação comportamental é o guia para a construção e constante adaptação do plano de intervenção e, quando inadequada, acarreta equívocos de planejamento e, consequentemente, insucessos na intervenção como um todo (Tiger et al., 2009). Os profissionais que trabalham com indivíduos com distúrbios do desenvolvimento, a partir de uma perspectiva analítico-comportamental, dispõem de instrumentos eficazes de avaliação de repertórios dessa população (Gould et al., 2011). Dentre estes instrumentos, o ABLA-R (Assesment of Basic Learning Abilities-Revised) (DeWiele et al., 2011) é apontado como um instrumento útil para avaliar a probabilidade de aprendizagem de determinados repertórios discriminativos em pessoas com distúrbios do desenvolvimento, possibilitando uma seleção de objetivos e procedimentos de ensino mais adequados para cada pessoa, conforme seu desempenho no teste (Varella et al., 2017).

O teste ABLA foi desenvolvido originalmente por Kerr et al. (1977) e passou por sucessivos aperfeiçoamentos, incluindo a elaboração de um manual autoinstrucional para sua aplicação (DeWiele & Martin, 1998) e a realização de ajustes em seus níveis de avaliação (Sakko et al., 2004). A versão atual do manual do teste (ABLA-R) inclui uma introdução sobre o instrumento e seus seis níveis de avaliação (imitação motora - Nível 1; discriminação de posição - Nível 2; discriminação simples - Nível 3; discriminação por identidade - Nível 4; discriminação condicional visual-visual - Nível 5; discriminação condicional auditivo-visual - Nível 6), informações sobre materiais, instruções para aplicação de cada nível, o ensino de como classificar diferentes tarefas de treino de acordo com seu nível no teste, questões de estudo e instruções para a realização de role-play da aplicação dos níveis de avaliação (DeWiele et al., 2011).

Uma aplicação acurada do teste ABLA implica a seleção e organização do material de aplicação, condução correta das tentativas em cada nível e o registro preciso das respostas e dos critérios de aprendizagem. Antes da avaliação de cada nível, o aplicador deve realizar uma sequência inicial de dicas em três etapas: fornecer um modelo da resposta correta, dar ajuda física para a execução da resposta e, por último, fornecer uma oportunidade de resposta independente. Quando o indivíduo responde de forma independente, o avaliador apresenta a instrução do nível a ser avaliado e realiza uma sequência de tentativas com exigência de repostas independentes. Respostas corretas produzem consequências sociais e tangíveis e respostas incorretas são seguidas por um procedimento de correção de erros em três etapas (demonstração, tentativa com ajuda e oportunidade para resposta independente), como na sequência inicial de dicas. Oito respostas corretas consecutivas (excluídos os acertos nas respostas independentes no procedimento de correção de erro) caracterizam sucesso do desempenho em um dado nível do teste. Oito respostas incorretas (incluídas as ocorridas nas oportunidades para resposta independente no procedimento de correção de erro) caracterizam insucesso do desempenho no nível em execução.

Alguns estudos têm investigado procedimentos para ensinar a aplicação acurada do teste ABLA (Adawalla et al., 2014; Boris et al., 2015; DeWiele et al., 2000; Hu et al., 2012; Hu & Pear, 2016). DeWiele et al. (2000) realizaram dois estudos para avaliar a eficácia do manual autoinstrucional do ABLA (DeWiele & Martin, 1998) para o ensino teórico e prático da administração e classificação dos níveis de avaliação do ABLA. Os resultados mostraram que o manual autoinstrucional foi mais eficaz que a descrição original do ABLA (Kerr et al., 1977) para ensinar os repertórios práticos e teóricos relativos à aplicação e classificação dos níveis do teste para alunos de graduação e que profissionais necessitaram de aproximadamente seis horas de estudo do manual autoinstrucional e de práticas com outro profissional (role-play) para aplicarem o teste com 82% de acurácia.

Hu et al. (2012) avaliaram um pacote de treinamento para ensinar a aplicação do teste ABLA (DeWiele & Martin, 1998) para estudantes universitários. O pacote incluía o manual autoinstrucional do ABLA, cinco unidades de teste (com exigência de domínio para avançar nas unidades) correspondentes a cinco níveis de avaliação (considerando a exclusão do Nível 5 nessa etapa de desenvolvimento do teste), cinco vídeos (um para cada nível) e pós-graduandos demonstrando procedimentos corretos e erros comuns na aplicação do ABLA. As unidades de teste e os vídeos eram disponibilizados via um sistema personalizado de instrução assistido por computador e localizado na internet (Web-based Computer-Aided Personalized System of Instruction - WebCAPSI). Os resultados mostraram que o pacote de treino foi eficaz para ensinar repertório teórico relativo à aplicação do teste e promover uma aplicação simplificada acurada do ABLA para confederados.

A elaboração da atual versão do teste, ABLA-R (DeWiele et al., 2011), que voltou a ter seis níveis e um manual autoinstrucional mais detalhado, implicou a necessidade de ampliar os resultados de DeWiele et al. (2000) e Hu et al. (2012) para essa versão do teste. Martin et al. (2014) deram uma contribuição importante nessa direção ao desenvolverem o ABLA-R-TEF (The Assessment of Basic Learning Abilities Revised Tester Evaluation Form), um formulário que possibilita avaliar os seguintes aspectos da aplicação do ABLA-R: organização do material de aplicação do teste, condução correta de tentativas da sequência inicial de dicas antes dos testes e das tentativas de teste em cada nível, registro das respostas testadas e observância dos critérios de aprendizagem. Awadalla et al. (2014) demonstraram a validade e a fidedignidade do ABLA-R-TEF como um instrumento para mensurar a qualidade da aplicação do ABLA-R. Inicialmente, três especialistas na aplicação do ABLA-R classificaram cada item do ABLA-R-TEF com uma média de 6,7 pontos (em uma escala de 7), indicando uma boa validade de construto. Em seguida, dois avaliadores treinados avaliaram com o ABLA-R-TEF a aplicação do ABLA-R por estudantes universitários antes e depois de serem treinados na aplicação do teste. A concordância interobservadores para o registro dos avaliadores ficou acima de 90% e a pontuação no ABLA-R-TEF dos aplicadores do ABLA-R foi significativamente diferente antes e depois de receberem treinamento, permitindo distinguir aplicações com alta e baixa acurácia, revelando uma boa fidedignidade do ABLA-R-TEF. Por fim, as pontuações no ABLA-R-TEF dos aplicadores foram comparadas com avaliações subjetivas dos desempenhos dos aplicadores realizadas por dois especialistas no ABLA-R, mostrando uma correlação significativa e, portanto, alta validade concorrente.

Boris et al. (2015) avaliaram, por meio do ABLA-R-TE, a eficácia do manual autoinstrucional do ABLA-R (DeWiele et al., 2011) para ensinar oito estudantes universitários a aplicarem o teste. Os participantes passaram por um treino com duração média de 2h43min (variando entre 1h35min e 4h47min) que incluía a leitura de instruções resumidas sobre a aplicação do teste, o estudo do manual autoinstrucional e realização de role-play até atingirem 100% de acerto em uma avaliação escrita sobre o manual. Ao aplicarem o teste para um confederado, cinco participantes apresentaram uma acurácia média de aplicação de 90%. Uma semana depois, esses cinco participantes aplicaram o ABLA-R até o Nível 5 para uma pessoa com distúrbio do desenvolvimento (devido ao desempenho do avaliado), alcançando uma acurácia média de aplicação acima de 80%.

Hu e Pear (2016) avaliaram em 12 estudantes universitários os efeitos do manual autoinstrucional do ABLA-R (DeWiele et al., 2011), do manual combinado com a realização de unidades de teste correspondentes aos níveis do ABLA-R apresentadas via CAPSI (Hu et al., 2012) e de vídeos demonstrando procedimentos corretos e erros comuns na aplicação do ABLA-R sobre a aprendizagem teórica e prática da aplicação do teste. Os participantes foram distribuídos em dois grupos: em um grupo, cada participante primeiro foi exposto ao manual do ABLA-R e avaliado com relação a dois dos níveis do teste, depois ao CAPSI e avaliado com relação a outros dois níveis, e novamente ao CAPSI e avaliado com relação aos dois níveis restantes. O outro grupo seguiu procedimento semelhante, mas cada participante foi exposto ao manual duas vezes e, em seguida, apenas uma vez ao CAPSI. Ao final, todos os participantes assistiram seis vídeos demonstrativos (um para cada nível do ABLA-R). O ABLA-R-TEF foi usado para avaliar a acurácia da aplicação de 12 tentativas para um dos experimentadores após cada fase do procedimento. Os resultados mostraram que o estudo do manual não foi suficiente para que os participantes apresentassem bom desempenho na avaliação teórica sobre o ABLA-R ou uma aplicação acurada do teste. A exposição ao CAPSI gerou desempenhos acima de 85% de acertos na avaliação teórica sobre o teste para 11 dos participantes, mas apenas cinco apresentaram desempenho acima de 80% de acurácia na sua aplicação. Todos os participantes apresentaram desempenho acima de 80% de acurácia na aplicação do teste após assistirem os vídeos, mas esse componente do treino não teve impacto na melhoria do conhecimento teórico sobre a aplicação do ABLA-R.

Os resultados de Boris et al. (2015) e Hu e Pear (2016) apontam efeitos diferentes do manual autoinstrucional do ABLA-R (DeWiele et al., 2011) no aprendizado da aplicação acurada do teste, com os últimos autores indicando a ineficácia do manual e a superioridade do CAPSI e, principalmente, dos vídeos sobre a aplicação do ABLA-R. No entanto, em Boris et al. (2015), o treino do uso do manual foi realizado com uma experimentadora auxiliando na execução das atividades de role-play descritas no manual, o que pode ter influenciado na acurácia da aplicação do teste. Em Hu e Pear (2016), os participantes sempre iniciaram o treino com a leitura do manual e os efeitos do CAPSI e dos vídeos podem ter sido afetados pela exposição prévia ao manual ou pela exposição repetida ao material de introdução ao manual. Além disso, em ambos os estudos os treinos e as avaliações pós-treino da aplicação do ABLA-R não exigiram a aplicação completa do teste.

Destaca-se ainda que, em ambos os estudos, (1) o treino foi realizado com estudantes universitários e não com profissionais que trabalham com pessoas com distúrbios do desenvolvimento, e (2) não foi avaliado o efeito do feedback sobre a aprendizagem da aplicação do ABLA-R, um procedimento de ensino que é apontado como um dos mais eficientes para o treino de repertórios de profissionais (Fetherston & Sturmey, 2014). O treino com profissionais contribuiria para a validade ecológica dos resultados e o treino com feedback possibilitaria uma avaliação da eficácia desse procedimento frente ao uso do manual autoinstrucional.

No que concerne ao feedback, tem sido recomendado o uso do vídeo feedback no treino de repertórios para profissionais (van Vonderen et al., 2012), considerando que este procedimento possibilita ao profissional o monitoramento mais detalhado dos comportamentos para os quais está sendo oferecido o feedback (com possibilidades de rever as ocorrências corretas e incorretas do comportamento e discuti-las com a pessoa que está realizando o feedback, durante a apresentação do vídeo).

De forma geral, a literatura específica sobre o ensino da aplicação do ABLA-R é inconclusiva sobre qual o impacto de cada procedimento de treino, bem como não demonstra esse impacto com profissionais que atuam com pessoas com distúrbio do desenvolvimento. Assim, estudos com maior controle experimental e que explorem os efeitos de cada um dos componentes dos pacotes de treino, bem como o efeito da ordem desses componentes sobre o repertório de profissionais podem contribuir para a elaboração de um treino de profissionais mais eficiente.

Considerando o exposto, este estudo teve como objetivo avaliar, em profissionais que atuam com pessoas com distúrbios do desenvolvimento, o efeito de três componentes de treino (manual autoinstrucional, vídeofeedback e role-play) sobre a acurácia da aplicação do ABLA-R.

Método

Participantes

Participaram do estudo seis profissionais com um a quatro anos de experiência em intervenção comportamental para pessoas com distúrbios do desenvolvimento (ver Tabela 1), porém sem experiência no uso do teste ABLA-R ou qualquer leitura do seu manual previamente à realização do estudo. Todos os participantes assinaram o TCLE - Termo de Consentimento Livre e Esclarecido, concordando em participar do estudo. O estudo foi aprovado pelo comitê de ética em pesquisa do Núcleo de Medicina Tropical da Universidade Federal do Pará (Parecer: 1.991.083).

Tabela 1
Idade, sexo, escolaridade e tempo de experiência dos participantes do estudo.

Participante	Idade	Sexo	Escolaridade	Tempo de Experiência
P1	26	F	Superior Completo	1 ano
P2	26	M		3 anos
P3	26	F		1 ano
P4	29	F		3 anos
P5	25	F		2 anos
P6	27	M		4 anos

Ambiente, Materiais e Equipamento

O estudo foi conduzido em uma sala de 36 m² climatizada, com iluminação natural e artificial, adaptada para atendimento e pesquisa com crianças com Transtorno do Espectro Autista.

Os materiais utilizados foram: (a) o manual autoinstrucional do ABLA-R (tradução dos autores), sem as instruções para executar role-play; (b) descrições resumidas para aplicação dos níveis do ABLA-R¹ (DeWiele et al., 2011; tradução dos autores), contendo: instrução geral do procedimento; número do nível; materiais necessários para o nível; tabela contendo o número de tentativas, o nome do contêiner a ser apresentado em cada tentativa, o contêiner e o objeto requerido e a resposta (certa ou errada); (c) folhas de registro dos seis níveis do ABLA-R (tradução dos autores); (d) materiais necessários para aplicação doABLA-R, com as características requeridas no manual (DeWiele et al., 2011); (e) formulário do ABLA-R-TEF (Martin et al., 2014; tradução dos autores); (e) formulário de erros e acertos para pré-teste de aplicação e sessões de avaliação, para uso do confederado durante o role-play; e (f) câmera de vídeo digital (Sony 850 DCR).

Variável Independente

A variável independente foi o pacote de treino utilizado para ensinar a aplicação do ABLA-R (DeWiele et al., 2011). Um pacote de treino consistiu em um conjunto de três componentes de treino combinados em diferentes sequências. Os três componentes de treino utilizados foram: 1) Autoinstrução: manual autoinstrucional do ABLA-R (DeWiele et al., 2011) sem as instruções sobre realização de role-play; 2) Role-play: uma atividade em que o participante e um confederado, seguindo um protocolo de erros e acertos preestabelecido, revezavam-se no papel de aplicador do teste e pessoa com distúrbio do desenvolvimento; e 3) Vídeo feedback: o participante assistia, junto com a experimentadora, a vídeos da sua aplicação do ABLA-R na linha de base ou testes e a experimentadora fornecia feedback verbal para o desempenho do participante, baseando-se no protocolo ABLA-R-TEF.

Variável Dependente

A variável dependente foi a acurácia do desempenho dos participantes ao conduzir o ABLA-R com um confederado (nas linhas de base, sondas, treinos e testes) e com uma pessoa com distúrbio do desenvolvimento (no teste de generalização). O desempenho dos participantes foi avaliado por meio do formulário ABLA-R-TEF (Martin et al., 2014), considerando, a cada nível, a organização dos materiais, a demonstração inicial, a condução das tentativas da sequência inicial de dicas antes dos testes e das tentativas de teste em cada nível do ABLA-R, o registro das respostas e a avaliação dos critérios de aprendizagem ou insucesso.

Delineamento

Foi utilizado um delineamento de linha de base múltipla entre participantes com técnica de sondas múltiplas (Horner & Baer, 1978). Esse delineamento foi adotado para evitar possíveis efeitos deletérios da exposição dos participantes às extensas avaliações de linhas de base que caracterizam os delineamentos de linha de base múltipla.

No presente estudo, o delineamento de linha de base com sondas múltipla foi utilizado entre pares de participantes para que, em cada par, o efeito da ordem de apresentação dos componentes da variável independente fosse avaliado e replicado entre os dois participantes do par. Os participantes foram distribuídos em três pares (P1/P2, P3/P4 e P5/P6) e foi feita a sonda inicial da variável dependente para todos os participantes. Na continuação, foi realizada a avaliação da linha de base para o primeiro integrante de cada par (P1, P3 e P5) e, em seguida, introduziu-se os componentes da variável independente para esses participantes, em ordens diferentes, sempre com testes do desempenho ao fim de cada componente. Após isto, foi feita a sondagem final de repertório para esses três participantes e, para aqueles que obtiveram acurácia acima de 80% nesta sonda final, foi realizado um teste de generalização. Após o teste do último componente de treino dos participantes P1, P3 e P5, os participantes P2, P4 e P6 foram expostos a uma nova sonda da variável dependente, seguida pela avaliação de suas linhas de base, introdução dos componentes da variável independente com testes do desempenho ao fim de cada componente, sonda final e teste de generalização.

Procedimento

O estudo foi desenvolvido em cinco etapas que buscaram avaliar e treinar a aplicação do ABLA-R: Sonda Inicial, Linha de Base, Treino e Teste dos Componentes da Variável Independente, Sonda Final e Teste de Generalização. Todas as sessões foram gravadas e o ABLA-R-TEF (Martin et al., 2014) foi utilizado para avaliar o desempenho dos participantes. Para todas as etapas, era contabilizado o número de tentativas corretas e incorretas que os participantes desempenharam em cada sessão. As tentativas de aplicação do ABLA-R foram avaliadas da seguinte forma: uma tentativa era considerada correta quando todos os itens do formulário ABLA-R-TEF eram marcados como “desempenhado corretamente” para aquela tentativa; uma tentativa era tida como incorreta quando tinha pelo menos um item do formulário ABLA-R-TEF marcado como “desempenhado incorretamente” para aquela tentativa.

Sonda Inicial

Considerando o delineamento de sondas múltiplas do estudo, era necessário realizar uma sonda inicial do repertório de aplicação do ABLA-R para todos os participantes, antes do início do treino. No entanto, considerando que aplicar o ABLA-R sem pelo menos algum conhecimento teórico mínimo sobre ele seria impossível, adotou-se um procedimento semelhante ao utilizado por Hu et al. (2012), no qual todos os participantes tiveram até 30 minutos para lerem resumos sobre a aplicação dos níveis de avaliação (retirados do manual). Após a leitura, os participantes aplicaram quatro tentativas de cada um dos seis níveis do ABLA-R com um confederado que simulava o mesmo desempenho de erros e acertos pré-estabelecidos para todos os participantes (dois erros e dois acertos).

Linha de Base

Após a sonda inicial, e antes de o treino ter início, os participantes aplicaram novamente quatro tentativas de cada nível do ABLA-R para um confederado (que acertava duas e errava duas das quatro tentativas), porém sem ler o resumo ou qualquer material de apoio antes da aplicação. Esta etapa foi implementada até a estabilidade do desempenho.

Treino e Teste dos Componentes da Variável Independente

A exposição aos componentes da variável independente (autoinstrução, vídeo feedback e role-play) foi planejada para ser implementada em três sequências de treino, considerando o delineamento de sondas múltiplas entre pares de participantes: a) P1 e P2: treino via role-play, depois autoinstrução e, por último, com vídeo feedback de seu desempenho; b) P3 e P4: treino inicial com vídeo feedback, em seguida role-play e depois autoinstrução; c) P5 e P6: treino inicial com autoinstrução, depois vídeo feedback e, finalmente, role-play. Cada componente de treino está descrito a seguir.

Autoinstrução. O participante recebeu uma cópia do manual autoinstrucional do ABLA-R modificado e foi encaminhado para uma sala de estudo. Ele foi informado que poderia tomar notas e resolver os exercícios propostos no manual, mas que não poderia tirar dúvidas com outras pessoas durante a leitura.

Role-play. O participante e um confederado revezaram-se na posição de aplicador e avaliado, que simularia as respostas de uma pessoa com distúrbio do desenvolvimento de acordo com um formulário previamente elaborado. Quando no papel do aplicador do teste, o confederado cometeu erros e acertos parecidos com os cometidos pelo participante na linha de base, de acordo com a avaliação do ABLA-R-TEF. Isto foi realizado procurando evitar que ocorresse a modelação do comportamento do participante e para garantir que a situação de aprendizagem imitasse a sugerida no manual, que encoraja o aplicador em treinamento a praticar o teste com outra pessoa em treinamento ou com um parceiro imaginário. Nenhum feedback de desempenho foi dado.

Vídeo feedback. Vídeos das aplicações nas linhas de base ou testes mais recentes eram apresentados e a experimentadora fornecia feedback verbal para erros e acertos a partir dos dados presentes no ABLA-R-TEF.

Cada componente de treino foi implementado até que o participante indicasse para a experimentadora, que estava preparado para realizar o teste de aplicação do ABLA-R ou até um limite de 4 h e 47 min de exposição ao componente, considerando o tempo máximo de treino no estudo de Boris et al. (2015). Em seguida, eram conduzidos os testes de aplicação do ABLA-R pós-treino, os quais tinham formato semelhante ao da linha de base.

Após a exposição aos testes dos três componentes da variável independente, ou caso o participante alcançasse 100% de acurácia na aplicação do ABLA-R em um dos testes pós-treino, era realizada uma sonda final.

Sonda Final

Esta sonda foi planejada para avaliar o efeito dos três componentes de treino nas mesmas condições da avaliação realizada na sonda inicial, ou seja, após a leitura dos resumos sobre a aplicação dos níveis de avaliação do ABLA-R sem uma exposição imediatamente anterior a um dos componentes, como ocorria nos testes de aplicação do ABLA-R pós-treino. Os participantes que obtiveram desempenho acima de 80% na sonda final realizaram um teste de generalização.

Teste de Generalização

Esse teste consistiu em aplicar o ABLA-R integral para uma criança com distúrbio do desenvolvimento, que já fora avaliada até o Nível 6 do teste por um aplicador experiente. O teste foi realizado com cada participante de acordo com a disponibilidade da criança a ser avaliada, resultando em um intervalo médio de 23,8 dias entre a sonda final e o teste de generalização.

Registro e Análise de Dados

Foram registrados, para cada avaliação da aplicação do ABLA-R, os acertos e erros para cada item do ABAL-R-TEF durante a aplicação das quatro tentativas de cada nível nas etapas de linha de base, nas sondas e nos treinos. Para a etapa de generalização foram registrados erros e acertos de todas as tentativas para todos os níveis.

Concordância entre Observadores e Integridade do Procedimento

Posteriormente, a partir dos vídeos das sessões experimentais, outro pesquisador fez o registro via ABLA-R-TEF do desempenho de cada participante em 30% das sessões de cada etapa do estudo para estabelecer um índice de concordância entre observadores ([Concordância/Concordância + Discordância] x 100) e, além disto, fez o registro, via protocolo previamente elaborado, da integridade do procedimento. Na avaliação da integridade, foi verificado se os procedimentos de cada etapa do estudo (sondas, linhas de base, treinos e teste de generalização) foram implementados corretamente para cada participante ([Implementações corretas/ Total de Implementações] x 100). A concordância entre observadores para os registros do desempenho dos participantes foi de 93,7% (P1), 94,5% (P2), 93,4% (P3), 94,2% (P4), 99,5% (P5), e 96% (P6). A integridade do procedimento foi de 95% nas etapas de sondas e linhas de base, de 94,7% na etapa de vídeo feedback, de 92,3% no role-play, de 95% nos testes dos componentes do treino, e de 92% na generalização. A integridade da etapa de leitura do manual autoinstrucional (100%) foi avaliada considerando se o participante respondeu todas as questões do manual e não teve um tempo de exposição ao manual superior a 4 h 47 min.

Resultados

A Figura 1 mostra a porcentagem de acertos nas avaliações da aplicação do ABLA-R para os pares de participantes nas diferentes sequências de componentes de treino: role-play, autoinstrução e vídeo feedback (P1 e P2); vídeo feedback, role-play e autoinstrução (P3 e P4); autoinstrução, vídeo feedback e role-play (P5 e P6). Nenhum componente, ao ser utilizado como o primeiro do treino, resultou em um desempenho acurado na aplicação do ABLA-R (variando entre 15% e 73% de acurácia). Por outro lado, após a exposição aos três componentes do treino (ou dois, no caso de P6), quatro participantes (P2, P3, P5, P6) obtiveram acurácia de aplicação do ABLA-R acima de 90%, tanto na sonda final quanto na etapa de generalização. Os dois participantes restantes (P1 e P4) apresentaram desempenhos entre 80% e 89% de acurácia na sonda final e no teste de generalização.

Figura 1.
Porcentagens de acertos nas avaliações da aplicação do ABLA-R para os pares de participantes nas diferentes sequências de componentes de treino

Considerando a acurácia final de ambos os participantes expostos a cada sequência de treino, verifica-se que aquela planejada para P5 e P6 (autoinstrução, vídeo feedback e role-play) foi a que resultou no melhor desempenho na aplicação do ABLA-R. Os desempenhos de P5 e P6 ficaram acima de 90% na sonda final e no teste de generalização. Além disso, P6 foi o único participante que não precisou passar por todos os componentes do treino: ele apresentou acurácia de 100% na aplicação do ABLA-R após o vídeo feedback, e não precisou passar pelo treino de role-play.

Analisando os desempenhos dos participantes nas sequências dos componentes de treino, pode-se ver que, para os participantes P1 e P2 (expostos à sequência de treino role-play, autoinstrução e feedback), o treino de role-play não foi eficaz para estabelecer um desempenho acurado de aplicação do ABLA-R: o desempenho de P1 passou de 13% de acurácia média da linha de base para 15% e o de P2, de 8% para 18%. A introdução da autoinstrução não alterou o desempenho de P1 e elevou o de P2 para 36% de acurácia. A introdução do vídeo feedback resultou na aplicação acurada do ABLA-R por ambos os participantes: P1 apresentou 85% de acurácia e P2 apresentou 94%. Na sonda final, quando foi dada a oportunidade de os participantes lerem novamente o resumo de aplicação antes de iniciarem a aplicação do ABLA-R, o desempenho de P1 foi de 82% de acurácia e o de P2, de 100%. No teste de generalização, P1 e P2 obtiveram acurácia de 85% e 97%, respectivamente.

Para os participantes P3 e P4, que foram expostos à sequência de treino vídeo feedback, role-play e autoinstrução, a introdução do vídeo feedback resultou em uma melhoria expressiva no desempenho com relação à linha de base, mas não foi suficiente para produzir um desempenho acurado na aplicação do ABLA-R: o desempenho de P3 passou de 17% de acurácia média da linha de base para 73% e o de P4, de 2% para 45%. A introdução do procedimento de role-play resultou em uma redução no desempenho de P3 para 61% de acurácia na aplicação do ABLA-R e elevou o desempenho de P4 para 64% de acurácia. Após o procedimento de autoinstrução, o desempenho de P3 passou para 83% de acurácia e o de P4 diminuiu para 58%. Na sonda final, o desempenho de P3 foi de 97% de acurácia e o de P4, de 82%. No teste de generalização, P3 e P4 tiveram acurácia de aplicação do ABLA-R de 93% e 84%, respectivamente.

Para os participantes P5 e P6 (sequência de treino planejada: autoinstrução, vídeo feedback e role-play), o treino inicial via autoinstrução também não foi eficaz para estabelecer um desempenho acurado de aplicação do ABLA-R: o desempenho de P5 (30% de acurácia) foi semelhante ao desempenho médio na linha de base (32%) e o de P6 passou de 47% para 61%. O ensino via vídeo feedback elevou o desempenho de P5 para 76% de acurácia na aplicação do ABLA-R e o de P6, para 100%, eliminando a necessidade do último componente do treino (role-play) para o participante P6 (conforme mencionado antes). A exposição ao treino de role-play elevou o desempenho de P5 para 85% de acurácia na aplicação do teste. Na sonda final o desempenho de P5 foi de 94% de acurácia e o de P6, de 97%. No teste de generalização P5 e P6 obtiveram acurácia de 91% e 93%, respectivamente.

Conforme pode ser observado na Tabela 2, o tempo médio de execução do treino completo foi de 2h50 min, variando entre 1h50 min (P6) e 3h15 min (P3 e P4). A autoinstrução exigiu maior tempo de treinamento (1 h 58 min, em média), variando entre 1h13 min (P5) e 2h20 min (P6). O treino com role-play demandou em média 23 min., variando entre 16 min (P5) e 46 min (P6), e o treino com vídeo feedback foi concluído, em média, após 29 min, variando entre 20 min (P6) e 43min (P3).

Tabela 2
Tempo de execução em horas e minutos dos treinos para cada participante e tempo total de cada sequência de treino.

Participantes	Autoinstrução	Vídeo feedback	Role-play	Tempo Total de Treino
P1	1h39min (2)	37min (3)	46min (1)	3h02min
P2	2h15min (2)	22min (3)	18min (1)	2h55min
P3	2h8min (3)	43min (1)	24min (2)	3h15min
P4	2h12min (3)	29min (1)	34min (2)	3h15min
P5	1h13min (1)	21min (2)	16min (3)	1h50min
P6	2h20min (1)	20min (2)	-	2h40min
Média	1h58min	29min	23min	2h50min

• Nota. Os números entre parênteses indicam a ordem do treino do componente para cada participante.

Discussão

O presente estudo avaliou o efeito isolado e cumulativo de três componentes de treino para ensinar profissionais que atuam com pessoas com distúrbios do desenvolvimento a aplicar o ABLA-R: manual autoinstrucional (DeWiele et al., 2011), vídeo feedback e role-play. Nenhum componente, ao ser utilizado como o primeiro do treino, resultou em uma aplicação acurada do ABLA-R. No entanto, as três sequências de treino de três componentes utilizadas no estudo (role-play, autoinstrução e vídeo feedback - P1 e P2; vídeo feedback, role-play e autoinstrução - P3 e P4; autoinstrução, vídeo feedback e role-play - P5 e P6) se mostraram eficazes para estabelecer um desempenho acurado na aplicação do teste para um confederado e para uma criança com distúrbio do desenvolvimento. Este resultado reforça a sugestão de que uma combinação de procedimentos de treino pode ser mais eficaz para ensinar a aplicação do ABLA-R do que a utilização apenas do manual autoinstrucional (Hu & Pear, 2016).

A implementação das sequências de treino levou, em média, menos tempo do que os procedimentos avaliados anteriormente para ensino da aplicação do ABLA-R (Boris et al., 2015; Hu & Pear, 2016). As sequências de treino às quais foram expostos os participantes P1 e P2 (role-play, autoinstrução e vídeo feedback) e os participantes P3 e P4 (vídeo feedback, role-play e autoinstrução) resultaram em um tempo total de treino um pouco maior que a sequência de treino dos participantes P5 e P6 (autoinstrução, vídeo feedback e role-play). Isso, somado ao bom desempenho dos participantes P5 e P6 na sonda final e no teste de generalização, sugere uma maior eficiência dessa última sequência.

O vídeo feedback foi o componente de treino que produziu o maior ganho no desempenho dos participantes quando foi utilizado como primeiro do pacote de treino, depois da linha de base, embora esses ganhos não tenham sido suficientes para estabelecer uma aplicação do ABLA-R com acurácia acima de 80% (o desempenho de P3 chegou a 73% de acurácia e o de P4 a 45%). Além disso, o vídeo feedback também resultou na aplicação acurada do ABLA-R quando foi o segundo (para P6) ou terceiro componente do treino (para P1 e P2).

O fato de todos os seis participantes do presente estudo terem apresentado desempenho acurado no teste de generalização, em comparação com cinco de oito participantes no estudo de Boris et al. (2015), que não empregou o feedback, também aponta para a relevância do treino com vídeo feedback. A utilização de feedback, seja em situações ‘ao vivo’ (Mouzakitis et al., 2015; Ward-Horner & Sturmey, 2012) ou por meio de vídeos (Bishop et al., 2015; van Vonderen et al., 2012), tem sido apontada como um componente de treino importante para a implementação com êxito de pacotes de treino de habilidades comportamentais (Fetherston & Sturmey, 2014). No contexto do treino de aplicação do ABLA-R, novos estudos podem investigar os efeitos (1) de variações nos parâmetros do treino com vídeo feedback (e.g., número de tentativas de treino para cada nível do ABLA-R), e (2) do treino via feedback ‘ao vivo’ vs. treino com vídeo feedback.

A análise dos efeitos das sequências de treino utilizadas no presente estudo indica que a sequência ‘autoinstrução, vídeo feedback e role-play’ (planejada para os participantes P5 e P6) foi a que resultou no melhor desempenho na aplicação do ABLA-R, considerando a acurácia final de ambos os participantes. No entanto, tanto nessa sequência de treino como naquela implementada para os participantes P1 e P2 (role-play, autoinstrução e vídeo feedback), o maior ganho na acurácia da aplicação do ABLA-R esteve relacionado com a introdução do treino com vídeo feedback após a exposição ao manual autoinstrucional. Esses resultados sugerem que o efeito do vídeo feedback pode ser potencializado pela história prévia de exposição ao manual autoinstrucional, o que poderia resultar em um procedimento de treino de aplicação do ABLA-R mais simples do que o investigado no presente estudo e em estudos prévios (Hu et al., 2012; Hu & Pear, 2016). Esse possível efeito de interação do manual autoinstrucional com o vídeo feedback deve ser investigado em novos estudos com um número maior de participantes.

Essa relação entre vídeo feedback e exposição ao manual autoinstrucional do ABLA-R pode ser analisada também em estudos que invistam na elaboração e validação de um instrumento de autoavaliação/automonitoramento como uma estratégia para fornecer o feedback sem que se perca a característica autoaplicável do manual do ABLA-R. Uma alternativa que tem sido implementada em alguns estudos para eliminar a necessidade de um profissional treinado para fornecer o feedback individualmente é um procedimento no qual o profissional em treinamento assiste a um vídeo do comportamento alvo sendo interpretado com erros e acertos e é requerido dele que identifique os erros e acertos no vídeo a partir de um checklist pré-elaborado (Bishop et al., 2015).

Ainda nessa direção, cabe recordar que o vídeo feedback no presente estudo foi realizado a partir do checklist do ABLA-R-TEF (Martin et al., 2014), um instrumento válido e confiável (Awadalla et al., 2014) para avaliar a qualidade da aplicação do teste ABLA-R. Considerando isso, sugere-se também que o ABLA-R TEF seja utilizado como instrumento de ensino de aplicadores do ABLA-R, dando suporte para o feedback estruturado e sistemático.

Deve-se destacar que, para quatro dos seis participantes (P2, P3, P4 e P5), o desempenho na sonda final foi melhor do que no teste após o último componente da sequência de treino. A única diferença entre os testes e a sonda final era que na sonda era permitida a leitura das descrições resumidas para aplicação dos níveis do ABLA-R antes da aplicação do teste para um confederado. Incluir no manual autoinstrucional do ABLA-R a recomendação da leitura das descrições resumidas antes da aplicação do teste pode favorecer que avaliadores recém-treinados tenham melhor desempenho nas suas primeiras aplicações do teste com pessoas com distúrbio do desenvolvimento.

Pode-se ressaltar, ainda, que o participante P6, que necessitou apenas da exposição ao manual autoinstrucional e do treino com vídeo feedback para alcançar um desempenho de 100% de acurácia na aplicação do ABLA-R, era o participante com maior tempo de experiência em intervenção comportamental para pessoas com distúrbios do desenvolvimento (quatro anos). No entanto, participantes com menor tempo de experiência (P3 - um ano e P5 - dois anos) também alcançaram acurácia de aplicação do ABLA-R acima de 90% na sonda final e no teste de generalização. Dessa forma, a seleção de participantes do presente estudo não possibilitou avaliar o efeito das sequências de treino dos componentes sobre o desempenho na aplicação do ABLA-R de profissionais com pouca experiência (menos de um ano) ou de profissionais sem formação em análise do comportamento, mas que trabalham com pessoas com distúrbios do desenvolvimento e poderiam utilizar o ABLA-R em suas intervenções (professores, terapeutas ocupacionais, fonoaudiólogos, entre outros).

Uma limitação adicional do presente estudo foi que ele avaliou apenas o efeito de três das seis sequências possíveis dos três componentes de treino sobre a acurácia da aplicação do ABLA-R. Estudos futuros devem procurar avaliar os efeitos das outras três sequências possíveis dos três componentes de treino. Outra limitação foi ter investigado o efeito dos componentes de treino apenas na aplicação do ABLA-R, deixando de lado o efeito na aprendizagem do repertório teórico a respeito do teste. Considerando o papel que o manual autoinstrucional pode ter como parte de um pacote de treino que inclui o vídeo feedback, conforme apontado no presente estudo, pode ser relevante avaliar o efeito que o conhecimento conceitual sobre o ABLA-R pode ter sobre o uso adequado do manual.

Uma última limitação do estudo, decorrente do seu objetivo de avaliar o treino de aplicação do ABLA-R, foi que o procedimento abordou apenas a primeira parte do manual autoinstrucional, que trata sobre a aplicação do ABLA-R. Diante disso, aponta-se a necessidade de investigações sobre como programar um treino que contemple a segunda parte do manual, onde se ensina o profissional a classificar tarefas de treino a partir dos dados obtidos na avaliação com ABLA-R, repertório que pode favorecer a elaboração de intervenções comportamentais eficazes para pessoas com distúrbios do desenvolvimento (Varella & Souza, 2017).

Apesar dessas limitações, o presente estudo demonstrou a importância da utilização da análise de componentes na implementação do treino de aplicação do ABLA-R (DeWiele et al., 2011), dando suporte à sugestão de que uma combinação de procedimentos de treino pode ser mais eficaz para ensinar a aplicação do teste que a utilização apenas do manual autoinstrucional (Hu & Pear, 2016). Além disso, os resultados corroboram as evidências prévias (Arco & Toit, 2006; Hardesty et al., 2014; Mouzakitis et al., 2015) sobre a importância do feedback no treino de repertórios para profissionais que trabalham com pessoas com distúrbios do desenvolvimento.

Referências

• Awadalla, N., Boris, A. L., Wightman, J. K., Miljkovic, M., Kaminski, L., Martin, T. L., Martin, G. L., & Yu, D. C. T. (2014). Evaluation of a Tester Evaluation Form for the Assessment of Basic Learning Abilities - Revised. Journal on Developmental Disabilities, 20 (1), 104-114.
• Arco, L., & Toit, E. (2006). Effects of Adding On-The-JobFeedback to Conventional Analog Staff Training in a Nursing Home. Behavior Modification,30(5), 713-735. https://doi.org/10.1177/0145445505281058
  » https://doi.org/10.1177/0145445505281058
• Bishop, C. D., Snyder, P. A., & Crow, R. E. (2015). Impact of Video Self-Monitoring with Graduated Training on Implementation of Embedded Instructional Learning Trials. Topics in Early Childhood Special Education, 35(3), 170-182. https://doi.org/10.1177/0271121415594797
  » https://doi.org/10.1177/0271121415594797
• Boris, A. L., Awadalla, N., Martin, T. L., Martin, G. L., Kaminski, L., & Miljkovic, M. (2015). An Evaluation of a Self-Instructional Manual for Teaching Individuals How to Administer the Revised ABLA Test. Education and Training in Autism and Developmental Disabilities, 50(4), 466-479.
• DeWiele, L. A., & Martin, G. L. (1998). The Kerr-Meyerson Assessment of Basic Learning Abilities: A Self-Instructional Manual[Unpublished manuscript]. Department of Psychology, University of Manitoba.http://www.stamant.ca/wp-content/uploads/2013/02/ABLA-R-Self-Instructional-Manual-2012-July.pdf
  » http://www.stamant.ca/wp-content/uploads/2013/02/ABLA-R-Self-Instructional-Manual-2012-July.pdf
• DeWiele, L., Martin, G. L., & Garinger, J. (2000). Field Testing of a Self-Instructional Manual for the ABLA Test. Journal on Developmental Disabilities, 7(2), 93-108.
• DeWiele, L., Martin, G. L., Martin, T., Yu, D., & Thomson, K. (2011). The Kerr-Meyerson Assessment of Basic Learning Abilities Revised: A self-instructional manual(2^nd ed.). https://stamant.ca/wp-content/uploads/2013/02/ABLA-R-self-instructional-manual-20140630.pdf
  » https://stamant.ca/wp-content/uploads/2013/02/ABLA-R-self-instructional-manual-20140630.pdf
• Fetherston, A. M., & Sturmey, P. (2014). The Effects of Behavioral Skills Training on Instructor and Learner Behavior Across Responses and Skill Sets. Research in Developmental Disabilities, 35(2), 541-562. https://doi.org/10.1016/j.ridd.2013.11.006
  » https://doi.org/10.1016/j.ridd.2013.11.006
• Gould, E., Dixon, D. R., Najdowski, A. C., Smith, M. N., & Tarbox, J. (2011). A Review of Assessments for Determining the Content of Early Intensive Behavioral Intervention Programs for Autism Spectrum Disorders. Research in Autism Spectrum Disorders, 5(3), 990-1002. https://doi.org/10.1016/j.rasd.2011.01.012
  » https://doi.org/10.1016/j.rasd.2011.01.012
• Hardesty, S. L., Hagopian, L. P., McIvor, M. M., Wagner, L. L., Sigurdsson, S. O., & Bowman, L. G. (2014). Effects of Specified Performance Criterion and Performance Feedback on Staff Behavior: A Component Analysis. Behavior Modification,38(5). 760-773. https://doi.org/10.1177/0145445514538280
  » https://doi.org/10.1177/0145445514538280
• Horner, R. D., & Baer, D. M. (1978). Multiple-probe technique: A Variation on the Multiple Baseline. Journal of Applied Behavior Analysis, 11(1), 189-196.http://doi.org/10.1901/jaba.1978.11-189
  » http://doi.org/10.1901/jaba.1978.11-189
• Hu, L., Pear, J., & Yu, C.T. (2012). Teaching University Students Knowledge and Implementation of the Assessment of Basic Learning Abilities (ABLA). Journal of Applied Behavior Analysis, 18(1), 12-19.
• Hu, L., & Pear J. (2016). Effects of a self-instructional manual, computer-aided personalized system of instruction, and demonstration videos on declarative and procedural knowledge acquisition of Assessment of Basic Learning Abilities. Journal on Developmental Disabilities, 22(2), 64-79.
• Kerr, N., Meyerson, L., & Flora, J. (1977). The Measurement of Motor, Visual, and Auditory Discrimination Skills. Rehabilitation Psychology, 24(3), 95-112.
• Lerman, D. C., Iwata, B.A., & Hanley, G. P. (2013). Applied Behavior Analysis. Em G. J. Madden (Ed.), APA Handbook of Behavior Analysis. Volume 1. Methods and Principles (pp.81-104). American Psychological Association.
• Martin, G., Martin, T., Yu, D., Thomson, K., Boris, A., & DeWiele, L. (2014). The Assessment of Basic Learning Abilities Revised Tester Evaluation Form.St. Amant Research Centre, Winnipeg, Manitoba, Canada. https://stamant.ca/wp-content/uploads/2013/02/ABLA-R_tester_evaluation_form-may-2014.pdf
  » https://stamant.ca/wp-content/uploads/2013/02/ABLA-R_tester_evaluation_form-may-2014.pdf
• Mouzakitis, A., Codding, R. S., & Tryon, G. (2015). The Effects of Self-Monitoring and Performance Feedback on the Treatment Integrity of Behavior Intervention Plan Implementation and Generalization. Journal of Positive Behavior Interventions 17(4). 223-234. https://doi.org/10.1177/1098300715573629
  » https://doi.org/10.1177/1098300715573629
• Najdowski, A. C., Gould, E. R., Lanagan, T. M., & Bishop, M. R. (2014). Designing Curriculum Programs for Children with Autism. Em J. Tarbox, D. R. Dixon, P. Sturmey, & J. L. Matson (Eds.), Handbook of early intervention for autism spectrum disorders. Research, policy, and practice (pp. 227-259). Springer. https://doi.org/10.1007/978-1-4939-0401-3_10
  » https://doi.org/10.1007/978-1-4939-0401-3_10
• Sakko, G., Martin, T., Vause, T., Martin, G., & Yu, C. T. (2004). Visual-Visual Nonidentity Matching Assessment: A Worthwhile Addition to the Assessment of Basic Learning Abilities test. American Journal on Mental Retardation, 109(1), 44-52.
• Tiger, J. H., Fisher, W. W., Toussaint, K. A., & Kodak, T. (2009). Progressing from Initially Ambiguous Functional Analyses: Three case examples. Research in Developmental Disabilities, 30, 910-926. https://doi.org/10.1016/j.ridd.2009.01.005
  » https://doi.org/10.1016/j.ridd.2009.01.005
• Van Vonderen, A., Didden, R., & Beeking, F. (2012). Effectiveness of Instruction and Video Feedback on Staff’s Trainer Behavior During One-to-One Training with Children with Severe Intellectual Disability. Research in Developmental Disabilities, 33, 283-290.https://doi.org/10.1016/j.ridd.2011.07.040
  » https://doi.org/10.1016/j.ridd.2011.07.040
• Varella, A. A. B, Souza, D. G., & Wiliams, W. L. (2017). O Teste ABLA e suas Implicações para o Ensino de Pessoas com Autismo e Distúrbios do Desenvolvimento. Acta Comportamentalia, 25(1), 41-56.
• Ward-Horner, J., & Sturmey, P. (2012). Component Analysis of Behavior Skills Training in Functional Analysis. Behavioral Intervention, 27, 75-92.http://dx.doi.org/10.1002/bin.1339
  » http://dx.doi.org/10.1002/bin.1339

• 1
  Exemplos das descrições resumidas para aplicação dos níveis do ABLA-R, das folhas de registro dos seis níveis do ABLA-R, do formulário do ABLA-R-TEF e do formulário de erros e acertos para pré-teste de aplicação e sessões de avaliação podem ser obtidos em: http://ppgtpc.propesp.ufpa.br/ARQUIVOS/dissertacoes/Oriana%20Comesanha%20e%20Silva%202017.pdf

Datas de Publicação

• Publicação nesta coleção
  03 Nov 2021
• Data do Fascículo
  2021

Histórico

• Recebido
  18 Set 2017
• Revisado
  06 Jun 2018
• Aceito
  03 Dez 2018